Нашият подход към управлението на индексирането на страниците на уебсайта, изразен в набор от различни настройки, е резултат от прилагането на препоръките на търсачките и SEO специалистите, както и резултат от практически наблюдения на индексирането на стартирани уебсайтове. Ние продължаваме да приемаме и прилагаме нови обосновани препоръки.

Използваме комбинация от няколко инструмента за управление на индексирането на уебсайта и борба с дублираното съдържание:

Забрана за индексиране в файла robots.txt се използва за намаляване на натоварването на сървъра, което възниква при индексиране на голям брой страници с филтриране.
Забрана за индексиране с помощта на robots тага, за да се гарантира, че ненужните страници не се индексират и не се включват във вторичния индекс.
Определяне на канонични страници (rel canonical) за свързване на идентични страници в една, за тези страници, които все пак трябва да бъдат индексирани.

По-долу е дадено подробно описание на настройките за индексиране за всеки тип страница.

Страници на категории

Страниците на категории са основните целеви страници за промоция, така че те винаги са отворени за индексиране по подразбиране. В някои случаи е възможно да се затворят за индексиране.

Как е реализирано:

Страниците на категории не са затворени за индексиране в robots.txt;
По подразбиране страниците на категории нямат robots таг и следователно са отворени за индексиране.

Ако е необходимо, можете да контролирате съдържанието на robots тага за всяка страница на категория. В свойствата на страницата можете да активирате атрибутите nofollow и/или noindex . Ако ги активирате, те също ще бъдат зададени за всички продукти, за които тази категория е родител. Въпреки това, тази настройка няма да засегне дъщерните категории и техните продукти.

Връзките към тези страници са налични в файла sitemap.xml (освен ако опцията Включване в sitemap не е деактивирана за страницата).

Страници с филтри

Всички страници с филтри са затворени за индексиране по подразбиране. Тъй като има много комбинации от филтри и съдържанието на страниците се показва динамично, дори достъпът до тези страници от няколко търсачки едновременно може да създаде значително натоварване на сървъра.

Как е реализирано:

В robots.txt всички комбинации от филтри, които съдържат повече от три филтъра едновременно, не се индексират.
Всички страници с филтри имат robots тагове с noindex, follow и canonical стойности с връзка към страницата на категорията без филтър.

Филтри за индексиране

Възможно е също така да се отворят някои филтри или техните комбинации (до два филтъра едновременно) за индексиране с помощта на функцията Филтри за индексиране.

При настройване на индексираните филтри можете да посочите категорията, за която ще бъдат отворени (можете да посочите корена на каталога) и да изберете 1 или 2 свойства на филтъра, които ще бъдат използвани за отварянето им за индексиране. Ако са посочени две свойства, страниците с филтри по всяко от тези свойства поотделно и по комбинация от тези две свойства ще бъдат отворени. Но филтрите по две стойности за едно свойство винаги са затворени за индексиране.

За отваряне на индексирането на страниците се използват следните настройки:

Страниците първоначално не са затворени за индексиране в robots.txt;
Тези страници съдържат robots тага с index, follow и canonical стойности с връзка към страницата с филтъра, която се индексира.

Страници за сортиране и показване на продукти

Страниците за сортиране (съдържат filter/sort_ в линка) и страниците с различни формати на показване на продукти (съдържат view_type= в линка) са еднозначни дубликати, така че те са затворени за индексиране по подразбиране по всички възможни начини без възможност за отваряне за индексиране.

Страниците за сортиране/показване са затворени в robots.txt;
По подразбиране тези страници имат зададен <meta name="robots" content="noindex, follow"> таг, за да се изключи индексирането, но да се позволи по-нататъшно свързване;
Тези страници имат canonical таг, който води до подобна страница без посочване на формат за сортиране или показване;
Тези страници не са включени в sitemap.xml.

Страници с пагинация

Страниците с пагинация съдържат уникално съдържание (различни продукти), така че всички те трябва да бъдат индексирани.
Страниците с пагинация не са затворени за индексиране в robots.txt или с помощта на robots тага.
За да обединим всички страници в една, според препоръките на Google, използваме <rel="next"> и <rel="prev"> тагове.
За всички страници с пагинация не използваме canonical таг с връзка към първата страница.
Всички страници с пагинация имат canonical таг с връзка към собствената си страница с пагинация.
Само страницата page=all има canonical таг с връзка към първата страница, защото тя няма <rel="next"> и <rel="prev"> тагове.
Страниците с пагинация не са включени в sitemap.xml.

Съществуват и две алтернативни настройки за страниците с пагинация, които противоречат на изискванията на Google, но се срещат в препоръките на някои SEO компании. Тези опции са деактивирани по подразбиране, но могат да бъдат активирани в админ панела на сайта в секцията SEO → Допълнителни SEO настройки:

Задаване на canonical таг с връзка към първата страница на пагинацията.
На всички страници с пагинация, освен първата, задайте robots таг с noindex, follow стойности.

Страници на марки

Страниците на марки се индексират по същата логика като страниците на категории:

Кореновите връзки на страниците на марки не са затворени в robots.txt.
Страниците с филтри с повече от две нива, сортиране и различни формати на показване не се индексират в robots.txt.
Страниците за сортиране и различни формати на показване са затворени с помощта на robots тага с noindex, follow стойности.
Страниците с пагинация са отворени за индексиране според същата логика като страниците с пагинация на категории.

Варианти на продукти

Всеки вариант на продукт има собствен URL.
В същото време всички тези страници съдържат връзка към каноничната страница на основния вариант.
Страниците на продукти не са затворени за индексиране в robots.txt.
Страниците могат да бъдат затворени за индексиране с помощта на robots тага, ако тяхната родителска категория е затворена.

Пресети на филтри

Страниците с пресети на филтри се създават специално за промоция и затова те са отворени за индексиране по подразбиране, без възможност за затваряне на тяхното индексиране.
Няма забрана за индексиране на пресети на филтри в robots.txt.
На страниците с пресети няма robots тагове.
Страниците с пресети имат canonical таг, който води до подобна страница с пресет.
Връзки към страниците с пресети могат да бъдат намерени във филтрите и в файла sitemap.xml.

Личен акаунт, каса

Страниците за каса и личен акаунт са затворени за индексиране в robots.txt и с помощта на robots тага с noindex, follow стойности.

Текстови страници, новинарски страници

Те не са затворени за индексиране в robots.txt.
По подразбиране те не съдържат robots таг.
В свойствата на всяка страница можете да конфигурирате стойността на robots тага, което позволява да изключите страниците от индексиране в определен момент.
Страниците с noindex не са включени в sitemap.xml.

Сравнение на продукти

Таблицата за сравнение на продукти се показва на страниците на каталога, без да се генерират отделни страници със собствени връзки. Следователно, страниците за сравнение на продукти не съществуват като такива и не се индексират.

Езикови версии

По подразбиране всички езикови версии, достъпни за потребителите, са отворени за индексиране. Ако е необходимо, можете да затворите всяка езикова версия за индексиране поотделно.

Езиковите версии не са затворени за индексиране в robots.txt.
Връзки към алтернативни преводи са предоставени в head блока на всяка страница и в sitemap.xml.

Езиковите версии имат опция Без индексиране. Ако тя е активирана, следните настройки влизат в сила:

За всички страници на тази езикова версия е зададен robots таг с noindex, nofollow стойности.
Връзките не се поставят в head блока и в sitemap.xml.
В заглавката връзка към езикова версия, която е затворена за индексиране, е посочена с атрибута rel=nofollow.