Наш підхід до управління індексацією сторінок сайту, виражений у сукупності різних налаштувань, є результатом впровадження відомих нам рекомендацій пошукових систем і сео-фахівців, а також результатом практичних спостережень за індексацією запущених сайтів. Ми продовжуємо приймати і впроваджувати нові аргументовані рекомендації.
Для управління індексацією сайту і боротьби з дублями контенту ми використовуємо комбінацію декількох інструментів:
Заборона індексації у файлі robots.txt - використовується, щоб знизити навантаження на сервер, яке виникає під час індексації великої кількості сторінок фільтрації.
Заборона індексації за допомогою тега robots для того, щоб гарантовано унеможливити індексацію непотрібних сторінок і потрапляння їх у другорядний індекс.
Зазначення канонічних сторінок (rel canonical) для того, щоб зв'язати однакові сторінки в одну, для тих сторінок, які все-таки необхідно індексувати.
Далі детально опишемо налаштування індексації кожного типу сторінок.
Сторінки категорій
Сторінки категорій є основними посадковими сторінками для просування, тому вони завжди за замовчуванням відкриті для індексації. Для окремих випадків передбачена можливість їх закриття для індексації.
Як це реалізовується:
Сторінки категорій не закриті для індексації в robots.txt
За замовчуванням на сторінках категорій відсутній тег robots і таким чином, вони відкриті для індексації
За необхідності, можна керувати змістом тега robots для кожної сторінки категорії. У властивостях сторінки є можливість увімкнути значення nofollow та/або noindex. У разі ввімкнення цих значень, вони так само будуть проставлені для всіх товарів, для яких ця категорія є батьківською. Але це налаштування не вплине на дочірні категорії та їхні товари.
Посилання на ці сторінки присутні у файлі sitemap.xml (якщо для сторінки не ввімкнене налаштування "не показувати в карті сайту")
Сторінки фільтрів
Усі сторінки фільтрів за замовчуванням закриті для індексації. Оскільки комбінацій фільтрів дуже велика кількість і зміст сторінок виводиться динамічно, то навіть звернення до цих сторінок від декількох пошукових систем одночасно може створити помітне навантаження на сервер.
Закриття реалізовано таким чином:
У robots.txt закрито від індексації всі комбінації фільтрів, у яких присутні більше трьох фільтрів одночасно.
На всіх сторінках фільтрів за замовчуванням присутні теги robots зі значеннями noindex, follow і canonical з посиланням на сторінку категорії без фільтра.
Фільтри, що індексуються
Так само є можливість відкрити деякі фільтри або їх комбінації (до двох фільтрів одночасно) для індексації за допомогою функції Індексовані фільтри.
Під час налаштування індексованих фільтрів є можливість вказати категорію, для якої їх буде відкрито (можна вказати для кореня каталогу), і вибрати 1 або 2 властивості фільтрів, за якими буде відкрито для індексації. Якщо вказано дві властивості, то відкриті будуть сторінки з фільтрами за кожною з цих властивостей окремо і за комбінацією цих двох властивостей. Але фільтри за двома значеннями для однієї властивості завжди закриті для індексації.
Для відкриття індексації сторінок встановлюються такі налаштування:
Вони спочатку не закриті від індексації в robots.txt
На цих сторінках присутній тег robots зі значеннями index, follow і canonical з посиланням на сторінку фільтра, що індексується
Сторінки сортування, відображення товарів
Сторінки сортування (містять в урлі filter/sort_) і різного формату відображення товарів (містять в урлі view_type=) є однозначними дублями, тому вони за замовчуванням закриті для індексації всіма можливими засобами без можливості відкрити їх для індексації.
Сторінки сортування/відображення закриті в robots.txt
За замовчуванням на цих сторінках встановлено тег <meta name="robots" content="noindex, follow">, який забороняє індексацію, але дозволяє подальше переходження за посиланнями.
На цих сторінках встановлено тег canonical, який веде на аналогічну сторінку без вказівки сортування або формату відображення
Ці сторінки не входять до sitemap.xml.
Сторінки пагінації
Сторінки пагінації містять унікальний контент (різні товари) тому всі мають бути проіндексовані.
Сторінки пагінації не закриті для індексації в robots.txt ні за допомогою тега robots.
Для того, щоб об'єднати всі сторінки в одну, згідно з рекомендаціями Google, ми використовуємо теги <rel="next"> і <rel="prev">
Для всіх сторінок пагінації Не використовуємо тег canonical з посиланням на першу сторінку пагінації
Для всіх сторінок пагінації встановлено тег canonical з посиланням на власну сторінку пагінації
Лише для сторінки page=all встановлено тег canonical із посиланням на першу сторінку пагінації, оскільки на ній відсутні теги <rel="next"> і <rel="prev">
Сторінки пагінації не входять до sitemap.xml
Так само доступні два альтернативних налаштування для сторінок пагінації, які суперечать вимогам google, але зустрічаються в рекомендаціях деяких seo-компаній. Ці опції вимкнені за замовчуванням. Але можуть бути включені в адмінпанелі сайту в Seo - Додаткові SEO налаштування.
Встановити тег canonical з посиланням на першу сторінку пагінації.
На всіх сторінках пагінації крім першої встановити тег robots зі значеннями noindex, follow.
Сторінки брендів
Сторінки брендів індексуються за логікою аналогічної індексації сторінок категорій:
Кореневі урли сторінок брендів не закриті в robots.txt.
Сторінки фільтрів більше двох рівнів, сортування і зміни відображення закриті від індексації в robots.txt.
Сторінки сортування і зміни відображення закриті за допомогою тега robots зі значеннями noindex, follow.
Сторінки пагінації відкриті для індексації за тією ж логікою, що і сторінки пагінації в категоріях.
Модифікації товарів
Кожна модифікація товару має власний url.
При цьому на всіх цих сторінках присутнє посилання на канонічну сторінку основної модифікації.
Сторінки товарів не закриті для індексації в robots.txt
Можуть бути закриті для індексації за допомогою тега robots, за умови якщо закрита їхня батьківська категорія.
Пресети фільтрів
Сторінки з пресетами фільтрів створюються спеціально для просування і тому вони за замовчуванням відкриті для індексації, без можливості закрити їхню індексацію.
У robots.txt відсутня заборона на індексацію пресетів-фільтрів.
На сторінках пресетів відсутні теги robots.
На сторінках пресетів встановлено тег canonical, який веде на аналогічну сторінку пресету.
Посилання на сторінки пресетів знаходяться у фільтрах і в файлі sitemap.xml.
Особистий кабінет, замовлення
Сторінки оформлення замовлення та особистого кабінету закриті для індексації в robots.txt і за допомогою тега robots зі значеннями noindex, follow.
Текстові сторінки, новинні сторінки
Не закриті для індексації в robots.txt.
За замовчуванням на них не розташовується тег robots.
У властивостях кожної сторінки налаштовується значення тега robots, що дає змогу точково вимикати сторінки з індексації.
Сторінки зі значенням noindex не включаються в sitemap.xml.
Порівняння товарів
Відображення таблиці порівняння товарів здійснюється на сторінках каталогу, без генерації окремих сторінок із виділеними урлами. Тому сторінки порівняння товарів відсутні як такі і не індексуються.
Мовні версії
За замовчуванням відкриті для індексації всі мовні версії, відкриті для користувачів. За потреби можна закрити окремо кожну мовну версію для індексації.
Мовні версії не закриті для індексації в robots.txt.
Посилання на альтернативні переклади містяться в блоці head кожної сторінки і в sitemap.xml.
У мовних версій присутня властивість "Закрити для індексації". Якщо її ввімкнено, то набувають чинності такі налаштування:
Для всіх сторінок цієї мовної версії встановлюється тег robots зі значеннями noindex, nofollow.
Посилання в блоці head і в sitemap.xml не розміщуються.
У шапці посилання на закриту від індексації мовну версію позначається атрибутом rel=nofollow.
Результати пошуку
На всіх сторінках із результатами пошуку за замовчуванням встановлено тег robots зі значеннями noindex, follow.