Abordarea noastră privind gestionarea indexării paginilor site-ului, exprimată într-un set de setări diferite, este rezultatul punerii în aplicare a recomandărilor motoarelor de căutare și ale specialiștilor SEO, precum și rezultatul observațiilor practice privind indexarea site-urilor lansate. Continuăm să acceptăm și să implementăm noi recomandări motivate.
Utilizăm o combinație de mai multe instrumente pentru a gestiona indexarea site-urilor web și pentru a combate conținutul duplicat:
Interzicerea indexării în fișierul robots.txt este utilizată pentru a reduce sarcina serverului care apare la indexarea unui număr mare de pagini de filtrare.
Interzicerea indexării cu ajutorul etichetei robots pentru a vă asigura că paginile inutile nu sunt indexate și nu sunt incluse în indexul secundar.
Specificarea paginilor canonice (rel canonical) pentru a lega pagini identice într-una singură, pentru acele pagini care mai trebuie indexate.
Mai jos este prezentată o descriere detaliată a setărilor de indexare pentru fiecare tip de pagină.
Pagini de categorie
Paginile de categorie sunt principalele pagini de destinație pentru promovare, astfel încât acestea sunt întotdeauna deschise pentru indexare în mod implicit. În unele cazuri, este posibil să le închideți pentru indexare.
Cum este implementat:
Paginile de categorie nu sunt închise pentru indexare în robots.txt;
În mod implicit, paginile de categorie nu au eticheta robots și, prin urmare, sunt deschise pentru indexare.
Dacă este necesar, puteți controla conținutul etichetei robots pentru fiecare pagină de categorie. În proprietățile paginii, puteți activa atributele nofollow și/sau noindex . Dacă le activați, acestea vor fi setate și pentru toate produsele pentru care această categorie este părinte. Cu toate acestea, această setare nu va afecta categoriile de copii și produsele acestora.
Linkurile către aceste pagini sunt prezente în fișierul sitemap.xml (cu excepția cazului în care opțiunea Include to sitemap este dezactivată pentru pagina respectivă).
Pagini filtru
În mod implicit, toate paginile cu filtre sunt închise pentru indexare. Deoarece există o mulțime de combinații de filtre și conținutul paginilor este afișat dinamic, chiar și accesarea acestor pagini din mai multe motoare de căutare în același timp poate crea o sarcină semnificativă pe server.
Cum este implementat:
În robots.txt, toate combinațiile de filtre care conțin mai mult de trei filtre în același timp nu sunt indexate.
Toate paginile cu filtre au etichete robots cu valorile noindex, follow și canonical cu un link către pagina categoriei fără filtru.
Filtre pentru indexare
De asemenea, este posibil să deschideți unele filtre sau combinațiile acestora (până la două filtre simultan) pentru indexare utilizând funcția Filtre pentru indexare.
La configurarea filtrelor indexate, puteți specifica categoria pentru care vor fi deschise (puteți specifica rădăcina catalogului) și puteți selecta 1 sau 2 proprietăți ale filtrului care vor fi utilizate pentru a le deschide pentru indexare. Dacă sunt specificate două proprietăți, vor fi deschise paginile cu filtre prin fiecare dintre aceste proprietăți separat și printr-o combinație a acestor două proprietăți. Dar filtrele prin două valori pentru o proprietate sunt întotdeauna închise pentru indexare.
Pentru a deschide indexarea paginilor, se utilizează următoarele setări:
Paginile nu sunt inițial închise pentru indexare în robots.txt;
Aceste pagini conțin eticheta robots cu valorile index, follow și canonical cu un link către pagina filtrului care este indexată.
Pagini de sortare și de afișare a produselor
Paginile de sortare (conțin filter/sort_ în link) și paginile cu diferite formate de afișare a produselor (conțin view_type= în link) sunt duplicate neechivoce, astfel încât acestea sunt închise implicit pentru indexare prin toate mijloacele posibile, fără posibilitatea de a le deschide pentru indexare.
Paginile de sortare/ afișare sunt închise în robots.txt;
În mod implicit, aceste pagini au tag-ul <meta name="robots" content="noindex, follow"> setat pentru a dezactiva indexarea, dar pentru a permite linkarea ulterioară;
Aceste pagini au eticheta canonical , care duce la o pagină similară fără a specifica un sort sau un format de afișare;
Aceste pagini nu sunt incluse în sitemap.xml.
Pagini de paginare
Paginile de paginare conțin conținut unic (produse diferite), astfel încât toate acestea ar trebui să fie indexate.
Paginile de paginare nu sunt închise pentru indexare în robots.txt sau utilizând eticheta robots .
Pentru a uni toate paginile într-una singură, în conformitate cu recomandările Google, folosim etichetele <rel="next"> și <rel="prev">.
Pentru toate paginile de paginare, nu folosim eticheta canonică cu un link către prima pagină.
Toate paginile de paginare au o etichetă canonică cu un link către propria lor pagină de paginare.
Numai pagina page=all are eticheta canonică cu un link către prima pagină, deoarece nu are etichetele <rel="next"> și <rel="prev">.
Paginile de paginare nu sunt incluse în sitemap.xml.
Există, de asemenea, două setări alternative pentru paginile de paginare care contrazic cerințele Google, dar se regăsesc în recomandările unor companii SEO. Aceste opțiuni sunt dezactivate implicit, dar pot fi activate în panoul de administrare al site-ului în secțiunea SEO → Setări SEO suplimentare:
Setați eticheta canonică cu un link către prima pagină a paginării.
Pe toate paginile paginării, cu excepția primei, setați eticheta robots cu valorile noindex, follow .
Pagini de marcă
Paginile de marcă sunt indexate folosind aceeași logică ca și paginile de categorie:
Linkurile rădăcină ale paginilor de marcă nu sunt închise în robots.txt.
Paginile filtru cu mai mult de două niveluri, sortarea și paginile cu format de afișare diferit nu sunt indexate în robots.txt.
Paginile de sortare și paginile cu format de afișare diferit sunt închise cu ajutorul etichetei robots cu valorile noindex, follow.
Paginile de paginare sunt deschise pentru indexare în conformitate cu aceeași logică ca și paginile de paginare a categoriilor.
Variante de produse
Fiecare variantă de produs are propria sa adresă URL.
În același timp, toate aceste pagini conțin un link către pagina canonică a variantei principale.
Paginile de produse nu sunt închise pentru indexare în robots.txt.
Paginile pot fi închise pentru indexare utilizând eticheta robots dacă categoria lor mamă este închisă.
Filtre prestabilite
Paginile cu presetări de filtre sunt create special pentru promovare și, prin urmare, sunt deschise implicit pentru indexare, fără posibilitatea de a le închide indexarea.
Nu există nicio interdicție privind indexarea presetărilor de filtre în robots.txt.
Nu există etichete robots pe paginile prestabilite.
Paginile prestabilite au o etichetă canonică care duce la o pagină prestabilită similară.
Legăturile către paginile presetate pot fi găsite în filtre și în fișierul sitemap.xml.
Cont personal, checkout
Paginile checkout și cont personal sunt închise pentru indexare în robots.txt și utilizând tag-ul robots cu valorile noindex, follow.
Pagini text, pagini de știri
Acestea nu sunt închise pentru indexare în robots.txt.
În mod implicit, acestea nu conțin tagul robots .
În proprietățile fiecărei pagini, puteți configura valoarea etichetei robots , care vă permite să excludeți paginile de la indexare la un anumit punct.
Paginile cu noindex nu sunt incluse în sitemap.xml.
Comparație produse
Tabelul de comparare a produselor este afișat pe paginile catalogului, fără a genera pagini separate cu linkuri proprii. Prin urmare, paginile de comparare a produselor nu există ca atare și nu sunt indexate.
Versiuni lingvistice
În mod implicit, toate versiunile lingvistice disponibile pentru utilizatori sunt deschise pentru indexare. Dacă este necesar, puteți închide separat fiecare versiune lingvistică pentru indexare.
Versiunile lingvistice nu sunt închise pentru indexare în robots.txt.
Linkurile către traducerile alternative sunt furnizate în blocul de antet al fiecărei pagini și în sitemap.xml.
Versiunile lingvistice au opțiunea Fără indexare. Dacă aceasta este activată, intră în vigoare următoarele setări:
Pentru toate paginile din această versiune lingvistică, eticheta robots este setată cu valorile noindex, nofollow .
Legăturile nu sunt plasate în blocul head și în sitemap.xml.
În antet, un link către o versiune lingvistică care este exclusă din indexare este indicat prin atributul rel=nofollow.
Rezultatele căutării
Toate paginile cu rezultate ale căutării au eticheta robots setată implicit la noindex, follow .