Il nostro approccio alla gestione dell'indicizzazione delle pagine dei siti web, espresso in una serie di impostazioni diverse, è il risultato dell'applicazione delle raccomandazioni dei motori di ricerca e degli specialisti SEO, nonché il risultato delle osservazioni pratiche sull'indicizzazione dei siti web lanciati. Continuiamo ad accettare e implementare nuove raccomandazioni motivate.
Utilizziamo una combinazione di diversi strumenti per gestire l'indicizzazione dei siti web e combattere i contenuti duplicati:
Il disconoscimento dell'indicizzazione nel file robots.txt viene utilizzato per ridurre il carico del server che si verifica quando si indicizza un gran numero di pagine di filtraggio.
Vietare l'indicizzazione utilizzando il tag robots per garantire che le pagine non necessarie non vengano indicizzate e non siano incluse nell'indice secondario.
Specificare le pagine canoniche (rel canonical) per collegare pagine identiche in una sola, per quelle pagine che devono ancora essere indicizzate.
Di seguito una descrizione dettagliata delle impostazioni di indicizzazione per ogni tipo di pagina.
Pagine di categoria
Le pagine di categoria sono le principali pagine di destinazione per la promozione, quindi sono sempre aperte all'indicizzazione per impostazione predefinita. In alcuni casi, è possibile chiuderle per l'indicizzazione.
Come viene implementato:
Le pagine di categoria non sono chiuse per l'indicizzazione nel robots.txt;
Per impostazione predefinita, le pagine di categoria non hanno il tag robots e quindi sono aperte all'indicizzazione.
Se necessario, è possibile controllare il contenuto del tag robots per ogni pagina di categoria. Nelle proprietà della pagina, è possibile abilitare gli attributi nofollow e/o noindex . Se si attivano questi attributi, saranno impostati anche per tutti i prodotti di cui la categoria è genitore. Tuttavia, questa impostazione non influisce sulle categorie figlie e sui loro prodotti.
I collegamenti a queste pagine sono presenti nel file sitemap.xml (a meno che l'opzione Includi nella sitemap non sia disabilitata per la pagina).
Pagine filtro
Tutte le pagine filtro sono chiuse per l'indicizzazione per impostazione predefinita. Poiché esistono molte combinazioni di filtri e il contenuto delle pagine viene visualizzato in modo dinamico, anche l'accesso a queste pagine da parte di più motori di ricerca contemporaneamente può creare un carico significativo sul server.
Come viene implementato:
Nel file robots.txt, tutte le combinazioni di filtri che contengono più di tre filtri contemporaneamente non vengono indicizzate.
Tutte le pagine dei filtri hanno tag robots con i valori noindex, follow e canonical con un link alla pagina della categoria senza filtro.
Filtri da indicizzare
È anche possibile aprire alcuni filtri o le loro combinazioni (fino a due filtri alla volta) per l'indicizzazione utilizzando la funzione Filtri da indicizzare.
Quando si impostano i filtri da indicizzare, è possibile specificare la categoria per la quale verranno aperti (è possibile specificare la radice del catalogo) e selezionare 1 o 2 proprietà dei filtri che verranno utilizzate per aprirli per l'indicizzazione. Se si specificano due proprietà, verranno aperte le pagine con filtri per ciascuna di queste proprietà separatamente e per una combinazione di queste due proprietà. Ma i filtri con due valori di una proprietà sono sempre chiusi per l'indicizzazione.
Per aprire l'indicizzazione delle pagine, si utilizzano le seguenti impostazioni:
Le pagine non sono inizialmente chiuse dall'indicizzazione in robots.txt;
Queste pagine contengono il tag robots con i valori index, follow e canonical con un link alla pagina del filtro da indicizzare.
Pagine di ordinamento e di visualizzazione dei prodotti
Le pagine di ordinamento (contengono filter/sort_ nel link) e le pagine di diversi formati di visualizzazione dei prodotti (contengono view_type= nel link) sono duplicati inequivocabili, pertanto sono chiuse per l'indicizzazione di default con tutti i mezzi possibili, senza la possibilità di aprirle per l'indicizzazione.
Le pagine di ordinamento/visualizzazione sono chiuse in robots.txt;
Per impostazione predefinita, queste pagine hanno il tag <meta name="robots" content="noindex, follow"> impostato per disabilitare l'indicizzazione ma consentire ulteriori collegamenti;
Queste pagine hanno il tag canonical , che rimanda a una pagina simile senza specificare l'ordine o il formato di visualizzazione;
Queste pagine non sono incluse nella sitemap.xml.
Pagine di paginazione
Le pagine di paginazione contengono contenuti unici (prodotti diversi), quindi devono essere tutte indicizzate.
Le pagine di paginazione non sono chiuse per l'indicizzazione in robots.txt o utilizzando il tag robots .
Per unire tutte le pagine in una sola, secondo le raccomandazioni di Google, utilizziamo i tag <rel="next"> e <rel="prev">.
Per tutte le pagine di paginazione, non utilizziamo il tag canonical con un link alla prima pagina.
Tutte le pagine di paginazione hanno un tag canonico con un collegamento alla propria pagina di paginazione.
Solo la pagina page=all ha un tag canonico con un collegamento alla prima pagina, perché non ha i tag <rel="next"> e <rel="prev">.
Le pagine di paginazione non sono incluse nella sitemap.xml.
Esistono anche due impostazioni alternative per le pagine di paginazione che contraddicono i requisiti di Google, ma che sono presenti nelle raccomandazioni di alcune società di SEO. Queste opzioni sono disattivate per impostazione predefinita, ma possono essere attivate nel pannello di amministrazione del sito nella sezione SEO → Impostazioni SEO aggiuntive:
Impostare il tag canonical con un link alla prima pagina della paginazione.
Su tutte le pagine della paginazione, tranne la prima, impostare il tag robots con i valori noindex, follow .
Pagine del marchio
Le pagine dei marchi sono indicizzate con la stessa logica delle pagine delle categorie:
I collegamenti alla radice delle pagine dei marchi non vengono chiusi in robots.txt.
Le pagine filtro con più di due livelli, le pagine di ordinamento e le pagine con formati di visualizzazione diversi non vengono indicizzate nel robots.txt.
Le pagine di ordinamento e di diverso formato di visualizzazione vengono chiuse utilizzando il tag robots con i valori noindex, follow.
Le pagine di paginazione sono aperte all'indicizzazione secondo la stessa logica delle pagine di paginazione delle categorie.
Varianti di prodotto
Ogni variante di prodotto ha un proprio URL.
Allo stesso tempo, tutte queste pagine contengono un link alla pagina canonica della variante principale.
Le pagine dei prodotti non vengono chiuse per l'indicizzazione in robots.txt.
Le pagine possono essere chiuse per l'indicizzazione utilizzando il tag robots se la loro categoria madre è chiusa.
Preimpostazioni di filtro
Le pagine con preset di filtro sono create appositamente per la promozione e quindi sono aperte all'indicizzazione per impostazione predefinita, senza la possibilità di chiuderle.
Non esiste alcun divieto di indicizzazione delle preimpostazioni di filtro nel file robots.txt.
Non ci sono tag robots sulle pagine preimpostate.
Le pagine preimpostate hanno un tag canonico che rimanda a una pagina preimpostata simile.
I link alle pagine preimpostate si trovano nei filtri e nel file sitemap.xml.
Conto personale, cassa
Le pagine del conto corrente e del conto personale sono chiuse all'indicizzazione in robots.txt e utilizzando il tag robots con i valori noindex, follow.
Pagine di testo, pagine di notizie
Non sono chiuse per l'indicizzazione in robots.txt.
Per impostazione predefinita, non contengono il tag robots .
Nelle proprietà di ogni pagina è possibile configurare il valore del tag robots , che consente di escludere le pagine dall'indicizzazione in un punto specifico.
Le pagine con il noindex non sono incluse nella sitemap.xml.
Confronto dei prodotti
La tabella di confronto dei prodotti viene visualizzata nelle pagine del catalogo, senza generare pagine separate con i propri link. Pertanto, le pagine di confronto dei prodotti non esistono come tali e non vengono indicizzate.
Versioni linguistiche
Per impostazione predefinita, tutte le versioni linguistiche disponibili per gli utenti sono aperte per l'indicizzazione. Se necessario, è possibile chiudere ogni versione linguistica per l'indicizzazione separatamente.
Le versioni linguistiche non vengono chiuse per l'indicizzazione nel file robots.txt.
I link alle traduzioni alternative sono forniti nel blocco di testa di ogni pagina e in sitemap.xml.
Le versioni linguistiche hanno l'opzione Nessun indice. Se questa opzione è attivata, entrano in vigore le seguenti impostazioni:
Per tutte le pagine di questa versione linguistica, il tag robots è impostato con i valori noindex, nofollow .
I link non vengono inseriti nel blocco di testa e in sitemap.xml.
Nell'intestazione, un link a una versione linguistica esclusa dall'indicizzazione è indicato dall'attributo rel=nofollow.
Risultati della ricerca
Tutte le pagine con risultati di ricerca hanno il tag robots impostato di default su noindex, follow .