La scheda delle direttive mostra i dati relativi al tag meta robots e il tag X-Robots nell’intestazione HTTP. Queste direttive robots possono controllare come il tuo contenuto e gli URL vengano visualizzati nei Motori di Ricerca, come Google.
Per comprendere al meglio l’importanza di queste direttive considera due scenari possibili in cui si potrebbe imbattere il Bot del Motore di Ricerca:
- Il file robots.txt è mancante o ha autorizzato il crawl di un URL, i Motori di Ricerca considerano quella risorsa scansionabile e archiviabile nell’indice a meno che non ci siano delle direttive più specifiche definite attraverso i Meta Robots.
- il robots.txt ha in “disallow” l’url e non permette la sua scansione. In questo caso i meta robots non saranno rilevati e le loro istruzioni non saranno eseguite.
Il meta robots tag dovrebbe essere posto nell’head di una pagina HTML; per esempio un meta tag ‘noindex’ appare così:
<meta name=”robots” content=”noindex”>La stessa direttiva può essere emessa nell’intestazione HTTP usando il X-Robots-Tag, che si presenta così:
X-Robots-Tag: noindexLe istruzioni dei Meta Robots possono essere anche combinate seguendo questa sintassi standard che prevede più direttive separate dalla virgola:
<meta name=”robots” content=”noindex,nofollow”>La scheda si presenta con tre colonne, la prima che riguarda l’indirizzo dell’URL (Address) e le restanti dedicate rispettivamente al Meta Robots e X-Robots-Tag per le quali il Seo Spider colleziona tutte le istanze scoperte.
I filtri a tua disposizione sono i seguenti:
- Index: identifica le pagine che presentano l’attributo “index”; non è necessaria la sua presenza perché i Motori di Ricerca indicizzano gli URL anche senza questa direttiva.
- Noindex: questo attributo indica ai Motori di Ricerca di non indicizzare le pagine. Questa direttiva non blocca la scansione dello Spider! Può essere impostata a livello globale o specifica per ogni Motore di Ricerca.
Esempio di direttiva noindex applicata a tutti i MdR:
<meta name=”robots” content=”noindex”>Direttiva specifica per il GoogleBot:
<meta name=”google” content=”noindex”>
- Follow: attraverso la direttiva “follow” si istruisce lo Spider a seguire tutti i link della pagina durante il crawling. Se non presente i Motori di Ricerca seguiranno i link di default.
- Nofollow: consiste in un ‘suggerimento’ che dice ai Motori di Ricerca di non seguire alcun link sulla pagina per la scansione. Questa direttiva è comunemente applicata nei siti di staging assieme a “noindex” per evitare le scansioni dei Motori di Ricerca prima della pubblicazione.
Per poter eseguire un crawl che presenta questa direttiva puoi abilitare l’opzione ‘Follow Internal Nofollow’ dal menu “Config > Spider”.
Ricorda bene: con questa direttiva i link della pagina non passano PageRank. - None: il meta tag “none” non corrisponde alla mancanza di direttive, anzi è molto restrittivo e combina il “noindex e il “nofollow”.
- NoArchive: questo tag robots indica a Google di non mostrare la copia cache della pagina nei risultati di ricerca. Di default la copia cache di una risorsa è disponibile in Chrome utilizzando il comando “cache:www.dominio.xxx”.
- NoSnippet: questo meta robots inibisce il Motore di Ricerca (al momento solo a Google) di mostrare la “Meta Description” e il link alla versione cache nei risultati di ricerca.
- Max-Snippet: questo valore permette di limitare la lunghezza dello snippet di testo per questa pagina a [numero] di caratteri in Google. I valori speciali includono – 0 per nessun snippet, o -1 per permettere qualsiasi lunghezza di snippet.
- Max-Image-Preview: questo valore imposta la dimensione massima dell’anteprima di un’immagine di una pagina Html in Google. I valori dell’indice possono essere:
- “none”: non deve essere mostrata alcuna anteprima dell’immagine;
- “standard”: è possibile mostrare un’anteprima predefinita dell’immagine;
- “large”: è possibile mostrare un’anteprima dell’immagine che sia larga al massimo come l’area visibile.
Es: <meta name=”robots” content=”max-image-preview:standard”>Max-Video-Preview: questa direttiva indica a Google di usare un massimo di [numero] secondi come snippet per i video di una pagina nei risultati di ricerca. Puoi anche specificare 0 per permettere solo un’immagine statica, o -1 per permettere qualsiasi lunghezza di anteprima.
<meta name=”robots” content=”max-video-preview:-1”>- NoODP: questo meta tag, ormai in disuso, indicava a Google di non usare l’Open Directory Project (DMOZ) per i suoi snippet. Può tranquillamente essere rimosso.
- NoYDIR: questo è un vecchio meta tag che indicava a Google di non usare Yahoo Directory per i suoi snippet. Questo meta robots può essere rimosso.
- NoImageIndex: il meta robots con questa direttiva dice a Google di non indicizzare le immagini di una pagina html. Può capitare che le immagini presenti in uno specifico Url con istruzione “NoimageIndex” siano linkate anche da altre pagine, in questo caso potrebbero comunque venire indicizzate. Per evitare questa condizione una soluzione è quella di impostare X-Robots-Tag nell’HTTP Header del file immagine.
- NoTranslate: questo valore dice a Google di non proporre la traduzione della pagina nei risultati di ricerca. Se non presente, il Motore di Ricerca potrebbe mostrare un link accanto al risultato in Serp con la possibilità di vedere la pagina tradotta.
- Unavailable_After: questa istruzione ti permette di specificare l’ora e la data esatta in cui vuoi che Google smetta di mostrare la pagina nei risultati di ricerca. Istruzione molto utile per pagine legate ad eventi, fiere, promozioni a tempo etc.
<meta name=”robots” content=”unavailable_after: 2020-09-21”>- Refresh: questa direttiva reindirizza l’utente ad un nuovo URL dopo un certo periodo di tempo.