CRAWL DI UN ELENCO DI URL

0
720

Fino a questo momento hai visto solamente la modalità di scansione “Spider” ma il Seo tool prevede ulteriori 3 tipologie di crawl: List, Compare e Serp.

Iniziamo l’analisi ponendo l’attenzione sulla modalità “List – elenco” con la quale sei in grado di ottenere dati e metriche da una selezione specifica di URL.

Per utilizzare questa opzione puoi inserire manualmente gli URL, copiarli e incollarli nel Seo Spiders, fare un “Upload” di un documento in”.csv” o scegliere di far scaricare dal Seo Spider una sitemap xml.

Le differenze sostanziali rispetto alla modalità “Spider” sono essenzialmente due:

  1. la “Address Bar” è sostituita da un pulsante per eseguire l’upload.
  2. La profondità di scansione nella modalità “List” è impostata a zero per default; Screaming Frog non esamina le immagini e i link esterni ma si concentra solamente sugli URL aggiunti.


Questa modalità di scansione è particolarmente utile durante la fase di migrazione per verificare la correttezza dei reindirizzamenti ed evitare fastidiose “Redirect Chain” o destinazioni con status code diverse da 200 che andrebbero a sprecare Crawling Budget.

Una volta conclusa la scansione puoi fare l’esportazione dei dati e delle metriche su un foglio di calcolo per gestire al meglio le criticità rilevate.

Nota Bene: il Seo Spider esamina solamente gli URL che presentano il protocollo http/https, nel caso mancasse restituisce un avviso di errore.

Quando scegli la modalità “List” non devi preoccuparti di avere URL duplicati nel tuo elenco perché vengono normalizzati direttamente da Screaming Frog.

Esempio:

Aggiungiamo i seguenti 4 URL con la modalità “List”:

  • https://www.screamingfrog.co.uk/
  • https://www.screamingfrog.co.uk/#fragment-this-wont-be-crawled
  • https://www.screamingfrog.co.uk/seo-spider/
  • https://www.screamingfrog.co.uk/seo-spider/

L’elenco presenta 4 elementi ma solamente due saranno processati dal Seo Spider.

Se guardi con attenzione il terzo e il quarto sono duplicati mentre il primo e il secondo differiscono solamente per un “fragment” (#) che Google non considera. Naturalmente in una lista così limitata le duplicazioni sono molto semplici da individuare ma se consideri delle liste con migliaia di URL questa normalizzazione da parte del tool diviene imprescindibile.

Vediamo nel dettaglio come si comporta Screaming Frog:

Il Seo Spider legge tutti e quattro gli URL aggiunti ma come vedrai in fase di crawling considera solamente quelli unici.

Questa modalità di scansione prevede la diagnosi solamente degli URL aggiunti ma come devi fare se necessiti di conoscere elementi supplementari come gli “external links”, gli attributi ”hreflang” o altro? 


In questo caso l’unica cosa che devi modificare è il “Limit Crawl Depth – Limite di profondità di scansione” che è impostato a zero. E’ sufficiente deselezionare questa opzione per eseguire un crawl inclusivo degli URL in lista e di tutti quelli scoperti durante la scansione attraverso i link presenti che si trovano nello stesso sottodominio.

Anche con la modalità “List” puoi decidere il livello di granularità della tua analisi scegliendo quali metriche ed elementi includere e quali non considerare dalla scansione gestendo le opzioni “Resource Links” e “Page Links”.

Config > Spider > Crawl