Il Seo Spider prevede due modalità di scansione: quella standard denominata “Spider” che esegue la scansione di un intero sito web, e la modalità ‘List’ che limita la scansione al caricamento di un elenco specifico di URL.
Vediamo insieme come sfruttare al meglio la seconda opzione.
Prima di tutto, devi modificare la tipologia di crawling cliccando su “Mode > List” dal menu principale.
A livello di configurazione devi tener conto di due differenze sostanziali tra la modalità “List” e “Spider”:
A livello di Ux, l’interfaccia del Seo Spider cambia e mostra un pulsante di caricamento invece di una barra degli indirizzi.
Nella modalità elenco il “Limit Crawl Depth” determina la profondità di scansione in modo automatico a “0”.
Questo significa che solo gli URL caricati vengono scansionati a differenza della modalità “Spider” che considera anche le referenze alle immagini, link esterni etc.
L’unica eccezione riguarda il “Javascript Rendered”, dove il Seo Spider ha bisogno di scansionare le risorse della pagina per rendere accuratamente la pagina nel suo browser Chrome.
- 1. Passaggio alla Modalità Elenco
Scelta la modalità elenco (Mode > List) dal menu principale, ti basta cliccare sul pulsante ‘Upload’ e scegliere di caricare la tua lista di URL da un file, incollare un elenco di URL o scaricare una Sitemap XML.
Le caratteristiche che devi considerare con questa modalità sono:
gli URL inseriti devono prevedere il protocollo “http” o “https” altrimenti il Seo Spider non trova alcun URL da scansionare.
Tieni in considerazione che Screaming Frog normalizza gli URL al momento dell’upload, e li de-duplica durante il crawl.
Ad esempio: vuoi caricare i seguenti 4 URL:
- www.screamingfrog.co.uk/
- www.screamingfrog.co.uk/#fragment-this-wont-be-crawled
- www.screamingfrog.co.uk/seo-spider/
- www.screamingfrog.co.uk/seo-spider/
Il Seo Spider determina automaticamente quanti sono gli URL unici da scansionare. Nell’esempio andrà a considerare solamente 2 URL come unici (es.”#” non considera il “# -fragment” come url separato e la pagina “/seo-spider” è duplicata), sembra un esempio banale ma con liste da migliaia di URL, può risultare meno ovvio.
Una volta fatto l’upload della lista il Seo Spider riporterà di aver trovato i 4 URL e li normalizzerà nella finestra di dialogo.
- 2. Esportazione dei dati
Ottenuti i dati della tua scansione ti basta usare “Export” da qualsiasi scheda per esportare il tuo rapporto.
Come potrai notare dall’esportazione i dati originali saranno mantenuti come riferimento (colonna Original URL) ma contestualmente saranno riportati anche quelli normalizzati dal crawler.
Considerate le caratteristiche intrinseche su come ragiona il Seo Spider con queta modalità vediamo insieme come sfruttare la sua potenzialità con alcune best practice avanzate che ti permettono di focalizzare meglio la tua analisi e risparmiare tempo.
- 1.Crawling di un elenco di URL e di altri elemento relativi
Una prima applicazione può comprendere una scansione mirata degli URL caricati insieme ad 1 o più elementi referenti come ad esempio le immagini, i canonicals, gli hreflang.
Per quest’opzione è sufficiente rimuovere il limite di profondità di scansione (Limit Crawl Depth) che è di default impostato a ‘0’.
Config > Spider > Limits
Eliminando il limite di scansione il Seo Spider scansiona la tua lista di URL insieme a tutti gli URL sullo stesso sottodominio a cui si collegano. Ma questo comportamento non è esattamente quello che ci aspettiamo.
Il passo successivo è quello di gestire granularmente le risorse e referenze da scansionare andando su ‘Config > Spider > Crawl’ e disabilitando tutti i ‘Resource Links’ e ‘Page Links’ non necessari e lasciando solamente quelli pertinenti alla tua analisi specifica.
Attraverso questo passaggio sarai in grado di focalizzarti esattamente sugli URL da analizzare e i loro elementi più importanti per te senza perdite di tempo.
- 2. Audit dei Redirect con Modalità List (Elenco)
Se stai controllando i reindirizzamenti in una migrazione di un sito, può essere particolarmente utile eseguire il crawling dei loro URL di destinazione e di qualsiasi catena di reindirizzamento incontrata.
Per eseguire questo Audit devi utilizzare la configurazione “Always follow redirects – Segui sempre i redirect” che trovi in “Config > Spider > Advanced”.
Abilitare questa configurazione significa che il ‘crawl depth limit’ viene ignorato e i redirect vengono seguiti fino a quando non raggiungono una risposta non-3XX (o fino a quando il tuo limite ‘Max Redirects To Follow’ viene raggiunto sotto ‘Config > Spider > Limits’). Questo ti evita di dover caricare più liste di URL di destinazione ogni volta per raggiungere la fine della catena.
Alla fine del crawl potrai utilizzare il report “All Redirects” che ti mapperà l’intera catena di reindirizzamenti in un unico rapporto.