FARE IL CRAWL DI UNA SOTTOCARTELLA

0
457

Per impostazione predefinita il Seo Spider esegue una scansione completa del “root domain” o sottodominio ma può capitare per esigenze di tempo o per rispondere ad un focus preciso che tu abbia la necessità di fare una scansione solo parziale di un sito web.
Vediamo insieme come ottenere un crawl di una sottocartella specifica.

Esempio: 

Vuoi analizzare gli errori e criticità presenti solamente nell’area blog del sito web di Screaming Frog: https://www.screamingfrog.co.uk/blog/ 

Per questa scansione parziale è sufficiente inserire l’URL della sottocartella, avviare il Seo Spider e lasciare concludere il crawl. In questo modo troverai popolata la finestra principale con gli URL della sottocartella, i rispettivi filtri e metriche.

Come potrai constatare durante i tuoi test, oltre agli URL della “subfolder”, saranno presenti anche ulteriori URL che non appartengono all’area che avevi limitato. 

Questo comportamento anomalo però non è un bug del sistema ma rappresenta una funzionalità intrinseca del Seo Spider. 

Infatti il crawler considera in prima istanza la sottocartella ma segue contestualmente anche tutti i link presenti proponendo i dati degli URL collegati. 


Questo accorgimento è vitale per un’analisi più accurata e ti aiuta a scoprire eventuali collegamenti interrotti che partono dalla sottocartella verso URL esterni.

Configuration > Spider > Crawl Behaviour > Check Links Outside of Start Folder

Nota Bene: il Seo Spider è in grado di scansionare una sottocartella solo con questa sintassi “../nomecartella/”; se dimentichi lo “/” finale Screaming Frog non la riconosce. La medesima situazione si verifica quando la versione con “/” finale presenta un redirect verso la versione senza.

Un’ulteriore alternativa per scansionare una sottocartella è quella di utilizzare la funzione “include” sfruttando le regole RegEX.

Configuration > Include > .*/blog.*