La scheda dedicata al “Response Tab” mostra lo stato HTTP e gli Status Code degli URL interni ed esterni scoperti durante la scansione. Ecco nel dettaglio tutte le colonne a tua disposizione:
- Address: L’URL sottoposto a scansione.
- Content: identifica la tipologia di contenuto presente nell’URL (text/html, image/png, image/jpg, etc).
- Status Code: visualizza il codice di risposta HTTP (200, 3xx, 4xx, 5xx, no response).
- Status: restituisce la risposta dell’intestazione HTTP (ok se risponde 200, Not Found, Moved Permanently, etc.).
- Indexability: definisce se l’URL è indicizzabile o non indicizzabile.
- Indexability Status: il motivo per cui un URL non è indicizzabile. Per esempio, se è canonicalizzato ad un altro URL o “noindex” o “Redirected”.
- Inlinks: corrisponde al numero di inlinks interni presenti nella pagina. Gli ‘inlink interni’ sono link che puntano a un dato URL da risorse dello stesso sottodominio scansionato.
- Response Time: identifica il tempo necessario in secondi per scaricare l’URL.
- Redirect URL: nel caso in cui l’indirizzo URL faccia un reindirizzamento, questa colonna include la destinazione dell’URL.
- Redirect Type: la colonna può contenere
- HTTP Redirect: reindirizzamento innescato da un’intestazione HTTP.
- HSTS Policy: reindirizzamento causato di una precedente intestazione HSTS.
- JavaScript Redirect: innescato dall’esecuzione di JavaScript. Lo puoi ottenere solo se hai scelto la modalità di scansione rendering JavaScript.
- Meta Refresh Redirect: innescato da un tag meta refresh nell’HTML della pagina.
Nella scheda “Response Code” hai a disposizione i seguenti filtri:
Blocked by Robots.txt: il filtro definisce tutti gli URL bloccati dal robots.txt del sito che non permettono allo Spider di scansionare quelle risorse e, di conseguenza di non poter indicizzarle sui Motori di Ricerca.
Ogni risposta “0” nella colonna Status Code identifica la mancanza di una risposta HTTP del server, la colonna Status ne identifica il motivo. Nell’esempio sopra lo user-agent dello Spider è stato bloccato dal robots.txt attraverso la direttiva “disallow” ed essendo bloccato non può valutare la risposta HTTP.
Blocked Resource: tutte le risorse che sono bloccate dal robots.txt di un sito web come le immagini, il JavaScript e i CSS. Questo filtro si popola solo se hai abilitato il rendering JavaScript. Ricorda che le risorse bloccate appaiono sotto ‘Blocked by Robots.txt’ se non è stata abilitata la modalità Javascript dalle configurazioni.
No Response: visualizza dati relativi agli URL che non inviano una risposta alla richiesta HTTP del Seo Spider. Nel caso più comune corrisponde ad un URL digitato in modo scorretto, timeout di connessione, connessione rifiutata o errore di connessione. Con lo Status “No Response” il SEO Spider ha problemi a creare connessioni o a ricevere risposte. Il problema potrebbe essere il Proxy.
Lo Status “DNS lookup failed” identifica che il sito non è stato trovato per nulla per un errore di immissione del dominio o per una mancanza di connessione alla rete.
L’avviso “Connection Timeout” identifica che Screaming Frog ha richiesto l’HTTP response dal server ma non ha ricevuto risposta entro 20 secondi. Per ovviare al problema è possibile aumentare il “Response Timeout” dalle configurazioni o diminuire la velocità dello spider (Lowering Speed) per non caricare il Server e dargli più tempo per la risposta.
Una ‘Connection Refused’ viene restituita quando il tentativo di connessione del Seo Spider è stato rifiutato in qualche punto tra la macchina locale e il sito web. I problemi più comuni sono relativi alla presenza di firewall e dal tentativo di bloccare un user agent sconosciuto. Per risolvere questa condizione ti consiglio di cambiare lo “user-agent” da “Screaming Frog Seo Spider” a “Chrome”.
- Success (2XX): l’URL richiesto è stato ricevuto, compreso, accettato ed elaborato con successo. Idealmente tutti gli URL incontrati in un crawl dovrebbero restituire un codice di stato ‘200’ con uno stato ‘OK’, che è perfetto per il crawling e l’indicizzazione dei contenuti.
- Redirection (3XX): è stato riscontrato un reindirizzamento come 301 o 302. Idealmente ogni link interno dovrebbe collegarsi ad una risposta con status code 200 ed evitare collegamenti che facciano fare dei passi in più allo Spider in un’ottica di salvaguardare il Crawling Budget.
- Redirection (JavaScript): è stato incontrato un reindirizzamento lato JavaScript.
- Redirect (Meta Refresh): è stato riscontrato un reindirizzamento mediante “Meta Refresh”.
- Client Error (4xx): il filtro visualizza le risorse per le quali si è verificato un problema con la richiesta. Queste possono includere risposte come 400 bad request, 403 Forbidden, 404 Page Not Found, 410 Removed, 429 Too Many Requests e altro. I Client Errors come i 404 dovrebbero essere ottimizzati per non sprecare il Crawling Budget. Per farlo puoi modificare la sorgente del collegamento, rimuovere questi collegamenti ad esempio con il file l’htaccess modificando lo status code a 410 o reindirizzarli dove appropriato.
- Errore del server (5XX): il server non è riuscito a soddisfare una richiesta apparentemente valida. Questo può includere risposte comuni come “500 Internal Server Errors” e 503 “Server Unavailable”. Una percentuale alta di questo errore potrebbe indicare un server sotto stress o una configurazione errata che richiede ulteriori indagini.
