Vista l’importanza ed evoluzione delle leggi sulla privacy è diventato sempre più importante capire la presenza e lo scopo dei cookies sul nostro sito web in modo da essere conformi ed non incorrere a sanzioni. Grazie a Screaming Frog hai la possibilità di identificare i cookie che vengono impostati automaticamente senza il consenso esplicito dell’utente sull’intero tuo progetto.
- 1. Abilita l’opzione ‘Cookies’ per l’estrazione con Screaming Frog
La prima azione è quella di abilitare l’estrazione dei cookie sul tuo sito web attraverso l’opzione “Config > Spider > Extraction” e selezionare “Cookies” sotto “URL Details”. In questo modo il Seo Spider salva tutti i cookie scoperti durante la scansione.

Quando scegli di memorizzare i cookie, l’esclusione automatica eseguita dal SEO Spider per i tag di monitoraggio di Google Analytics viene disabilitata per fornire una visione accurata di tutti i cookie emessi andando però a sporcare i dati di GA.
- 2. Abilita il rendering JavaScript
Modifica la tipologia di scansione attraverso ‘Config > Spider > Rendering’ e seleziona ‘JavaScript’ per intercettare i cookie che vengono caricati utilizzando JavaScript o i tag pixel image.

La dimensione della finestra di default è impostata automaticamente su Googlebot Smartphone, ma questo può essere regolato su desktop se ci sono differenze nel modo in cui il sito emette i cookie.
- 3. Imposta lo user-agent su Chrome
Per simulare al meglio la navigazione di un utente e non di un Bot modifica l’user-agent su Chrome tramite “Config > User-agent”.

- 4. Imposta l’opzione “Ignora robots.txt”
Clicca su “Configuration > robots.txt “ e seleziona “Ignore robots.txt” o “Ignore robots.txt but report status”. Questa operazione ti permette di caricare tutte le risorse e rispettivi cookie ed evitare che alcune risorse siano bloccate durante la scansione.

- Esegui il crawling del sito web
- Visualizza il numero di cookie per ogni URL
Dopo la scansione sei in grado di vedere quanti cookie sono stati scoperti per ogni URL scansionato. Questo indice lo trovi nella scheda “Internal” nella colonna “cookies”.

- 7. Visualizza la Tab Cookies
Adesso non ti resta che vedere quali siano i cookie scoperti durante il crawl; ti basta cliccare su uno o più URL della finestra superiore per trovare tutti i dettagli nel pannello inferiore della tab “Cookie”.

Di seguito un esempio della tab “Cookie” popolata con i dettagli.

Le colonne a tua disposizione sono le seguenti:
- Cookie Type: identifica dove il cookie è stato scoperto ( “HTTP”, “On-Page” etc).
- Cookie Name: colleziona il nome del cookie.
- Cookie Value: definisce il valore del cookie.
- Domain: mostra il dominio che ha emesso il cookie di prima o di terza parte.
- Expiration Time: indica il tempo di scadenza del cookie.
- Secure: visualizza i dettagli dell’attributo di sicurezza del cookie.
- HttpOnly: mostra i dettagli dell’attributo HttpOnly del cookie.
- Address: visualizza l’URL su cui è stato trovato il cookie.
- 8. Esporta il rapporto aggregato sui cookie
Ora sei in grado di esportare un preziosissimo riepilogo aggregato sui cookie scoperti.
Report > Cookie > Cookie Summary

Il rapporto visualizza una vista aggregata dei cookie unici scoperti durante una scansione, considerando il loro nome, dominio, scadenza, valori di sicurezza e HttpOnly. Viene visualizzato anche il numero di URL su cui ogni cookie unico è stato emesso.

- 9. Esporta in blocco tutti i dettagli dei cookie
Per un’analisi più specifica puoi cliccare su “Bulk Export-Esportazione in blocco > Web > All Cookies” per ottenere per ogni singolo URL i cookie e gli attributi relativi.

Per avere la certezza di scoprire tutti i cookies di un sito web è consigliabile controllarli dopo l’accettazione del “Consent Banner”.
Tips: per ovviare a questa criticità puoi utilizzare l’autenticazione ‘Forms Based’ di Screaming Frog ed accettare il pop-up sui cookie eseguendo una scansione come se lo avessi accettato.
“Config > Authentication > Forms Based”, poi clicca su “Add”, inserisci l’URL del sito web e clicca su ‘OK’.

Seguendo gli step elencati precedentemente seii in grado di confrontare i cookie scoperti con e senza accettazione.