Come fare lo scraping delle Google Search Features

0
232
scraping web on Screaming Frog

Il Motore di Ricerca si è molto evoluto negli ultimi 10 anni e la sua figura è passata dall’essere Caronte che trasporta Dante da una parte all’altra del fiume a quella di divulgazione informazionale del visitatore direttamente in Serp. Al giorno d’oggi sempre più dati e informazioni sono presenti direttamente nei risultati di Google attraverso i featured snippets (alias ‘posizione zero’), i knowledge panels e le domande correlate.

Secondo dati settoriali si stima che le “Question Tag” possono coprire fino al 90% delle SERP e questa tendenza va a pari passo con il declino del CTR organico. Questo dato influenza in modo diretto molte strategie di ottimizzazione che perdono nel tempo consistenza per la difficoltà sempre più crescente di far atterrare un visitatore sul proprio sito web dopo la consultazione del Motore di Ricerca.

Questa condizione apparentemente apocalittica però presenta anche dei vantaggi e nuove opportunità per i Seo; il saper sfruttare queste particolari Serp può portare a dei benefici notevoli per i professionisti più lungimiranti.

Come eseguire lo Scraping

  • 1. Ricerca delle Query

Il primo step è quello di utilizzare uno strumento per il controllo del posizionamento organico come ad esempio Semrush o Seozoom che ti permetta di controllare se una particolare query presenti in serp delle “Search Features”. Ad esempio Semrush prevede nel suo “Keyword Magic Tool” un filtro avanzato che semplifica questa fase di analisi.

  • 2. Preparazione del file di Scraping

Creato un documento con le parole chiave per cui vogliamo fare lo scraping su Google dovrai definire l’URL da dare in pasto al Seo Spider.

  • 3. Scarica il Google Search Features

Ora non ti resta che copiare e compilare il documento Google Search Features preparato dallo staff di Screaming Frog per ottenere l’Url da sottoporre al Crawl.

Inserite le Query avrai un risultato come il seguente:

  • https://www.google.co.uk/search?q=keyword+una
  • https://www.google.co.uk/search?q=keyword+due
  • https://www.google.co.uk/search?q=keyword+tre
  • ….
  • 4. Configura il Seo Spider

Conclusa la fase di ricerca è il momento di configurare il Seo Spider per fare lo Scraping e non venir bloccato dal Motore di Ricerca. Di seguito i passaggi da seguire:

Configuration > Spider > Rendering > JavaScript
Configuration > robots.txt > Settings > Ignore robots.txt
Configuration > User-Agent > Present User Agents > Chrome
Configuration > Speed > Max Threads = 1 > Max URI/s = 0.5

Seguendo queste impostazioni il Seo Spider sarà in grado di accedere alle funzioni in Serp e non dovrebbe incorrere in Captcha di protezioni del Motore di Ricerca. Una volta che hai impostato questa configurazione, ti consiglio di salvarla come una configurazione personalizzata che puoi caricare di nuovo in futuro.

  • 5. Imposta la Custom Extraction

Definito l’URL da scansionare non ti resta che istruire il Seo Spider su quali elementi estrarre dalla Serp di Google. Per farlo puoi utilizzare la funzione “Custom Extraction” e l’estrazione XPath.

Configuration > Custom > Extraction

Dal menu a discesa “Inactive” devi selezionare ‘XPath’. Dal nuovo menu a tendina che appare sul lato destro, devi selezionare il tipo di dati che stai cercando di estrarre.

Vediamo la sintassi da utilizzare per estrarre le domande correlate:

Domanda 1 - (//g-accordion-expander//h3)[1]
Domanda 2 - (//g-accordion-expander//h3)[2]
Domanda 3 - (//g-accordion-expander//h3)[3]
Domanda 4 - (//g-accordion-expander//h3)[4]

Nel nostro caso vogliamo estrarre il testo (Extract text) delle “related questions”.

  • 6. Crawl in modalità List Mode

Cambia la modalità di scansione da “Spider” a “List Mode”.

Mode > List

Torna al SEO Spider, premi il pulsante “Carica” e poi “Incolla” il tuo elenco di URL di ricerca create al punto 3.

  • 7. Analizza i dati

Completata la scansione ti basta navigare sulla colonna “Custom” ed utilizzare il filtro “Extraction”.

8. Bonus: lista di custom extraction

Di seguito una lista con la sintassi per l’estrazioni di diversi “Featured Snippet”:

Featured snippet page title (Text) – (//span[@class='S3Uucc'])[1]
Featured snippet text paragraph (Text) – (//span[@class="e24Kjd"])[1]
Featured snippet bullet point text (Text) – //ul[@class="i8Z77e"]/li
Featured snippet numbered list (Text) – //ol[@class="X5LH0c"]/li
Featured snippet table (Text) – //table//tr
Featured snippet URL (Inner HTML) – (//div[@class="xpdopen"]//a/@href)[2]
Featured snippet image source (Text) – (//img[@id="dimg_7"]//@title)