Gli Spiders

Lo spider (detto anche crawler, o robot), dall’inglese “ragno”, è un software, un
programmino dei motori di ricerca che ha lo scopo di analizzare, ricercare ed elaborare i contenuti dei siti web e delle sue pagine. Spiegato in soldoni, lo spider entra nel sito, analizza tutti i contenuti e naviga all’interno delle pagine del sito stesso attraverso i link
(collegamenti).

Così facendo, lo spider riesce a farsi un’idea di come è fatto un sito web (analizzando
ovviamente soltanto codici e contenuti) e in base ai risultati rilevati, invia i dati al database dei motori di ricerca il quale inserisce questi dati e li elabora per mostrare la SERP. Lo scopo finale è quello di “valutare” un sito web per posizionarlo all’interno dei risultati di ricerca per determinate keywords.

In pratica gli spiders vanno a ricercare i fattori che l’algoritmo dei motori di ricerca elabora e calcola. Se l’algoritmo di Google valuta più di 200 fattori, significa che il suo spider, entra nei siti web alla ricerca di questi +200 fattori per fare in modo che l’algoritmo abbia i dati per calcolare il tutto.

Per fare in modo che uno spider, riesca ad analizzare totalmente le pagine web di un sito, bisogna organizzare il proprio sito web in un certo modo. La soluzione ottimale sarebbe fare in modo che da qualsiasi punto del sito (pagina) si riesca ad arrivare a tutte le pagine del sito web. (ad esempio inserendo una barra navigazionale che sia sempre presente nell’Header del sito).

In ogni caso, la soluzione minima è quella di inserire almeno nella Home Page del sito tutti i collegamenti ad altre pagine. Ma se optiamo per la prima soluzione, non avremmo problemi di indicizzazione (l’indicizzazione consiste nella scannerizzazione e nell’inserimento di tutte le pagine del nostro sito web nel database di un motore di ricerca).

Gli spiders, come abbiamo già accennato, analizzando il codice della pagina e i suoi
contenuti. Immagini, animazioni flash, codice javascript, non sono elementi che uno spider riesce a scannerizzare e rilevare. Pertanto l’ottimizzazione SEO si basa su queste
informazioni che conosciamo sugli spiders. Conoscere gli spiders significa conoscere cosa un motore di ricerca “vede” e rileva nel nostro sito e possiamo orientare le nostre strategie su questo.

Gli Spiders, in un certo senso, possono essere controllati dal webmaster. “In un certo senso”, perchè, il webmaster può creare un file di testo, il robots.txt nel quale può inserire, con pochissime e semplici istruzioni, cosa far analizzare e cosa non far analizzare allo spider. Può anche inserire istruzioni che bloccano la scannerizzazione dello spider.

Dopo aver scritto il file robots.txt, questo lo si invia nella root dell’hosting del sito web.
Sta poi allo spider decidere se seguire o non seguire queste indicazioni. Nel 99% dei casi, lo spider esegue le istruzioni del file robots.txt, in quanto, ci potrebbero essere contenuti che il webmaster non vuole mostrare nei risultati di ricerca, come pagine di amministrazione segrete, ecc.

Lasciamo quell’1% libero perchè, gli spiders non sono in mano nostra e non sappiamo se
tutti i motori di ricerca rispettano questa scelta.

Alcuni dei nomi degli spiders dei motori di ricerca più importanti:

-Googlebot (Google)
-Scooter (Altavista)
-Yahoo!Slurp (Yahoo)
-DuckDuckbot (DuckDuckGo)
-Ask Jevees (Ask)