Il Crawler è anche conosciuto come spider o bot e viene usato dai motori di ricerca per raccogliere tutte le informazioni utili per poter indicizzare, periodicamente ed in maniera automatica, la pagina web o per convalidare i codici HTML, o per verificare tutti i collegamenti ipertestuali su ogni pagina. Solitamente, acquisisce una copia del testo di tutti i documenti che visitano e la inseriscono all’interno di un indice: un enorme database chiamato index.
Ogni sito dispone di un diverso crawl budget. Google, Bing o altri motori di ricerca forniscono al crawler una lista di vari link da analizzare. Successivamente, il crawler, inizia la scansione ed individua tutte le parti testuali presenti all’interno delle pagine e li aggiunge agli URL da analizzare.
Google ed altri motori di ricerca, infine, posizionano le pagine della SERP.
That’s all Folks!