Spider&Bot

Anche se è possibile su alcuni motori che l’inserimento dei link al sito venga effettuato manualmente con un processo che viene chiamato “Add URL”, nella maggior parte dei casi questo processo avviene in seguito al passaggio di uno Spider o un Bot.
Uno spider è un programma che ha il compito di leggere una o più pagine di uno o più siti web. Questo avviene in automatico percorrendo il web e seguendo solo quelle catene di link che, partendo dalle pagine già presenti nel database, si diramano per tutta la Rete. Lo spider può essere immaginato come un browser che visualizza il contenuto delle pagine come un essere umano ma ha capacità di lettura molto limitate rispetto a quelli moderni. Questo spiega perché non riesca a leggere i Javascript, i files Flash ed in generale tutte quelle parti che non vengono stampate direttamente sul browser. Il suo obiettiv è quello di tenere traccia di quali informazioni il sito contiene e indicare al navigatore l’elenco di quei siti che hanno maggiore attinenza con la ricerca che sta eseguendo.
Perché ciò sia possibile, il software dei motori deve poter leggere le informazioni e catalogarle o indicizzarle in qualche modo. Tutto quello che non è direttamente leggibile, non è indicizzabile o catalogabile. Tutta la grafica di un sito, quindi, può avere significato per un uomo, ma non ne ha alcuno (o pochissimo) per un motore di ricerca. In generale possiamo dire che possono essere considerati utili, al fine dell’indicizzazione, esclusivamente i testi all’interno del tuo sito web.