Cos’è uno Spider?

Uno Spider (o robot) è un sistema automatico di navigazione internet che i motori di ricerca utilizzano per scandagliare la rete alla ricerca di pagine nuove o aggiornate…

La frequenza o l’accettazione di visite degli Spider in un sito, è gestibile dai metatag di pagina. Prendete come esempio il seguente codice:

Che è praticamente l’invito agli spider di tornate ogni 3 giorni.

Le prime visite, degli Spider, saranno saltuarie e poco regolari e non registreranno oltre che l’Index del sito.
Inseguito gli Spider, dopo aver verificato che il sito continua ad esestere, si muoveranno sempre più nell’interno “dell’albero” del sito.
Un codice html pulito facilita il passagio di questi benvenuti(quasi sempre) ospiti. Per codice pulito intendo dire che, il link riferiti alle pagine interne del sito, è bene che siano semplici url e non Javascript, Applet, Flash link, altrimenti lo spider non potrà valicare l’ostacolo e la pagina non sarà mai indicizzata e di conseguenza, mai trovata via motore di ricerca.
A volete accade di trovarsi davanti a siti con Pagerank 3/4 nella pre homepage (o intropage), ma con Pagerank zero nelle sue interne. Questo è un tipico caso duvuto dal fatto che lo spider non riesce a risalire sulla homepage per colpa di un link non “pulito” (come ho spiegato sopra).
Per lo stesso motivo i siti in Flash hanno poco potere sui motori di ricerca. Comunque è già stato comunicato che in futuro anche gli .SWF saranno indicizzati.

Per questioni di scelta si può anche proibire l’indicizzazione di pagine o consentirne il solo passaggio come in questo esempio di codice:

Ecco altri CONTENT che possono essere utilizzati:

all indica che tutte le pagine possono essere indicizzati

• none indica che nessun file va indicizzato e che non vanno attuati i collegamenti inseriti nella pagina
• index indica che la pagina può essere indicizzata
• noindex indica che la pagina non può essere indicizzata
• follow indica che lo spider può seguire i collegamenti dalla pagina in oggetto ad altre pagine
• nofollowindica che lo spider non può seguire i collegamenti dalla pagina in oggetto ad altre pagine