Il bot di ricerca del Google (Googlebot) analizza la lima di robots.txt per trovare le sezioni escluse del luogo come tutti i buoni webbots. Tuttavia diverso degli altri bots, il bot del Google si comporta diversamente quando avete una sezione per tutti i bots (*) cos� come una sezione specificamente per Googlebot.

Diciamolo hanno una sezione in robots.txt per tutti i bots a cominciare da:
Utente-Agente: *

Inoltre supponiamo che non avete alcuna sezione specificamente designata a Googlebot. In questo caso il bot del Google aderisce agli indirizzamenti globali (applicabili a tutti i bots). Per quanto ora aggiunga una sezione specificamente per Googlebot come questa:
Utente-Agente: Googlebot

Ho supposto che aderir� agli entrambi indirizzamenti per tutti i bots (*) cos� come gli indirizzamenti specificamente per Googlebot. Secondo robots.txt l'ispettore nel Webmaster del Google lavora, in tale caso Googlebot aderisce soltanto agli indirizzamenti specificamente designati per Googlebot ed ignora gli indirizzamenti globali per tutti i bots (*), anche quando gli indirizzamenti sono non sovrapponibili.
Altri bots compreso quello di Google non dimostrano questa idiosincrasia.