Le bot de recherche de Google (Googlebot) analyse le dossier de robots.txt pour trouver les sections exclues de l'emplacement comme tous les bons webbots. Cependant � la diff�rence des autres bots, le bot de Google se comporte diff�remment quand vous avez une section pour tous les bots (*) aussi bien qu'une section sp�cifiquement pour Googlebot.

Disons-vous ont une section dans robots.txt pour tous les bots commen�ant par :
Utilisateur-Agent : *

�galement supposons que vous n'avez aucune section sp�cifiquement vis�e � Googlebot. Dans ce cas-ci le bot de Google est conforme aux directives globales (applicables � tous les bots). Ajoutez de quelque mani�re que maintenant une section sp�cifiquement pour Googlebot comme ceci :
Utilisateur-Agent : Googlebot

J'ai suppos� qu'il sera conforme les aux deux les directives pour tous les bots (*) aussi bien que les directives sp�cifiquement pour Googlebot. Selon robots.txt le contr�leur dans le Webmaster de Google usine, dans un tel cas Googlebot se conforme seulement aux directives sp�cifiquement vis�es pour Googlebot et ignore les directives globales pour tous les bots (*), m�me lorsque les directives sont non-recouvertes.
D'autres bots comprenant celui de Google ne d�montrent pas cette idiosyncrasie.