El bot de la b�squeda de Google (Googlebot) analiza el archivo de robots.txt para encontrar las secciones excluidas del sitio como cualquier buen webbots. Sin embargo desemejante de los otros bots, el bot de Google se comporta diferentemente cuando usted tiene una secci�n para todos los bots (*) as� como una secci�n espec�ficamente para Googlebot.

Dig�mosle tienen una secci�n en robots.txt para todos los bots que comienzan con:
Usuario-Agente: *

Tambi�n asumamos que usted no tiene ninguna secci�n apuntada espec�ficamente a Googlebot. En este caso el bot de Google se conforma con los directorios globales (aplicables a todos los bots). Al menos ahora agregue una secci�n espec�ficamente para Googlebot como esto:
Usuario-Agente: Googlebot

Asum� que se conformar� con ambos los directorios para todos los bots (*) as� como los directorios espec�ficamente para Googlebot. Seg�n robots.txt el inspector en el Webmaster de Google filetea, en tal caso Googlebot se conforma solamente con los directorios apuntados espec�ficamente para Googlebot y no hace caso de los directorios globales para todos los bots (*), incluso cuando los directorios son sin traslapo.
Otros bots incluyendo el de Google no demuestran esta idiosincrasia.