O bot da busca de Google (Googlebot) analisa gramaticalmente a lima de robots.txt para encontrar se��es exclu�das do local como todos os bons webbots. Entretanto ao contr�rio dos outros bot, o bot de Google comporta-se diferentemente quando voc� tem uma se��o para todos os bot (*) assim como uma se��o especificamente para Googlebot.

Deixe-nos diz�-lo t�m uma se��o em robots.txt para todos os bot que come�am com:
Usu�rio-Agente: *

Deixe-nos igualmente supr que voc� n�o tem nenhuma se��o alvejada especificamente a Googlebot. Neste caso o bot de Google cumpre com as diretrizes orientadoras globais (aplic�veis a todos os bot). Adicione de qualquer modo agora uma se��o especificamente para Googlebot como esta:
Usu�rio-Agente: Googlebot

Eu supor que cumprir� com ambas as diretrizes orientadoras para todos os bot (*) assim como as diretrizes orientadoras especificamente para Googlebot. Como por o verificador de robots.txt no Webmaster de Google utiliza ferramentas, em tal caso Googlebot cumpre somente com as diretrizes orientadoras alvejadas especificamente para Googlebot e ignora as diretrizes orientadoras globais para todos os bot (*), mesmo quando as diretrizes orientadoras s�o non-overlapping.
Outros bot que incluem aquele de Google n�o demonstram esta idiossincrasia.