Google compreende o robots.txt em branco

Soluções na medida do seu negócio

Google compreende o robots.txt em branco

{itemcontente}

John Mueller, do Google, disse em um tópico do Reddit que usar um arquivo robots.txt em branco ou apenas declarar que tudo é permitido seria o mesmo entendimento, não importa qual você use.

Mueller disse “Não importa” quando lhe perguntaram. Mas existe alguma diferença?

Embora Dissallow: (em branco), pareça mais eficiente. O Google também compreende da mesma forma a diretiva Allow: /.

Ele disse: “Não importa. Você também pode usar um comentário como:”

# não há diretivas para robots.txt aqui

O post Google compreende o robots.txt em branco apareceu primeiro em Google Discovery.

Autor: Renê Fraga
Fonte: Google Discovery