Como diagnosticar bloqueio de robots.txt no Google

robots.txt controla rastreamento e não substitui diretiva de indexação. Localize a regra e confirme se ela afeta mais páginas do que o esperado.

Passo a passo

1. Abra https://seu-dominio/robots.txt e confirme que está no host/protocolo canônico. Copie o caminho exato da página que falha e confira se a resposta é o arquivo esperado, sem bloqueio de CDN, autenticação ou erro de servidor.
2. Leia o grupo que corresponde ao Googlebot (ou ao User-agent: * aplicável). Procure Disallow e Allow que correspondam ao caminho; quando regras concorrentes se aplicam, o Google considera a regra mais específica. Exemplo: Disallow: /privado/ bloqueia caminhos sob /privado/, enquanto Allow: /privado/ajuda/ pode liberar esse subcaminho. Não interprete robots.txt como mecanismo de noindex.
3. Compare três URLs: a página afetada, uma página irmã que deve continuar rastreável e um recurso necessário à renderização (CSS/JS) se relevante. Considere padrões * e $ e confirme que a regra está no grupo certo; não edite baseada só numa busca textual por Disallow.
4. Se a regra estiver errada, ajuste apenas a linha/grupo responsável, publique e recarregue o arquivo do host/CDN. Use a inspeção de URL no Search Console e o teste ao vivo para verificar se o Google consegue buscar a URL. O antigo testador público de robots.txt não é o fluxo atual. Revise URLs irmãs e recursos antes de concluir.

Como comprovar que a tarefa terminou

Registre propriedade, URL, data, status observado e evidência antes/depois da correção. Diferencie um exemplo isolado de um padrão que afeta um template inteiro. Refaça a inspeção após publicar e confirme o caminho real de navegação.

Checklist de revisão

• A regra não bloqueia páginas públicas por engano.
• Compare a informação com o que aparece na página e com a configuração ativa.
• Registre o responsável, a data da revisão e o resultado do teste.

Limites e interpretação

robots.txt controla rastreamento, não garante desindexação: uma URL bloqueada ainda pode aparecer sem snippet se descoberta por links. Para impedir indexação, use uma diretiva de indexação que o robô possa rastrear e ver; não bloqueie a URL antes que essa diretiva seja lida. Uma regra ampla pode impedir o Google de buscar muitas páginas, então compare a amostra afetada e a mudança em staging quando possível. Nenhum teste promete indexação ou posição.

Continue na biblioteca

Consulte também o hub de seo para aprofundar as etapas relacionadas.

Fontes oficiais: como o Google interpreta robots.txt e introdução ao robots.txt.