O arquivo robots.txt informa regras de acesso a crawlers no nível do host. Ele pode orientar a exploração de caminhos, mas não é controle de acesso e não garante que um endereço não apareça nos resultados. Uma URL bloqueada pode ser descoberta por links, mesmo sem o conteúdo ser rastreado.
1. Confira o arquivo publicado
Acesse https://seudominio.com.br/robots.txt no host certo e verifique resposta, conteúdo e ambiente. Sites com www, subdomínios ou staging podem ter arquivos diferentes. Um arquivo local no projeto não comprova que a versão pública foi atualizada.
2. Leia as regras por grupo
As diretivas mais comuns são User-agent, Disallow e Allow. Uma regra pode se aplicar a um crawler ou a todos; caminhos precisam corresponder ao padrão pretendido. Revise cada regra com um exemplo de URL que deveria ficar permitida e outra que deveria ficar bloqueada.
| Objetivo | Verificação |
|---|---|
| Permitir o site público | Não há regra ampla impedindo o conteúdo principal? |
| Evitar rastrear uma área | O caminho bloqueado é realmente descartável para crawler? |
| Informar sitemap | A URL do sitemap é absoluta e corresponde ao host? |
| Proteger dados | Use autenticação; robots.txt é público e não é segurança. |
A introdução oficial explica que robots.txt controla rastreamento, não a presença no índice: guia do Google.
3. Não misture rastreamento e indexação
Se o Google não consegue rastrear a página, pode não ler uma regra noindex presente nela. Para solicitar a exclusão do índice, a página precisa continuar acessível ao crawler para que ele leia a regra, ou o conteúdo precisa exigir autenticação. Veja como usar noindex.
4. Teste a intenção e acompanhe
Valide a resposta pública e use a inspeção de URL do Search Console para páginas importantes. Confira logs do servidor quando disponíveis. Não cole regras genéricas encontradas em outro site sem analisar rotas, arquivos necessários, busca interna e ambiente de publicação.