Validar robots.txt online

Um Disallow no lugar errado pode tirar o site inteiro do índice, e às vezes você só percebe semanas depois. Cole o conteúdo do seu robots.txt e receba o detalhamento de cada grupo de agente, suas regras e os sitemaps declarados.

Usar ferramenta

PROCESSAMENTO LOCAL

Tudo acontece no seu navegador

O arquivo e o texto não saem do seu dispositivo.

EntradaResultado

Cole o robots.txt para validar as diretivas.

O que a análise mostra

As diretivas aparecem agrupadas por User-agent, com as regras Allow e Disallow de cada um e as linhas Sitemap declaradas. Assim fica evidente quando uma regra escrita para um robô específico está valendo para todos os rastreadores, que é o erro mais caro e mais frequente.

O erro que mais custa tráfego

Um Disallow: / sob User-agent: * bloqueia o rastreamento do domínio inteiro. Normalmente chega à produção em um deploy vindo do ambiente de homologação, onde essa linha é correta. Nenhum alerta dispara: a indexação decai em silêncio até as páginas sumirem dos resultados.

Bloquear rastreamento não é desindexar

O robots.txt controla se um rastreador pode buscar uma URL, não se pode exibi-la. Uma página bloqueada por Disallow ainda pode aparecer no Google quando há links externos apontando para ela, porque o buscador conhece a URL mesmo sem conseguir ler o conteúdo. Para remover uma página do índice é preciso uma tag noindex, e para isso o rastreador precisa poder ler a página.

PERGUNTAS FREQUENTES

Meu arquivo é enviado para algum servidor?

Não. O texto colado é processado por JavaScript no seu próprio navegador e nunca sai do seu equipamento.

Ele testa se uma URL específica está bloqueada?

A análise separa os grupos de agentes e suas regras para você identificar qual padrão se aplica. A correspondência final depende do rastreador, porque Google e Bing resolvem de formas distintas os conflitos entre Allow e Disallow sobrepostos.

Onde o arquivo robots.txt precisa ficar?

Na raiz do domínio, em /robots.txt. Um arquivo em subdiretório é ignorado, e cada subdomínio precisa do seu próprio.

E se o site não tiver robots.txt?

Isso é interpretado como permissão para rastrear tudo. Não ter o arquivo não é um erro em si, mas você perde o lugar padrão para declarar seu sitemap.