Gerador de Robots.txt

Gere um robots.txt pronto para produção com regras de allow/disallow, delays e sitemap para cada bot.

Entrada

Use esta ferramenta gratuita Gerador de Robots.txt para gere um arquivo robots.txt para o seu site.

Sobre o Gerador de Robots.txt

O robots.txt é o primeiro arquivo que os robôs leem para saber o que visitar ou ignorar. Este gerador cria diretivas bem estruturadas para proteger áreas administrativas, ambientes de staging ou campanhas confidenciais sem edição manual.

Como funciona o gerador de robots.txt

O gerador monta as diretivas linha a linha, e não a partir de um modelo. Seu domínio perde espaços e barras finais e é usado no comentário de cabeçalho e, se você deixar o campo de sitemap vazio, para deduzir dominio/sitemap.xml. Os user agents são separados por quebras de linha e aparados; se a lista ficar vazia, usa-se User-agent: *. Cada caminho é normalizado: se não começar com /, * ou http, recebe uma barra inicial. Quando não há caminhos Disallow, o grupo escreve um Disallow: vazio, a forma prevista no RFC 9309 para dizer que tudo pode ser rastreado. Bloquear tudo substitui as regras por Disallow: /. O Crawl-delay se repete em cada grupo e o Sitemap entra uma única vez.

Diferenciais

Normaliza barras iniciais e separa diretivas por grupo de user agent.
Inclui `Disallow:` em branco quando tudo está liberado para evitar interpretações erradas.
Executa 100% no navegador, mantendo URLs inéditas em segurança.

Como configurar

1

Informe o domínio principal para preencher o cabeçalho e sugerir automaticamente o sitemap.

2

Liste os user agents (um por linha) ou deixe vazio para aplicar `User-agent: *`.

3

Adicione caminhos permitidos ou bloqueados, ou ative Bloquear Todos para ambientes privados. Use um caminho por linha.

4

Defina opcionalmente o crawl-delay e a URL do sitemap e copie o arquivo para `/robots.txt`.

Erros comuns

Manter Bloquear Todos ligado ao publicar.
Esquecer da barra inicial nos diretórios (o gerador adiciona, mas revise padrões incomuns).
Usar delays muito longos que retardam a indexação.

Veja também

  • Contador de sitemap — Depois que a linha Sitemap apontar para o seu arquivo XML, confira quantas URLs esse sitemap realmente declara.
  • Verificador de status HTTP — Depois de enviar o arquivo, confirme que /robots.txt retorna 200 e não um redirecionamento ou um soft 404.

Perguntas frequentes

Preciso mesmo de um robots.txt?

Não é obrigatório, mas é recomendado para orientar os buscadores e indicar o sitemap.

Posso criar regras para bots específicos?

Sim, basta listar os agentes linha a linha para gerar seções dedicadas.

Bloquear aqui remove URLs já indexadas?

Não. A instrução apenas orienta os próximos crawls; use `noindex` ou remoções para limpar o que já está no índice.

Os dados enviados são armazenados?

Não, tudo acontece localmente no navegador.