Gerador de Robots.txt

Sobre o Gerador de Robots.txt

O robots.txt é o primeiro arquivo que os robôs leem para saber o que visitar ou ignorar. Este gerador cria diretivas bem estruturadas para proteger áreas administrativas, ambientes de staging ou campanhas confidenciais sem edição manual.

Diferenciais

Normaliza barras iniciais e separa diretivas por grupo de user agent.

Inclui `Disallow:` em branco quando tudo está liberado para evitar interpretações erradas.

Executa 100% no navegador, mantendo URLs inéditas em segurança.

Como configurar

Informe o domínio principal para preencher o cabeçalho e sugerir automaticamente o sitemap.

Liste os user agents (um por linha) ou deixe vazio para aplicar `User-agent: *`.

Adicione caminhos permitidos ou bloqueados, ou ative Bloquear Todos para ambientes privados. Use um caminho por linha.

Defina opcionalmente o crawl-delay e a URL do sitemap e copie o arquivo para `/robots.txt`.

Erros comuns

Manter Bloquear Todos ligado ao publicar.

Esquecer da barra inicial nos diretórios (o gerador adiciona, mas revise padrões incomuns).

Usar delays muito longos que retardam a indexação.

Perguntas frequentes

Preciso mesmo de um robots.txt?

Não é obrigatório, mas é recomendado para orientar os buscadores e indicar o sitemap.

Posso criar regras para bots específicos?

Sim, basta listar os agentes linha a linha para gerar seções dedicadas.

Bloquear aqui remove URLs já indexadas?

Não. A instrução apenas orienta os próximos crawls; use `noindex` ou remoções para limpar o que já está no índice.

Os dados enviados são armazenados?

Não, tudo acontece localmente no navegador.