Generador de Robots.txt

Genera un robots.txt listo para producción con reglas de allow/disallow, crawl-delay y sitemap para cada bot.

Entrada

Usa esta herramienta gratuita Generador de Robots.txt para genera un archivo robots.txt para tu sitio web.

Sobre el Generador de Robots.txt

robots.txt es el primer archivo que leen los rastreadores para saber qué carpetas visitar o evitar. Este generador crea directivas ordenadas para controlar accesos a secciones privadas, administradores o entornos de staging sin editar manualmente.

Cómo funciona el generador de robots.txt

El generador construye las directivas línea por línea, no a partir de una plantilla. Tu dominio se limpia de espacios y barras finales y sirve para el comentario de cabecera y, si dejas vacío el campo de sitemap, para deducir dominio/sitemap.xml. Los user agents se separan por saltos de línea y se recortan; si la lista queda vacía se usa User-agent: *. Cada ruta se normaliza: si no empieza por /, * o http, se le añade una barra inicial. Cuando no hay rutas Disallow, el grupo escribe un Disallow: vacío, la forma que define el RFC 9309 para indicar que todo es rastreable. Bloquear todo sustituye las reglas por Disallow: /. El Crawl-delay se repite en cada grupo y el Sitemap se añade una sola vez.

Ventajas clave

Normaliza las barras iniciales y separa las directivas por grupo de user agent.
Añade líneas `Disallow:` vacías cuando todo está permitido para evitar malentendidos.
Procesa todo en tu navegador, ideal para URLs aún no públicas.

Cómo configurar tu robots.txt

1

Introduce el dominio principal para anotar el encabezado y sugerir automáticamente la ubicación del sitemap.

2

Lista los user agents (uno por línea) o deja el campo vacío para apuntar a todos con `User-agent: *`.

3

Agrega rutas permitidas o bloqueadas, o activa Bloquear Todo para entornos privados. Usa una ruta por línea.

4

Define opcionalmente crawl-delay y URL del sitemap y copia el archivo generado en `/robots.txt`.

Errores comunes

Olvidar desactivar Bloquear Todo al publicar en producción.
Omitir la barra inicial en las carpetas (el generador la añade, pero revisa patrones especiales).
Configurar demoras muy largas que ralentizan el rastreo.

Ver también

  • Contador de sitemap — Cuando la línea Sitemap apunte a tu archivo XML, comprueba cuántas URL declara realmente ese sitemap.
  • Verificador de estado HTTP — Tras subir el archivo, confirma que /robots.txt devuelve 200 y no una redirección o un soft 404.

Preguntas frecuentes

¿Es obligatorio tener robots.txt?

No es obligatorio, pero ayuda a los buscadores a entender qué saltarse y dónde está tu sitemap.

¿Puedo apuntar a bots específicos?

Sí. Escribe Googlebot, Bingbot o cualquier agente en líneas separadas para crear secciones dedicadas.

¿Bloquear aquí elimina URLs ya indexadas?

No. Solo afecta rastreos futuros; usa etiquetas `noindex` o herramientas de eliminación para limpiar lo existente.

¿Se guarda la información?

No, todo se genera localmente.