Generador de Robots.txt

Sobre el Generador de Robots.txt

robots.txt es el primer archivo que leen los rastreadores para saber qué carpetas visitar o evitar. Este generador crea directivas ordenadas para controlar accesos a secciones privadas, administradores o entornos de staging sin editar manualmente.

Ventajas clave

Normaliza las barras iniciales y separa las directivas por grupo de user agent.

Añade líneas `Disallow:` vacías cuando todo está permitido para evitar malentendidos.

Procesa todo en tu navegador, ideal para URLs aún no públicas.

Cómo configurar tu robots.txt

Introduce el dominio principal para anotar el encabezado y sugerir automáticamente la ubicación del sitemap.

Lista los user agents (uno por línea) o deja el campo vacío para apuntar a todos con `User-agent: *`.

Agrega rutas permitidas o bloqueadas, o activa Bloquear Todo para entornos privados. Usa una ruta por línea.

Define opcionalmente crawl-delay y URL del sitemap y copia el archivo generado en `/robots.txt`.

Errores comunes

Olvidar desactivar Bloquear Todo al publicar en producción.

Omitir la barra inicial en las carpetas (el generador la añade, pero revisa patrones especiales).

Configurar demoras muy largas que ralentizan el rastreo.

Preguntas frecuentes

¿Es obligatorio tener robots.txt?

No es obligatorio, pero ayuda a los buscadores a entender qué saltarse y dónde está tu sitemap.

¿Puedo apuntar a bots específicos?

Sí. Escribe Googlebot, Bingbot o cualquier agente en líneas separadas para crear secciones dedicadas.

¿Bloquear aquí elimina URLs ya indexadas?

No. Solo afecta rastreos futuros; usa etiquetas `noindex` o herramientas de eliminación para limpiar lo existente.

¿Se guarda la información?

No, todo se genera localmente.