Générateur de Robots.txt

Générez un robots.txt prêt pour la production avec règles allow/disallow, crawl-delay et lien sitemap.

Entrée

Utilisez cet outil gratuit Générateur de Robots.txt pour générez un fichier robots.txt pour votre site web.

À propos du Générateur de Robots.txt

Robots.txt est le premier fichier lu par les crawlers pour savoir quelles sections visiter ou ignorer. Ce générateur produit des directives claires pour protéger l'administration, le staging ou toute zone sensible sans modifier le fichier à la main.

Comment fonctionne le générateur de robots.txt

Le générateur assemble les directives ligne par ligne, sans passer par un modèle figé. Votre domaine est débarrassé des espaces et des barres obliques finales, puis sert au commentaire d'en-tête et, si le champ sitemap reste vide, à déduire domaine/sitemap.xml. Les user agents sont découpés aux sauts de ligne et nettoyés ; une liste vide devient User-agent: *. Chaque chemin est normalisé : s'il ne commence pas par /, * ou http, une barre oblique est ajoutée. Sans chemin Disallow, le groupe écrit un Disallow: vide, la façon prévue par le RFC 9309 d'autoriser toute exploration. Bloquer tout remplace les règles par Disallow: /. Le Crawl-delay est répété par groupe, le Sitemap ajouté une seule fois.

Atouts

Normalise les barres initiales et sépare les directives par groupe d'agents.
Ajoute une ligne `Disallow:` vide quand tout est autorisé afin d'éviter les ambiguïtés.
Fonctionne entièrement dans votre navigateur pour préserver les URLs inédites.

Comment configurer

1

Saisissez votre domaine principal pour annoter l'en-tête et suggérer automatiquement l'emplacement du sitemap.

2

Listez les user agents (un par ligne) ou laissez vide pour appliquer `User-agent: *`.

3

Ajoutez les chemins autorisés ou interdits, ou activez Bloquer Tout pour un environnement privé.

4

Définissez facultativement un crawl-delay et l'URL du sitemap, puis copiez le fichier vers `/robots.txt`.

Erreurs fréquentes

Oublier de désactiver Bloquer Tout lors de la mise en production.
Omettre la barre initiale sur les dossiers (le générateur l'ajoute mais vérifiez les motifs spéciaux).
Imposer un crawl-delay trop long qui ralentit l'exploration.

Voir aussi

  • Compteur de sitemap — Une fois la ligne Sitemap pointée vers votre fichier XML, vérifiez combien d'URL ce sitemap déclare réellement.
  • Vérificateur de statut HTTP — Après avoir mis le fichier en ligne, vérifiez que /robots.txt renvoie bien un 200 et non une redirection ou un soft 404.

FAQ

Ai-je vraiment besoin d'un robots.txt ?

Ce n'est pas obligatoire mais fortement conseillé pour guider les moteurs et indiquer le sitemap.

Puis-je cibler certains robots ?

Oui, saisissez Googlebot, Bingbot ou tout autre agent sur des lignes séparées pour générer des sections dédiées.

Bloquer ici supprime-t-il les URLs déjà indexées ?

Non, cela ne concerne que les prochains crawl ; utilisez des balises `noindex` ou les outils de suppression pour le reste.

Mes données sont-elles stockées ?

Non, tout est généré localement.