Robots.txt Generator

Erstellen Sie ein produktionsreifes robots.txt mit Allow/Disallow-Regeln, Crawl-Delay und Sitemap-Hinweisen.

Eingabe

Nutzen Sie dieses kostenlose Tool Robots.txt Generator um generieren sie eine robots.txt-datei für ihre website.

Über den Robots.txt-Generator

robots.txt ist die erste Datei, die Crawler lesen, um zu wissen, welche Bereiche durchsucht oder übersprungen werden. Dieser Generator erzeugt sauber strukturierte Direktiven, damit Admin-Bereiche, Staging-Umgebungen oder Kampagnen geschützt bleiben.

So funktioniert der robots.txt-Generator

Der Generator setzt die Direktiven Zeile für Zeile zusammen, statt eine Vorlage zu füllen. Ihre Domain wird von Leerzeichen und abschließenden Schrägstrichen befreit und dient dem Kopfkommentar sowie, bei leerem Sitemap-Feld, zur Ableitung von domain/sitemap.xml. User-Agents werden an Zeilenumbrüchen getrennt und getrimmt; eine leere Liste ergibt User-agent: *. Jeder Pfad wird normalisiert: Beginnt er nicht mit /, * oder http, wird ein Schrägstrich vorangestellt. Fehlen Disallow-Pfade, schreibt die Gruppe ein leeres Disallow: — laut RFC 9309 die Aussage, dass alles crawlbar ist. Alles blockieren ersetzt sämtliche Regeln durch Disallow: /. Crawl-delay wiederholt sich je Gruppe, Sitemap wird einmal angehängt.

Vorteile

Normalisiert führende Schrägstriche und trennt Direktiven pro User-Agent-Gruppe.
Fügt leere `Disallow:`-Zeilen ein, wenn alles erlaubt ist, damit Crawler es korrekt interpretieren.
Läuft komplett im Browser, sodass unveröffentlichte URLs vertraulich bleiben.

So konfigurieren Sie robots.txt

1

Geben Sie Ihre Hauptdomain an, um den Header zu kommentieren und automatisch einen Sitemap-Pfad vorzuschlagen.

2

Listen Sie User-Agents (je Zeile) auf oder lassen Sie das Feld leer, um `User-agent: *` zu verwenden.

3

Fügen Sie Allow- oder Disallow-Pfade hinzu oder aktivieren Sie 'Alles blockieren' für private Umgebungen.

4

Optional Crawl-Delay und Sitemap-URL festlegen und die Datei nach `/robots.txt` kopieren.

Häufige Fehler

Das Flag 'Alles blockieren' vergessen, bevor die Seite live geht.
Schrägstriche bei Pfaden weglassen (der Generator ergänzt sie, aber prüfen Sie Sonderfälle).
Zu lange Crawl-Delays einstellen, was die Indexierung verlangsamt.

Siehe auch

  • Sitemap-Zähler — Sobald die Sitemap-Zeile auf Ihre XML-Datei zeigt, prüfen Sie, wie viele URLs diese Sitemap tatsächlich enthält.
  • HTTP-Status-Checker — Prüfen Sie nach dem Hochladen, ob /robots.txt den Status 200 liefert und keine Weiterleitung oder Soft-404.

FAQ

Brauche ich wirklich eine robots.txt?

Sie ist optional, hilft aber Suchmaschinen zu verstehen, was sie meiden sollen und wo die Sitemap liegt.

Kann ich bestimmte Crawler ansprechen?

Ja, führen Sie Googlebot, Bingbot oder andere Bots zeilenweise auf, um eigene Abschnitte zu erzeugen.

Entfernt das gesperrte URLs aus dem Index?

Nein, es betrifft nur zukünftiges Crawlen; zum Entfernen bestehender Ergebnisse sind Noindex- oder Removal-Tools nötig.

Werden meine Eingaben gespeichert?

Nein, alles passiert lokal im Browser.