Robots.txt Generator

Über den Robots.txt-Generator

robots.txt ist die erste Datei, die Crawler lesen, um zu wissen, welche Bereiche durchsucht oder übersprungen werden. Dieser Generator erzeugt sauber strukturierte Direktiven, damit Admin-Bereiche, Staging-Umgebungen oder Kampagnen geschützt bleiben.

Vorteile

Normalisiert führende Schrägstriche und trennt Direktiven pro User-Agent-Gruppe.

Fügt leere `Disallow:`-Zeilen ein, wenn alles erlaubt ist, damit Crawler es korrekt interpretieren.

Läuft komplett im Browser, sodass unveröffentlichte URLs vertraulich bleiben.

So konfigurieren Sie robots.txt

Geben Sie Ihre Hauptdomain an, um den Header zu kommentieren und automatisch einen Sitemap-Pfad vorzuschlagen.

Listen Sie User-Agents (je Zeile) auf oder lassen Sie das Feld leer, um `User-agent: *` zu verwenden.

Fügen Sie Allow- oder Disallow-Pfade hinzu oder aktivieren Sie 'Alles blockieren' für private Umgebungen.

Optional Crawl-Delay und Sitemap-URL festlegen und die Datei nach `/robots.txt` kopieren.

Häufige Fehler

Das Flag 'Alles blockieren' vergessen, bevor die Seite live geht.

Schrägstriche bei Pfaden weglassen (der Generator ergänzt sie, aber prüfen Sie Sonderfälle).

Zu lange Crawl-Delays einstellen, was die Indexierung verlangsamt.

FAQ

Brauche ich wirklich eine robots.txt?

Sie ist optional, hilft aber Suchmaschinen zu verstehen, was sie meiden sollen und wo die Sitemap liegt.

Kann ich bestimmte Crawler ansprechen?

Ja, führen Sie Googlebot, Bingbot oder andere Bots zeilenweise auf, um eigene Abschnitte zu erzeugen.

Entfernt das gesperrte URLs aus dem Index?

Nein, es betrifft nur zukünftiges Crawlen; zum Entfernen bestehender Ergebnisse sind Noindex- oder Removal-Tools nötig.

Werden meine Eingaben gespeichert?

Nein, alles passiert lokal im Browser.