Robots.txt-Generator
Robots.txt-Dateien generieren
User-agent #1
Group allow and disallow paths for one crawler.
Weiter mit
Halte den Workflow mit einem passenden n?chsten Schritt in Bewegung.
Privacy & Trust
Disallow
Keep restricted directories and crawl-budget heavy paths visible in one editor.
Sitemap URL
Declare your sitemap location directly in robots.txt.
Crawl Delay
Set crawl delay only when you explicitly need it for a crawler.
robots.txt
Robots.txt-Dateien generieren
Verwandte Tools
Meta-Tag-Generator
HTML-Meta-Tags für SEO generieren
Open-Graph-Vorschau
Seitenvorschau in sozialen Medien
Schema-Markup-Generator
JSON-LD strukturierte Daten generieren
Sitemap-Generator
XML-Sitemaps generieren
AI SEO-Meta-Generator
Optimierte Meta-Tags für bessere Suchmaschinen-Rankings generieren
Slug-Generator
Text in URL-freundliche Slugs umwandeln
Anleitung
Text eingeben oder einfügen
Geben Sie Ihren Text, Code oder Ihre Daten in das Eingabefeld ein.
Optionen auswählen
Wählen Sie die gewünschte Umwandlung oder das Format aus.
Ergebnis kopieren
Kopieren Sie die Ausgabe mit einem Klick in Ihre Zwischenablage.
Warum dieses Werkzeug nutzen
100 % Kostenlos
Keine versteckten Kosten, keine Premium-Stufen — jede Funktion ist kostenlos.
Keine Installation
Läuft vollständig in Ihrem Browser. Keine Software zum Herunterladen oder Installieren.
Privat & Sicher
Ihre Daten verlassen niemals Ihr Gerät. Nichts wird auf einen Server hochgeladen.
Funktioniert auf Mobilgeräten
Vollständig responsiv — nutzbar auf Smartphone, Tablet oder Desktop.
robots.txt verstehen: Webcrawler gezielt steuern
Wichtige Erkenntnisse
- Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern Anweisungen zum Zugriff gibt.
- robots.txt basiert auf einer Konvention: Seriöse Crawler wie Googlebot halten sich daran, bösartige Bots können sie ignorieren.
- Das Blockieren in der robots.txt verhindert nur das Crawlen — um Seiten aus dem Index zu entfernen, ist ein noindex-Meta-Tag erforderlich.
Die robots.txt-Datei ist Teil des Robots-Exclusion-Standards und ermöglicht Website-Betreibern, Crawlern den Zugriff auf bestimmte Bereiche zu erlauben oder zu verweigern. Eine korrekte robots.txt-Konfiguration hilft dabei, das Crawl-Budget effizient zu nutzen, Staging-Umgebungen zu schützen und doppelte Inhalte zu vermeiden.
/robots.txt
Standard-Dateipfad
Anwendungsfälle
Crawl-Budget-Management
Unnötige Seiten wie Admin-Bereiche oder Filterseiten vom Crawlen ausschließen und Ressourcen sparen.
Staging-Schutz
Testumgebungen vor der Indexierung durch Suchmaschinen schützen.
Vermeidung von Duplikaten
Crawling-Zugriffe auf durch Filter oder Sortierung erzeugte doppelte URL-Muster einschränken.
Sitemap-Deklaration
Die URL der XML-Sitemap in der robots.txt angeben, damit Crawler sie automatisch finden.
Praktische Tipps
In der robots.txt immer eine Sitemap-Direktive einfügen, um den Speicherort der XML-Sitemap anzugeben.
Vor der Veröffentlichung die robots.txt mit dem Google Search Console Tester überprüfen.
Neben der allgemeinen Wildcard (*) auch spezifische User-Agent-Regeln für einzelne Crawler definieren.
Beachten: robots.txt steuert nur das Crawling — Seiten können über externe Links dennoch in Suchergebnissen erscheinen.
Dieses Tool dient nur zu Referenz- und Bildungszwecken. Bitte überprüfen Sie die Ergebnisse selbst, bevor Sie sie in wichtigen Situationen verwenden.