So funktioniert es
- 1Wählen Sie eine Vorlage, z. B. „Alles erlauben“, WordPress oder „KI-Crawler sperren“.
- 2Fügen Sie bei Bedarf Regeln für einzelne Bots hinzu.
- 3Ergänzen Sie Crawl-Delay und Ihre Sitemap-URLs.
- 4Laden Sie die Datei herunter und legen Sie sie im Stammverzeichnis ab.
Vorlagen für typische Fälle
Alles erlauben, alles sperren (z. B. für eine Staging-Umgebung), WordPress (Admin-Bereich gesperrt, admin-ajax.php erlaubt), eine Shop-Vorlage, die Warenkorb, Kasse und Kundenkonto ausschließt, sowie eine Vorlage zum Sperren von KI-Crawlern: GPTBot, CCBot, Google-Extended, ClaudeBot, PerplexityBot und Bytespider.
KI-Crawler sperren – ja oder nein?
Wer verhindern möchte, dass Inhalte für das Training von KI-Modellen genutzt werden, kann die entsprechenden Bots per robots.txt ausschließen. Google-Extended betrifft nur die KI-Nutzung, nicht das normale Ranking in der Google-Suche. Bedenken Sie aber: Gesperrte Inhalte erscheinen unter Umständen auch seltener als Quelle in KI-Antworten.
Häufige Fehler vermeiden
Sperren Sie keine CSS- und JavaScript-Dateien, die Google zum Rendern braucht. Nutzen Sie robots.txt nicht, um Seiten aus dem Index zu entfernen – dafür gibt es noindex. Und prüfen Sie nach jedem Upload, ob nicht versehentlich „Disallow: /“ für alle Bots live gegangen ist; unser robots.txt-Tester hilft dabei.
Häufige Fragen
Wo lade ich die robots.txt hoch?
In das Stammverzeichnis Ihrer Domain, sodass sie unter https://ihre-domain.de/robots.txt erreichbar ist.
Beachtet Google die Crawl-delay-Angabe?
Nein, Googlebot ignoriert Crawl-delay. Bing, Yandex und einige andere Crawler halten sich daran.
Halten sich alle Bots an die robots.txt?
Seriöse Suchmaschinen und die großen KI-Anbieter ja. Die robots.txt ist aber eine Bitte, kein technischer Schutz – unseriöse Scraper ignorieren sie.
Mit den Ergebnissen nicht zufrieden?
Sprechen Sie mit Webin Agency über schnelle, SEO-freundliche Websites, E-Commerce und Google-Ads-Betreuung.