Was ist das?
Die robots.txt im Wurzelverzeichnis einer Website legt je Crawler (User-agent) fest, welche Pfade er abrufen darf. Das Format ist seit RFC 9309 standardisiert. Sie kann außerdem auf Sitemaps verweisen.
Warum es zählt
Anbieter trennen ihre Crawler nach Zweck: OAI-SearchBot und Claude-SearchBot für Suche, Claude-User für Abrufe im Auftrag eines Nutzers, Googlebot für die Google-Suche – GPTBot und ClaudeBot dagegen für das Training von Modellen. ShopReadable bewertet Sperren für Such- und Nutzer-Crawler; die Einstellung zu Trainings-Crawlern ist eine Geschäftsentscheidung des Händlers und zählt nie, in keine Richtung.
Wie ShopReadable misst
9 Regeln aus dem Regelkatalog. „Zählt zum Score“ heißt: Regelgewicht und Bereichsgewicht im aktuellen Score-Modell (SR-ACRS-2026.11) sind größer als null. Unbekannte oder nicht anwendbare Ergebnisse senken den Score nie.
Keine robots.txt gefunden
ROBOTS_REACHABLE v1.0.0· Auffindbarkeit & Zugriff · Offizieller Standard · zählt zum Score (Gewicht 1)robots.txt enthält fehlerhafte Zeilen
ROBOTS_VALID v1.0.0· Auffindbarkeit & Zugriff · Offizieller Standard · zählt zum Score (Gewicht 1)robots.txt nennt keine Sitemap
SITEMAP_DECLARED v1.0.0· Auffindbarkeit & Zugriff · Offizieller Standard · zählt zum Score (Gewicht 1)robots.txt sperrt Googlebot auf geprüften Seiten
GOOGLEBOT_POLICY v1.1.0· Auffindbarkeit & Zugriff · Offizielle Anbieter-Vorgabe · zählt zum Score (Gewicht 2)robots.txt sperrt OAI-SearchBot auf geprüften Seiten
OAI_SEARCHBOT_POLICY v1.1.0· Auffindbarkeit & Zugriff · Offizielle Anbieter-Vorgabe · zählt zum Score (Gewicht 2)robots.txt sperrt Claude-SearchBot auf geprüften Seiten
CLAUDE_SEARCHBOT_POLICY v1.1.0· Auffindbarkeit & Zugriff · Offizielle Anbieter-Vorgabe · zählt zum Score (Gewicht 2)robots.txt sperrt Claude-User auf geprüften Seiten
CLAUDE_USER_POLICY v1.1.0· Auffindbarkeit & Zugriff · Offizielle Anbieter-Vorgabe · zählt zum Score (Gewicht 2)Trainings-Crawler GPTBot: Einstellung in robots.txt
GPTBOT_POLICY_INFORMATIONAL v1.1.0· Auffindbarkeit & Zugriff · Information · nur Information, zählt nicht zum ScoreTrainings-Crawler ClaudeBot: Einstellung in robots.txt
CLAUDEBOT_POLICY_INFORMATIONAL v1.1.0· Auffindbarkeit & Zugriff · Information · nur Information, zählt nicht zum Score
Grenzen der Messung
- Geprüft wird, was robots.txt für das Produkt-Token eines Crawlers auf den Stichprobenpfaden sagt – nicht, ob das Netz des Anbieters den Shop tatsächlich erreicht (Firewall, IP-Sperren sind von außen nicht messbar).
- Fehlt die robots.txt (404), gilt alles als erlaubt. Antwortet der Server mit einem Fehler (5xx) oder drosselt (429), bricht ShopReadable die Prüfung ab, statt eine Freigabe anzunehmen – Crawler-Regeln gibt es dann nicht.
- robots.txt ist keine Zugriffskontrolle: Sie ist eine Bitte an Crawler, die sich daran halten.
Beispiel
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /checkout/
Sitemap: https://shop.example/sitemap.xmlQuellen
- IETFOffizieller Standard, zuletzt geprüft am 19.09.2026
- GoogleOffizielle Anbieter-Vorgabe, zuletzt geprüft am 19.09.2026
- OpenAIOffizielle Anbieter-Vorgabe, zuletzt geprüft am 19.09.2026
- AnthropicOffizielle Anbieter-Vorgabe, zuletzt geprüft am 19.09.2026
- sitemaps.orgOffizieller Standard, zuletzt geprüft am 19.09.2026
Diese Seite beschreibt eine technische Prüfung. Sie ist keine Rechtsberatung und sagt nichts über Ranking, Aufnahme oder Empfehlungen bei einem Anbieter.