ShopReadableBot

ShopReadableBot ist der Crawler von ShopReadable. Er prüft öffentlich abrufbare Seiten eines Online-Shops darauf, ob Maschinen – Suchmaschinen, Feed-Verarbeiter und KI-Agenten – die Produkte finden und verstehen können. Eine Prüfung startet, wenn jemand die Adresse eines Shops auf ShopReadable eingibt; ob diese Person zum Shop gehört, prüft ShopReadable nicht.

User-Agent: ShopReadableBot/1.0 (+…/bot). Der Crawler gibt sich nie als ein anderer Crawler aus.

Was er abruft

• robots.txt, die Startseite (oder den angegebenen kurzen Startpfad wie /shop/) und die Sitemaps des Shops – nur auf dem geprüften Host.
• Eine Stichprobe von Seiten: bei einem kostenlosen Scan höchstens 8, bei einem Deep Audit und dessen Nachprüfungen höchstens 50. Trifft sie zu wenige Produktseiten, kommen bis zu 10 Seiten hinzu, deren Adresse oder Kachel nach Produkt aussieht, und bis zu 4 Übersichtsseiten aus dem Menü der Startseite und dessen Unterkategorien (mit eingeschaltetem KI-Pfadfinder bis zu 12 weitere).
• Nach einem Deep Audit einmalig der Katalog-Check: robots.txt, Startseite und Sitemaps (höchstens 50 Dateien), dann je gefundener Produktseite ein einfacher Abruf – höchstens 2.000 Seiten in 60 Minuten Prüfzeit, ein Abruf nach dem anderen mit derselben Pause. Läuft gleichzeitig eine andere Prüfung desselben Shops, wartet er so lange. Verlangt der Shop per 429/503 eine Pause, hält er sie ein (höchstens eine Minute), sonst und bei wiederholter Drosselung hört er auf.
• Je Prüfung einmal /.well-known/ucp und /llms.txt sowie bis zu 3 Endpunkte, die das UCP-Profil des Shops auf seinem eigenen Host ankündigt – jeweils ein einfacher Abruf, kein Aufruf einer Schnittstelle.
• Bis zu 2 Seiten (kostenlos) bzw. 5 Seiten (bezahlt), meist Produktseiten, werden in einem Browser dargestellt; scheitert die Darstellung einer Seite oder zeigt sie kein Produkt, bis zu 2 weitere. Entstehen Produktlinks erst per JavaScript, zusätzlich bis zu 2 Übersichtsseiten. Dafür lädt er je Seite bis zu 500 Skripte, Stylesheets und Datenabrufe nach – keine Bilder, Videos oder Schriften. Skripte und Stylesheets auch von eingebundenen fremden Hosts (etwa CDNs), Datenabrufe nur vom Shop selbst. Für fremde Hosts gilt deren robots.txt dabei nicht; sie werden nur geladen, weil die Seite des Shops sie einbindet.

Was er nie tut

• Formulare absenden oder andere Anfragen als Lese-Abrufe (GET) stellen – auch nicht aus Skripten der Seite.
• Warenkorb, Kasse, Konto oder Suche aufrufen, sich anmelden oder etwas bestellen.
• CAPTCHAs oder Bot-Schutz umgehen.
• Seiten abrufen, die robots.txt für ShopReadableBot sperrt – auch nicht die Nachlade-Abrufe des Browsers auf dem Shop.

Wie oft

• Zwischen zwei Seitenabrufen liegt mindestens 1 Sekunde; ein längeres Crawl-delay in robots.txt wird eingehalten. Ist es länger als 1 Sekunde, verzichtet er auf die Browser-Darstellung.
• Ausnahme: Beim Darstellen einer Seite lädt der Browser deren Skripte, Stylesheets und Datenabrufe ohne diese Pause und teils parallel nach – wie ein gewöhnlicher Browser.
• Im Deep Audit kann, sofern angeboten, ein Agent-Test folgen: Ein KI-Agent öffnet mit derselben Kennung und denselben Regeln (robots.txt, Pausen, nie Warenkorb, Kasse oder Konto, keine Formulare) höchstens 50 weitere Seiten je Lauf im Browser, um etwa ein Produkt und seinen Preis zu finden; wird der Lauf durch einen Neustart bei uns abgebrochen, höchstens 2 weitere Läufe. Verlangt die robots.txt längere Pausen als 1 Sekunde, entfällt er. Wer das für seinen Shop nicht möchte, kann wie beim KI-Pfadfinder über die Kontaktadresse widersprechen.
• Wird dieselbe Adresse innerhalb von 10 Minuten erneut eingegeben, wird das vorhandene Ergebnis wiederverwendet – außer bei einer ausdrücklich erneuten Prüfung („Neuer Scan“ oder „Dieselbe Stichprobe erneut prüfen“), für die dieselben Obergrenzen gelten. Schreibweisen mit und ohne www. oder mit http und https gelten dabei als verschiedene Adressen. Je Schreibweise und Prüfungsart nimmt ShopReadable in 10 Minuten höchstens 10 Prüfungen an, nach 3 gescheiterten keine weitere. Über alle Subdomains einer registrierbaren Domain zusammen (nach der Public Suffix List, etwa a.shop.example und b.shop.example) sind es höchstens 20. Bezahlte Audits und deren Nachprüfungen kommen hinzu.

Wie man ihn sperrt

In der robots.txt des Shops, ganz oder für einzelne Bereiche:

User-agent: ShopReadableBot
Disallow: /

Die robots.txt wird bei jeder Prüfung neu gelesen; die Sperre wirkt ab der nächsten Prüfung. Sie verhindert das Abrufen, nicht, dass jemand die Adresse eingibt: Die Prüfung wird dann angelegt, liest nur die robots.txt und endet mit dem Hinweis, dass der Crawler gesperrt ist.

Was gespeichert wird

Gespeichert werden die Adresse des Shops und technische Prüfergebnisse – Regelergebnisse mit Adressen öffentlicher Seiten und Fundstellen, Zahlen und Kennungen. Gehört der Shop einer Einzelperson, können schon Adresse und Seitenadressen personenbezogen sein. Seiteninhalte, Beschriftungen, Verkäufer- und Bewertungsdaten speichert ShopReadable nicht – mit einer Ausnahme: Das Protokoll eines Agent-Tests im Deep Audit enthält besuchte Pfade, Namen der gewählten Links, die Hauptüberschrift der Zielseite sowie Antworten und Begründungen des Agenten. Kostenlose Scans werden nach 30 Tagen gelöscht, Deep Audits nach 90 Tagen. Einzelheiten stehen in der Methodik.

Findet eine Prüfung zu wenige Produktseiten, kann ShopReadable – sofern im Betrieb eingeschaltet – einmal eine Liste bereits bekannter Seitenpfade des Shops an OpenAI schicken und sich vorschlagen lassen, wo Produkte liegen: ohne Shop-Adresse, ohne Parameter, ohne Seiteninhalte. Die KI bewertet nichts. Wer als Betreiber nicht möchte, dass Pfade seines Shops dafür verwendet werden, kann dem über die Kontaktadresse unten widersprechen; Einzelheiten in der Datenschutzerklärung.

Beim Agent-Test eines Deep Audits – sofern angeboten, einmal je Audit – geht je Schritt eine vereinfachte Ansicht der gerade geöffneten öffentlichen Seite an OpenAI: Überschriften, Namen von Links und Bedienelementen, Pfade und Texte mit Preis-, Bestands-, Versand- oder Rückgabebezug; keine Fließtexte, keine erkennbaren Bewertungsbereiche, E-Mail-Adressen und Telefonnummern geschwärzt. Namen in Überschriften, Linktexten oder Angaben zu Versand und Widerruf können enthalten sein. Vertragspartner ist OpenAI Ireland Ltd. als unser Auftragsverarbeiter; Übermittlungen außerhalb des EWR stützen sich auf die Standardvertragsklauseln der EU-Kommission. OpenAI nutzt die Daten nach eigenen Angaben nicht zum Training und bewahrt sie bis zu 30 Tage zur Missbrauchserkennung auf; das Protokoll bei uns wird mit dem Audit gelöscht. Sperren lässt sich das wie jeder Abruf über die robots.txt oder per Widerspruch über die Kontaktadresse.

Kontakt

Fragen oder Löschwünsche zu einem geprüften Shop: kontakt@shopreadable.de.