Web-Crawler
Token · WordPrestoBot Respektiert robots.txt Nur lesend

WordPrestoBot, unser Web-Crawler

Wenn Sie diese Seite über eine Zeile in Ihren Serverprotokollen gefunden haben, hallo, und danke fürs Nachschauen. WordPrestoBot ist der Web-Crawler von Word Presto, einem agentischen Content- und SEO-Workflow-Tool. Er liest öffentliches HTML, um SEO- und Content-Signale im Auftrag eines Word-Presto-Nutzers zu extrahieren, und nichts weiter.

Warum er Ihre Website besucht hat

Er ruft Seiten nur im Auftrag eines Word-Presto-Nutzers ab.

In fast jedem Fall ist es eines von zwei Dingen.

01

Ein Website-Betreiber analysiert die eigene Website

Führt eine SEO- oder Content-Prüfung von Seiten durch, die er kontrolliert.

02

Eine rein lesende Wettbewerbs- oder Recherche-Prüfung

Ein Nutzer sieht sich öffentlich verfügbare Seiten an, um zu verstehen, wie ein Thema behandelt wird.

Er liest öffentliches HTML, um SEO- und Content-Signale zu extrahieren: Titel, Überschriften, Metadaten, Links und strukturierte Daten. Das ist alles.

Verhalten

Was er tut, und was er nicht tut.

WORDPRESTOBOT TUT
fordert öffentlich zugängliche Seiten über normales HTTPS an,
identifiziert sich bei jeder Anfrage ehrlich im User-Agent,
respektiert robots.txt,
crawlt behutsam, mit moderaten Anfrageraten, Timeouts und Antwortgrößenbegrenzungen.
WORDPRESTOBOT TUT NICHT
sich anmelden, Formulare absenden oder mit Ihrer Website interagieren,
Änderungen vornehmen, Inhalte veröffentlichen oder Bestellungen aufgeben,
versuchen, auf private, gesperrte oder Admin-Bereiche zuzugreifen,
persönliche Daten sammeln oder Zugriffskontrollen umgehen.
So steuern Sie ihn

Eine robots.txt-Regel steuert jeden Crawl.

Alle unsere Crawler teilen sich das eine Token WordPrestoBot, eine Regel genügt also.

Vollständig blockieren robots.txt
User-agent: WordPrestoBot
Disallow: /
Nur bestimmte Bereiche blockieren robots.txt
User-agent: WordPrestoBot
Disallow: /private/
Disallow: /checkout/
Oder eine Crawl-Verzögerung festlegen robots.txt
User-agent: WordPrestoBot
Crawl-delay: 10

Änderungen wirken bei unserem nächsten Besuch. Wir respektieren robots.txt, eine Sperre wird also berücksichtigt, ohne dass Sie uns kontaktieren müssen.

So erkennen Sie ihn

Ehrlich bei jeder Anfrage.

  • User-Agent-Token WordPrestoBot
  • Jede Anfrage verweist hierher zurück +https://wordpresto.com/prestobot
  • Manche Abrufe enthalten einen kurzen Hinweis der die konkrete Aktion beschreibt, zum Beispiel read-only single page oder sitemap and llms.txt only. Gleiches Token, gleiche Regeln.
SPOOFING

Wenn eine Anfrage vorgibt, WordPrestoBot zu sein, aber nicht auf diese Seite verlinkt, behandeln Sie sie als gefälscht und blockieren Sie sie ruhig.

nicht wir →
Fragen oder Bedenken?

Wenn er Probleme verursacht, ist die schnellste Lösung die robots.txt-Regel oben.

Sie erreichen uns auch unter [email protected] Nennen Sie uns die Domain und wir helfen Ihnen. Wenn WordPrestoBot Ihre Website nicht mehr besuchen soll, stoppt eine Sperrregel ihn bei unserem nächsten Besuch.

Neugierig, wonach er gesucht hat?

Dieselbe Content-Prüfung, die er für unsere Nutzer durchführt, kann er auch für Ihre Website durchführen.

Word Presto hilft Autoren, Redakteuren und Publishing-Teams beim Planen, Briefen, Schreiben, Prüfen und Vorbereiten von Content für Suche, Leser und CMS-Übergabe.

PAPIER · TINTE · SIGNAL · KONTROLLE