Crawler web
Token · WordPrestoBot Respeita o robots.txt Somente leitura

WordPrestoBot, nosso crawler web

Se você encontrou esta página a partir de uma linha nos logs do seu servidor, olá, e obrigado por checar. O WordPrestoBot é o crawler web operado pela Word Presto, uma ferramenta agêntica de fluxo de trabalho de conteúdo e SEO. Ele lê HTML público para extrair sinais de SEO e conteúdo em nome de um usuário da Word Presto, e nada mais.

Por que visitou seu site

Ele só busca páginas em nome de um usuário da Word Presto.

Em quase todos os casos, é uma de duas coisas.

01

Um dono de site analisando o próprio site

Fazendo uma revisão de SEO ou de conteúdo de páginas que controla.

02

Uma checagem competitiva ou de pesquisa, somente leitura

Um usuário olhando páginas disponíveis publicamente para entender como um tema é coberto.

Ele lê HTML público para extrair sinais de SEO e conteúdo: títulos, cabeçalhos, metadados, links e dados estruturados. É só isso.

Comportamento

O que ele faz, e o que não faz.

O WORDPRESTOBOT FAZ
solicita páginas publicamente acessíveis por HTTPS normal,
se identifica honestamente no User-Agent em cada solicitação,
respeita o robots.txt,
rastreia com cuidado, com taxas de solicitação, timeouts e limites de tamanho de resposta moderados.
O WORDPRESTOBOT NÃO FAZ
fazer login, enviar formulários ou interagir com seu site,
fazer qualquer alteração, publicar conteúdo ou fazer pedidos,
tentar acessar áreas privadas, restritas ou administrativas,
coletar dados pessoais ou contornar controles de acesso.
Como controlar

Uma regra no robots.txt controla todos os rastreamentos.

Todos os nossos crawlers compartilham o mesmo token WordPrestoBot, então uma regra é suficiente.

Bloquear completamente robots.txt
User-agent: WordPrestoBot
Disallow: /
Bloquear só áreas específicas robots.txt
User-agent: WordPrestoBot
Disallow: /private/
Disallow: /checkout/
Ou definir um atraso de rastreamento robots.txt
User-agent: WordPrestoBot
Crawl-delay: 10

As mudanças entram em vigor na nossa próxima visita. Respeitamos o robots.txt, então uma regra de bloqueio é respeitada sem precisar nos contatar.

Como reconhecer

Honesto em cada solicitação.

  • Token do User-Agent WordPrestoBot
  • Cada solicitação remete de volta para aqui +https://wordpresto.com/prestobot
  • Algumas buscas incluem uma nota curta descrevendo a ação específica, por exemplo read-only single page ou sitemap and llms.txt only. Mesmo token, mesmas regras.
FALSIFICAÇÃO

Se uma solicitação alegar ser o WordPrestoBot mas não linkar para esta página, trate como falsificada e sinta-se à vontade para bloquear.

não somos nós →
Dúvidas ou preocupações?

Se estiver causando problemas, a solução mais rápida é a regra de robots.txt acima.

Você também pode falar com a gente em [email protected] Diga o domínio e vamos ajudar. Se quiser que o WordPrestoBot pare de visitar, uma regra de bloqueio o impede na nossa próxima visita.

Curioso sobre o que ele estava vendo?

A mesma revisão de conteúdo que ele faz para nossos usuários, pode fazer para o seu site.

A Word Presto ajuda redatores, editores e equipes de publicação a planejar, criar briefings, escrever, revisar e preparar conteúdo para busca, leitores e entrega ao CMS.

PAPEL · TINTA · SINAL · CONTROLE