Crawler web
Token · WordPrestoBot Respeita o robots.txt Só de leitura

WordPrestoBot, o nosso crawler web

Se encontrou esta página a partir de uma linha nos registos do seu servidor, olá, e obrigado por verificar. O WordPrestoBot é o crawler web operado pela Word Presto, uma ferramenta agenteica de fluxo de trabalho de conteúdo e SEO. Lê HTML público para extrair sinais de SEO e conteúdo em nome de um utilizador da Word Presto, e nada mais.

Porque visitou o seu site

Só obtém páginas em nome de um utilizador da Word Presto.

Em quase todos os casos, é uma de duas coisas.

01

Um proprietário de site a analisar o seu próprio site

A realizar uma revisão de SEO ou de conteúdo de páginas que controla.

02

Uma verificação competitiva ou de investigação, só de leitura

Um utilizador a ver páginas publicamente disponíveis para perceber como um tema é abordado.

HTML público para extrair sinais de SEO e conteúdo: títulos, cabeçalhos, metadados, ligações e dados estruturados. É só isso.

Comportamento

O que faz, e o que não faz.

O WORDPRESTOBOT FAZ
pede páginas publicamente acessíveis através de HTTPS normal,
identifica-se honestamente no User-Agent em cada pedido,
respeita o robots.txt,
rastreia com cuidado, com taxas de pedidos, tempos limite e limites de tamanho de resposta moderados.
O WORDPRESTOBOT NÃO FAZ
iniciar sessão, submeter formulários ou interagir com o seu site,
fazer quaisquer alterações, publicar conteúdo ou fazer encomendas,
tentar aceder a áreas privadas, restritas ou de administração,
recolher dados pessoais ou contornar controlos de acesso.
Como controlá-lo

Uma regra no robots.txt controla todos os rastreios.

Todos os nossos crawlers partilham o mesmo token WordPrestoBot, por isso uma regra é suficiente.

Bloqueá-lo por completo robots.txt
User-agent: WordPrestoBot
Disallow: /
Bloquear apenas áreas específicas robots.txt
User-agent: WordPrestoBot
Disallow: /private/
Disallow: /checkout/
Ou definir um atraso de rastreio robots.txt
User-agent: WordPrestoBot
Crawl-delay: 10

As alterações têm efeito na nossa próxima visita. Respeitamos o robots.txt, por isso uma regra de bloqueio é respeitada sem necessidade de nos contactar.

Como reconhecê-lo

Honesto em cada pedido.

  • Token do User-Agent WordPrestoBot
  • Cada pedido remete de volta para aqui +https://wordpresto.com/prestobot
  • Alguns pedidos incluem uma breve nota a descrever a ação específica, por exemplo read-only single page ou sitemap and llms.txt only. Mesmo token, mesmas regras.
FALSIFICAÇÃO

Se um pedido alegar ser o WordPrestoBot mas não remeter para esta página, trate-o como falsificado e sinta-se à vontade para o bloquear.

não somos nós →
Dúvidas ou preocupações?

Se estiver a causar problemas, a solução mais rápida é a regra de robots.txt acima.

Também pode contactar-nos em [email protected] Diga-nos o domínio e ajudaremos. Se quiser que o WordPrestoBot deixe de visitar o seu site, uma regra de bloqueio pára-o na nossa próxima visita.

Curioso sobre o que estava a ver?

A mesma revisão de conteúdo que executa para os nossos utilizadores, pode executá-la para o seu site.

A Word Presto ajuda escritores, editores e equipas de publicação a planear, criar briefings, escrever, rever e preparar conteúdo para pesquisa, leitores e integração com o CMS.

PAPEL · TINTA · SINAL · CONTROLO