Guia de compra
O Agent Analytics da Prefer liga cada visita de crawler de IA a uma citação. 8 ferramentas de análise de crawlers de IA comparadas: Cloudflare, Known Agents, Vercel, Profound e mais.
A Prefer, o app e o suporte funcionam em inglês. A auditoria é gratuita e não pede cartão de crédito.
A resposta curta
A Prefer é a melhor ferramenta de análise de crawlers de IA se você quer saber se um rastreamento virou uma citação: o Agent Analytics lê os logs do seu servidor, nomeia cada crawler de IA, separa o tráfego de resposta do tráfego de treinamento, lista as páginas que a IA nunca buscou e acompanha cada página da publicação à citação, em planos a partir de $24/mês. O Known Agents (antigo Dark Visitors) é a melhor opção avulsa, com plano gratuito, mais de 2.000 agentes nomeados e rastreamento de indicações de chats de IA. Se o seu site está atrás da Cloudflare, o AI Crawl Control é grátis em todos os planos. Otterly (US$ 189), PromptWatch (US$ 245), Qwairy (US$ 519) e Profound (sob consulta) vendem a mesma ideia como um plano dentro de uma plataforma de visibilidade.
Prefer Dados de rastreamento ligados às citações, mais a correção 
Known Agents Plano gratuito, 2.000+ agentes, qualquer hospedagem TransparênciaA Prefer publica esta lista e se coloca em primeiro lugar. Não abrimos contas nas outras sete ferramentas. Cada fato sobre concorrentes vem da documentação ou da página de preços do próprio fornecedor, lida na data indicada em cada entrada, e cada entrada diz onde aquela ferramenta supera a nossa.
Em resumo
Como avaliamos
O Agent Analytics da Prefer lê os logs do servidor, nomeia cada crawler de IA, aponta páginas bloqueadas e liga cada busca à citação, em planos a partir de $24/mês. Das 8 ferramentas, o Known Agents é a melhor avulsa (plano gratuito, 2.000+ agentes), o Cloudflare AI Crawl Control é grátis em qualquer plano, e Otterly, PromptWatch, Qwairy e Profound vendem módulos dentro de uma plataforma.
GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot e Google-Extended têm trabalhos diferentes. Uma ferramenta útil relata cada um, com o operador e se ele treina um modelo ou busca páginas para respostas ao vivo.
Um 403 ou um 404 entregue ao OAI-SearchBot é uma citação que você não consegue conquistar. Procuramos códigos de status por crawler ou uma visão de permitidos versus bloqueados, e relatórios de violações do robots.txt.
As páginas que um crawler de IA nunca buscou são as páginas que não podem ser citadas. Procuramos uma visão por URL, não só uma tabela de caminhos mais acessados.
Visitas indicadas pelo ChatGPT ou pelo Perplexity, ou, melhor ainda, a própria citação. Contagens de rastreamento sozinhas não dizem se o trabalho deu resultado.
Ferramentas de borda só veem as zonas ou os deploys que atendem. Ferramentas baseadas em logs funcionam em qualquer hospedagem. Indicamos qual é qual, e quanto custa cada plano de entrada.
As notas
Cada dimensão recebe uma nota de 0 a 5 na escala abaixo, e a nota geral é a média simples. Assim você pode conferir cada número com os fatos desta página. A Prefer é o nosso produto e é avaliada na mesma escala.
| Ferramenta | Crawlers nomeados | Bloqueios e erros | Visão por página | Do rastreamento à resposta | Qualquer hospedagem | Grátis para começar | Geral |
|---|---|---|---|---|---|---|---|
| Known Agents | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 5.0 | 4.7/5 |
| Prefer (nosso produto) | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 4.5/5 |
| Cloudflare AI Crawl Control | 5.0 | 5.0 | 3.0 | 3.0 | 1.0 | 5.0 | 3.7/5 |
| Vercel Bot Management | 3.0 | 3.0 | 3.0 | 1.0 | 1.0 | 5.0 | 2.7/5 |
Como cada número é definido
Pontuado em 26 de setembro de 2026 a partir dos fatos desta página, que vêm da documentação de cada fornecedor, com a data indicada em cada entrada. Só as quatro ferramentas cujos recursos de crawlers estão documentados um a um recebem nota: Prefer, Cloudflare AI Crawl Control, Known Agents e Vercel. Profound, Otterly, PromptWatch e Qwairy não recebem nota, porque as páginas que lemos documentam o módulo como item de um plano e, no caso do Profound, como três nomes de recursos, não o que ele mostra por crawler ou por página; as quatro continuam no ranking pelo plano e preço documentados. A linha da Prefer é pontuada na mesma escala a partir da página do próprio módulo, e os fatos publicados dela não documentam rastreamento de indicações de IA nem um plano gratuito, então ela não recebe esses pontos.
Três tipos de ferramentas
Embutidos na rede em que o seu site já está. Veem cada requisição sem tag, nomeiam bots verificados e conseguem bloquear um crawler com um clique. Só cobrem sites naquela rede, e as visões mais profundas (indicações, nomes de bots nas consultas) ficam em planos pagos.
Compre quando o seu site já está na Cloudflare ou na Vercel e você quer principalmente ver e controlar o tráfego de bots.Um produto cujo trabalho inteiro é o tráfego de bots e agentes: um diretório de mais de 2.000 agentes, visitas por agente e por página com códigos de status, verificação de falsificação, alertas de pico, rastreamento de indicações de chats de IA e um robots.txt automático. Funciona em qualquer hospedagem por conectores ou API, medido por eventos.
Compre quando você está em qualquer outra hospedagem, ou quando quer a lista de agentes mais ampla e dados de indicações em um plano gratuito.A visão de crawlers fica ao lado do rastreamento de prompts e das citações, então o rastreamento pode ser lido contra a resposta. A Prefer liga os rastreamentos de cada página às suas citações; as outras documentam o módulo como item de um plano (Otterly Standard, PromptWatch Professional, Qwairy Business, Profound Enterprise).
Compre quando você já rastreia respostas de IA e quer os dados de rastreamento no mesmo lugar, ou quando o objetivo é descobrir se o rastreamento virou uma citação.O ranking
Prefer primeiro (nosso produto, declarado). Depois, ferramentas que veem cada requisição (controles de borda, um produto dedicado), e plataformas de visibilidade com módulo de crawlers, por preço.
PreferO Agent Analytics é o módulo de crawlers da Prefer. É análise de arquivos de log, então não precisa de código no seu site e vê o tráfego de bots que nunca executa JavaScript. Hoje ele rastreia oito crawlers de IA (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot, Googlebot e Google-Extended), cada um associado ao assistente que alimenta, com volume, participação, horário da última visita e se o seu robots.txt o deixa entrar. Ele separa crawlers de resposta (os bots que buscam uma página enquanto um assistente escreve uma resposta) de crawlers de treinamento, lista cada URL com os bots que a buscaram e o código de status que receberam, e mostra um funil de quatro etapas por página: publicada, descoberta, rastreada para resposta, citada, com a mediana de dias entre as etapas. Bots bloqueados, 404s entregues a crawlers, edições nunca rastreadas de novo e páginas nunca buscadas aparecem como problemas que vão para o Action Center como uma correção com ponto de reversão. É o nosso produto.
Cloudflare AI Crawl ControlO AI Crawl Control (lançado como AI Audit em setembro de 2024, renomeado em julho de 2025) mostra o total de requisições e as permitidas por crawler de IA, quais operadores estão rastreando (OpenAI, Anthropic, ByteDance e os demais), uma divisão por categoria (AI Crawler para treinamento, AI Search, AI Assistant), os caminhos mais requisitados, a distribuição de códigos de status e a transferência de dados. Cada crawler pode ser permitido ou bloqueado na coluna Actions, e uma aba Directives lista os crawlers que requisitaram caminhos que o seu robots.txt desautoriza. Está disponível em todos os planos; métricas de indicação, uma resposta de bloqueio 403 ou 402 personalizada e a detecção do Bot Management são recursos de planos pagos, e no plano Free os crawlers são identificados pela string de user agent. Um robots.txt gerenciado que bloqueia oito crawlers de IA está a uma configuração de distância, e o pay per crawl (HTTP 402 com um preço) está em beta fechado. Documentação lida em 26 de setembro de 2026.
Known AgentsO Dark Visitors mudou de nome para Known Agents; darkvisitors.com agora redireciona para lá e as integrações existentes continuam funcionando. Ele começou como uma única página que listava os user agents dos oito bots de IA que existiam na época, e hoje rastreia mais de 2.000 crawlers, scrapers e agentes de IA em mais de 15 categorias, com um diretório público (AI Data Scraper, AI Search Crawler, AI Assistant, AI Agent e outros) e uma página por agente. Os dados chegam por conectores para Cloudflare, AWS, Google Cloud, Vercel, Fastly, Akamai, WordPress e Node.js, ou do seu backend por uma API REST. O dashboard divide as visitas por agente, categoria e página, mostra os códigos de status HTTP por agente (200, 403, 500), verifica bots que alegam uma identidade confiável e alerta sobre picos. O AI Chat Referral Tracking conta visitantes humanos vindos do ChatGPT, Claude, Gemini e outras plataformas de chat de IA, e um robots.txt automático mantém as listas de exclusão atualizadas. O Free custa US$ 0 por 1 projeto e 100 mil eventos por mês; o Startup custa US$ 29 (3 projetos, 1 milhão de eventos, exportação em CSV, API); o Growth custa US$ 299 (10 projetos, 10 milhões de eventos); o Enterprise é sob consulta. Site lido em 26 de setembro de 2026.
Vercel Bot ManagementO conjunto de regras gerenciado AI Bots da Vercel controla o tráfego de bots de IA que rastreiam para treinamento, busca ou buscas iniciadas pelo usuário, com uma lista mantida pela Vercel que inclui GPTBot, ClaudeBot, PerplexityBot e Bytespider; ele vem inativo por padrão e é gratuito em todos os planos desde maio de 2025. No modo Log, ele registra o tráfego de bots de IA sem bloquear, o que a documentação chama de útil para monitoramento. O diretório de bots verificados rotula gptbot, claudebot e google-extended como ai_crawler e oai-searchbot, perplexitybot, claude-searchbot e chatgpt-user como ai_assistant, observando que o OAI-SearchBot não rastreia para treinamento. A página Firewall Traffic agrupa as requisições por user agent e caminho por até 24 horas; consultar por nome de bot, categoria e verificado versus falsificado exige o Observability Plus, que custa US$ 1,20 por 1 milhão de eventos no plano Pro de US$ 20 e não está disponível no Hobby. Documentação e preços lidos em 26 de setembro de 2026.
ProfoundO Agent Analytics é um dos cinco módulos do Profound, descrito na página de recursos como monitoramento de crawlers, atribuição de tráfego de IA e otimização técnica (lida em 23 de setembro de 2026). Nossa pesquisa de agosto de 2026 registrou rastreamento de bots por logs de servidor com verificação de IP e integrações com as CDNs Cloudflare, Vercel e Fastly; a página de preços lista integrações do Agent Analytics para Akamai, AWS, Cloudflare, Fastly, Google Analytics, GCP, Netlify, Vercel e WordPress. Para marcas, o Profound publica um teste grátis (50 prompts rodados diariamente por 7 dias no ChatGPT, Gemini e Google AI Overviews) e um plano Enterprise sob consulta; nenhum preço para marcas é publicado (renderizado em 23 de setembro de 2026).
OtterlyO plano Standard da Otterly custa US$ 189 por mês por 100 prompts e adiciona acesso a API e MCP e o Agent Analytics; o Lite, de US$ 29 (15 prompts, quatro mecanismos), não o inclui, o Premium custa US$ 489 por 400 prompts, e o Enterprise começa em 1.000 prompts (preços renderizados em 23 de setembro de 2026). O que o módulo mostra por crawler ou por página não está documentado nas páginas que lemos, então listamos o plano e paramos aí.
PromptWatchO plano Professional do PromptWatch custa US$ 245 por mês por 150 prompts, 5 artigos de AEO e o Agent Analytics; o Essential, de US$ 95 (50 prompts, 4 modelos, 500 créditos de agente), não o inclui, e o Business custa US$ 579 por 350 prompts (preços renderizados em 23 de setembro de 2026). A análise de logs de crawlers é medida por linhas, de 200 mil a 100 milhões conforme o plano (verificado em 22 de agosto de 2026). Visões por crawler e por página não estão documentadas nas páginas que lemos.
QwairyO plano Business da Qwairy custa US$ 519 por mês (US$ 432 no pagamento anual) por 20 workspaces, 10.400 créditos e até 800 prompts, e é o plano que adiciona o Crawler Analytics e um conector para o Looker Studio; o Starter custa US$ 89 e o Growth US$ 229, sem ele (preços renderizados em 26 de setembro de 2026). A comparação de planos agrupa o AI Crawler Analytics no grupo Measure com Google Search Console, Bing Webmaster Tools, Referrer Analytics, Page Performance e AI Revenue, e todos os planos cobrem 10 mecanismos de IA. Em qual plano a análise de referenciadores começa, e o que a visão de crawlers mostra, não está documentado na página que lemos.
Lado a lado
Recursos na data da verificação, para as quatro ferramentas cujos recursos de crawlers estão documentados um a um. Parcial significa que a ferramenta faz algo próximo, ou só em um plano pago. Um traço significa que as páginas públicas do fornecedor que lemos não documentam o recurso, e isso inclui o nosso próprio módulo.
| Ferramenta | Requisições por crawler | Permitidas vs. bloqueadas | Detalhe por página | Indicações de respostas de IA | Controle do robots.txt | A partir de |
|---|---|---|---|---|---|---|
| Prefer | ✓ | ✓ | ✓ | - | ✓ | $24 |
| Cloudflare AI Crawl Control | ✓ | ✓ | ~ | ~ | ✓ | Grátis |
| Known Agents | ✓ | ✓ | ✓ | ✓ | ✓ | Grátis |
| Vercel Bot Management | ~ | ~ | ~ | - | - | $0 |
O que mudou em 2026
Há um ano, esta lista era diferente. Estas são as mudanças que a moveram.
A Cloudflare lançou o AI Audit em setembro de 2024, renomeou para AI Crawl Control em julho de 2025 e levou a análise por crawler à disponibilidade geral naquele agosto, em todos os planos. A Vercel lançou um conjunto de regras de bots de IA de um clique em maio de 2025, gratuito em todos os planos. Se o seu site está em qualquer uma das duas redes, a análise básica de crawlers já está paga.
A Cloudflare agrupa os bots verificados em AI Crawler (treinamento), AI Search e AI Assistant. O diretório da Vercel marca gptbot e claudebot como ai_crawler e oai-searchbot, claude-searchbot e perplexitybot como ai_assistant. O Known Agents separa AI Data Scraper, AI Search Crawler, AI Assistant e AI Agent. A Prefer separa crawlers de resposta de crawlers de treinamento. Uma contagem de bots sem rótulo de trabalho agora está atrasada.
A Cloudflare adicionou análise de referenciadores em outubro de 2025 (planos pagos) e tendências de indicações em fevereiro de 2026. O Known Agents rastreia visitantes humanos vindos do ChatGPT, Claude, Gemini e outras plataformas de chat no plano gratuito. O Profound lista atribuição de tráfego de IA no módulo Agent Analytics. O rastreamento é a entrada; a visita ou a citação é o resultado.
A ferramenta avulsa mais conhecida mudou de nome porque as pessoas entendiam dark como ruim, e não como oculto. Ela começou como uma página que listava oito user agents de bots de IA; o diretório agora chega a mais de 2.000 agentes em 40 páginas, e a página inicial afirma que metade do tráfego da web já não é humano. As integrações antigas continuam funcionando.
O pay per crawl da Cloudflare, em beta fechado, responde a um crawler de IA com HTTP 402 e um preço, a menos que ele apresente intenção de pagamento, com a Cloudflare como merchant of record. As ferramentas para cobrar por rastreamentos e as ferramentas para convidá-los estão convergindo nos mesmos dashboards.
Sinais de alerta
Toda ferramenta aqui vai bem na demonstração. Estas são as perguntas que as separam quando o período de teste termina.
O robots.txt gerenciado da Cloudflare desautoriza GPTBot, ClaudeBot, Google-Extended e outros cinco crawlers de IA, e deixa OAI-SearchBot e PerplexityBot em paz. Um simples User-agent: * com Disallow: / bloqueia todos eles, e tira você das respostas. Passe o seu arquivo pelo verificador gratuito de acesso de crawlers antes de confiar em uma lista de bloqueio.
Qualquer script pode alegar ser o GPTBot. A OpenAI publica faixas de IP em openai.com/gptbot.json para que uma visita possa ser conferida; o Known Agents documenta verificação de falsificação, a Vercel separa bots verificados de falsificados, e o plano Free da Cloudflare identifica crawlers pela string de user agent, com detecção mais profunda nos planos pagos. Pergunte o que uma ferramenta faz quando a string e o IP não batem.
Um único número de tráfego de bots esconde a divisão que importa: crawlers de treinamento moldam o próximo modelo, crawlers de resposta chegam logo antes de uma citação. Se o relatório não consegue mostrar OAI-SearchBot e GPTBot em linhas separadas, ele não consegue dizer qual metade se moveu.
A página Firewall Traffic da Vercel mostra a última hora por padrão e para em 24 horas; análises mais longas exigem o Observability Plus em um plano pago. Padrões de rastreamento levam semanas para ser lidos. Confira a retenção no plano que você compraria.
O Cloudflare AI Crawl Control precisa de uma zona Cloudflare e os dados de bots da Vercel precisam de um deploy na Vercel, e nenhum dos dois documenta importação de logs de outras hospedagens. Se os seus sites estão em várias hospedagens, você precisa de uma ferramenta baseada em logs.
Uma ferramenta de análise de crawlers de IA mostra quais bots de IA buscam suas páginas, o que receberam, o que foi bloqueado e, nas melhores ferramentas, o que aconteceu depois. O Agent Analytics da Prefer fica em primeiro nesta lista porque é a única ferramenta aqui que documenta a última etapa: os rastreamentos de cada página ligados a se a página foi citada. As outras sete se dividem em três tipos. Cloudflare e Vercel veem cada requisição na borda das próprias redes. O Known Agents (antigo Dark Visitors) é um produto dedicado que funciona em qualquer hospedagem. Otterly, PromptWatch, Qwairy e Profound vendem um módulo de crawlers como item de um plano dentro de uma plataforma de visibilidade em IA.
Uma declaração logo de cara: a Prefer é o nosso produto. Não abrimos contas nas outras sete ferramentas. Cada fato abaixo vem da documentação ou da página de preços do próprio fornecedor, lida na data indicada em cada entrada, e cada entrada diz onde o concorrente nos supera.
Crawlers de IA leem o HTML bruto que o seu servidor devolve e não executam JavaScript, então o Google Analytics e qualquer outra ferramenta baseada em tag nunca os veem. Os dados precisam vir de um de dois lugares: os logs do seu servidor ou da sua CDN, que é como a Prefer e o Known Agents funcionam, ou a própria borda, que é como a Cloudflare e a Vercel funcionam. É também por isso que dois dos três tipos de ferramenta desta página ficam presos a uma hospedagem. O Cloudflare AI Crawl Control precisa de uma zona Cloudflare e os dados de bots da Vercel precisam de um deploy na Vercel; nenhum dos dois documenta uma forma de importar logs de outro lugar.
A segunda coisa que uma ferramenta precisa acertar é a divisão entre crawlers. O GPTBot e o ClaudeBot coletam páginas que podem treinar modelos futuros; OAI-SearchBot, Claude-SearchBot e PerplexityBot buscam páginas para que um assistente possa respondê-las e citá-las ao vivo. O Google-Extended é um token de robots.txt que controla o treinamento e o grounding do Gemini sem afetar a Busca do Google. Os próprios fornecedores agora rotulam essa divisão: as categorias da Cloudflare são AI Crawler, AI Search e AI Assistant; o diretório da Vercel marca gptbot como ai_crawler e oai-searchbot como ai_assistant, com uma observação de que o OAI-SearchBot não rastreia para treinamento; o Known Agents separa AI Data Scraper de AI Search Crawler. A Prefer relata crawlers de resposta e crawlers de treinamento em duas linhas, porque um pico no primeiro grupo costuma anteceder uma citação e um pico no segundo não muda as respostas de hoje.
É aqui que o bloqueio dá errado. O robots.txt gerenciado da Cloudflare desautoriza oito crawlers de IA (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider e mais três) e deixa os crawlers de busca em paz, o que é o padrão sensato. Um User-agent: * com Disallow: / escrito à mão bloqueia também o OAI-SearchBot, e a própria documentação da Cloudflare observa que a conformidade com o robots.txt é voluntária de qualquer forma. O verificador de acesso de crawlers gratuito da Prefer lê o seu arquivo e devolve um veredito de permitido ou bloqueado para 14 crawlers nomeados, e o gerador de robots.txt escreve um que mantém os crawlers de resposta dentro. Se vale bloquear, para começar, é outra pergunta, respondida em devo bloquear crawlers de IA?
Quatro das oito ferramentas vendem análise de crawlers como item de um plano, e não como produto, então a comparação útil é o plano e o preço dele. A Otterly é a entrada publicada mais barata, a US$ 189 por mês, e o Profound não tem nenhum preço publicado para marcas. Para essas quatro, as páginas que lemos documentam o plano e, no caso do Profound, três nomes de recursos (monitoramento de crawlers, atribuição de tráfego de IA, otimização técnica), não o que a visão mostra por crawler ou por página, então elas ficam fora da tabela de recursos e das notas acima.
| Ferramenta | Plano com o módulo de crawlers | Preço | O que o fornecedor documenta | Verificado |
|---|---|---|---|---|
| Otterly | Standard (100 prompts) | US$ 189/mês | Agent Analytics, acesso a API e MCP; não está no Lite de US$ 29 | 23 set. 2026 |
| PromptWatch | Professional (150 prompts) | US$ 245/mês | Agent Analytics; logs de crawlers medidos de 200 mil a 100 milhões de linhas conforme o plano; não está no Essential de US$ 95 | 23 set. 2026, linhas 22 ago. 2026 |
| Qwairy | Business (até 800 prompts, 20 workspaces) | US$ 519/mês | Crawler Analytics e Looker Studio; Starter de US$ 89 e Growth de US$ 229 não o listam | 26 set. 2026 |
| Profound | Enterprise | Sob consulta | Monitoramento de crawlers, atribuição de tráfego de IA, otimização técnica; integrações da Akamai ao WordPress | 23 set. 2026 |
As escadas de preços completas desses fornecedores estão no nosso índice de preços de ferramentas de visibilidade em IA.
Contar rastreamentos é o começo. O motivo para contá-los é encontrar as páginas que a IA não consegue ler e corrigi-las. O Agent Analytics da Prefer acompanha cada página por quatro etapas, publicada, descoberta, rastreada para resposta e citada, e relata a mediana de dias entre elas, então uma página parada em “descoberta” é uma página que só bots de treinamento viram. Cada falha que ele aponta (um bot bloqueado no robots.txt, um 404 entregue a um crawler enquanto as pessoas veem a página, uma edição que os bots ainda não buscaram de novo, uma página nova que nenhum bot visitou) vai para o Action Center como uma correção com ponto de reversão.
As outras ferramentas param antes, com honestidade e de propósito. O Known Agents e os planos pagos da Cloudflare relatam as visitas humanas que as respostas de IA indicam ao seu site, que é o resultado um passo depois da citação, e nenhum dos dois documenta a citação em si. A Vercel relata o rastreamento e a regra que se aplicou. Se você já roda um monitoramento de respostas, os dados de rastreamento têm lugar ao lado dele; nossa lista de ferramentas de monitoramento de busca por IA cobre essa metade.
Já está na Cloudflare: ative o AI Crawl Control hoje. Na Vercel: coloque o conjunto de regras AI Bots em Log e leia a página Traffic. Em qualquer outra hospedagem, ou ainda sem rastreamento de respostas: Known Agents, grátis. Já paga por Otterly, PromptWatch, Qwairy ou Profound: use o módulo do seu plano antes de comprar qualquer coisa. Quer saber se o rastreamento virou uma citação, e ter a correção publicada: Prefer, nosso produto, em planos a partir de $24 por mês com 7 dias de teste grátis. A ressalva honesta é que nossos fatos publicados dos planos não dizem em qual plano o Agent Analytics começa, e nosso módulo não documenta rastreamento de indicações de IA, que duas das ferramentas gratuitas documentam.
Para o campo mais amplo de ferramentas que medem as respostas, e não os rastreamentos, veja as melhores ferramentas de visibilidade em IA.
As perguntas que compradores fazem em seguida.
Uma ferramenta que lê as requisições que os crawlers de IA fazem ao seu site, a partir dos logs do servidor ou na borda da CDN, e relata quais bots vieram (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e os demais), o que buscaram, o que foi bloqueado ou deu erro e, em algumas ferramentas, quais respostas de IA depois enviaram visitantes. O Agent Analytics da Prefer vai um passo além e liga os rastreamentos de cada página a se ela foi citada.
O que é um crawler de IA? →Não, e é por isso que o Agent Analytics da Prefer é análise de arquivos de log. Crawlers de IA leem o HTML bruto que o seu servidor devolve e não executam JavaScript, então a tag de analytics nunca dispara para eles; Cloudflare e Vercel veem as requisições na borda, antes de qualquer tag rodar. O Google Analytics vê, sim, visitantes humanos indicados pelo ChatGPT ou pelo Perplexity, o que é uma medição diferente.
No mínimo, os crawlers de busca que buscam páginas para respostas ao vivo: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot e Bingbot. O gerador gratuito de robots.txt da Prefer escreve as regras e o verificador de acesso de crawlers testa o arquivo que você já tem. Permitir ou não os crawlers de treinamento (GPTBot, ClaudeBot, Google-Extended) é uma escolha separada.
Gerador de robots.txt →O guia do GPTBot da Prefer mostra como conferir à mão: compare a string de user agent, que no caso do GPTBot inclui um número de versão e um link para a página de crawlers da OpenAI, e o IP da requisição com as faixas que a OpenAI publica em openai.com/gptbot.json. Um user agent do GPTBot vindo de um IP fora dessas faixas é falsificado. Known Agents, Vercel e os planos pagos da Cloudflare fazem essa verificação por você.
O que é o GPTBot? →Perguntas
A Prefer, nosso produto e nossa escolha, se você quer o rastreamento ligado à citação: o Agent Analytics lê os logs do seu servidor, nomeia cada crawler de IA, separa o tráfego de resposta do tráfego de treinamento, lista as páginas que a IA nunca buscou e acompanha cada página da publicação à citação, em planos a partir de $24/mês. Para uma ferramenta avulsa, o Known Agents (antigo Dark Visitors) tem plano gratuito e mais de 2.000 agentes nomeados. Na Cloudflare, o AI Crawl Control é grátis em todos os planos.
Leia os logs do seu servidor ou a visão de bots da sua CDN, não a sua tag de analytics, porque crawlers de IA não executam JavaScript. O Agent Analytics da Prefer lê os logs por você e lista GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot, Googlebot e Google-Extended com volume, horário da última visita e códigos de status. Na Cloudflare, abra o AI Crawl Control; na Vercel, coloque o conjunto de regras AI Bots em Log e abra a página Firewall Traffic; em qualquer hospedagem, o Known Agents aceita logs por um conector ou pela API.
Normalmente, não. A resposta da Prefer a essa pergunta é que bloquear crawlers de busca como OAI-SearchBot ou PerplexityBot tira você das respostas de IA que os compradores leem, e não apaga o que um modelo já aprendeu. Bloqueie caminhos específicos que você precisa proteger, mantenha as páginas públicas abertas e trate os crawlers de treinamento (GPTBot, ClaudeBot) como uma escolha separada. O raciocínio completo está na nossa página de resposta, Should I block AI crawlers from my site?
Os dois pertencem à OpenAI, e têm trabalhos diferentes. O Agent Analytics da Prefer relata os dois em linhas separadas, treinamento e resposta. O GPTBot coleta páginas públicas que podem treinar modelos futuros. O OAI-SearchBot busca páginas ao vivo para que o ChatGPT possa respondê-las e citá-las; o diretório da Vercel observa que ele não rastreia para treinamento. Bloquear um não bloqueia o outro, então uma linha de robots.txt voltada ao GPTBot mantém suas citações no ChatGPT intactas, e bloquear o OAI-SearchBot as remove.
Não, e o Agent Analytics da Prefer usa análise de arquivos de log exatamente por isso. O Google Analytics roda como JavaScript em um navegador, e os crawlers de IA leem o HTML bruto sem executar scripts, então nunca são registrados. As ferramentas de borda da Cloudflare e da Vercel contam as requisições antes de qualquer tag rodar. O que o Google Analytics consegue mostrar são visitantes humanos que chegaram por uma resposta de IA, que o Known Agents e os planos pagos da Cloudflare também relatam.
Os planos da Prefer começam em $24/mês com 7 dias de teste grátis, e nossos fatos publicados não dizem em qual plano o Agent Analytics começa, então pergunte. O Cloudflare AI Crawl Control está incluído em todos os planos da Cloudflare, inclusive o Free. O Known Agents é grátis por 100 mil eventos por mês, depois US$ 29 e US$ 299. O conjunto de regras AI Bots da Vercel é grátis; consultar nomes de bots exige o Observability Plus, a US$ 1,20 por 1 milhão de eventos no plano Pro de US$ 20. Dentro das plataformas de visibilidade, o módulo começa em US$ 189 (Otterly Standard), US$ 245 (PromptWatch Professional) e US$ 519 (Qwairy Business); o Profound é Enterprise sob consulta. Tudo verificado entre 22 de agosto e 26 de setembro de 2026.
Sim, o Dark Visitors mudou de nome para Known Agents, e a Prefer o lista com o novo nome. O domínio antigo, darkvisitors.com, redireciona para knownagents.com, as páginas de agentes trazem o sufixo formerly Dark Visitors, e a empresa diz que as integrações existentes continuam funcionando sem mudanças. Ele continua sendo o produto dedicado de análise de agentes desta lista, com plano gratuito e um diretório de mais de 2.000 agentes.
Referências
Como escolher
Em qualquer hospedagem, ou em várias, a Prefer lê os logs do seu servidor ou da sua CDN, e o Known Agents recebe logs por um conector ou pela API. Na Cloudflare, comece pelo AI Crawl Control; ele é grátis em todos os planos e vê cada requisição. Na Vercel, coloque o conjunto de regras AI Bots em Log e leia a página Traffic, depois decida se o Observability Plus vale a pena.
Se uma contagem de visitas basta, o Known Agents (grátis) e a Cloudflare (planos pagos) relatam visitantes indicados por plataformas de chat de IA. Se você precisa saber se a página foi citada, a Prefer é a única ferramenta desta lista que documenta um caminho por página do rastreamento à citação, e o Profound lista atribuição de tráfego de IA no Enterprise.
Então confira o plano. A Prefer inclui o Agent Analytics como módulo de crawlers (pergunte em qual plano ele começa); a Otterly inclui o Agent Analytics a partir do Standard de US$ 189, o PromptWatch a partir do Professional de US$ 245, a Qwairy a partir do Business de US$ 519, e o Profound no Enterprise sob consulta. Se o módulo está no seu plano, use-o antes de comprar uma segunda ferramenta; se está dois planos acima, uma ferramenta de borda gratuita sai mais barato.
Bloqueio e controle de firewall são onde Cloudflare e Vercel são mais fortes. Se o objetivo são citações, os dados de crawlers precisam levar a uma correção, e a Prefer encaminha cada uma para o Action Center: abrir o robots.txt para os crawlers de resposta, corrigir um 404 entregue a um bot, fazer uma página desatualizada ser rastreada de novo. Nas outras ferramentas, a correção fica por sua conta.
Continue lendo
See how answer engines describe your brand today, and where the openings are to outpace the competition.
5 cookies across three groups. Necessary ones stay on. Change the rest any time from the footer.
Sign-in, security, and remembering this choice. The site does not work without them.
Anonymous page and report usage so we can see what to improve. Nothing is tied to you.
Lets us credit the partner who sent you, so they are paid for the referral, and measure which campaigns bring people here. One cookie, no ad profiling.
