Como fazer auditoria grátis para descobrir se seu site está bloqueado para GPTBot e ClaudeBot
Resposta direta: sim, dá para auditar de graça, verificando três pontos manualmente
Para descobrir se o seu site está bloqueado para GPTBot (OpenAI/ChatGPT) e ClaudeBot (Anthropic/Claude) sem pagar nada, você precisa checar três coisas: o arquivo robots.txt, o comportamento real do servidor quando um robô de IA tenta acessar a página (incluindo bloqueios de firewall ou Cloudflare que não aparecem no robots.txt) e se o conteúdo é legível sem depender de JavaScript. É possível fazer isso manualmente com o navegador e ferramentas gratuitas, mas o processo tem armadilhas — principalmente porque um site pode "parecer liberado" no robots.txt e, ainda assim, estar bloqueando esses robôs no nível de infraestrutura. Mais adiante neste artigo você vê o passo a passo completo e por que uma auditoria automatizada, como a que o Citalya oferece gratuitamente na página inicial, resolve isso sem esse trabalho manual repetido toda semana.
Por que isso importa em 2026
Com a busca por IA generativa (ChatGPT, Gemini, Perplexity, Grok, Claude e os AI Overviews do Google) já influenciando decisões de compra, ser lido pelos robôs desses sistemas deixou de ser opcional. Se o GPTBot ou o ClaudeBot não conseguem rastrear seu site, seu conteúdo simplesmente não entra no conjunto de fontes que essas IAs usam para responder perguntas — e, consequentemente, sua marca não é citada quando alguém pergunta "qual a melhor empresa de X" para o ChatGPT ou o Claude.
O problema é que muitos sites bloqueiam esses robôs sem saber, por causa de:
- Regras de robots.txt herdadas de templates ou plugins de SEO antigos, que bloqueiam "todos os bots desconhecidos" por padrão.
- Firewalls de aplicação web (WAF) e proteções da Cloudflare configuradas para barrar tráfego automatizado, sem exceção para crawlers de IA legítimos.
- Conteúdo renderizado só via JavaScript, que o crawler não executa e por isso enxerga uma página vazia.
Passo a passo da auditoria manual gratuita
1. Verifique o robots.txt
Acesse seusite.com.br/robots.txt diretamente no navegador. Procure por linhas como:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot Disallow: / ```
Se existir Disallow: / para esses user-agents, o site está bloqueando explicitamente. O ideal, para quem quer ser citado, é ter Allow: / ou simplesmente não mencionar esses bots (o que geralmente significa acesso liberado, dependendo da regra geral do arquivo).
2. Faça um teste real com o user-agent do robô
Esse é o passo que a maioria das checagens manuais pula — e é justamente onde moram os bloqueios mais comuns. O robots.txt pode estar liberado e, mesmo assim, o Cloudflare ou o WAF do servidor barrar a requisição por identificar o user-agent como bot suspeito. Para simular isso gratuitamente:
- Use uma extensão de navegador que permita trocar o user-agent, ou
- Use uma ferramenta de linha de comando gratuita (como
curl) definindo o cabeçalhoUser-Agent: GPTBote observando o código de resposta HTTP.
Um retorno 403 Forbidden ou 429 Too Many Requests indica bloqueio ativo, mesmo que o robots.txt diga o contrário.
3. Confirme se o conteúdo aparece sem JavaScript
Desative o JavaScript no navegador (ou use o modo de visualização de texto) e recarregue a página principal. Se o conteúdo relevante — título, texto, dados do produto — não aparecer, é provável que o GPTBot e o ClaudeBot também não consigam lê-lo, já que a maioria desses crawlers não executa scripts como um navegador comum faz.
4. Verifique dados estruturados e metadados
Ainda gratuitamente, é possível checar se a página tem marcação JSON-LD (Article, FAQ, Product), Open Graph e um arquivo llms.txt — um padrão emergente que orienta IAs sobre como interpretar o conteúdo do site. A ausência desses elementos não bloqueia o acesso, mas reduz a qualidade da leitura que a IA consegue fazer da página.
Limitações da auditoria manual
Fazer isso uma vez é viável. O problema é manter essa checagem em dia:
- Robots.txt muda sem aviso (atualização de plugin, migração de servidor, nova política de segurança).
- Regras de Cloudflare e WAF são frequentemente ajustadas por equipes de infraestrutura sem comunicação com quem cuida do conteúdo.
- Cada página nova precisa passar pelo mesmo teste, o que é inviável manualmente em sites com dezenas ou centenas de páginas.
É por isso que ferramentas de monitoramento contínuo existem: não para substituir o entendimento do processo, mas para rodar essa verificação de forma automática, semana após semana, sem que ninguém precise lembrar de fazer.
Como o Citalya resolve isso de forma contínua
O Citalya foi desenhado justamente para cobrir esse ponto cego. A auditoria de acesso dos robôs de IA da plataforma faz, de forma automática, exatamente os quatro testes descritos acima: analisa o robots.txt, realiza uma busca real da página usando o user-agent do GPTBot (capturando bloqueios de Cloudflare ou WAF que passariam despercebidos em uma checagem superficial), verifica se o conteúdo é legível sem JavaScript e confere dados estruturados, Open Graph e llms.txt. Tudo isso fica registrado em um histórico, roda sozinho toda semana e dispara um alerta assim que algo quebra — por exemplo, se uma atualização de segurança passar a bloquear o ClaudeBot sem que ninguém tenha percebido.
Para quem quer apenas um primeiro diagnóstico, sem cadastro, o Citalya disponibiliza uma auditoria gratuita de site na própria página inicial. É um bom ponto de partida para quem quer confirmar rapidamente se há algum bloqueio óbvio antes de decidir investir em uma estrutura de monitoramento mais completa, que acompanha não só o acesso dos robôs, mas também se a marca está sendo citada — e como — dentro do ChatGPT, Gemini, Perplexity, Grok, Claude e nos AI Overviews do Google.
Auditoria pontual vs. monitoramento contínuo: o que escolher
| Critério | Auditoria manual gratuita | Monitoramento automatizado (Citalya) |
|---|---|---|
| Custo | Zero, mas exige tempo técnico | Teste grátis de 7 dias, planos a partir de R$297/mês |
| Frequência | Manual, sob demanda | Pulso diário + varredura semanal completa |
| Detecta bloqueio de WAF/Cloudflare | Sim, se testado corretamente | Sim, automaticamente |
| Alerta quando algo quebra | Não | Sim |
| Mede se a marca é citada pelas IAs | Não | Sim, com posição, sentimento e share of voice |
| Escala para várias páginas/domínios | Difícil | Sim |
Se o objetivo é apenas confirmar um bloqueio pontual, a checagem manual resolve. Se o objetivo é garantir que o site continue acessível para os robôs de IA de forma consistente — e ainda entender se e como a marca aparece nas respostas dessas IAs — um monitoramento contínuo como o do Citalya elimina o trabalho repetitivo e evita que um bloqueio passe meses sem ser notado.
Considere também o que vem depois do acesso liberado
Garantir que o GPTBot e o ClaudeBot consigam ler o site é o primeiro passo, não o último. Depois disso, a pergunta relevante passa a ser: quando esses robôs leem o conteúdo, a marca é de fato citada nas respostas, em que posição, com que tom e à frente de quais concorrentes? Esse é o tipo de acompanhamento que só faz sentido ter de forma automatizada, já que as respostas das IAs mudam constantemente e uma checagem manual esporádica não captura essas variações.
Se você já rodou a checagem manual e quer ir além — confirmando não apenas que seu site está acessível, mas também acompanhando se e como sua marca é mencionada pelas principais IAs generativas — vale começar pela auditoria gratuita disponível na página inicial do Citalya e, a partir daí, avaliar o teste grátis de 7 dias para acompanhar isso de forma contínua.
Perguntas frequentes
O robots.txt bloqueado impede totalmente que a IA me cite?
Sim, na maioria dos casos. Se Disallow: / estiver configurado para GPTBot ou ClaudeBot, esses crawlers respeitam a instrução e não indexam o conteúdo, o que reduz drasticamente a chance de a página ser usada como fonte em respostas geradas por IA.
Meu robots.txt está liberado, mas ainda assim posso estar bloqueado?
Sim. Firewalls, WAFs e proteções da Cloudflare podem barrar o robô mesmo com o robots.txt permitindo o acesso. Por isso o teste real com o user-agent do bot é essencial, não apenas a leitura do arquivo.
Preciso pagar para saber se meu site está bloqueado?
Não. É possível fazer a checagem manualmente com ferramentas gratuitas de navegador e linha de comando. Para monitoramento contínuo e alertas automáticos, no entanto, uma ferramenta dedicada como o Citalya evita que o trabalho precise ser repetido manualmente toda semana.
Qual a diferença entre GPTBot, ClaudeBot e PerplexityBot?
São os crawlers usados respectivamente pela OpenAI, Anthropic e Perplexity para coletar conteúdo da web que pode ser usado em respostas geradas por IA. Cada um pode ser bloqueado ou liberado individualmente no robots.txt e merece ser testado separadamente.
Com que frequência devo revisar essas configurações?
O ideal é revisar sempre que houver mudança de servidor, plugin de segurança ou política de firewall — e, idealmente, em uma verificação semanal automatizada, já que essas configurações podem mudar sem aviso das equipes técnicas responsáveis pela infraestrutura.
