Diagnóstico grátis no ChatGPT e nas AI Overviews →

Fazer diagnóstico

A área Robôs e tráfego de cada projeto tem seis páginas: Visão geral, Robôs, Páginas, Origens, Registo e Ligar o site. Está nos planos a partir do Essencial, com o carregamento do registo de acessos e a ligação à Cloudflare. O plano Essencial não a inclui. Mostra que robôs de IA leem o site, que páginas leem, quantas vezes e quando foi a última leitura. Se o robô de pesquisa de um motor não consegue ler uma página, o motor não a usa para responder. As estatísticas de visitas habituais, como o Google Analytics, não registam estes robôs.

De onde vêm os dados

Do registo de acessos do seu servidor (o ficheiro a que o alojamento chama «access log»). Em «Ligar o site», clique em «Carregar registo» e escolha o ficheiro, até 10 MB, em formato nginx «combined» ou o CSV de pedidos HTTP que a Cloudflare exporta. O Notado separa as visitas dos robôs de IA que conhece, por exemplo OAI-SearchBot e GPTBot (OpenAI), PerplexityBot, Claude-SearchBot e ClaudeBot (Anthropic) e Bingbot (Bing e Copilot). Com o plugin WordPress do Notado ligado, as visitas que o plugin regista chegam a este ecrã uma vez por dia. Com a ligação à Cloudflare, os pedidos de robôs de IA chegam sem ficheiros nem esperas: veja Tráfego vindo da IA para os passos.

O que cada página mostra

  • Visão geral: as leituras para respostas, as leituras de treino, as visitas vindas da IA e as páginas que falham, com a variação face ao período anterior. Cada número troca o gráfico. Por baixo, uma linha por motor, com as leituras, as visitas, as visitas por leitura e as respostas medidas que citam o site, que abre os robôs desse motor, as páginas com mais leituras e as três páginas que mais falham. Quando o período anterior teve zero, a variação diz «antes 0» em vez de uma percentagem.
  • Robôs: as leituras por classe, um gráfico por dia com o treino a tracejado, as visitas por motor e cada robô, com a classe, o motor, as leituras, as páginas lidas e o último dia com leituras. Abra um robô para ver o que bloquear faz e as três páginas que mais lê.
  • Páginas: as páginas lidas, em três vistas. Robôs separa as leituras a pedido, de índice e de treino, com a nota técnica de 0 a 100 que a última análise do site deu a cada página; a página que a análise não leu fica por medir. Visitas mostra as visitas vindas da IA e as perguntas que citam a página. Comparar põe as leituras e as visitas lado a lado, com as visitas por leitura de cada página, contadas só nos dias medidos pelos dois lados. Imagens e outros ficheiros contam à parte das páginas. Por baixo, as páginas que falham aos robôs, com os erros de cada dia num gráfico e a ordem para corrigir.
  • Origens: o país, o navegador e o aparelho das visitas, em contagens. O tráfego vindo da IA descreve o ecrã.
  • Registo: cada pedido de um robô, com a data e hora de Lisboa, o método, o código de resposta, o caminho sem os parâmetros (a parte depois de «?»), o motor, a classe, o robô e a porta por onde chegou. Tem pesquisa, filtros e descarregamento em CSV. O detalhe guarda 30 dias; depois disso os pedidos contam só nos totais por dia. Ao vivo, só com a Cloudflare ou o endereço de recolha, volta a ler o registo a cada 10 segundos e tira o descarregamento da barra enquanto corre. Com o separador escondido deixa de pedir, e ao fim de 15 minutos sem mexer na página pára sozinho.
  • Ligar o site: as formas de receber os dados e o estado de cada uma, com o cartão da ligação, o diálogo que a cria e o teste.

Ligar o site uma vez

Em Ligar o site, no cartão da ligação, carregue em «Ligar o site». O Notado abre na forma que os cabeçalhos da sua página inicial indicam, por exemplo a Cloudflare, e pode escolher outra: WordPress, endereço de recolha ou ficheiro de registo. A Fastly, a Vercel e a CloudFront estão marcadas «Em desenvolvimento», com o botão «Tenho interesse».

  1. Confirme que administra o site. A ligação vale para o domínio e para o www.
  2. Na Cloudflare, crie um Worker, cole o script que o Notado mostra e publique. A chave deste site já vai no script.
  3. Acrescente as rotas do domínio e do www e escolha «Fail open» no limite de pedidos. Com «Fail open», o site continua a abrir se o limite diário do plano grátis da Cloudflare chegar, e a recolha para até ao dia seguinte.
  4. Acrescente um Cron Trigger de hora a hora. É o sinal que separa um dia sem robôs de um dia sem comunicação.
  5. Carregue em «Já publiquei, enviar teste». O Notado pede ao seu site um endereço único e a ligação tem de o devolver, em segundos. O pedido de teste não entra em nenhum número.

O script deixa sempre passar o pedido, e o site abre mesmo que o Notado esteja em baixo. Só seguem para nós os pedidos de robôs de IA e as visitas vindas de uma resposta de IA. Não guardamos o endereço IP de quem visita. O país de cada visita é o que a Cloudflare indica, e o ficheiro de registo do servidor, que não o traz, fica «sem país».

Se o teste falha

Só dizemos a causa quando há prova dela. Sem prova, ao fim de 5 minutos o ecrã diz que não sabe e oferece «Copiar diagnóstico», que não leva chaves nem cookies.

  • O site não passou pela Cloudflare: o pedido de teste chegou sem cabeçalhos da Cloudflare. Confirme que o domínio tem o proxy ligado.
  • Script por publicar: o pedido passou pela Cloudflare e o script não respondeu. Confirme que o Worker está publicado.
  • Rota em falta: o sinal de hora a hora chegou e o teste não. Confirme a rota do domínio.
  • Chave recusada: chegaram pedidos com uma chave que não é a deste site. Copie o script outra vez.
  • O site recusou o teste: o site respondeu 403 ou um erro do servidor.
  • Recebido só num endereço: falta a rota do outro endereço, domínio ou www.

Pelo endereço de recolha, o pedido não passa pela Cloudflare, por isso as três primeiras causas não se aplicam. O ecrã diz a chave recusada e o site que recusou o teste logo que os vê; sem nenhum dos dois, espera os 5 minutos.

Estados, pausa e desligar

Um dia sem comunicação nunca conta como zero: fica «por medir». Um dia com a ligação a comunicar e sem robôs é zero. A ligação tem um estado à vista: Por ligar, Por verificar, A verificar, A recolher, Sem comunicação, Em pausa ou Desligada. «Sem comunicação» aparece quando passam mais de 3 horas sem sinal. O cartão mostra em separado o último pedido observado e a última comunicação, porque pouco tráfego não é uma ligação avariada.

  • Pausar pára a recolha. Os pedidos que chegarem em pausa não contam, esses dias ficam por medir e a chave continua válida. «Retomar» não recupera o intervalo.
  • Desligar revoga a chave: os pedidos seguintes são recusados e contados durante 30 dias, para uma ligação nova poder dizer que o script antigo continua a enviar. Pode manter os dados recolhidos ou apagar os desta ligação, e o ecrã diz quantos pedidos apaga antes de confirmar. Para terminar, apague o Worker na Cloudflare.
  • Cancelar o plano não desliga a ligação: os pedidos deixam de contar e esses dias ficam por medir. Num plano sem os robôs, a ligação já não se cria nem se retoma, e pausar e desligar continuam disponíveis.

Páginas que falham aos robôs

Lemos os códigos de resposta reais. Contam como página com erro só o 404, o 410 e os erros do servidor (5xx). Os códigos 401, 403 e 429 são regras de acesso: aparecem à parte, como bloqueios a robôs. Cada página com erro pedida por um robô de pesquisa ou de índice vira uma proposta nas Ações, por exemplo redirecionar o endereço. Os erros pedidos só por robôs de treino aparecem na tabela e não criam proposta, porque não tiram o site de nenhuma resposta. Sem ligação, ou só com o plugin WordPress, os códigos ficam por medir.

As três classes de robô

  • A pedido: lê a página no momento em que alguém pergunta ao motor. Bloqueá-lo tira o site das respostas desse motor.
  • Índice: lê o site para o índice de onde o motor tira as respostas. Bloqueá-lo tira o site das respostas futuras.
  • Treino: recolhe texto para modelos futuros e não traz o site a nenhuma resposta. Bloqueá-lo é uma escolha de privacidade.

O número principal conta só as classes a pedido e de índice. O treino aparece à parte, com o seu nome. As visitas por leitura dividem as visitas vindas de um motor pelas leituras a pedido do mesmo motor, só nos dias medidos pelos dois lados. Sem leituras a pedido, ou com um dos lados por medir, fica «por medir». Não há limiar de bom ou mau.

Como contamos

Bloquear um robô de pesquisa tira o site das respostas; bloquear um de treino não muda as respostas.Fonte: regras do código do Notado
  • Uma visita mostra que o robô pediu a página. Não mostra que o motor citou o site (ver citado ≠ lido).
  • Se carregar o mesmo registo duas vezes, as linhas repetidas não contam de novo. Depois de cada carregamento aparece um resumo com as visitas gravadas, o número de robôs, as linhas ignoradas e as repetidas.
  • Um dia que nenhuma ligação mediu fica por medir; um dia medido sem leituras conta como zero. Sem nenhuma ligação, a área mostra «Visitas por medir» e o que o teste de acesso da última análise já provou, em vez de uma tabela com zeros.
  • O plugin WordPress não diz o código de resposta, por isso essas leituras aparecem no registo como «sem código».

Os robôs desta página são os dos motores de IA. O robô com que o Notado lê o seu site chama-se NotadoBot e tem uma página própria: o nosso robô.

Ainda com dúvidas? Escreva para [email protected]. Respondemos em 1 dia útil, ou em 2 dias úteis no Notado Base, nos dias úteis, das 10:00 às 18:00, hora de Lisboa.

Continuar a ler