A área Robôs e tráfego de cada projeto tem seis páginas: Visão geral, Robôs, Páginas, Origens, Registo e Ligar o site. Está nos planos a partir do Essencial, com o carregamento do registo de acessos e a ligação à Cloudflare. O plano Essencial não a inclui. Mostra que robôs de IA leem o site, que páginas leem, quantas vezes e quando foi a última leitura. Se o robô de pesquisa de um motor não consegue ler uma página, o motor não a usa para responder. As estatísticas de visitas habituais, como o Google Analytics, não registam estes robôs.
De onde vêm os dados
Do registo de acessos do seu servidor (o ficheiro a que o alojamento chama «access log»). Em «Ligar o site», clique em «Carregar registo» e escolha o ficheiro, até 10 MB, em formato nginx «combined» ou o CSV de pedidos HTTP que a Cloudflare exporta. O Notado separa as visitas dos robôs de IA que conhece, por exemplo OAI-SearchBot e GPTBot (OpenAI), PerplexityBot, Claude-SearchBot e ClaudeBot (Anthropic) e Bingbot (Bing e Copilot). Com o plugin WordPress do Notado ligado, as visitas que o plugin regista chegam a este ecrã uma vez por dia. Com a ligação à Cloudflare, os pedidos de robôs de IA chegam sem ficheiros nem esperas: veja Tráfego vindo da IA para os passos.
O que cada página mostra
- Visão geral: as leituras para respostas, as leituras de treino, as visitas vindas da IA e as páginas que falham, com a variação face ao período anterior. Cada número troca o gráfico. Por baixo, uma linha por motor, com as leituras, as visitas, as visitas por leitura e as respostas medidas que citam o site, que abre os robôs desse motor, as páginas com mais leituras e as três páginas que mais falham. Quando o período anterior teve zero, a variação diz «antes 0» em vez de uma percentagem.
- Robôs: as leituras por classe, um gráfico por dia com o treino a tracejado, as visitas por motor e cada robô, com a classe, o motor, as leituras, as páginas lidas e o último dia com leituras. Abra um robô para ver o que bloquear faz e as três páginas que mais lê.
- Páginas: as páginas lidas, em três vistas. Robôs separa as leituras a pedido, de índice e de treino, com a nota técnica de 0 a 100 que a última análise do site deu a cada página; a página que a análise não leu fica por medir. Visitas mostra as visitas vindas da IA e as perguntas que citam a página. Comparar põe as leituras e as visitas lado a lado, com as visitas por leitura de cada página, contadas só nos dias medidos pelos dois lados. Imagens e outros ficheiros contam à parte das páginas. Por baixo, as páginas que falham aos robôs, com os erros de cada dia num gráfico e a ordem para corrigir.
- Origens: o país, o navegador e o aparelho das visitas, em contagens. O tráfego vindo da IA descreve o ecrã.
- Registo: cada pedido de um robô, com a data e hora de Lisboa, o método, o código de resposta, o caminho sem os parâmetros (a parte depois de «?»), o motor, a classe, o robô e a porta por onde chegou. Tem pesquisa, filtros e descarregamento em CSV. O detalhe guarda 30 dias; depois disso os pedidos contam só nos totais por dia. Ao vivo, só com a Cloudflare ou o endereço de recolha, volta a ler o registo a cada 10 segundos e tira o descarregamento da barra enquanto corre. Com o separador escondido deixa de pedir, e ao fim de 15 minutos sem mexer na página pára sozinho.
- Ligar o site: as formas de receber os dados e o estado de cada uma, com o cartão da ligação, o diálogo que a cria e o teste.
Ligar o site uma vez
Em Ligar o site, no cartão da ligação, carregue em «Ligar o site». O Notado abre na forma que os cabeçalhos da sua página inicial indicam, por exemplo a Cloudflare, e pode escolher outra: WordPress, endereço de recolha ou ficheiro de registo. A Fastly, a Vercel e a CloudFront estão marcadas «Em desenvolvimento», com o botão «Tenho interesse».
- Confirme que administra o site. A ligação vale para o domínio e para o
www. - Na Cloudflare, crie um Worker, cole o script que o Notado mostra e publique. A chave deste site já vai no script.
- Acrescente as rotas do domínio e do
wwwe escolha «Fail open» no limite de pedidos. Com «Fail open», o site continua a abrir se o limite diário do plano grátis da Cloudflare chegar, e a recolha para até ao dia seguinte. - Acrescente um Cron Trigger de hora a hora. É o sinal que separa um dia sem robôs de um dia sem comunicação.
- Carregue em «Já publiquei, enviar teste». O Notado pede ao seu site um endereço único e a ligação tem de o devolver, em segundos. O pedido de teste não entra em nenhum número.
O script deixa sempre passar o pedido, e o site abre mesmo que o Notado esteja em baixo. Só seguem para nós os pedidos de robôs de IA e as visitas vindas de uma resposta de IA. Não guardamos o endereço IP de quem visita. O país de cada visita é o que a Cloudflare indica, e o ficheiro de registo do servidor, que não o traz, fica «sem país».
Se o teste falha
Só dizemos a causa quando há prova dela. Sem prova, ao fim de 5 minutos o ecrã diz que não sabe e oferece «Copiar diagnóstico», que não leva chaves nem cookies.
- O site não passou pela Cloudflare: o pedido de teste chegou sem cabeçalhos da Cloudflare. Confirme que o domínio tem o proxy ligado.
- Script por publicar: o pedido passou pela Cloudflare e o script não respondeu. Confirme que o Worker está publicado.
- Rota em falta: o sinal de hora a hora chegou e o teste não. Confirme a rota do domínio.
- Chave recusada: chegaram pedidos com uma chave que não é a deste site. Copie o script outra vez.
- O site recusou o teste: o site respondeu 403 ou um erro do servidor.
- Recebido só num endereço: falta a rota do outro endereço, domínio ou
www.
Pelo endereço de recolha, o pedido não passa pela Cloudflare, por isso as três primeiras causas não se aplicam. O ecrã diz a chave recusada e o site que recusou o teste logo que os vê; sem nenhum dos dois, espera os 5 minutos.
Estados, pausa e desligar
Um dia sem comunicação nunca conta como zero: fica «por medir». Um dia com a ligação a comunicar e sem robôs é zero. A ligação tem um estado à vista: Por ligar, Por verificar, A verificar, A recolher, Sem comunicação, Em pausa ou Desligada. «Sem comunicação» aparece quando passam mais de 3 horas sem sinal. O cartão mostra em separado o último pedido observado e a última comunicação, porque pouco tráfego não é uma ligação avariada.
- Pausar pára a recolha. Os pedidos que chegarem em pausa não contam, esses dias ficam por medir e a chave continua válida. «Retomar» não recupera o intervalo.
- Desligar revoga a chave: os pedidos seguintes são recusados e contados durante 30 dias, para uma ligação nova poder dizer que o script antigo continua a enviar. Pode manter os dados recolhidos ou apagar os desta ligação, e o ecrã diz quantos pedidos apaga antes de confirmar. Para terminar, apague o Worker na Cloudflare.
- Cancelar o plano não desliga a ligação: os pedidos deixam de contar e esses dias ficam por medir. Num plano sem os robôs, a ligação já não se cria nem se retoma, e pausar e desligar continuam disponíveis.
Páginas que falham aos robôs
Lemos os códigos de resposta reais. Contam como página com erro só o 404, o 410 e os erros do servidor (5xx). Os códigos 401, 403 e 429 são regras de acesso: aparecem à parte, como bloqueios a robôs. Cada página com erro pedida por um robô de pesquisa ou de índice vira uma proposta nas Ações, por exemplo redirecionar o endereço. Os erros pedidos só por robôs de treino aparecem na tabela e não criam proposta, porque não tiram o site de nenhuma resposta. Sem ligação, ou só com o plugin WordPress, os códigos ficam por medir.
As três classes de robô
- A pedido: lê a página no momento em que alguém pergunta ao motor. Bloqueá-lo tira o site das respostas desse motor.
- Índice: lê o site para o índice de onde o motor tira as respostas. Bloqueá-lo tira o site das respostas futuras.
- Treino: recolhe texto para modelos futuros e não traz o site a nenhuma resposta. Bloqueá-lo é uma escolha de privacidade.
O número principal conta só as classes a pedido e de índice. O treino aparece à parte, com o seu nome. As visitas por leitura dividem as visitas vindas de um motor pelas leituras a pedido do mesmo motor, só nos dias medidos pelos dois lados. Sem leituras a pedido, ou com um dos lados por medir, fica «por medir». Não há limiar de bom ou mau.
Como contamos
- Uma visita mostra que o robô pediu a página. Não mostra que o motor citou o site (ver citado ≠ lido).
- Se carregar o mesmo registo duas vezes, as linhas repetidas não contam de novo. Depois de cada carregamento aparece um resumo com as visitas gravadas, o número de robôs, as linhas ignoradas e as repetidas.
- Um dia que nenhuma ligação mediu fica por medir; um dia medido sem leituras conta como zero. Sem nenhuma ligação, a área mostra «Visitas por medir» e o que o teste de acesso da última análise já provou, em vez de uma tabela com zeros.
- O plugin WordPress não diz o código de resposta, por isso essas leituras aparecem no registo como «sem código».
Os robôs desta página são os dos motores de IA. O robô com que o Notado lê o seu site chama-se NotadoBot e tem uma página própria: o nosso robô.