O NotadoBot é o robô com que o Notado lê sites. Esta página diz que pedidos fazemos, como nos identificamos e como nos pode deixar passar ou pedir para pararmos. O robô é operado pela Voidstep, Lda., a empresa que opera o Notado.
Para que serve
Lemos um site quando alguém pede o diagnóstico grátis, quando preparamos a análise paga de um cliente, quando verificamos se uma correção aplicada continua no site e quando lemos uma página que um motor de IA citou. Também voltamos a ler, todas as semanas, uma parte dos sites que já passaram pelo diagnóstico, para acompanhar a evolução.
Como se identifica
Os pedidos do NotadoBot levam este User-Agent:
NotadoBot/1.0 (+https://notado.pt/docs/notadobot)Nas regras do robots.txt, o nome a usar é NotadoBot. Cada pedido leva também o cabeçalho From com o nosso endereço de contacto, [email protected].
O que pedimos
- A página que nos pediram para ler e, na mesma leitura, o robots.txt, o sitemap.xml e o llms.txt do site. Para mostrar o ícone do site, pedimos também o favicon.ico.
- Na análise paga, a página inicial e até 8 páginas do mesmo site, escolhidas a partir do sitemap.xml.
- Só fazemos pedidos GET. O robô lê o HTML tal como o servidor o devolve, sem correr JavaScript, sem preencher formulários e sem guardar cookies.
- Cada pedido espera até 12 segundos pela resposta (6 segundos para ligar), segue no máximo 8 redirecionamentos e lê no máximo 5 MB de cada resposta.
robots.txt
Antes de pedir uma página, lemos o robots.txt do site e seguimos o grupo NotadoBot, ou o grupo * quando não há um grupo para nós. Voltamos a ver a regra em cada redirecionamento. Se a regra nos recusa, não pedimos a página, nem o sitemap.xml, nem o llms.txt, nem o favicon.ico.
Há uma exceção. O site de um cliente, que nos pediu para o analisar, é lido mesmo com uma regra contra nós, porque essa análise é o serviço que comprou. Os outros sites, incluindo as páginas de concorrentes que um motor citou, são sempre lidos com o robots.txt respeitado.
A diretiva Crawl-delay só conta quando verificamos os links do site que os motores citaram nas respostas: entre dois pedidos ao mesmo site esperamos pelo menos 2 segundos, ou o intervalo que a diretiva pede, até 10 segundos. Essa verificação respeita sempre o robots.txt, também no site de um cliente.
Para nos bloquear no site inteiro:
User-agent: NotadoBot
Disallow: /Para nos deixar passar, mesmo com outros robôs bloqueados:
User-agent: NotadoBot
Allow: /Pedidos com a identificação dos motores
Para saber se o site deixa entrar os robôs dos motores de IA, pedimos a página inicial uma vez com o User-Agent que cada motor publica. Estes pedidos não levam o nome NotadoBot nem o cabeçalho From.
| Robô | De quem | User-Agent enviado |
|---|---|---|
OAI-SearchBot |
OpenAI ChatGPT (pesquisa) |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot |
ChatGPT-User |
OpenAI ChatGPT (a pedido) |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot |
PerplexityBot |
Perplexity Perplexity (pesquisa) |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
Perplexity-User |
Perplexity Perplexity (a pedido) |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) |
Applebot |
Apple Apple Intelligence e Siri |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) |
Googlebot |
Google Google e AI Overviews |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/126.0.0.0 Safari/537.36 |
Bingbot |
Microsoft Bing e Microsoft Copilot |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36 |
GPTBot |
OpenAI Treino de modelos da OpenAI |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.1; +https://openai.com/gptbot) |
Estes pedidos saem da nossa rede, e não da rede de cada motor, sempre com um limite de tempo mais curto do que os outros.
- No teste do relatório, vão no máximo 4 ao mesmo tempo, e cada site recebe no máximo 6 destes testes por hora. Antes deles vai sempre um pedido com a nossa identificação, para confirmar que o site nos responde.
- Nas outras análises, com os robôs OAI-SearchBot, ChatGPT-User, PerplexityBot, Googlebot, Bingbot, vai um pedido de cada vez, um por robô. Só pedimos com a nossa identificação quando uma destas ligações é cortada, para saber se o corte foi só para aquele robô.
Uma recusa a estes pedidos não diz nada sobre o robô verdadeiro. Muitos sites confirmam os robôs dos motores pelo endereço de onde vêm, e o nosso endereço não é o deles. O teste mostra só como o site responde a um pedido com aquela identificação.
Deixar passar numa firewall
Se a firewall ou o serviço de proteção do seu site bloqueia robôs, crie uma regra que deixe passar os pedidos com NotadoBot no User-Agent. Não publicamos uma lista fixa de endereços. Para confirmar que um pedido é nosso, escreva para [email protected] com a data, a hora e o endereço de onde veio o pedido.
Pedir para parar ou reportar um problema
A forma mais rápida de nos fazer parar é a regra de robots.txt acima. Também pode escrever para [email protected] com o domínio do site e o que viu no registo de acessos do servidor.