Korzen

Blog

Agentes de IA e scrapers de LLM: o que deixar entrar, e onde verificar

Crawlers de IA leem as suas páginas, e agentes de IA já preenchem formulários em navegadores de verdade. Quais receber, quais parar, e por que a verificação fica na ação, não na página.

Dois tipos de tráfego de IA chegam a um site hoje. Crawlers de LLM leem páginas para treinar modelos ou para responder a uma pergunta que alguém fez a um chatbot. Agentes de IA vão além: um modelo controla um navegador de verdade, clica, digita e envia formulários em nome de alguém. Eles levantam perguntas diferentes, e cada uma tem um lugar melhor para ser respondida.

Crawlers de LLM: decida na borda

Crawlers leem páginas. A maioria dos grandes se identifica no User-Agent e segue o robots.txt, então esse arquivo é o primeiro lugar para dizer o que podem ler. A sua CDN pode impor isso aos que o ignoram, e algumas CDNs bloqueiam ou cobram crawlers de IA por conta própria. Conteúdo que você vende, como matérias atrás de paywall ou uma lista de preços, precisa de mais: o caso dos publishers está em proteção contra bots para sites de notícias.

O Bot Protection não mantém uma lista de crawlers, e não precisa: ele é consultado sobre ações, não sobre visualizações de página.

Agentes de IA: decida na ação

Um agente que reserva, se cadastra ou compra faz isso pelos mesmos formulários que os seus clientes usam. Parte disso é bem-vinda, uma pessoa delegando uma compra a um assistente; parte é o abuso de sempre com um motorista novo, criando contas, pegando trials grátis ou testando senhas em volume. A visualização da página diz pouco. O cadastro, o login e o checkout são onde a pergunta importa, então é ali que você pergunta:

  • Cadastro e trials grátis: um agente que cria contas em loop é um bot de cadastro, seja quem for que o controla. Segure os créditos grátis para bot; veja abuso de trial grátis.
  • Login: um segundo fator para bot. Um assistente agindo por um cliente real consegue passar com ele; um credential stuffer, não.
  • Checkout: automação comprando estoque limitado ou testando cartões é recusada em bot_high, seja um modelo ou um script no volante.

O que entrega um navegador controlado

A maioria dos agentes de hoje controla o Chrome pelo Playwright ou pelo protocolo do DevTools, as mesmas ferramentas que os scrapers usam. Por mais humanas que sejam as escolhas do modelo, o navegador ainda mostra como é controlado:

  • Como a entrada chega. Um clique sem movimento do mouse antes, teclas soltas em poucos milissegundos, texto inserido sem nenhuma tecla pressionada.
  • O próprio navegador. Flags de automação, uma GPU por software, um User-Agent que discorda dos client hints do próprio navegador.
  • O padrão. Muitas requisições em poucos caminhos, sessões novas em sequência, um dispositivo atrás de muitas redes.

Nos nossos próprios testes, em outubro de 2026, quinze ferramentas de automação, de scripts simples a Playwright com flags de stealth e um Chrome de verdade controlado pelo protocolo do DevTools, foram todas pegas: a maioria das respostas num formulário de login foi bot ou bot_high.

Deixe os bons entrarem de propósito

Se você quer que agentes comprem de você, dê a eles uma porta feita para eles: uma API, ou uma verificação extra (step-up) que a pessoa por trás do agente consiga passar, como uma passkey. O Bot Protection responde step_up quando as evidências apontam para os dois lados, e no monitor mode você vê quanto do seu tráfego é automatizado antes de bloquear qualquer coisa.