Web scraping é a cópia automatizada do conteúdo ou dos dados de um site. A OWASP o define como a coleta de dados acessíveis para uso posterior, "como a exploração de dados proprietários ou a fixação de preços", e lista os nomes que ele recebe: content scraping, agregação de dados, harvesting, screen scraping e, agora, scrapers de LLM e de IA. Parte do scraping é bem-vinda, já que um buscador é um scraper que manda leitores para você. A pergunta nunca é "é um bot", e sim "você o convidou".
O que o scraping custa
- Os seus dados, usados contra você. Um concorrente lê os seus preços para cobrar menos, um site de cópias republica os seus artigos, um agregador revende os seus anúncios.
- A conta para servi-los. A Wikimedia Foundation relatou em abril de 2025 que os bots faziam cerca de 35% das suas visualizações de página, mas pelo menos 65% do seu tráfego mais caro, as requisições que escapam dos caches e chegam ao seu datacenter central.
- Contas criadas para isso. A OWASP observa que parte do scraping passa por contas falsas ou roubadas, para chegar ao que só membros veem. Isso faz do seu cadastro parte do problema: veja como parar cadastros falsos.
O robots.txt é um pedido, não uma tranca
Diga no robots.txt o que os crawlers podem ler; os grandes e honestos o seguem. Mas a norma que o define, a RFC 9309, diz com todas as letras: "essas regras não são uma forma de autorização de acesso". Um scraper que quer os seus preços não o lê, então ele é onde começar, não onde parar.
Deixe passar os crawlers que você quer, com prova
Qualquer um pode escrever Googlebot num User-Agent. O Google orienta os donos de sites a conferir a alegação: uma consulta de DNS reversa e direta no endereço, ou uma comparação com as faixas de endereços que o Google publica. O Bot Protection faz essa verificação por você: quando um crawler que se identifica vem dos endereços publicados pelo seu fornecedor, a resposta o nomeia em crawler, com o seu tipo. Buscadores, assistentes de IA e prévias de links passam, a menos que você os bloqueie; crawlers de treinamento de IA são bloqueados, a menos que você os deixe passar, e você pode escolher para cada crawler individualmente. Todo crawler que ele verifica está em Bots verificados. Um que só pega o nome emprestado é julgado como qualquer outro visitante.
Pergunte onde estão os dados
Os scrapers vão aonde está o valor, então coloque a verificação lá, não em todas as páginas: as páginas de produtos e preços, os resultados de busca, os anúncios, os artigos que você vende e o JSON que as suas próprias páginas chamam. O seu servidor pergunta ao Bot Protection antes de responder, e age conforme a classe:
bot_high: recuse, ou sirva menos, como a chamada de um artigo ou uma página sem os preços.bot: deixe mais lento, sirva do cache, ou mande pela página de desafio.unknown,human,human_highe os crawlers que você convidou: a página completa.
A home e as páginas que só trazem pessoas podem ficar abertas para todos. Perguntar só onde estão os dados mantém a verificação longe dos caminhos que não precisam dela, e da sua conta. Os publishers têm o seu próprio caso em proteção contra bots para sites de notícias, e os crawlers e agentes de IA em agentes de IA e scrapers de LLM.
Veja antes de bloquear
Comece no modo monitor. Ninguém é parado, e cada resposta diz o que o modo bloqueio teria feito, então você descobre quanto das suas páginas de preços ou do seu arquivo é lido por scripts antes de mudar o que alguém vê.
Mantenha o fail-open
Uma página que espera por uma verificação de bots fica lenta quando a verificação fica lenta. Use um timeout curto e sirva a página em qualquer erro: um scraper que recebe uma página durante uma queda custa menos do que leitores que não recebem nenhuma. Mais em por que uma verificação de bots precisa fazer fail-open.
Fontes
Verificadas em 28 de outubro de 2026.