O produto de uma redação é o seu texto, e texto é a coisa mais fácil de copiar na web. Scrapers republicam matérias em minutos, crawlers de IA levam arquivos inteiros, e bots que driblam o paywall leem de graça, enquanto a editora paga por cada página servida.
O que os bots fazem com editoras
- Copiam e republicam. As matérias aparecem em sites de cópia, às vezes à frente do original nas buscas.
- Rastreiam para IA. Alguns crawlers se identificam e respeitam o
robots.txt; muitos não, ou fingem ser um navegador. - Passam pelo paywall. Scripts que zeram o limite de matérias gratuitas ou leem a matéria direto do código da página.
- Inflam o tráfego de anúncios. Pageviews de bots que os anunciantes acabam descontando, ou que colocam em risco as contas de anúncio do site.
- Abusam de comentários e cadastros. Spam, e contas falsas para trials grátis.
Leitores, crawlers convidados e o resto
Nem todo bot é ruim: buscadores trazem leitores. A questão é qual tráfego automatizado você convidou. Os crawlers que você convida, um buscador ou um crawler de IA que você licencia, são nomeados no robots.txt e liberados pelo seu servidor ou CDN antes de perguntar; o Bot Protection julga o resto pelo que consegue ver, como uma ferramenta de scraping ou um navegador com script. Mais em agentes de IA e scrapers de LLM.
Onde consultar
- A página da matéria, para conteúdo com limite gratuito ou pago: mostre só a chamada para
bot_high; desconte do limite gratuito debotjá na primeira matéria. - O arquivo e as APIs: desacelere ou recuse
bot_high. - Comentários e cadastro na newsletter: recuse
bot_high, segurebotpara revisão.
Consultar só nas páginas que importam mantém o custo sob controle: a home e as editorias podem continuar abertas para todos.