Il prodotto di una redazione è il testo, e il testo è la cosa più facile da copiare sul web. Gli scraper ripubblicano gli articoli in pochi minuti, i crawler AI si prendono interi archivi e i bot che aggirano il paywall leggono gratis, mentre l'editore paga ogni pagina servita.
Cosa fanno i bot agli editori
- Copiano e ripubblicano. Gli articoli compaiono su siti copia, a volte posizionati meglio dell'originale.
- Fanno crawling per l'AI. Alcuni crawler si dichiarano e rispettano
robots.txt; molti no, o si spacciano per un browser. - Aggirano il paywall. Script che azzerano il contatore degli articoli o leggono l'articolo dal codice sorgente della pagina.
- Gonfiano il traffico pubblicitario. Pagine viste da bot che gli inserzionisti finiscono per scontare, o che mettono a rischio gli account pubblicitari del sito.
- Abusano di commenti e registrazioni. Spam e account falsi per le prove gratuite.
Lettori, crawler graditi e tutto il resto
Non tutti i bot sono cattivi: i motori di ricerca portano lettori. La domanda è quale traffico automatizzato hai invitato tu. I crawler che inviti, un motore di ricerca o un crawler AI a cui concedi la licenza, si indicano nel robots.txt e il tuo server o la tua CDN li fa passare prima di chiedere; Bot Protection giudica il resto da ciò che riesce a vedere, come uno strumento di scraping o un browser guidato da script. Di più in agenti di IA e scraper di LLM.
Dove chiedere
- La pagina dell'articolo, per i contenuti a consumo e a pagamento: servi a
bot_highsolo l'anteprima; conta subitobotnel contatore. - L'archivio e le API: rallenta o rifiuta
bot_high. - Commenti e iscrizioni alla newsletter: rifiuta
bot_high, tienibotin revisione.
Chiedere solo sulle pagine che contano tiene sotto controllo i costi: la home page e le pagine di sezione possono restare aperte a tutti.