Le produit d'une rédaction, c'est son texte, et le texte est ce qu'il y a de plus facile à copier sur le web. Les scrapers republient les articles en quelques minutes, les crawlers d'IA prennent des archives entières, et les bots qui contournent le paywall lisent gratuitement, pendant que l'éditeur paie chaque page servie.
Ce que les bots font aux éditeurs
- Scraper et republier. Les articles apparaissent sur des sites de copie, parfois mieux classés que l'original.
- Crawler pour l'IA. Certains crawlers s'annoncent et respectent
robots.txt; beaucoup non, ou se font passer pour un navigateur. - Passer le paywall. Des scripts qui réinitialisent le compteur ou lisent l'article dans le code source de la page.
- Gonfler le trafic publicitaire. Des pages vues par des bots que les annonceurs finissent par décompter, ou qui mettent en danger les comptes publicitaires du site.
- Abuser des commentaires et des inscriptions. Du spam, et de faux comptes pour les essais gratuits.
Les lecteurs, les crawlers que vous voulez, et le reste
Tous les bots ne sont pas mauvais : les moteurs de recherche apportent des lecteurs. La question est de savoir quel trafic automatisé vous avez invité. Les crawlers que vous invitez, un moteur de recherche ou un crawler d'IA sous licence, sont nommés dans le robots.txt et laissés passer par votre serveur ou votre CDN avant toute question ; Bot Protection juge le reste sur ce qu'il voit, comme un outil de scraping ou un navigateur piloté par script. Plus de détails dans agents d'IA et scrapers de LLM.
Où interroger
- La page article, pour le contenu au compteur et payant : ne servez que l'accroche à
bot_high; imputez immédiatementbotsur le compteur. - Les archives et les API : ralentissez ou refusez
bot_high. - Commentaires et inscriptions à la newsletter : refusez
bot_high, retenezbotpour examen.
N'interroger que sur les pages qui comptent maîtrise le coût : la page d'accueil et les pages de rubrique peuvent rester ouvertes à tous.