Le web scraping est la copie automatisée du contenu ou des données d'un site. L'OWASP le définit comme la collecte de données accessibles pour un usage ultérieur, « comme l'exploitation de données propriétaires ou l'entente sur les prix », et liste les noms qu'il porte : content scraping, agrégation de données, harvesting, screen scraping, et désormais les scrapers LLM et IA. Une partie du scraping est bienvenue, puisqu'un moteur de recherche est un scraper qui vous envoie des lecteurs. La question n'est jamais « est-ce un bot » mais « le voulez-vous ».
Ce que le scraping vous coûte
- Vos données, retournées contre vous. Un concurrent lit vos prix pour les casser, un site de copie republie vos articles, un agrégateur revend vos annonces.
- La facture pour les servir. La Wikimedia Foundation a indiqué en avril 2025 que les bots représentaient environ 35 % de ses pages vues, mais au moins 65 % de son trafic le plus coûteux : les requêtes qui échappent à ses caches et atteignent son datacenter central.
- Des comptes créés pour cela. L'OWASP note qu'une partie du scraping passe par des comptes faux ou volés, pour atteindre ce que seuls les membres voient. Votre inscription devient alors une partie du problème : voyez comment arrêter les fausses inscriptions.
robots.txt est une demande, pas un verrou
Indiquez dans robots.txt ce que les robots d'exploration peuvent lire ; les grands, honnêtes, le respectent. Mais la norme qui le définit, la RFC 9309, le dit clairement : « ces règles ne constituent pas une forme d'autorisation d'accès ». Un scraper qui veut vos prix ne le lit pas : c'est par là qu'on commence, pas là qu'on s'arrête.
Laisser passer les robots que vous voulez, sur preuve
N'importe qui peut écrire Googlebot dans un User-Agent. Google conseille aux propriétaires de sites de vérifier plutôt cette déclaration : une recherche DNS inverse puis directe sur l'adresse, ou une comparaison avec les plages d'adresses que Google publie. Bot Protection fait cette vérification pour vous : quand un robot d'exploration qui se nomme vient des adresses publiées par son éditeur, la réponse le nomme dans crawler, avec son type. Les moteurs de recherche, les assistants IA et les aperçus de liens passent sauf si vous les bloquez ; les robots d'entraînement d'IA sont bloqués sauf si vous les laissez passer, et vous pouvez choisir pour chaque robot séparément. Chaque robot vérifié figure dans l'annuaire des bots. Celui qui ne fait qu'emprunter le nom est jugé comme n'importe quel autre visiteur.
Interroger là où sont les données
Les scrapers vont là où se trouve la valeur, alors placez la vérification là, pas sur chaque page : les pages produit et de prix, les résultats de recherche, les annonces, les articles que vous vendez, et le JSON qu'appellent vos propres pages. Votre serveur interroge Bot Protection avant de répondre, et agit selon la classe :
bot_high: refusez, ou servez moins, comme l'accroche d'un article ou une page sans les prix.bot: ralentissez-le, servez-le depuis le cache, ou faites-le passer par la page de défi.unknown,human,human_high, et les robots que vous voulez : la page complète.
La page d'accueil et les pages qui ne font qu'amener du monde peuvent rester ouvertes à tous. N'interroger que là où sont les données tient la vérification à l'écart des chemins qui n'en ont pas besoin, et de votre facture. Les éditeurs ont leur propre cas dans la protection anti-bots pour les sites d'information, et les robots et agents IA dans agents IA et scrapers LLM.
Voir avant de bloquer
Commencez en mode surveillance. Personne n'est arrêté, et chaque réponse dit ce qu'aurait fait le mode blocage, ce qui vous apprend quelle part de vos pages de prix ou de vos archives est lue par des scripts avant de changer ce que quiconque voit.
Rester fail-open
Une page qui attend une vérification anti-bots est lente quand la vérification est lente. Utilisez un timeout court et servez la page à la moindre erreur : un scraper qui obtient une page pendant une panne coûte moins cher que des lecteurs qui n'en obtiennent aucune. Plus de détails dans pourquoi une vérification anti-bots doit être fail-open.
Sources
Vérifié le 28 octobre 2026.