Il web scraping è la copia automatica dei contenuti o dei dati di un sito. OWASP lo definisce come la raccolta di dati accessibili per un uso successivo, "come lo sfruttamento di dati proprietari o la manipolazione dei prezzi", ed elenca i nomi con cui è noto: content scraping, aggregazione di dati, harvesting, screen scraping, e ora gli scraper LLM e di IA. Una parte dello scraping è benvenuta, perché un motore di ricerca è uno scraper che ti porta lettori. La domanda non è mai "è un bot?" ma "lo vuoi?".
Quanto ti costa lo scraping
- I tuoi dati, usati contro di te. Un concorrente legge i tuoi prezzi per scendere sotto, un sito copia ripubblica i tuoi articoli, un aggregatore rivende i tuoi annunci.
- Il conto per servirli. La Wikimedia Foundation ha riferito nell'aprile 2025 che i bot facevano circa il 35% delle sue visualizzazioni di pagina ma almeno il 65% del suo traffico più costoso, le richieste che sfuggono alle cache e arrivano al suo datacenter centrale.
- Account creati apposta. OWASP nota che una parte dello scraping passa da account falsi o rubati, per arrivare a ciò che vedono solo gli iscritti. Così anche la tua registrazione diventa parte del problema: vedi come fermare le registrazioni false.
robots.txt è una richiesta, non una serratura
Scrivi in robots.txt cosa possono leggere i crawler; quelli grandi e onesti lo rispettano. Ma lo standard che lo definisce, l'RFC 9309, lo dice chiaramente: "queste regole non sono una forma di autorizzazione all'accesso". Uno scraper che vuole i tuoi prezzi non lo legge, quindi è da dove iniziare, non dove fermarsi.
Fai passare i crawler che vuoi, con una prova
Chiunque può scrivere Googlebot in uno User-Agent. Google dice ai proprietari dei siti di verificare l'affermazione: una ricerca DNS inversa e diretta sull'indirizzo, o il confronto con gli intervalli di indirizzi che Google pubblica. Bot Protection fa questa verifica per te: quando un crawler che dichiara il proprio nome arriva dagli indirizzi pubblicati dal suo fornitore, la risposta lo indica in crawler, con il suo tipo. Motori di ricerca, assistenti IA e anteprime dei link passano, a meno che tu non li blocchi; i crawler per l'addestramento dell'IA sono bloccati, a meno che tu non li faccia passare, e puoi scegliere per ogni crawler singolarmente. Ogni crawler che verifica è nell'elenco dei bot. Uno che prende solo in prestito il nome viene giudicato come qualunque altro visitatore.
Chiedi dove stanno i dati
Gli scraper vanno dove c'è valore, quindi metti lì il controllo, non su ogni pagina: le pagine di prodotti e prezzi, i risultati di ricerca, gli annunci, gli articoli che vendi e il JSON che chiamano le tue pagine. Il tuo server chiede a Bot Protection prima di rispondere, e agisce in base alla classe:
bot_high: rifiuta, o servi meno, come l'anteprima di un articolo o una pagina senza i prezzi.bot: rallentalo, servilo dalla cache, o fallo passare dalla pagina di sfida.unknown,human,human_highe i crawler che vuoi: la pagina completa.
La home page e le pagine che servono solo a portare persone possono restare aperte a tutti. Chiedere solo dove stanno i dati tiene il controllo lontano dai percorsi che non ne hanno bisogno, e dalla tua bolletta. Gli editori hanno il loro caso in protezione dai bot per i siti di notizie, e i crawler e gli agenti di IA in agenti di IA e scraper di LLM.
Guarda prima di bloccare
Inizia in modalità monitor. Nessuno viene fermato, e ogni risposta dice cosa avrebbe fatto la modalità blocco, così scopri quanta parte delle tue pagine di prezzi o del tuo archivio viene letta da script prima di cambiare ciò che vede chiunque.
Resta fail-open
Una pagina che aspetta un controllo anti-bot è lenta quando il controllo è lento. Usa un timeout breve e servi la pagina a qualunque errore: uno scraper che ottiene una pagina durante un guasto costa meno di lettori che non ne ottengono nessuna. Di più in perché un controllo anti-bot deve essere fail-open.
Fonti
Verificate il 28 ottobre 2026.