El web scraping es la copia automatizada del contenido o los datos de un sitio. OWASP lo define como la recopilación de datos accesibles para un uso posterior, "como la explotación de datos propietarios o la fijación de precios", y enumera los nombres que recibe: content scraping, agregación de datos, harvesting, screen scraping y, ahora, scrapers de LLM y de IA. Parte del scraping es bienvenido, ya que un buscador es un scraper que te trae lectores. La pregunta nunca es "¿es un bot?", sino "¿lo invitaste?".
Lo que te cuesta el scraping
- Tus datos, usados en tu contra. Un competidor lee tus precios para rebajarlos, un sitio de copias republica tus artículos, un agregador revende tus anuncios.
- La factura por servirlos. La Wikimedia Foundation informó en abril de 2025 que los bots hacían cerca del 35% de sus páginas vistas, pero al menos el 65% de su tráfico más caro, las solicitudes que no encuentran respuesta en sus cachés y llegan a su datacenter central.
- Cuentas creadas para eso. OWASP señala que parte del scraping pasa por cuentas falsas o robadas, para llegar a lo que solo ven los miembros. Eso hace de tu registro parte del problema: mira cómo frenar los registros falsos.
robots.txt es una petición, no un cerrojo
Di en robots.txt qué pueden leer los rastreadores; los grandes y honestos lo respetan. Pero el estándar que lo define, el RFC 9309, lo dice claramente: "estas reglas no son una forma de autorización de acceso". Un scraper que quiere tus precios no lo lee, así que es donde empezar, no donde parar.
Deja pasar a los rastreadores que quieres, con pruebas
Cualquiera puede escribir Googlebot en un User-Agent. Google indica a los dueños de sitios que comprueben la afirmación: una consulta DNS inversa y directa sobre la dirección, o una comparación con los rangos de direcciones que Google publica. Bot Protection hace esa comprobación por ti: cuando un rastreador que se identifica llega desde las direcciones que publica su proveedor, la respuesta lo nombra en crawler, con su tipo. Los buscadores, los asistentes de IA y las vistas previas de enlaces pasan, salvo que los bloquees; los rastreadores de entrenamiento de IA se bloquean, salvo que los dejes pasar, y puedes elegir para cada rastreador por separado. Cada rastreador que verifica está en el directorio de bots. Uno que solo toma prestado el nombre se juzga como cualquier otro visitante.
Pregunta donde están los datos
Los scrapers van donde está el valor, así que pon la comprobación ahí, no en cada página: las páginas de productos y precios, los resultados de búsqueda, los anuncios, los artículos que vendes y el JSON que llaman tus propias páginas. Tu servidor pregunta a Bot Protection antes de responder, y actúa según la clase:
bot_high: rechaza, o sirve menos, como la entradilla de un artículo o una página sin los precios.bot: hazlo más lento, sírvelo desde la caché, o envíalo por la página de desafío.unknown,human,human_highy los rastreadores que invitaste: la página completa.
La portada y las páginas que solo atraen personas pueden quedar abiertas para todos. Preguntar solo donde están los datos mantiene la comprobación fuera de las rutas que no la necesitan, y fuera de tu factura. Los medios tienen su propio caso en protección contra bots para medios de noticias, y los rastreadores y agentes de IA en agentes de IA y scrapers de LLM.
Míralo antes de bloquearlo
Empieza en modo monitor. Nadie queda bloqueado, y cada respuesta dice lo que habría hecho el modo bloqueo, así sabes cuánto de tus páginas de precios o de tu archivo leen los scripts antes de cambiar lo que ve nadie.
Que falle en abierto
Una página que espera una comprobación de bots es lenta cuando la comprobación es lenta. Usa un timeout corto y sirve la página ante cualquier error: un scraper que recibe una página durante una caída cuesta menos que lectores que no reciben ninguna. Más en por qué una comprobación de bots debe hacer fail-open.
Fuentes
Comprobadas el 28 de octubre de 2026.