El producto de una redacción es su texto, y el texto es lo más fácil de copiar en la web. Los scrapers republican notas en minutos, los crawlers de IA se llevan archivos enteros, y los bots que esquivan el paywall leen gratis, mientras la editorial paga por cada página servida.
Qué hacen los bots con las editoriales
- Extraen y republican. Los artículos aparecen en sitios de copia, a veces por delante del original en las búsquedas.
- Rastrean para IA. Algunos crawlers se identifican y respetan el
robots.txt; muchos no, o se hacen pasar por un navegador. - Saltan el paywall. Scripts que reinician el medidor o leen el artículo desde el código de la página.
- Inflan el tráfico de anuncios. Pageviews de bots que los anunciantes terminan descontando, o que ponen en riesgo las cuentas de anuncios del sitio.
- Abusan de comentarios y registros. Spam, y cuentas falsas para pruebas gratis.
Lectores, crawlers invitados y el resto
No todo bot es malo: los buscadores traen lectores. La pregunta es qué tráfico automatizado invitaste. Los crawlers que invitas, un buscador o un crawler de IA al que das licencia, se nombran en el robots.txt y tu servidor o tu CDN los deja pasar antes de preguntar; Bot Protection juzga al resto por lo que puede ver, como una herramienta de scraping o un navegador con script. Más en agentes de IA y scrapers de LLM.
Dónde consultar
- La página del artículo, para contenido con medidor o de pago: sirve solo el adelanto a
bot_high; cuenta aboten el medidor de inmediato. - El archivo y las APIs: frena o rechaza
bot_high. - Comentarios y suscripciones al newsletter: rechaza
bot_high, retén abotpara revisión.
Consultar solo en las páginas que importan mantiene el costo bajo control: la portada y las secciones pueden seguir abiertas para todos.