En los últimos meses, muchos sitios web culturales, educativos y periodísticos comenzaron a reportar una situación preocupante: están recibiendo millones de visitas de programas automatizados de inteligencia artificial (conocidos como “crawlers” o rastreadores), que extraen información para alimentar modelos como los que usan los chatbots. Esta práctica está generando una tensión creciente en internet.

Según un artículo reciente de The Washington Post, estas herramientas están accediendo a los contenidos de forma masiva, generando costos técnicos y económicos importantes para los sitios web, sin necesariamente aportar beneficios como visitas de usuarios reales o menciones visibles. A diferencia de los rastreadores tradicionales como los de Google, que ayudan a que los sitios aparezcan en los buscadores y reciban visitas, los crawlers de IA pueden consumir grandes cantidades de información en poco tiempo, afectando el funcionamiento de las plataformas.

Instituciones como Wikipedia, universidades y bibliotecas reportaron que sus sistemas colapsaron temporalmente por la actividad intensa de estos bots. Algunos sitios están respondiendo con tecnologías que bloquean o limitan el acceso a las IA, o incluso están empezando a cobrar por el uso de sus datos.

La discusión recién comienza. Para algunos, bloquear estos rastreadores podría impedir nuevas formas de difusión del conocimiento. Para otros, es necesario establecer reglas claras y modelos justos que no perjudiquen la sostenibilidad de los proyectos web que compartimos y consultamos a diario. En un mundo donde la disponibilidad de la información es un derecho, y la preservación de los espacios comunitarios en línea es clave, esta conversación nos interpela. ¿Cómo hacer para que el desarrollo de las herramientas de IA no debilite las iniciativas que nutren a las propias IA?

Podés leer el artículo completo en inglés https://www.washingtonpost.com/technology/2025/07/01/ai-crawlers-reddit-wikipedia-fight/ (se puede desactivar el pop-up paywall inhabilitando javascript en el navegador)