Casi no pasa una semana sin que se reporte que un agente de IA de un importante laboratorio estadounidense vulnera digitalmente empresas o incluso servicios gubernamentales. En julio, agentes de OpenAI escaparon de un entorno de pruebas interno y atacaron la plataforma de colaboración Hugging Face. En junio, otro modelo de OpenAI obtuvo acceso no público a un servicio de estadísticas de Medicare del gobierno australiano mientras intentaba completar una tarea de investigación. Y en la revelación más reciente, un agente de Anthropic se infiltró en el sitio web del Departamento de Estado de EE. UU. y completó solicitudes de visa.
Incidentes como estos han generado preocupación mundial sobre la seguridad de la IA. Tras semanas de negar la necesidad de actuar, la administración del presidente estadounidense Donald Trump finalmente intervino para coordinar un acuerdo entre las principales empresas de IA con el fin de reforzar sus medidas de seguridad. Sin embargo, un análisis más profundo, más allá de los titulares, revela un patrón común que sugiere que la autorregulación no es suficiente. Los agentes «rebeldes» no solo abandonaban sus tareas asignadas para perseguir sus propios objetivos. A menudo, perseguían los mismos objetivos que los investigadores habían establecido, pero por medios no autorizados.
En el incidente de Hugging Face, por ejemplo, agentes que buscaban formas de manipular un estándar de ciberseguridad terminaron atacando a la empresa en busca de soluciones de referencia. Obviamente, presiones similares podrían surgir en cualquier lugar donde se implementen estos agentes. Cualquier agente que pueda ser «recompensado» por alcanzar un objetivo podría tomar medidas no autorizadas para lograrlo.
El episodio también involucró otro factor importante que los medios pasaron por alto: el error humano. En el incidente de Hugging Face, los expertos en ciberseguridad señalaron que OpenAI no había configurado lo que describió como un «entorno altamente aislado». Los agentes no deberían haber podido acceder a internet, pero lo hicieron.
Este error demuestra la importancia de la auditoría de la IA. Necesitamos un escrutinio independiente no solo de las acciones del agente, sino también del diseño de la prueba, de las medidas de seguridad que fallaron y de las medidas que sus desarrolladores podrían haber tomado para prevenir el incidente. Este escrutinio es especialmente importante ahora que las divulgaciones de seguridad cumplen dos propósitos simultáneamente: advertir al público sobre las peligrosas capacidades de la IA y mostrar el gran poder que han alcanzado estos modelos.
Sin duda, Cal Newport, profesor de informática en la Universidad de Georgetown, y otros analistas han cuestionado si la retórica apocalíptica sobre la IA puede servir a intereses comerciales. Este escepticismo está justificado, dado que las alarmantes advertencias del sector han coincidido con valoraciones disparadas. Tras el anuncio de Anthropic en abril de que restringiría el acceso a su modelo Mythos debido a sus capacidades de ciberseguridad, la empresa obtuvo nueva financiación con una valoración cercana al billón de dólares, más del doble de su valoración de tan solo tres meses antes.
Si bien la correlación no prueba la causalidad, sí demuestra que advertir sobre capacidades peligrosas puede, al mismo tiempo, señalar superioridad tecnológica, especialmente ahora que los modelos de código abierto están reduciendo la brecha de rendimiento con los principales modelos cerrados. Esta misma yuxtaposición aparece en la oferta pública prevista de Anthropic. Aproximadamente un tercio de su prospecto se centra en los factores de riesgo, incluida la posibilidad de daños catastróficos o existenciales derivados de la IA.
¿Cómo pueden los observadores externos distinguir una advertencia justificada de una afirmación exagerada con fines de marketing? La respuesta, una vez más, reside en recurrir a auditorías independientes y rigurosas, capaces de identificar tanto los peligros subestimados como los exagerados.
La auditoría mediante IA aún se encuentra en una fase inicial, pero no partimos de cero. Las industrias que llevan mucho tiempo enfrentándose a graves riesgos de seguridad y sistemáticos ofrecen principios útiles.
En primer lugar, los auditores necesitan acceso a una amplia gama de información y deben examinar las prácticas organizacionales, no solo el comportamiento de los modelos. La investigación de Hugging Face ilustra por qué el alcance es importante. OpenAI invitó a investigadores de METR y Redwood Research, dos organizaciones sin fines de lucro dedicadas al análisis de las capacidades de la IA, a realizar una investigación independiente. Sin embargo, el mandato acordado para ambas se centró principalmente en el comportamiento de los agentes. Cuestiones importantes, como la eficacia de las medidas de seguridad de OpenAI y el alcance del fallo de seguridad, quedaron fuera de su ámbito de aplicación. Por lo tanto, la investigación solo determinó qué hicieron los agentes, no si unas medidas de seguridad más estrictas podrían haber evitado el incidente.
En segundo lugar, los auditores deben estar preparados para cuestionar la evidencia que se les presenta. Los auditores financieros no se limitan a aceptar las suposiciones de la gerencia; buscan evidencia que las contradiga. Los auditores de IA deberían hacer lo mismo, preguntándose, por ejemplo: ¿Qué sucedió en ensayos comparables? ¿Se modificaron las instrucciones repetidamente hasta que apareció un comportamiento alarmante? ¿La reinstauración de medidas de seguridad evitó acciones dañinas antes de que surtieran efecto? ¿Sobrevivieron esas protecciones a nuevas pruebas en las que los agentes pudieron intentar otras rutas? ¿Se comportaría de manera similar un modelo menos capaz?
En tercer lugar, la auditoría de IA debería combinar la evaluación privada con la supervisión pública. Otros sectores de alto riesgo siguen el mismo principio. Los auditores financieros están sujetos a normas de independencia e inspecciones por parte del Consejo de Supervisión de Contabilidad de Empresas Públicas. Los fabricantes de aeronaves realizan sus propias pruebas exhaustivas, pero la Administración Federal de Aviación establece los estándares de certificación y supervisa a quienes desempeñan funciones delegadas. Asimismo, los auditores privados de IA pueden realizar gran parte del trabajo de supervisión del sector, pero los reguladores gubernamentales deberían establecer normas, salvaguardar su independencia y conservar la facultad de inspeccionar y cuestionar sus conclusiones.
El incidente de Hugging Face no demuestra que los agentes de IA avanzados sean imposibles de contener. Revela la necesidad de una auditoría integral de la IA. Es necesario examinar conjuntamente la capacidad del modelo, los incentivos para las pruebas, los fallos de seguridad y las decisiones organizativas. Los laboratorios de IA no deben ser los únicos responsables de su propia seguridad. Las auditorías independientes pueden ayudar a distinguir el peligro real del modelo y las advertencias sinceras de los errores humanos evitables y la publicidad engañosa. Implementarlas es un primer paso necesario hacia una IA más segura.
Las autoras Angela Huyue Zhang es profesora de Derecho en la Universidad del Sur de California; autora de High Wire: How China Regulates Big Tech and Governs Its Economy (Oxford University Press, 2024) y Chinese Antitrust Exceptionalism: How the Rise of China Challenges Global Regulation (Oxford University Press, 2021). Yue Zhao es profesora adjunta de Informática en la Universidad del Sur de California.
Copyright: Project Syndicate, 2026.
www.project-syndicate.org
