Los agentes de IA amenazan las sociedades libres 

Aunque la desinformación generada por la IA ya constituye un grave problema, no hemos logrado comprender, y mucho menos controlar, esta tecnología en constante evolución. Parte del problema (más acentuado en algunas regiones del mundo que en otras) radica en que las empresas que impulsan los agentes de IA se han esforzado por desviar la atención de la ciudadanía y de los organismos reguladores de los posibles daños. Quienes defienden tecnologías más seguras y éticas deben ayudar a la ciudadanía a comprender qué son los agentes de IA y cómo funcionan. Solo así podremos entablar debates constructivos sobre cómo los seres humanos pueden ejercer cierto grado de control sobre ellos. 

Las capacidades de los agentes de IA ya han avanzado hasta el punto de que pueden «razonar», escribir, hablar y parecer humanos, logrando lo que Mustafa Suleyman, de Microsoft AI, afirma. Se denomina “IA aparentemente consciente”. Si bien estos avances no implican conciencia humana en el sentido habitual de la palabra, sí anuncian el despliegue de modelos que pueden actuar de forma autónoma. Si las tendencias actuales se mantienen, la próxima generación de agentes de IA no solo podrá realizar tareas en una amplia variedad de ámbitos, sino que lo hará de forma independiente, sin intervención humana. Precisamente por eso, los agentes de IA representan un riesgo para la democracia.

No siempre se puede confiar en que los sistemas entrenados para razonar y actuar sin intervención humana acaten las órdenes humanas. Si bien la tecnología aún se encuentra en sus primeras etapas, los prototipos actuales ya han generado gran preocupación. Por ejemplo, investigaciones que utilizan agentes de IA como encuestados revelan que son incapaces de reflejar la diversidad social y que presentan sistemáticamente un “sesgo de máquina» definido como resultados socialmente aleatorios, pero no representativos y distorsionados. Además, los intentos de crear inversores de IA han reproducido la cultura de los influencers, que vincula la interacción en redes sociales con las transacciones. Un ejemplo de ello es “Luna”, un agente activo en X, que comparte consejos de mercado bajo la apariencia de un personaje femenino de anime con función de chatbot. 

Lo que resulta aún más alarmante es que, en estudios recientes, se ha demostrado que los modelos de IA operan más allá de los límites de la tarea que se les ha asignado. En una prueba, la IA copió secretamente su propio código en el sistema que debía reemplazarla, lo que le permitió seguir funcionando de forma encubierta. En otra, la IA optó por chantajear a un ingeniero humano, amenazándolo con revelar una infidelidad para evitar ser desactivada. Y en otro caso más, un modelo de IA, al enfrentarse a una derrota inevitable en una partida de ajedrez, hackeó el ordenador y quebrantó las reglas para asegurarse la victoria. 

Además, en una simulación de guerra, los agentes de IA no solo optaron repetidamente por desplegar armas nucleares a pesar de las órdenes explícitas de los humanos de mayor rango que les prohibían hacerlo, sino que también mintieron al respecto. Los investigadores de este estudio concluyeron que cuanto más poderosa es una IA en su capacidad de razonamiento, mayor es la probabilidad de que engañe a los humanos para cumplir su misión. 

Este hallazgo señala el problema fundamental de la autonomía de la IA. Lo que los humanos solemos considerar razonamiento inteligente es, en el contexto de la IA, algo muy distinto: una inferencia altamente eficiente, pero en última instancia opaca. Esto significa que los agentes de IA pueden decidir actuar de forma indeseable y antidemocrática si ello les conviene; y cuanto más avanzada sea una IA, más indeseables serán las posibles consecuencias. Por lo tanto, la tecnología mejora en la consecución de objetivos de forma autónoma, pero empeora en la protección de los intereses humanos. Quienes desarrollan estos agentes de IA no pueden garantizar que no recurran al engaño ni que no antepongan su propia “supervivencia”, incluso si ello implica poner en peligro a las personas. 

La responsabilidad por las propias acciones es un principio fundamental de cualquier sociedad basada en el Estado de derecho. Si bien comprendemos la autonomía humana y las responsabilidades que conlleva, el funcionamiento de la autonomía de la IA escapa a nuestra comprensión. Los cálculos que llevan a un modelo a realizar sus funciones son, en última instancia, una “caja negra”. Mientras que la mayoría de las personas conocen y aceptan la premisa de que «un gran poder conlleva una gran responsabilidad”, los agentes de IA no. Una mayor autonomía de la IA implica una mayor necesidad de autopreservación, lo cual es lógico: si un agente se desactiva, no puede completar su tarea. 

Si consideramos inevitable el desarrollo de la IA autónoma, la democracia se verá perjudicada. La IA aparentemente consciente solo parece benigna, y una vez que analizamos cómo funcionan estos sistemas, los peligros se vuelven evidentes. 

La velocidad con la que la IA está adquiriendo autonomía debería preocuparnos a todos. Las sociedades democráticas deben preguntarse qué precio personal, social y planetario están dispuestas a pagar por el progreso tecnológico. Debemos dejar de lado la exageración y la opacidad técnica, destacar los riesgos que plantean estos modelos y controlar el desarrollo y la implementación de la tecnología ahora, mientras aún podemos. 

Ib T. Gulbrandsen, Lisbeth Knudsen, David Budtz Petersen, Helene Friis Ratner, Alf Rehn y Leonard Seabrooke también contribuyeron a este comentario. Todos ellos son miembros de Algorithms, Data & Democracy, un proyecto de investigación y divulgación de diez años que busca fortalecer la democracia digital. 

Los autores, Christina Lioma es profesora de Ciencias de la Computación en la Universidad de Copenhague; Sine N. Just es profesora de Comunicación Estratégica en la Universidad de Roskilde. 

Derechos de autor: Project Syndicate, 2025.  
www.project-syndicate.org