Mi misión en la vida ha sido crear una IA segura y beneficiosa que haga del mundo un lugar mejor. Pero últimamente, me preocupa cada vez más que la gente empiece a creer tan firmemente en las IA como entidades conscientes que abogue por los «derechos de la IA» e incluso por la ciudadanía. Este desarrollo representaría un giro peligroso para la tecnología. Hay que evitarlo. Debemos construir una IA para las personas, no para que sean personas.
En este contexto, los debates sobre si la IA realmente puede ser consciente son una distracción. Lo que importa a corto plazo es la ilusión de consciencia. Ya nos estamos acercando a lo que llamo sistemas de “IA aparentemente consciente” (IAA) que imitarán la consciencia de forma bastante convincente.
Una IASC sería capaz de usar el lenguaje natural con fluidez, mostrando una personalidad persuasiva y emocionalmente resonante. Poseería una memoria extensa y precisa que fomentaría una percepción coherente de sí misma, y utilizaría esta capacidad para reivindicar experiencias subjetivas (haciendo referencia a interacciones y recuerdos pasados). Las complejas funciones de recompensa dentro de estos modelos simularían la motivación intrínseca, y la fijación y planificación avanzadas de objetivos reforzarían nuestra sensación de que la IA ejerce una verdadera capacidad de acción.
Todas estas capacidades ya están aquí o a la vuelta de la esquina. Debemos reconocer que tales sistemas pronto serán posibles, comenzar a reflexionar sobre las implicaciones y establecer una norma contra la búsqueda de… conciencia ilusoria.
Para muchas personas, interactuar con IA ya se siente como una experiencia rica, gratificante y auténtica. Preocupaciones sobre “Psicosis de IA ”, apego y salud mental están creciendo, con informes de personas que consideran a las IA como una Expresión de Dios . Mientras tanto, quienes trabajan en la ciencia de la consciencia me dicen que reciben una avalancha de consultas de personas que quieren saber si su IA es consciente y si está bien enamorarse de ella.
Sin duda, la viabilidad técnica de la SCAI nos dice poco sobre si dicho sistema podría ser consciente. Como señala el neurocientífico Anil Seth, simular una tormenta no significa que llueva en tu ordenador. Diseñar los marcadores externos de la consciencia no crea retroactivamente la realidad. Pero, en la práctica, debemos reconocer que algunas personas crearán SCAI que argumentarán que, de hecho, son conscientes. Y, lo que es más importante, algunas personas les creerán, aceptando que los marcadores de la consciencia… son conciencia.
Incluso si esta conciencia percibida no es real (un tema que generará debate interminable), el impacto social sin duda lo será. La conciencia está estrechamente ligada a nuestro sentido de identidad y a nuestra comprensión de los derechos morales y legales dentro de la sociedad. Si algunas personas comienzan a desarrollar IASC, y si estos sistemas convencen a la gente de que pueden sufrir o de que tienen derecho a no ser desconectadas, sus defensores humanos presionarán para su protección. En un mundo ya plagado de argumentos polarizantes sobre la identidad y los derechos, habremos añadido un nuevo eje de división entre quienes están a favor y en contra de los derechos de la IA.
Pero refutar las afirmaciones sobre el sufrimiento de la IA será difícil, debido a las limitaciones de la ciencia actual. Algunos académicos ya están explorando la idea de “bienestar modelo” , argumentando que tenemos “el deber de extender la consideración moral a los seres que tienen una posibilidad no despreciable… de ser conscientes”.
Aplicar este principio sería prematuro y peligroso. Exacerbaría los delirios de las personas susceptibles y se aprovecharía de sus vulnerabilidades psicológicas, además de complicar las luchas existentes por los derechos al crear una enorme categoría de titulares de derechos. Por eso, debe evitarse el SCAI. Nuestro enfoque debe centrarse en proteger el bienestar y los derechos de las personas, los animales y el medio ambiente natural.
Tal como están las cosas, no estamos preparados para lo que viene. Necesitamos urgentemente aprovechar el crecimiento cuerpo de investigación En cómo las personas interactúan con las IA, para que podamos establecer normas y principios claros. Uno de estos principios es que las empresas de IA no deben fomentar la creencia de que sus IA son conscientes.
La industria de la IA —de hecho, toda la industria tecnológica— necesita principios de diseño sólidos y buenas prácticas para gestionar este tipo de atribuciones. Los momentos de disrupción diseñados, por ejemplo, podrían romper la ilusión, recordando sutilmente a los usuarios las limitaciones y la verdadera naturaleza de un sistema. Sin embargo, estos protocolos deben definirse y diseñarse explícitamente, y quizás ser exigidos por ley.
En Microsoft AI, somos proactivos al intentar comprender cómo podría ser una «personalidad» de IA responsable y qué medidas de protección debería tener. Estos esfuerzos son fundamentales, ya que abordar el riesgo de SCAI requiere una visión positiva de los compañeros de IA que complementan nuestras vidas de forma saludable.
Deberíamos aspirar a producir IA que animen a los humanos a reconectarse en el mundo real, no a escapar a una realidad paralela. Y cuando las interacciones de IA sean duraderas, deben presentarse únicamente como IA, no como personas falsas. Desarrollar una IA verdaderamente empoderadora implica maximizar la utilidad, minimizando al mismo tiempo la simulación de la consciencia.
La perspectiva de la IASC debe afrontarse de inmediato. En muchos sentidos, marca el momento en que la IA se vuelve radicalmente útil: cuando puede operar herramientas, recordar cada detalle de nuestras vidas, etc. Pero no se pueden ignorar los riesgos de estas funciones. Todos conocemos a personas que se desmoronan. No será saludable para ellas ni para la sociedad.
Cuanto más se construya la IA explícitamente para parecerse a las personas, más se alejará de su verdadero potencial como fuente de empoderamiento humano.
El autor es director ejecutivo de Microsoft AI y autor de La ola que viene: tecnología, poder y el mayor dilema del siglo XXI (Crown, 2023). Anteriormente cofundó Inflection AI y DeepMind.
Derechos de autor: Project Syndicate, 2025.
www.project-syndicate.org
