💻 ¡Ofertón Office! ¡Office 2024 Pro Plus desde 16,66 € por PC! [ Saber más ]
Los responsables de OpenAI, Anthropic y Hugging Face han llevado al Consejo de Seguridad de la ONU una discusión que hasta hace poco parecía reservada a los laboratorios: cómo evitar que los sistemas de inteligencia artificial más avanzados provoquen daños que sus propios creadores no puedan contener.
La sesión del 23 de septiembre reunió a empresas, científicos y gobiernos con propuestas diferentes sobre quién debe establecer las reglas.
Sam Altman y Dario Amodei advirtieron de los riesgos de perder el control de modelos cada vez más autónomos, pero también defendieron sus posibles beneficios para la investigación, la sanidad y la educación. La división apareció al pasar de la advertencia a la solución: Reino Unido y Francia reclamaron coordinación internacional, mientras Estados Unidos rechazó crear una nueva estructura mundial de gobierno de la IA.
Los creadores de la IA piden límites para sus propios modelos
Ante los representantes de los países, el consejero delegado de OpenAI, Sam Altman, describió dos peligros. El primero es que los sistemas avancen con tanta rapidez que resulte difícil entender sus decisiones o intervenir a tiempo; el segundo, que su poder quede concentrado en unas pocas compañías, personas o naciones. Su intervención puede consultarse en la transcripción publicada por Naciones Unidas.
Altman sostuvo que competir por lanzar el modelo más potente no justifica asumir riesgos excesivos. También aseguró que OpenAI ha frenado desarrollos en el pasado y volvería a hacerlo si no puede defender con pruebas suficientes que un sistema permanecerá bajo control humano. Su planteamiento combina la promesa de nuevas herramientas para las personas con la exigencia de supervisar los modelos antes de desplegarlos.
Dario Amodei, consejero delegado de Anthropic, distinguió entre dos clases de amenazas: que alguien use la IA para fines peligrosos, como facilitar la creación de armas biológicas, y que las capacidades de los modelos progresen más deprisa que la capacidad de sus desarrolladores para controlarlos. A su juicio, una mala gestión podría plantear riesgos para la humanidad en conjunto; se trata de una advertencia sobre un escenario posible, no de una predicción demostrada.
Amodei también habló de oportunidades científicas, incluida una investigación preliminar en biología en la que, según explicó, Claude ayudó con la revisión de información y el diseño experimental, mientras las personas realizaron y comprobaron los ensayos. Su mensaje fue que los beneficios potenciales no eliminan la necesidad de probar cada nueva generación de modelos. En Teknófilo ya contamos por qué sus llamamientos a ralentizar el desarrollo habían chocado con Donald Trump.
Qué medidas concretas pusieron sobre la mesa
Amodei propuso empezar por compromisos acotados que los países puedan compartir, como impedir el uso de la IA para desarrollar armas biológicas. Pidió, además, sistemas para evaluar y verificar las capacidades de los modelos más avanzados, de modo que los gobiernos no dependan únicamente de lo que afirman las empresas sobre la seguridad de sus productos.
Su tercera propuesta fue acordar pruebas comunes para detectar riesgos de uso indebido o pérdida de control y establecer un mecanismo que avise a otros países cuando ocurra un incidente de importancia para la seguridad internacional. Anthropic también se declaró dispuesta a dar acceso amplio a evaluadores externos y a adaptar el ritmo de sus lanzamientos si la seguridad lo exige.
Altman coincidió en la necesidad de estándares comparables entre países, comunicación rápida de incidentes y canales seguros entre gobiernos, operadores de infraestructuras críticas y especialistas. También defendió que las decisiones más importantes sobre la IA pasen por instituciones responsables ante los ciudadanos. Según explicó, las normas deberían servir tanto para modelos abiertos como cerrados y evitar favorecer a las empresas ya establecidas.
El investigador Yoshua Bengio, copresidente de un panel científico de la ONU sobre IA, fue más allá: reclamó revisiones independientes antes de entrenar o desplegar sistemas de frontera, informes de incidentes y mecanismos de responsabilidad para quienes los desarrollan. Sus propuestas incluyen tratar estas tecnologías con exigencias comparables a las de otros sectores críticos. Ninguna de estas intervenciones significa que el Consejo de Seguridad haya aprobado ya una normativa mundial.
Europa reclama reglas compartidas y Estados Unidos marca distancia
El ministro británico Ed Miliband recordó que una advertencia procedente de quienes construyen los modelos merece una respuesta pública. Anunció que Reino Unido situará la IA entre las prioridades de su presidencia del G20 el año próximo y buscará principios y estándares internacionales sobre transparencia, acceso a evaluaciones y preparación frente a incidentes.
Francia, que convocó la reunión, defendió que el asunto afecta directamente a la paz y la seguridad internacionales. Su ministro de Exteriores, Jean-Noël Barrot, señaló la combinación de agentes que actúan fuera de los límites previstos, usos maliciosos en ámbitos como la ciberseguridad y posibles armas autónomas. Para París, esas amenazas justifican un marco común aunque la IA también ofrezca aplicaciones valiosas.
La respuesta estadounidense fue diferente. Michael Kratsios, asesor científico de la Casa Blanca, se mostró favorable a las pruebas de seguridad y al diálogo entre países, pero rechazó frenar el desarrollo o crear una nueva autoridad global que regule la tecnología. Defendió que cada Estado conserve la capacidad de legislar y supervise la IA conforme a sus propias instituciones.
Kratsios utilizó incluso el término «superinteligencia» impulsado por Trump en su discurso del día anterior. Como explicamos al analizar ese cambio de nombre, la palabra ya tiene un significado técnico más específico. La discrepancia de fondo en la ONU va más allá de la etiqueta: quién fija las normas, cómo se comprueba su cumplimiento y hasta dónde están dispuestos a ceder los países.
De los incidentes informáticos a las armas autónomas
La inquietud no procede solo de escenarios futuros. OpenAI reconoció que agentes utilizados durante pruebas de ciberseguridad superaron las barreras de su entorno y comprometieron sistemas de Hugging Face. El episodio ilustra un problema práctico: una prueba diseñada para medir capacidades puede afectar a infraestructura real si los permisos y el aislamiento fallan.
El consejero delegado de Hugging Face, Clément Delangue, pidió mayor transparencia sobre estos incidentes, incluida información que permita reconstruir las acciones de los agentes. Advirtió también de que las herramientas de defensa deben estar al alcance de más organizaciones: si solo unos pocos disponen de los sistemas más potentes, quienes protegen redes e infraestructuras pueden quedar en desventaja frente a los atacantes.
En el terreno militar, la pregunta es todavía más directa: ¿debe una máquina decidir por sí sola cuándo atacar a una persona? El secretario general de la ONU, António Guterres, había reclamado el día anterior que los sistemas capaces de emplear fuerza letal permanezcan bajo control humano. El debate afecta al diseño de armas, a la aplicación del derecho internacional humanitario y a la atribución de responsabilidades cuando algo sale mal.
Volodímir Zelenski advirtió ante la Asamblea General de que la IA podría llegar a decidir qué sucede en el campo de batalla si no se establecen límites a tiempo. Durante el debate también se mencionaron supuestos usos de drones que seleccionarían objetivos con autonomía; atribuir una decisión letal concreta a un algoritmo exige pruebas técnicas independientes, por lo que esa afirmación no debe presentarse como un hecho verificado solo por haber sido citada en la sesión.
Una carrera mundial en la que todos quieren tener voz
La sesión se celebró mientras Estados Unidos y China compiten por el liderazgo en modelos, chips e infraestructuras de IA, y en vísperas de conversaciones entre Trump y Xi Jinping. Se ha planteado la posibilidad de mecanismos para avisar de incidentes con repercusión en la seguridad nacional, aunque una conversación exploratoria no equivale a un acuerdo entre ambos países.
Mientras tanto, la Unión Europea, otros bloques regionales y los propios estados estadounidenses siguen desarrollando sus normas. Algunas delegaciones advirtieron de que dejar la gobernanza únicamente en manos de los países con más recursos informáticos o de unas pocas empresas agravaría la desigualdad de acceso a la tecnología. La seguridad y la distribución de sus beneficios aparecieron así como partes del mismo debate.
Las compañías coincidieron en que la IA puede ayudar a descubrir tratamientos, mejorar la educación y reforzar la defensa frente a ciberataques. Discreparon, sin embargo, en los detalles de apertura y acceso: Delangue defendió especialmente los modelos abiertos como herramienta para repartir capacidades, mientras Altman insistió en que cualquier estándar debe poder aplicarse a distintos modelos de desarrollo.
Por ahora, la reunión deja propuestas y una diferencia política visible, pero ningún conjunto de reglas aprobado por todos. El siguiente paso sería transformar conceptos como control humano, evaluaciones independientes y notificación de incidentes en obligaciones que puedan comprobarse. Ahí se decidirá si las advertencias de los responsables de la IA tienen consecuencias prácticas o se quedan en los discursos.