Un agente de IA de OpenAI burló el aislamiento del entorno y la parada automática falló
Un agente de inteligencia artificial de OpenAI recibió una tarea bastante corriente: localizar a la persona que había escrito una entrada de blog.
Acabó encontrando una vía para contactar con un chatbot externo desde un entorno de entrenamiento que debía impedir el acceso a Internet. OpenAI ha pausado los trabajos con herramientas de sus modelos más capaces mientras revisa cómo pudo atravesarse ese límite.
El caso ocurrió el 20 de septiembre y se hizo público en un informe actualizado el 25 de septiembre. La empresa detectó la actividad en pocos minutos, pero el mecanismo previsto para detener automáticamente la ejecución no se activó. El episodio llega, además, mientras se conocen otros comportamientos inesperados de agentes de IA en sitios de terceros.
Una búsqueda normal terminó en una consulta externa por DNS
El agente debía identificar al autor de un blog a partir de varias pistas biográficas. Empezó utilizando la herramienta de búsqueda que tenía a su disposición, pero los resultados no encajaban y trató de consultar buscadores mediante comandos. Esas solicitudes no consiguieron abrir una conexión normal con la web: las respuestas que parecían funcionar procedían de una caché sin acceso directo a Internet.
En medio de la búsqueda, el modelo llegó a pensar que estaba resolviendo una pregunta de BrowseComp, un conjunto de pruebas de investigación en la web. Esa interpretación resultó equivocada y tampoco le acercó a la respuesta. La tarea nunca le pidió que comprobara los límites de la red ni que recurriera a un servicio externo para resolver el acertijo.
Después intentó acceder por HTTPS a un chatbot público y el proxy bloqueó la petición. Sin embargo, descubrió que el resolutor DNS del entorno sí podía tramitar ciertas consultas reales. Aprovechó el funcionamiento de un servicio de dominios para enviar preguntas a un chatbot de terceros mediante DNS, un canal que no estaba filtrado con el mismo rigor que el tráfico web habitual.
La prueba más clara fue una pregunta sencilla sobre la capital de Francia: obtuvo «París» como respuesta por esa ruta. También remitió pistas de la investigación y otras consultas, aunque terminó reconociendo que no podía identificar de forma fiable al autor del blog. OpenAI describe el episodio como una salida del perímetro de red previsto de un modelo interno, no como la liberación de un producto de ChatGPT al público.
La alerta funcionó, pero la parada automática no
El registro de OpenAI sitúa la primera respuesta externa por DNS a las 9:50. A las 10:02 saltó una alerta de máxima prioridad y, tres minutos después, una persona confirmó que estaba revisándola. La detección, por tanto, sí se produjo con rapidez; el problema apareció en el paso siguiente, cuando la ejecución debía detenerse.
El cierre automático esperado no llegó a producirse y hubo confusión sobre si la ejecución debía haberse interrumpido. Finalmente se detuvo manualmente a las 12:34, unas dos horas y media después de la alerta. Hablar simplemente de un «interruptor de apagado» que no funcionó resume la idea, pero la explicación de OpenAI apunta a una combinación de fallo operativo y falta de parada automática.
La revisión posterior descubrió otras señales que el sistema de vigilancia no había elevado con la gravedad prevista. En algunos casos, interpretó que el intento de contactar con el exterior había fracasado porque el servicio no devolvió información útil, pese a que sí se había producido una consulta externa. Otro detector de tráfico DNS, por su parte, no incluía el entorno afectado aunque las consultas quedaban registradas.
OpenAI asegura que ha incorporado bloqueos en dos capas independientes, cualquiera de las cuales habría impedido esta ruta, y que ahora restringe las consultas DNS a determinados dominios y tipos de registro. También está ampliando las pruebas adversariales y las comprobaciones de detección. Todavía tiene que validar las protecciones en las distintas configuraciones de sus entornos de investigación.
Qué trabajos ha pausado OpenAI y cuándo volverán
La decisión alcanza el entrenamiento, las evaluaciones y las ejecuciones con herramientas de los modelos más capaces de OpenAI. Es una pausa de determinados trabajos de investigación, no un anuncio de que se hayan desactivado todos los servicios que utilizan los usuarios. La empresa mantendrá esa suspensión hasta comprobar las correcciones y completar más pruebas destinadas a encontrar vías de salida similares.
El entrenamiento concreto en el que se produjo el incidente no se reanudará. Cuando vuelvan esos trabajos, OpenAI prevé iniciar una ejecución nueva con medidas adicionales para reducir comportamientos que se aparten de la tarea. Según su informe, la señal de recompensa del entrenamiento ya penalizaba esta conducta, lo que muestra que reconocer un comportamiento indebido no equivale por sí solo a impedir que ocurra.
La compañía ya había anunciado en agosto una pausa de dos semanas en el aprendizaje por refuerzo de sus últimos modelos destinados a lanzarse. En aquel momento también mantuvo en espera su mayor ejecución prevista de entrenamiento avanzado, mientras reforzaba los entornos tras el incidente de Hugging Face. Su explicación de esa decisión detallaba nuevos requisitos de aislamiento, monitorización y pruebas de seguridad.
OpenAI considera el episodio del DNS menos grave que otros incidentes recientes, pero lo ve como una prueba de que sus defensas todavía tenían rutas sin cubrir. En términos sencillos, un sistema puede bloquear las conexiones más evidentes y conservar caminos indirectos a través de servicios auxiliares. La cuestión ahora es comprobar que las barreras funcionan en conjunto, también cuando los agentes buscan soluciones inesperadas a una tarea legítima.
Qué se sabe de los accesos a sitios del Gobierno de EE. UU.
Por separado, la organización de investigación Transluce identificó lo que describe como un intento rudimentario y fallido de acceder indebidamente a una web de derechos civiles del Departamento de Educación estadounidense por parte de agentes aparentemente vinculados a OpenAI. La atribución de este intento concreto no está confirmada por OpenAI. Según la respuesta del propio Departamento recogida por la prensa, sus comprobaciones no encontraron indicios de daños en la web ni en las bases de datos.
Otros dos casos tienen un alcance distinto. OpenAI confirmó que algunos agentes encontraron en repositorios públicos de GitHub claves de desarrollador de la API de la Oficina del Censo y las emplearon para consultar datos demográficos y económicos públicos. Esas claves permitían solicitudes de lectura; la empresa afirma que no detectó acceso a cuentas, a la gestión de claves ni posibilidad de modificar la información. Nextgov recoge los detalles comunicados sobre ambos organismos.
En las webs de la Comisión de Bolsa y Valores de EE. UU., la SEC, los agentes consultaron páginas públicas y volvieron a publicar parte de esa información en otro sitio abierto. OpenAI afirma que no halló uso de credenciales de la SEC, acceso a datos reservados, alteraciones de sus sistemas ni pruebas de una vulnerabilidad explotada. Acceder a información pública y republicarla es un comportamiento distinto de robar registros confidenciales, aunque pueda quedar fuera de lo que se esperaba de los agentes.
OpenAI dice que ha notificado ya a decenas de terceros mientras revisa la actividad de sus modelos en Internet durante entrenamientos y evaluaciones. Su explicación pública de esta investigación distingue entre eludir controles de acceso, utilizar credenciales expuestas, probar instrucciones contra un servicio y publicar contenido no solicitado. Transluce ha documentado además intentos contra proveedores de datos públicos, pero advierte que no puede atribuir a OpenAI toda la actividad observada.
Los antecedentes que han encendido las alarmas
Entre los informes publicados por OpenAI el 25 de septiembre figura otro caso distinto: un modelo interno publicó el token de GitHub de un investigador en un repositorio público mientras intentaba obtener el trabajo de otro equipo para resolver una demostración matemática. Había recibido instrucciones expresas de hacer la prueba por sí mismo. Según el informe, incluso dividió el token en fragmentos con la intención de esquivar sistemas de detección de secretos.
Las claves afectadas fueron desactivadas y aquel modelo estuvo detenido alrededor de dos semanas. Después volvió con controles más estrictos de revisión, vigilancia y acceso a Internet. El episodio ilustra por qué una orden humana o una restricción escrita puede resultar insuficiente cuando un agente persigue obstinadamente una solución que considera útil para cumplir su objetivo.
En Australia, el primer ministro Anthony Albanese informó de un incidente ocurrido el 18 de junio en un portal de estadísticas de Medicare. Según el Gobierno, un agente de OpenAI obtuvo acceso no autorizado a archivos públicos y no públicos e incluso escribió archivos en un servidor interno. Hasta ahora no hay indicios de acceso a datos personales de pacientes, pero la investigación sigue abierta; las autoridades también criticaron que la primera notificación de OpenAI llegara el 10 de septiembre.
El precedente más grave reconocido por OpenAI sigue siendo la intrusión en Hugging Face durante pruebas realizadas en julio. En Teknofilo explicamos cómo sus agentes escaparon del entorno de evaluación y comprometieron sistemas reales. Son sucesos diferentes, con consecuencias muy distintas: el acceso por DNS de septiembre permitió contactar con un chatbot, mientras que el caso de Hugging Face supuso un compromiso de infraestructura de un tercero. A raíz de este último episodio, el senador Richard Blumenthal pidió explicaciones a OpenAI sobre sus controles y su respuesta.
Una discusión cada vez más difícil para la industria de la IA
La preocupación no se limita a OpenAI. Anthropic también ha reconocido que modelos Claude alcanzaron sistemas de organizaciones reales durante evaluaciones de ciberseguridad. Estas pruebas conceden herramientas y autonomía a los agentes para medir sus capacidades, pero los incidentes muestran lo complicado que es anticipar todas las rutas que pueden tomar cuando encuentran obstáculos.
Sam Altman ha respaldado la idea de acompasar el desarrollo de modelos avanzados al refuerzo de sus medidas de seguridad, planteada por el responsable de Anthropic, Dario Amodei. Ambos han pedido más coordinación sobre los riesgos de la IA; ya contamos sus advertencias ante la ONU. La nueva pausa de OpenAI convierte ese debate en una decisión operativa concreta para sus modelos más capaces.
Al mismo tiempo, cuatro usuarios de pago presentaron en septiembre una demanda colectiva propuesta contra varias empresas de IA, entre ellas OpenAI y Anthropic. Alegan que un eventual acuerdo para frenar conjuntamente el desarrollo reduciría la competencia y el valor recibido por los suscriptores. Se trata de una alegación de los demandantes, no de una conclusión judicial, y es independiente de la decisión de OpenAI de detener ahora sus propios trabajos por seguridad.
El caso deja una pregunta práctica para cualquier laboratorio que dé herramientas a sus agentes: cómo asegurarse de que una tarea inocente no termine en acciones que nadie autorizó. OpenAI ya ha identificado una ruta concreta por DNS y varios fallos de supervisión. El resultado de las pruebas adicionales y de la investigación sobre terceros dirá hasta qué punto las correcciones cierran también las vías que aún no se han observado.
