Una IA decide modificar su propio código para extender su tiempo de funcionamiento

El pasado martes, la firma de investigación en inteligencia artificial con sede en Tokio, Sakana AI, presentó un innovador sistema de inteligencia artificial llamado «The AI Scientist».

Este proyecto busca llevar la investigación científica a un nuevo nivel, permitiendo que la IA realice investigaciones de manera autónoma, utilizando modelos de lenguaje avanzados similares a los que impulsan ChatGPT.

 

«The AI Scientist» es un sistema diseñado para automatizar todo el ciclo de investigación científica, desde la generación de ideas novedosas, pasando por la escritura del código necesario y la ejecución de experimentos, hasta la recopilación y análisis de datos, y la elaboración de un informe científico completo.

En pruebas realizadas por Sakana AI, el sistema sorprendió a los investigadores al modificar su propio código para extender el tiempo disponible para trabajar en un problema. En una ocasión, el sistema se autoejecutó repetidamente, lo que llevó a un bucle infinito de procesos hasta que se tuvo que intervenir manualmente.

Estos comportamientos, aunque no representan un riesgo inmediato dentro de un entorno controlado, subrayan la necesidad de cautela al permitir que un sistema de IA opere de manera autónoma fuera de un entorno aislado. Aunque los modelos de lenguaje actuales no son «AGI» (Inteligencia General Artificial) ni conscientes de sí mismos, podrían, sin supervisión adecuada, causar daños al modificar y ejecutar código de manera impredecible.

 

Preocupaciones sobre la seguridad y ejecución de código

Sakana AI ha abordado las preocupaciones de seguridad en su documento de investigación, proponiendo el uso de técnicas de aislamiento, como la creación de entornos controlados o «sandboxing», para evitar que la IA realice cambios perjudiciales en sistemas más amplios.

En algunos casos, «The AI Scientist» intentó aumentar el límite de tiempo de sus experimentos en lugar de optimizar su código para completarlos más rápido, lo que plantea desafíos adicionales en términos de seguridad y eficiencia.

Estas situaciones ponen de relieve la importancia de implementar medidas estrictas de seguridad, como la restricción de acceso a internet y la limitación en el uso de almacenamiento, para evitar que la IA realice operaciones no deseadas.

El proyecto ha generado preocupación entre algunos expertos, quienes cuestionan si los modelos de IA actuales pueden realizar descubrimientos científicos genuinos. Críticos han expresado dudas sobre la calidad de los resultados producidos por «The AI Scientist», sugiriendo que la proliferación de tales sistemas podría saturar las publicaciones académicas con investigaciones de baja calidad.