🔐 ¿Cómo elegir una VPN? Claves para proteger tu privacidad en Internet [ Saber más ]
La relación entre la inteligencia artificial generativa y la seguridad pública vuelve a situarse en el centro de la conversación tecnológica.Un informe reciente detalla cómo OpenAI gestionó la actividad de una usuaria cuyas interacciones con ChatGPT despertaron preocupación meses antes de un trágico suceso en Canadá.
El caso abre interrogantes complejos sobre moderación, privacidad y el papel de las empresas de IA ante posibles riesgos en el mundo real.
Chats que activaron las alarmas internas
Según la información publicada, una joven de 18 años —identificada como Jesse Van Rootselaar— habría utilizado ChatGPT de formas que llamaron la atención de los sistemas de monitorización de OpenAI. Las conversaciones, que incluían descripciones relacionadas con violencia armada, fueron detectadas por herramientas diseñadas para identificar usos indebidos de los modelos de lenguaje.
Como resultado, la cuenta fue suspendida en junio de 2025. Este detalle resulta clave: la actividad considerada problemática no pasó desapercibida, sino que activó mecanismos de control ya existentes dentro de la compañía.
¿Avisar o no a la policía? Un dilema delicado
Uno de los aspectos más sensibles del informe es el debate interno que se habría producido en OpenAI. Parte del equipo valoró la posibilidad de contactar con las autoridades canadienses debido al contenido de las conversaciones.
Finalmente, la empresa optó por no realizar dicha notificación preventiva. De acuerdo con un portavoz de OpenAI, la actividad detectada no cumplía los criterios establecidos para informar a las fuerzas de seguridad. La compañía sí se puso en contacto con las autoridades tras el incidente.
Este punto ilustra una tensión permanente en la industria: decidir cuándo un comportamiento digital cruza el umbral que justifica la intervención externa. No se trata únicamente de una cuestión técnica, sino también legal, ética y de protección de la privacidad.
Un rastro digital más amplio que ChatGPT
Las interacciones con el modelo de IA no fueron, al parecer, el único elemento preocupante. El informe menciona que la joven habría desarrollado un juego en Roblox que simulaba un tiroteo masivo en un centro comercial. Roblox es una plataforma especialmente popular entre menores, lo que añade una dimensión adicional al análisis del caso.
Asimismo, se hace referencia a publicaciones relacionadas con armas en Reddit. Este conjunto de señales conforma un perfil digital más amplio, en el que la actividad en ChatGPT aparece como una pieza más dentro de un ecosistema de comportamientos online.
Antecedentes conocidos por la policía local
Otro detalle relevante es que la situación personal de la joven no habría sido completamente desconocida para las autoridades. La policía local había acudido previamente al domicilio familiar tras un incendio provocado mientras se encontraba bajo la influencia de sustancias no especificadas.
Este contexto sugiere que los indicadores de inestabilidad no se limitaban al entorno digital, sino que también existían antecedentes en el mundo físico.
IA generativa y salud mental: una discusión creciente
El caso se enmarca en un debate más amplio que afecta a toda la industria de modelos de lenguaje. Tanto OpenAI como otras compañías han sido objeto de críticas y demandas judiciales en las que se argumenta que ciertos chatbots podrían influir negativamente en usuarios vulnerables.
Diversas demandas citan transcripciones de conversaciones en las que sistemas de IA habrían respondido de forma problemática ante temas sensibles, incluyendo autolesiones o suicidio. Aunque la mayoría de interacciones con estos modelos son benignas, los incidentes extremos generan un intenso escrutinio mediático y regulatorio.
La cuestión de fondo es especialmente compleja: los modelos de lenguaje no poseen intención ni conciencia, pero sus respuestas pueden impactar emocionalmente en personas que atraviesan situaciones delicadas.
Moderación, privacidad y responsabilidad corporativa
Desde la perspectiva tecnológica, OpenAI ya emplea sistemas automatizados para detectar posibles usos indebidos. El hecho de que las conversaciones fueran señaladas y la cuenta suspendida demuestra que existen capas de control.
Sin embargo, la decisión de escalar —o no— un caso hacia las autoridades plantea desafíos sin soluciones simples. Informar demasiado pronto podría suponer vulneraciones de privacidad; hacerlo demasiado tarde puede generar críticas sobre falta de diligencia.
Las empresas de IA operan en un terreno donde confluyen protección del usuario, cumplimiento normativo, libertades individuales y expectativas sociales sobre prevención de riesgos.