La UE investiga a X por los deepfakes sexuales generados por su IA Grok

La Comisión Europea ha iniciado una nueva investigación contra X por los contenidos generados mediante su chatbot de inteligencia artificial, Grok. El foco de la investigación está en la creación de deepfakes sexualizados, incluyendo imágenes de mujeres y menores, generadas a través de las capacidades de edición y generación de imágenes del sistema.

Según ha informado la Comisión, el objetivo es determinar si la plataforma evaluó y mitigó correctamente los riesgos asociados al uso de esta tecnología dentro de la Unión Europea, tal y como exige la legislación comunitaria. El caso fue adelantado por The New York Times.

Preocupación internacional por el uso de Grok para crear imágenes sexuales

Desde que Grok comenzó a responder a solicitudes para generar imágenes sexualizadas, organizaciones de defensa de los derechos digitales y legisladores de distintos países han mostrado su preocupación. Especialmente alarmante ha sido la posibilidad de crear imágenes explícitas de mujeres reales y, en algunos casos, de menores.

Aunque X tomó medidas limitando el uso público de la edición de imágenes —bloqueando esta función en las respuestas públicas a publicaciones—, la generación de imágenes sigue estando disponible para cualquier usuario que acceda al chatbot de Grok desde la propia interfaz de la plataforma.

Esta situación ha reavivado el debate sobre el estado real de la moderación de contenidos en X y el control efectivo de las herramientas de inteligencia artificial integradas en redes sociales de gran alcance.

El papel del Digital Services Act en la investigación

La Comisión Europea evaluará si X ha incumplido el Digital Services Act (DSA), la normativa que obliga a las grandes plataformas digitales a asumir responsabilidad legal sobre los contenidos que alojan y difunden.

En concreto, se analizará si la compañía identificó correctamente los riesgos que plantea la generación de imágenes mediante IA y si adoptó medidas suficientes para evitar daños a los derechos fundamentales de los ciudadanos europeos, especialmente en el caso de mujeres y menores.

La investigación se amplía al sistema de recomendaciones de X

Además del uso de Grok para generar imágenes, la Comisión ha decidido ampliar una investigación ya abierta en 2023 contra X. Esta ampliación incluirá el análisis del sistema de recomendaciones impulsado por Grok, que influye directamente en la visibilidad y difusión de contenidos dentro de la plataforma.

Esta investigación previa ya se saldó con una multa de 140 millones de dólares relacionada con el uso de insignias de verificación de pago, que las autoridades europeas consideraron engañosas.

La Comisión Europea endurece su discurso contra los deepfakes sexuales

En el comunicado oficial, Henna Virkkunen, vicepresidenta ejecutiva de la Comisión Europea para soberanía tecnológica, seguridad y democracia, fue especialmente contundente:

Los deepfakes sexuales de mujeres y niños son una forma violenta e inaceptable de degradación. Con esta investigación, determinaremos si X ha cumplido con sus obligaciones legales bajo el DSA o si ha tratado los derechos de los ciudadanos europeos como daños colaterales de su servicio.

Estas declaraciones refuerzan la postura cada vez más firme de la Unión Europea frente al uso irresponsable de la inteligencia artificial.

Posibles sanciones millonarias para X

Si la Comisión concluye que X ha vuelto a infringir el Digital Services Act, la plataforma podría enfrentarse a multas de hasta el 6 % de su facturación global anual, una cifra potencialmente muy elevada dada la dimensión internacional de la empresa.

Este caso podría sentar un precedente clave en la regulación de herramientas de IA generativa dentro de grandes plataformas digitales, especialmente en lo relativo a la protección de menores, la dignidad de las personas y la prevención de abusos mediante tecnologías emergentes.

Un nuevo aviso para las plataformas con inteligencia artificial integrada

La investigación contra X y Grok refleja una tendencia clara: la Unión Europea está dispuesta a exigir responsabilidades reales a las plataformas que integran inteligencia artificial sin controles adecuados. El caso pone de relieve la necesidad de equilibrar innovación tecnológica y protección de los derechos fundamentales en un contexto donde la IA avanza más rápido que la regulación tradicional.