Microsoft es criticada por crear una herramienta para crear deepfakes hiperrealistas

En la última conferencia para desarrolladores de Microsoft, la compañía anunció su contribución a la carrera de la inteligencia artificial: un software capaz de generar nuevos avatares y voces o replicar la apariencia y el habla de un usuario existente, generando preocupaciones sobre el impulso a la creación de deepfakes, videos hechos por IA de eventos que nunca sucedieron.

Anunciado en el Microsoft Ignite 2023, Azure AI Speech está entrenado con imágenes humanas y permite a los usuarios introducir un guion que puede ser «leído» en voz alta por un avatar fotorrealista creado con inteligencia artificial.

Los usuarios pueden elegir un avatar predefinido de Microsoft o cargar imágenes de una persona cuya voz y apariencia deseen replicar. Microsoft mencionó en una publicación de blog que la herramienta podría ser utilizada para construir «agentes conversacionales, asistentes virtuales, chatbots y más».

La publicación dice: «Los clientes pueden elegir entre una voz neural preconstruida o personalizada para su avatar. Si se usa la voz neural personalizada y la apariencia de la misma persona para el avatar, este se parecerá estrechamente a esa persona».

La compañía aseguró que el nuevo software de texto a voz se lanza con una serie de límites y salvaguardias para prevenir el mal uso.

«Como parte del compromiso de Microsoft con la IA responsable, el avatar de texto a voz está diseñado con la intención de proteger los derechos individuales y sociales, fomentar una interacción transparente entre humanos y computadoras, y contrarrestar la proliferación de deepfakes perjudiciales y contenido engañoso.

Los clientes pueden cargar su propia grabación de video, que la función utiliza para entrenar un video sintético del avatar personalizado hablando.

El anuncio generó rápidamente críticas de que Microsoft había lanzado un «creador de deepfakes«, lo que permitiría replicar más fácilmente la apariencia de una persona y hacerla decir y hacer cosas que la persona no ha dicho o hecho. El propio presidente de Microsoft mencionó en mayo que los deepfakes son su «mayor preocupación» en lo que respecta al avance de la inteligencia artificial.

En un comunicado, la compañía respondió a las críticas, indicando que los avatares personalizados son ahora una herramienta de «acceso limitado» para la cual los clientes deben aplicar y ser aprobados por Microsoft. Además, los usuarios deberán revelar cuando se haya utilizado la IA para crear una voz o avatar sintético.

Con estas salvaguardias en su lugar, ayudamos a limitar los riesgos potenciales y capacitamos a los clientes para incorporar capacidades avanzadas de voz y habla en sus aplicaciones de IA de manera transparente y segura.

Con el ascenso de la IA han surgido crecientes preocupaciones sobre las capacidades de la tecnología, con el CEO de OpenAI, Sam Altman, advirtiendo al Congreso que podría ser utilizada para interferir en elecciones y que se deben implementar salvaguardias.

Los deepfakes representan un peligro particular cuando se trata de interferencia en elecciones, según expertos. Microsoft lanzó una herramienta este mes para permitir que políticos y campañas autentiquen y marquen sus videos para verificar su legitimidad y prevenir la propagación de deepfakes. Meta anunció esta semana una política que requiere la divulgación del uso de IA en anuncios políticos y prohíbe a las campañas utilizar las propias herramientas de IA generativas de Meta para anuncios.