Nvidia presenta un modelo de IA que puede generar modelos 3D a partir de texto
Nvidia ha presentado Magic3D, un modelo de IA que puede generar modelos 3D a partir de descripciones de texto.
Tras introducir una frase como «Una rana azul sentada sobre un nenúfar», Magic3D genera un modelo de malla 3D, con textura de colores, en unos 40 minutos. Con modificaciones, el modelo resultante puede utilizarse en videojuegos o escenas artísticas CGI.
Nvidia enmarca Magic3D como una respuesta a DreamFusion, un modelo de texto a 3D que los investigadores de Google anunciaron en septiembre.
Al igual que DreamFusion utiliza un modelo de texto a imagen para generar una imagen 2D que luego se optimiza en datos volumétricos NeRF (Neural radiance field), Magic3D utiliza un proceso de dos etapas que toma un modelo generado en baja resolución y lo optimiza a una resolución mayor.
Según Nvidia, el método Magic3D resultante puede generar objetos 3D dos veces más rápido que DreamFusion.
Magic3D también permite editar el modelo de mallas 3D bajo demanda. Dado un modelo 3D de baja resolución, es posible alterar el texto para cambiar el modelo resultante.
En 2022, hemos visto la aparición de modelos capaces de convertir texto en imágenes 2D, como DALL-E y Stable Diffusion, y generadores rudimentarios de texto a vídeo de Google y Meta.
En cuanto a Magic3D, los investigadores esperan que permita a cualquiera crear modelos 3D sin necesidad de una formación especial.
Una vez perfeccionada, la tecnología resultante podría acelerar el desarrollo de los videojuegos (y la Realidad Virtual) y, tal vez, encontrar aplicaciones en efectos especiales para el cine y la televisión. «Esperamos que con Magic3D podamos democratizar la síntesis 3D y abrir la creatividad de todos en la creación de contenidos en 3D,» afirman los ingenieros de Nvidia.
