Investigadores de Google han desarrollado una técnica de modelado 3D de monumentos (o, en general, cualquier objeto en un lugar público) utilizando una red neuronal para procesar miles de fotografías tomadas desde distintos puntos.
El desarrollo de Google se basa en NeRF (Neural Radiance Fields), una técnica que permite extraer datos de profundidad 3D a partir de imágenes 2D determinando dónde terminan los rayos de luz. Es una técnica sofisticada que puede crear modelos 3D texturizados.
Google ha ido más allá desarrollando NeRF in the Wild (NeRF-W). En primer lugar, utiliza «colecciones de fotos en estado salvaje» como entradas, ampliando la capacidad de un ordenador para ver los elementos de referencia desde múltiples ángulos. Estas fotografías pueden ser instantáneas tomadas por turistas desde distintos lugares.
A continuación, se evalúan las imágenes para encontrar estructuras, separando las variaciones fotográficas y ambientales como la exposición de la imagen, la iluminación de la escena, el post-procesamiento y las condiciones meteorológicas, así como las diferencias entre los objetos fotografiados, como las personas que pueden estar en una imagen pero no en otra.
Luego recrea escenas como mezclas de elementos estáticos – geometría de la estructura y texturas – con otros transitorios.
Como resultado, los modelos 3D de Google pueden verse desde múltiples ángulos sin parecer artificiales. La comparación en vídeo de los resultados de NeRF estándar con NeRF-W sugiere que el nuevo sistema neuronal puede recrear de forma convincente puntos de referencia en 3D que se podrían aprovechar par aplicaciones de realidad virtual y realidad aumentada.
Google no es la única compañía que está investigando formas de usar fotos como entrada para el modelado 3D; por ejemplo, los investigadores de Intel están avanzando en su propio trabajo de generar versiones sintetizadas de lugares del mundo real, usando múltiples fotografías más una red recurrente de codificador-decodificador para interpolar ángulos no capturados.
Si bien el sistema de Intel parece superar numerosas alternativas -incluido el NeRF estándar- en cuanto a la nitidez a nivel de píxeles y la suavidad del modelo, no parece ofrecer las capacidades de iluminación variable del NeRF-W o tener el mismo enfoque en el uso de fotos de origen aleatorio para recrear lugares del mundo real.