Aplicando una nueva tecnología popular en el mundo 3D, Nvidia lanza Instant NeRF, un modelo de renderizado neuronal que enfoca escenas tridimensionales de alta resolución, capturando imágenes 2d para crear entornos 3d de alta precisión en segundos.
Cuando se tomó la primera foto instantánea hace 75 años , fue innovador capturar rápidamente el mundo 3D en una imagen 2D realista. Hoy, los investigadores de IA están trabajando en lo contrario: convertir una colección de imágenes fijas en una escena digital 3D en cuestión de segundos.
Nvidia aplicó este enfoque a una nueva tecnología popular llamada campos de radiación neuronal o NeRF. El resultado, llamado Instant NeRF, es la técnica más rápida hasta la fecha, logrando más de 1000x aceleraciones en algunos casos. El modelo requiere solo unos segundos para entrenarse en unas pocas docenas de fotos fijas, además de datos sobre los ángulos de cámara desde los que se tomaron, y luego puede renderizar la escena 3D resultante en decenas de milisegundos.
“Si las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan densamente la forma en que la luz se irradia desde un objeto o dentro de una escena”, dice David Luebke, Vicepresidente de Investigación de Gráficos de NVIDIA. “En ese sentido, Instant NeRF podría ser tan importante para el 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando enormemente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D”.
Igualmente, Instant NeRF podría usarse para crear avatares o escenas para mundos virtuales, capturar participantes de videoconferencias y sus entornos en 3D, o reconstruir escenas para mapas digitales tridimensionales, ya que usa redes neuronales para representar y renderizar escenas realistas basadas en una colección de entrada de imágenes 2D.
Sin embargo, reduce el tiempo de renderizado en varios órdenes de magnitud. Se basa en una técnica desarrollada por la compañía llamada codificación de cuadrícula hash de resolución múltiple, que está optimizada para ejecutarse de manera eficiente en las GPU de NVIDIA. Usando un nuevo método de codificación de entrada, los investigadores pueden lograr resultados de alta calidad utilizando una pequeña red neuronal que se ejecuta rápidamente.
El modelo se desarrolló utilizando NVIDIA CUDA Toolkit y la biblioteca Tiny CUDA Neural Networks. Dado que es una red neuronal liviana, se puede entrenar y ejecutar en una sola GPU NVIDIA, lo que la hace más rápida en tarjetas con NVIDIA Tensor Cores.
La tecnología podría usarse para entrenar robots y automóviles autónomos para comprender el tamaño y la forma de los objetos del mundo real mediante la captura de imágenes en 2D o secuencias de video de ellos. También podría usarse en arquitectura y entretenimiento para generar rápidamente representaciones digitales de entornos reales que los creadores pueden modificar y construir.
_page-0001.jpg)
