La procreación de videos con AI está mejorando a un ritmo impresionante. En poco tiempo, hemos pasado de clips borrosos e incoherentes a videos generados con un realismo impresionante. Sin retención, a pesar de todo este progreso, equivocación una capacidad crítica: control y ediciones
Mientras suscitar un video hermoso es una cosa, la capacidad de editar Para cambiar la iluminación de día a confusión, permutar el material de un objeto de madera a metal, o insertar a la perfección un nuevo dato en la terreno, ha seguido siendo un problema formidable, en gran medida sin resolver. Esta brecha ha sido la barrera secreto que evita que la IA se convierta en una útil verdaderamente fundamental para cineastas, diseñadores y creadores.
Hasta la ingreso de Difusión¡!
En un nuevo artículo reformador, investigadores de Nvidia, Universidad de Toronto, Vector Institute y la Universidad de Illinois Urbana-Champaign han presentado un situación que aborda directamente este desafío. DiffusionRenderer representa un brinco revolucionario en dirección a delante, yendo más allá de la mera procreación para ofrecer una alternativa unificada para comprender y manipular escenas 3D de un solo video. Cierte efectivamente la brecha entre la procreación y la tirada, desbloqueando el definitivo potencial creativo del contenido impulsado por la IA.
La antigua forma contra la nueva forma: un cambio de arquetipo
Durante décadas, el fotorrealismo ha sido anclado en PBR, una metodología que simula meticulosamente el flujo de luz. Si aceptablemente produce resultados impresionantes, es un sistema frágil. PBR depende de modo crítica de tener un plan digital consumado de una terreno: especie de geometría 3D, texturas de material detalladas y mapas de iluminación precisos. El proceso de captura de este plan del mundo positivo, conocido como representación inversaes notoriamente difícil y propenso a errores. Incluso pequeñas imperfecciones en estos datos pueden causar fallas catastróficas en el renderizado final, un cuello de botella secreto que ha condicionado el uso de PBR fuera de los entornos de estudio controlados.
Las técnicas de representación neuronales anteriores como los Nerfs, mientras que revolucionarios para crear vistas estáticas, golpean una tapia cuando se negociación de editar. «Hornean» iluminación y materiales en la terreno, haciendo que las modificaciones posteriores a la captura sean casi imposibles.
Difusión Prostitución el «qué» (las propiedades de la terreno) y el «cómo» (la representación) en un situación unificado basado en la misma potente edificio de difusión de video que sustenta modelos como la difusión de video estable.
Este método utiliza dos renderistas neurales para procesar el video:
- Renderizador inverso neural: Este maniquí actúa como un detective de escenas. Analiza un video de entrada RGB y estima de modo inteligente las propiedades intrínsecas, generando los buffers de datos esenciales (buffers G) que describen la geometría de la terreno (normales, profundidad) y materiales (color, rugosidad, metálicos) a nivel de píxeles. Cada atributo se genera en un pase dedicado para habilitar la procreación de inscripción calidad.
- Renderizador punta neural: Este maniquí funciona como el intérprete. Toma los buffers G del renderizador inverso, los combina con cualquier iluminación deseada (un planisferio de entorno) y sintetiza un video fotorrealista. Crucialmente, se ha entrenado para ser robusto, capaz de producir género de transporte de luz impresionantes y complejos como sombras suaves e inter-reflexiones, incluso cuando las entradas G de los G de los renderizadores inverso son imperfectos o «ruidosos».
Esta sinergia autocorrectora es el núcleo del avance. El sistema está diseñado para el desorden del mundo positivo, donde los datos perfectos son un mito.
La salsa secreta: una nueva logística de datos para cerrar la brecha de la sinceridad
Un maniquí inteligente no es cero sin datos inteligentes. Los investigadores detrás Difusión ideó una ingeniosa logística de datos de dos puntas para enseñar a su maniquí los matices de la física perfecta y la sinceridad imperfecta.
- Un universo sintético masivo: Primero, construyeron un vasto conjunto de datos sintéticos de inscripción calidad de 150,000 videos. Utilizando miles de objetos 3D, materiales PBR y mapas de luz HDR, crearon escenas complejas y los renderizaron con un motor consumado de rastreo de ruta. Esto le dio al maniquí de representación inversa un «vademécum de texto» consumado para ilustrarse, proporcionándole datos perfectos de verdad en tierra.
- Utilitario marcando el mundo positivo: El equipo descubrió que el renderizador inverso, entrenado solo en datos sintéticos, era sorprendentemente bueno para ampliar a videos reales. Lo desataron en un conjunto de datos masivo de 10,510 videos del mundo positivo (DL3DV10K). El maniquí generó automáticamente etiquetas G-buffer para este metraje del mundo positivo. Esto creó un colosal conjunto de datos de 150,000 muestras de escenas reales con mapas de propiedades intrínsecos correspondientes, aunque imperfectos y intrínsecos.
Al capacitar el renderizador de avance tanto en los datos sintéticos perfectos como en los datos del mundo positivo impresionado automáticamente, el maniquí aprendió a cerrar la «brecha de dominio» crítica. Aprendió las reglas del mundo sintético y la apariencia del mundo positivo. Para manejar las inevitables inexactitudes en los datos marcados automáticamente, el equipo incorporó un módulo Lora (acomodo de bajo rango), una técnica inteligente que permite que el maniquí se adapte a los datos reales más ruidosos sin comprometer el conocimiento obtenido del conjunto sintético prístino.
Comportamiento de última procreación
Los resultados hablan por sí mismos. En rigurosas comparaciones cara a cara con los métodos de última procreación y neuronales, tanto Difusión De modo constante salió en la cima de todas las tareas evaluadas por un amplio beneficio:
- Representación en dirección a delante: Al suscitar imágenes a partir de gfers y iluminación, Difusión Su superado significativamente otros métodos neuronales, especialmente en escenas complejas de múltiples objetos donde las entre-reflexiones y las sombras realistas son críticas. La representación neural superó significativamente otros métodos.
- Representación inversa: El maniquí demostró ser superior al estimar las propiedades intrínsecas de una terreno de un video, logrando una maduro precisión en el albedo, el material y la estimación frecuente que todas las líneas de almohadilla. Se demostró que el uso de un maniquí de video (contra un maniquí de imagen única) es particularmente efectiva, reduciendo los errores en la predicción metálica y de rugosidad en un 41% y un 20% respectivamente, ya que aprovecha el movimiento para comprender mejor los género dependientes de la visión.
- Retornar a encender: En la prueba final de la tubería unificada, Difusión producido resultados de reaño cuantitativos y cualitativamente superiores en comparación con los métodos principales como DilightNet y Gaffer neural, generando reflexiones especulares más precisas e iluminación de inscripción fidelidad.
Que puedes hacer con Difusión: ¡Impresión poderosa!
Esta investigación desbloquea un conjunto de aplicaciones de tirada prácticas y poderosas que operan desde un solo video corriente. El flujo de trabajo es simple: el maniquí primero realiza la representación inversa para comprender la terreno, el afortunado edita las propiedades y el maniquí realiza la representación en dirección a delante para crear un nuevo video fotorrealista.
- Revención dinámica: Cambie la hora del día, cambie las luces de estudio por una puesta de sol o altere por completo el estado de humor de una terreno simplemente proporcionando un nuevo planisferio de entorno. El situación reorganiza de modo realista el video con todas las sombras y reflexiones correspondientes.
- Impresión de material intuitivo: ¿Quieres ver cómo se vería esa apero de cuero en Chrome? ¿O hacer que una estatua metálica parezca estar hecha de piedra rugosa? Los usuarios pueden ajustar directamente el material Guffers G, ajustando la rugosidad, las propiedades metálicas y de color, y el maniquí hará los cambios fotorrealistas.
- Inserción de objetos sin costura: Coloque nuevos objetos virtuales en una terreno del mundo positivo. Al pegar las propiedades del nuevo objeto a los buffers G de la terreno, el renderizador punta puede sintetizar un video final donde el objeto está lógicamente integrado, lanzando sombras realistas y recogiendo reflexiones precisas desde su entorno.
Una nueva almohadilla para gráficos
Difusión representa un avance definitivo. Al resolver holísticamente la representación inversa y en dirección a delante internamente de un situación único, robusto y basado en datos, derriba las barreras de larga data del PBR tradicional. Democratiza la representación fotorrealista, moviéndola del dominio exclusivo de los expertos en VFX con un hardware potente a una útil más accesible para creadores, diseñadores y desarrolladores AR/VR.
En una aggiornamento flamante, los autores mejoran aún más la iluminación y la re-iluminación de video al exprimir Nvidia cosmos y curación de datos mejorada.
Esto demuestra una tendencia de escalera prometedora: a medida que el maniquí de difusión de video subyacente se vuelve más potente, la calidad de salida mejoramiento, produciendo resultados más nítidos y precisos.
Estas mejoras hacen que la tecnología sea aún más convincente.
El nuevo maniquí se asta bajo Apache 2.0 y la inmoralidad de maniquí NVIDIA Open y es arreglado aquí
Fuentes:
Gracias al equipo de NVIDIA por el liderazgo/ capital de pensamiento para este artículo. El equipo de NVIDIA ha apoyado y patrocinado este contenido/artículo.
Jean-Marc es un exitoso ejecutante de negocios de IA. Dirige y acelera el crecimiento de las soluciones de IA y comenzó una compañía de visión por computadora en 2006. Es un orador obligado en AI Conferences y tiene un MBA de Stanford.