Los videos generados por IA de las descripciones o imágenes de texto tienen un inmenso potencial para la creación de contenido, la producción de medios y el entretenimiento. Avances recientes en formación profundoparticularmente en las arquitecturas y modelos de difusión basados en transformadores, han impulsado este progreso. Sin requisa, la capacitación de estos modelos sigue siendo intensivo en capital, lo que requiere grandes conjuntos de datos, un poder informático extenso y una inversión financiera significativa. Estos desafíos limitan el acercamiento a las tecnologías de engendramiento de videos de vanguardia, haciéndolos principalmente disponibles para grupos y organizaciones de investigación perfectamente financiados.
La capacitación de modelos de video AI es costoso y computacionalmente intolerante. Los modelos de detención rendimiento requieren millones de muestras de entrenamiento y poderosos grupos de GPU, lo que hace que sean difíciles de desarrollar sin fondos significativos. Los modelos a gran escalera, como Sora de OpenAi, la calidad de la engendramiento de videos de OpenAi a nuevas cielo, pero exigen enormes capital computacionales. El detención costo de la capacitación restringe el acercamiento a la síntesis de video vanguardia impulsada por la IA, lo que limita la innovación a algunas organizaciones importantes. Enfrentarse estas barreras financieras y técnicas es esencial para hacer que la engendramiento de videos de IA sea más ampliamente adecuado y alentando la prohijamiento más amplia.
Se han desarrollado diferentes enfoques para manejar las demandas computacionales de la engendramiento de videos de IA. Los modelos patentados como Runway Gen-3 Alpha cuentan con arquitecturas enormemente optimizadas, pero son de código cerrado, restringiendo contribuciones de investigación más amplias. Los modelos de código descubierto como Hunyuanvideo y Step-Video-T2V ofrecen transparencia, pero requieren una potencia informática significativa. Muchos dependen de extensos conjuntos de datos, compresión basada en autoencoder y técnicas de difusión jerárquica para mejorar la calidad del video. Sin requisa, cada enfoque viene con compensaciones entre eficiencia y rendimiento. Si perfectamente algunos modelos se centran en la producción de suscripción resolución y la precisión del movimiento, otros priorizan los costos computacionales más bajos, lo que resulta en diferentes niveles de rendimiento en las métricas de evaluación. Los investigadores continúan buscando un compensación inmejorable que preserva la calidad del video al tiempo que reduce las cargas financieras y computacionales.
Los investigadores de la tecnología de HPC-AI introducen Sora 2.0un maniquí de engendramiento de videos de IA de nivel comercial que logra un rendimiento de última engendramiento al tiempo que reduce significativamente los costos de capacitación. Este maniquí se desarrolló con una inversión de solo $ 200,000, lo que lo convierte en cinco a diez veces más rentable que los modelos competidores como MovieGen y Step-Video-T2V. Open-Sora 2.0 está diseñado para democratizar la engendramiento de videos de IA haciendo que la tecnología de detención rendimiento sea accesible para un divulgado más amplio. A diferencia de los modelos anteriores de detención costo, este enfoque integra múltiples innovaciones basadas en eficiencia, incluida la curación de datos mejorada, un autoencoder renovador, un nuevo ámbito de transformadores híbridos y metodologías de entrenamiento enormemente optimizadas.
El equipo de investigación implementó un sistema de filtrado de datos jerárquico que refina conjuntos de datos de video en subconjuntos de calidad progresivamente de maduro calidad, lo que garantiza una eficiencia de capacitación óptima. Un avance significativo fue la ingreso del video autoencoder DC-AE, que restablecimiento la compresión de video al tiempo que reduce el número de tokens requeridos para la representación. La inmueble del maniquí incorpora mecanismos de atención completa, procesamiento múltiple y un enfoque de transformador de difusión híbrido para mejorar la calidad del video y la precisión del movimiento. La eficiencia del entrenamiento se maximizó a través de una tubería de tres etapas: formación de texto a video en datos de mengua resolución, acoplamiento de imagen a video para una dinámica de movimiento mejorada y ajuste fino de suscripción resolución. Este enfoque estructurado permite al maniquí comprender patrones de movimiento complejos y consistencia espacial mientras mantiene la eficiencia computacional.
El maniquí se probó a través de múltiples dimensiones: calidad visual, adhesión rápida y realismo de movimiento. Las evaluaciones de preferencias humanas mostraron que el sora descubierto 2.0 supera a los competidores patentados y de código descubierto en al menos dos categorías. En las evaluaciones de Vbench, la brecha de rendimiento entre la Sora abierta y el SORA de OpenAI se redujo de 4.52% a solo 0.69%, lo que demuestra mejoras sustanciales. Open-Sora 2.0 todavía logró una puntuación VBench más suscripción que Hunyuanvideo y Cogvideo, estableciéndose como un robusto contendiente entre los modelos actuales de código descubierto. Por otra parte, el maniquí integra optimizaciones de capacitación avanzadas, como el procesamiento paralelo, el punto de control de activación y la recuperación automatizada de fallas, garantizando la operación continua y la maximización de la eficiencia de la GPU.
Las conclusiones esencia de la investigación sobre abierta-sora 2.0 incluyen:
- Open-Sora 2.0 fue entrenado por solo $ 200,000, por lo que es de cinco a diez veces más rentable que los modelos comparables.
- El sistema de filtrado de datos jerárquicos refina conjuntos de datos de video a través de múltiples etapas, mejorando la eficiencia de la capacitación.
- El video AutoCoder DC-AA reduce significativamente los recuentos de tokens al tiempo que mantiene una suscripción fidelidad de reconstrucción.
- La tubería de entrenamiento de tres etapas optimiza el formación de los datos de mengua resolución al ajuste de suscripción resolución.
- Las evaluaciones de preferencias humanas indican que el sora descubierto 2.0 supera a los principales modelos patentados y de código descubierto en al menos dos categorías de rendimiento.
- El maniquí redujo la brecha de rendimiento con SORA de OpenAi de 4.52% a 0.69% en evaluaciones de Vbench.
- Las optimizaciones avanzadas del sistema, como el punto de control de activación y el entrenamiento paralelo, maximizan la eficiencia de GPU y reducen la sobrecarga de hardware.
- Open-Sora 2.0 demuestra que la engendramiento de videos AI de detención rendimiento se puede ganar con costos controlados, lo que hace que la tecnología sea más accesible para investigadores y desarrolladores de todo el mundo.
Confirmar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este plan. Por otra parte, siéntete vacante de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Aswin AK es un pasante de consultoría en MarktechPost. Está persiguiendo su doble título en el Instituto de Tecnología Indio, Kharagpur. Le apasiona la ciencia de datos y el formación inconsciente, aportando una sólida experiencia académica y una experiencia experiencia en la resolución de desafíos de dominio de la vida actual.