La tecnología de generación de videos por IA ha logrado avances significativos, y la integración multimodal se convierte en una nueva tendencia.

Recientemente, uno de los avances más significativos en el campo de la IA es el desarrollo revolucionario de la tecnología de generación de video multimodal. Esta tecnología ha evolucionado de la generación de video a partir de texto único a una tecnología de generación de cadena completa que integra texto, imágenes y audio.

Varios casos de avances tecnológicos notables incluyen:

1. El marco EX-4D de una empresa de tecnología de código abierto puede convertir videos normales en contenido 4D de vista libre, con una tasa de aceptación del usuario que alcanza el 70.7%. Esta tecnología permite que la IA genere automáticamente efectos de visualización desde cualquier ángulo, sin necesidad de un equipo profesional de modelado 3D.

2. Una plataforma llamada "Hui Xiang" de un gigante de Internet afirma que puede generar un video de calidad "cinematográfica" de 10 segundos a partir de una sola imagen. Su efectividad real será verificada después de la actualización de la versión Pro en agosto.

3. La tecnología Veo de una institución de investigación en IA ha logrado la generación sincronizada de video 4K y sonido ambiental. Esta tecnología ha superado el desafío de la sincronización de audio y video en escenas complejas, como la correspondencia precisa entre las acciones de caminar en la imagen y el sonido de los pasos.

4. La tecnología ContentV de una plataforma de videos cortos tiene 8 mil millones de parámetros y puede generar videos en 1080p en 2.3 segundos, con un costo de 3.67 yuanes/5 segundos. Aunque el control de costos es bastante bueno, aún hay espacio para mejorar la calidad de generación en escenas complejas.

Estos avances tecnológicos son de gran importancia en aspectos como la calidad de video, los costos de generación y los escenarios de aplicación:

1. En términos de valor técnico, la complejidad de la generación de videos multimodales crece exponencialmente. Requiere manejar la generación de imágenes de un solo fotograma (aproximadamente 10^6 puntos de píxel), garantizar la coherencia temporal (al menos 100 fotogramas), sincronización de audio (10^4 puntos de muestreo por segundo) y consistencia en el espacio 3D. Ahora, esta compleja tarea se puede lograr mediante la descomposición modular y la colaboración de grandes modelos, como dividir la tarea en módulos como estimación de profundidad, transformación de perspectiva, interpolación temporal y optimización de renderizado.

2. En términos de reducción de costos, se debe principalmente a la optimización de la arquitectura de inferencia, que incluye estrategias de generación por capas, mecanismos de reutilización de caché y asignación dinámica de recursos. Estas optimizaciones han permitido que una plataforma de videos cortos logre una generación de video a bajo costo de 3.67 yuanes/5 segundos.

3. En términos de impacto en las aplicaciones, la tecnología de IA está revolucionando el proceso de producción de video tradicional. En el pasado, un anuncio de 30 segundos podía costar cientos de miles en producción, ahora solo se necesita una palabra clave y unos minutos de tiempo de espera. Esto no solo reduce las barreras tecnológicas y financieras, sino que también permite lograr perspectivas y efectos especiales que son difíciles de alcanzar con la filmación tradicional, lo que podría provocar una reestructuración de la economía de los creadores.

El desarrollo de estas tecnologías de IA de Web2 también tiene un impacto importante en la IA de Web3:

1. El cambio en la estructura de demanda de poder de cómputo ha creado nuevas oportunidades para el poder de cómputo distribuido ocioso, el ajuste fino de modelos, algoritmos y plataformas de inferencia.

2. La demanda de anotación de datos ha aumentado, creando nuevas oportunidades para fotógrafos, diseñadores de sonido, artistas 3D, entre otros, al proporcionar material de datos profesional.

3. La tecnología de IA se está desarrollando hacia una colaboración modular, lo que proporciona nuevas demandas para las plataformas descentralizadas. En el futuro, la potencia de cálculo, los datos, los modelos y los mecanismos de incentivo podrían formar un círculo virtuoso de auto-refuerzo, promoviendo la profunda integración de los escenarios de Web3 AI y Web2 AI.