La technologie de génération de vidéos par IA a fait des percées majeures, l'intégration multimodale devient une nouvelle tendance

Récemment, l'un des progrès les plus significatifs dans le domaine de l'IA est le développement révolutionnaire de la technologie de génération de vidéos multimodales. Cette technologie est passée de la génération de vidéos à partir d'un texte unique à une technologie de génération en chaîne intégrant texte, images et audio.

Quelques exemples de percées technologiques remarquables incluent :

1. Le cadre EX-4D open source d'une certaine entreprise technologique peut transformer des vidéos ordinaires en contenu 4D à vue libre, avec un taux d'acceptation des utilisateurs atteignant 70,7 %. Cette technologie permet à l'IA de générer automatiquement des effets de vision sous n'importe quel angle, sans nécessiter une équipe professionnelle de modélisation 3D.

2. Une plateforme "Hui Xiang" d'un géant de l'internet prétend pouvoir générer une vidéo de qualité "cinéma" de 10 secondes à partir d'une seule image. Son efficacité réelle sera vérifiée après la mise à jour de la version Pro en août.

3. La technologie Veo d'un certain institut de recherche en IA a réalisé la génération synchronisée de vidéos 4K et de sons d'environnement. Cette technologie surmonte le défi de la synchronisation audio-visuelle dans des scènes complexes, comme la correspondance précise entre les mouvements de marche à l'écran et le bruit des pas.

4. La technologie ContentV d'une plateforme de courtes vidéos dispose de 8 milliards de paramètres et peut générer une vidéo 1080p en 2,3 secondes, avec un coût de 3,67 yuans/5 secondes. Bien que le contrôle des coûts soit satisfaisant, il reste des marges d'amélioration en ce qui concerne la qualité de génération dans des scènes complexes.

Ces percées technologiques ont une signification majeure en termes de qualité vidéo, de coût de production et de scénarios d'application :

1. En termes de valeur technique, la complexité de la génération vidéo multimodale augmente de manière exponentielle. Elle nécessite de traiter la génération d'images à une seule frame (environ 10^6 points de pixels), d'assurer la cohérence temporelle (au moins 100 frames), la synchronisation audio (10^4 points d'échantillonnage par seconde) et la cohérence spatiale en 3D. Aujourd'hui, cette tâche complexe peut être réalisée par décomposition modulaire et collaboration de grands modèles, en décomposant les tâches en modules tels que l'estimation de profondeur, la conversion de perspective, l'interpolation temporelle et l'optimisation de rendu.

2. En termes de réduction des coûts, cela est principalement dû à l'optimisation de l'architecture d'inférence, y compris la stratégie de génération hiérarchique, le mécanisme de réutilisation du cache et l'allocation dynamique des ressources. Ces optimisations ont permis à une plateforme de vidéo courte d'atteindre un coût de génération vidéo de 3,67 ¥ / 5 secondes.

3. En ce qui concerne l'impact des applications, la technologie AI est en train de bouleverser le processus traditionnel de production vidéo. Auparavant, un spot publicitaire de 30 secondes pouvait coûter plusieurs centaines de milliers d'euros, alors qu'aujourd'hui, il suffit d'un mot clé et de quelques minutes d'attente. Cela réduit non seulement les barrières techniques et financières, mais permet également d'atteindre des angles et des effets spéciaux difficiles à réaliser avec des méthodes de tournage traditionnelles, ce qui pourrait provoquer un bouleversement dans l'économie des créateurs.

Le développement de ces technologies d'IA Web2 a également un impact important sur l'IA Web3 :

1. Le changement dans la structure de la demande en puissance de calcul crée de nouvelles opportunités pour la puissance de calcul distribuée inutilisée, le réglage de modèles, les algorithmes et les plateformes d'inférence.

2. L'augmentation des besoins en annotation de données crée de nouvelles opportunités pour les photographes, les ingénieurs du son, les artistes 3D, etc., en leur fournissant des matériaux de données professionnels.

3. L'évolution des technologies d'IA vers la collaboration modulaire crée de nouveaux besoins pour les plateformes décentralisées. À l'avenir, la puissance de calcul, les données, les modèles et les mécanismes d'incitation pourraient former un cycle vertueux d'auto-renforcement, favorisant l'intégration profonde des scénarios Web3 IA et Web2 IA.