La guerre des cent modèles dans le domaine de l'IA : problème d'ingénierie ou défi de recherche ?

Le mois dernier, une "guerre des animaux" a éclaté dans le secteur de l'IA.

D'une part, il y a Llama lancé par Meta, très apprécié de la communauté des développeurs en raison de sa nature open source. D'autre part, il y a un grand modèle appelé Falcon. En mai de cette année, Falcon-40B a été lancé et a atteint le sommet du "classement des LLM open source".

Ce classement est établi par la communauté des modèles open source, fournissant un ensemble de normes pour évaluer les capacités des LLM et les classer. Le classement est essentiellement dominé par Llama et Falcon qui alternent en tête. Après le lancement de Llama 2, la famille Llama a repris l'avantage ; début septembre, Falcon a lancé la version 180B, obtenant ainsi un classement encore plus élevé.

Fait intéressant, les développeurs de "Falcon" se trouvent à l'Institut de recherche sur l'innovation technologique à Abou Dabi, la capitale des Émirats arabes unis. Des responsables gouvernementaux ont déclaré : "Nous participons à ce jeu pour bouleverser les joueurs principaux."

Le lendemain de la publication de la version 180B, le ministre des Technologies de l'information des Émirats arabes unis, Omar, a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" selon le magazine Time.

Aujourd'hui, le domaine de l'IA est déjà entré dans la phase de "chaos général" : les pays et entreprises disposant de ressources financières ont tous des projets pour créer leur propre version de ChatGPT. Rien que dans le cercle des pays du Golfe, il n'y a pas qu'un seul acteur - en août, l'Arabie Saoudite a récemment acheté plus de 3000 H100 pour ses universités nationales, afin de former des LLM.

Jinsha River Venture Zhu Xiaohu a déjà critiqué : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrières : la bataille des centaines de groupes, la bataille des centaines de voitures, la bataille des centaines de diffusions ; je ne m'attendais pas à ce que l'entrepreneuriat en hard tech avec des grands modèles soit toujours une bataille des centaines de modèles..."

On avait promis des technologies difficiles, comment en est-on arrivé à un modèle unique par pays avec une production de cent mille jin par mu ?

Transformer dévore le monde

Les startups américaines, les géants technologiques chinois et les pétroliers du Moyen-Orient peuvent poursuivre leurs rêves de grands modèles grâce à cet article célèbre : "Attention Is All You Need".

En 2017, huit informaticiens de Google ont rendu publique l'algorithme Transformer dans cet article. Cet article est actuellement le troisième le plus cité de l'histoire de l'intelligence artificielle, et l'apparition de Transformer a déclenché cette vague d'engouement pour l'intelligence artificielle.

Peu importe la nationalité du modèle de grande taille actuel, y compris la série GPT qui fait sensation dans le monde, tous se tiennent sur les épaules des Transformers.

Avant cela, "apprendre aux machines à lire" était un problème académique reconnu. Contrairement à la reconnaissance d'images, lorsque les humains lisent des mots, ils ne se concentrent pas seulement sur les mots ou les phrases qu'ils voient actuellement, mais ils comprennent également en tenant compte du contexte.

Dans les premières années, les entrées des réseaux de neurones étaient indépendantes les unes des autres et n'avaient pas la capacité de comprendre un long texte, voire un article entier, c'est pourquoi des problèmes comme la traduction de "开水间" en "open water room" sont apparus.

Jusqu'en 2014, le scientifique en informatique Ilia, qui travaillait chez Google avant de rejoindre OpenAI, a été le premier à obtenir des résultats. Il a utilisé des réseaux de neurones récurrents (RNN) pour traiter le langage naturel, ce qui a rapidement permis à une plateforme de traduction de se démarquer de ses concurrents.

Le RNN propose un "design cyclique", permettant à chaque neurone de recevoir à la fois les informations d'entrée du moment actuel et celles du moment précédent, ce qui confère au réseau de neurones la capacité de "comprendre le contexte".

L'émergence des RNN a enflammé l'enthousiasme de recherche dans le milieu académique, et par la suite, l'auteur du papier sur les Transformers, Vaswani, s'est également plongé dans ce domaine. Cependant, les développeurs ont rapidement réalisé qu'il y avait un défaut majeur avec les RNN :

L'algorithme utilise des calculs séquentiels, ce qui peut effectivement résoudre les problèmes de contexte, mais son efficacité d'exécution n'est pas élevée et il est difficile de traiter un grand nombre de paramètres.

La conception complexe des RNN a rapidement lassé Shazelle. Ainsi, à partir de 2015, Shazelle et 7 passionnés ont commencé à développer un substitut aux RNN, dont le résultat est le Transformer.

Par rapport aux RNN, la transformation du Transformer comporte deux points :

Premièrement, l'utilisation du codage de position a remplacé la conception cyclique des RNN, permettant ainsi le calcul en parallèle - ce changement a considérablement amélioré l'efficacité de l'entraînement des Transformers, leur permettant de traiter de grandes quantités de données et d'initier l'ère des grands modèles en IA ; deuxièmement, cela a renforcé la capacité de contexte.

Avec Transformer qui a résolu d'un coup de nombreux défauts, il est progressivement devenu la seule solution pour le NLP (traitement du langage naturel), donnant un peu l'impression que "sans Transformer, le NLP serait dans une nuit éternelle". Même Ilia a abandonné le RNN qu'il avait lui-même porté sur un piédestal pour se tourner vers Transformer.

En d'autres termes, le Transformer est le grand maître de tous les grands modèles d'aujourd'hui, car il a transformé les grands modèles d'un problème de recherche théorique en un problème purement technique.

En 2019, OpenAI a développé GPT-2 basé sur Transformer, qui a ébloui le monde académique. En réponse, Google a rapidement lancé une IA plus performante, nommée Meena.

Comparé à GPT-2, Meena n'a pas d'innovation dans l'algorithme sous-jacent, elle a simplement 8,5 fois plus de paramètres d'entraînement et 14 fois plus de puissance de calcul que GPT-2. L'auteur du papier sur les Transformateurs, Vaswani, a été choqué par l'"accumulation violente" et a immédiatement rédigé un mémo intitulé "Meena dévore le monde".

L'émergence des Transformers a considérablement ralenti la vitesse d'innovation des algorithmes fondamentaux dans le monde académique. Des éléments d'ingénierie tels que l'ingénierie des données, l'échelle de calcul et l'architecture des modèles sont devenus des facteurs clés de victoire dans les compétitions d'IA. Toute entreprise technologique ayant un minimum de compétences techniques peut désormais créer un grand modèle.

Ainsi, lorsque le scientifique en informatique Andrew Ng a donné une conférence à l'Université de Stanford, il a mentionné un point de vue : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et maintenant l'intelligence artificielle générative. Tous ces outils sont des technologies générales, similaires à d'autres technologies générales telles que l'électricité et Internet."

OpenAI reste sans aucun doute le baromètre des LLM, mais les analystes des semi-conducteurs estiment que la compétitivité de GPT-4 provient des solutions d'ingénierie - si le code source est ouvert, n'importe quel concurrent peut rapidement le reproduire.

Cet analyste prévoit que, peut-être dans peu de temps, d'autres grandes entreprises technologiques pourront également créer des modèles de grande taille équivalents aux performances de GPT-4.

Une douve construite sur du verre

Actuellement, la "bataille des centaines de modèles" n'est plus une figure de style, mais une réalité objective.

Les rapports pertinents montrent qu'à la fin de juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis, réussissant ainsi à prendre de l'avance. Les diverses mythes et légendes ne suffisent presque plus aux entreprises technologiques chinoises pour choisir leurs noms.

En dehors de la Chine et des États-Unis, de nombreux pays relativement riches ont également réalisé un "modèle unique par pays" : en plus du Japon et des Émirats Arabes Unis, il y a le grand modèle Bhashini dirigé par le gouvernement indien, ainsi que HyperClova X développé par des entreprises Internet coréennes, etc.

La scène actuelle ressemble à l'époque des pionniers d'Internet, où la bulle éclatait et où la "capacité monétaire" s'affrontait.

Comme mentionné précédemment, les Transformers ont transformé les grands modèles en un simple problème d'ingénierie ; tant que quelqu'un a de l'argent et une carte graphique, le reste est laissé aux paramètres. Mais bien que l'accès ne soit pas difficile, cela ne signifie pas que tout le monde a la chance de devenir un BAT à l'ère de l'IA.

Le "guerre des animaux" mentionnée au début est un cas typique : bien que Falcon surpasse Llama dans le classement, il est difficile de dire quel impact cela a eu sur Meta.

Il est bien connu que les entreprises rendent leurs résultats de recherche open source, non seulement pour partager les bienfaits de la technologie avec le grand public, mais aussi dans l'espoir de mobiliser l'intelligence des gens. Avec des professeurs d'université, des instituts de recherche et des PME qui utilisent et améliorent constamment Llama, Meta peut intégrer ces résultats dans ses propres produits.

Pour les grands modèles open source, une communauté de développeurs active est leur principale force concurrentielle.

Dès la création de son laboratoire d'IA en 2015, Meta avait déjà défini le ton principal de l'open source ; Zuckerberg, ayant fait fortune grâce aux réseaux sociaux, comprend parfaitement l'importance de "bien entretenir les relations avec le public".

Par exemple, en octobre, Meta a spécialement organisé un événement "Incitation des créateurs version AI" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement auront la possibilité de recevoir un financement de 500 000 dollars.

À ce jour, la série Llama de Meta est clairement devenue un indicateur de tendance pour les LLM open source.

À début octobre, parmi le Top 10 des classements des LLM open source, 8 sont basés sur Llama 2 et utilisent son protocole open source. Sur cette plateforme, plus de 1500 LLM ont déjà utilisé le protocole open source de Llama 2.

Bien sûr, il n'est pas impossible d'améliorer les performances comme Falcon, mais à ce jour, la plupart des LLM sur le marché présentent encore un écart de performance visible à l'œil nu par rapport à GPT-4.

Par exemple, il y a quelques jours, GPT-4 a remporté la première place au test AgentBench avec un score de 4,41. La norme AgentBench a été lancée conjointement par l'Université Tsinghua, l'Université d'État de l'Ohio et l'Université de Californie à Berkeley, et est utilisée pour évaluer les capacités de raisonnement et de décision des LLM dans un environnement de génération ouverte multidimensionnelle. Les contenus du test comprennent des tâches dans 8 environnements différents tels que les systèmes d'exploitation, les bases de données, les graphes de connaissances et les combats de cartes.

Les résultats des tests montrent que Claude, en deuxième position, n'a obtenu que 2,77 points, ce qui laisse encore un écart assez évident. Quant à ces LLM open source très médiatisés, leurs résultats aux tests tournent souvent autour de 1 point, à peine un quart de ceux de GPT-4.

Il faut savoir que GPT-4 a été publié en mars de cette année, ce qui est le résultat d'une course de plus d'un semestre par les pairs mondiaux. La raison de cet écart est l'équipe scientifique d'OpenAI, qui possède une "densité de QI" extrêmement élevée, ainsi que l'expérience accumulée grâce à des recherches de longue date sur les LLM, ce qui leur permet de rester toujours en avance.

En d'autres termes, la capacité essentielle des grands modèles n'est pas le nombre de paramètres, mais la construction de l'écosystème (open source) ou la capacité de raisonnement pur (closed source).

Avec l'essor de la communauté open source, les performances des différents LLM pourraient converger, car tout le monde utilise des architectures de modèles similaires et des ensembles de données similaires.

Un autre problème plus évident est que, à part Midjourney, il semble qu'aucun autre grand modèle ne parvienne à gagner de l'argent.

Point d'ancrage de la valeur

En août de cette année, un article intitulé "OpenAI pourrait faire faillite d'ici fin 2024" a suscité beaucoup d'attention. Le sujet de l'article peut presque être résumé en une seule phrase : la vitesse à laquelle OpenAI dépense de l'argent est trop rapide.

Il est mentionné dans l'article qu'après le développement de ChatGPT, les pertes d'OpenAI se sont rapidement aggravées, avec environ 540 millions de dollars de pertes rien qu'en 2022, attendant seulement que les investisseurs de Microsoft paient.

Bien que le titre de l'article soit accrocheur, il décrit également la situation des nombreux fournisseurs de grands modèles : un déséquilibre grave entre les coûts et les revenus.

Des coûts trop élevés ont conduit à ce que seuls Nvidia, et peut-être Broadcom, aient réellement gagné beaucoup d'argent grâce à l'intelligence artificielle.

Selon les estimations d'une société de conseil, NVIDIA a vendu plus de 300 000 unités de H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI, dont l'efficacité de formation de l'IA est extrêmement élevée, et toutes les entreprises technologiques et institutions de recherche du monde entier se les arrachent. Si l'on empile ces 300 000 H100, leur poids équivaut à celui de 4,5 avions Boeing 747.

Les performances de Nvidia ont également décollé, avec une augmentation des revenus de 854 % par rapport à l'année précédente, ce qui a surpris Wall Street. À titre de référence, le prix actuel du H100 sur le marché de l'occasion a été porté à 40 000 à 50 000 dollars, alors que son coût de production n'est que d'un peu plus de 3 000 dollars.

Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un frein au développement de l'industrie. Sequoia Capital a réalisé une estimation : les entreprises technologiques du monde entier devraient dépenser chaque année 200 milliards de dollars pour la construction d'infrastructures de grands modèles ; en revanche, les grands modèles ne peuvent générer qu'un maximum de 75 milliards de dollars de revenus par an, laissant un écart d'au moins 125 milliards de dollars.

De plus, à part quelques exceptions comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore compris comment gagner de l'argent après avoir engagé d'énormes coûts. Surtout les deux grands leaders de l'industrie - Microsoft et Adobe - avancent avec quelques hésitations.

Microsoft et OpenAI ont collaboré pour développer un outil de génération de code AI, GitHub Copilot. Bien qu'il faille payer 10 dollars par mois, en raison des coûts d'infrastructure, Microsoft finit par perdre 20 dollars. Les utilisateurs intensifs peuvent même amener Microsoft à perdre 80 dollars par mois. Par conséquent, on peut supposer qu'avec un prix de 30 dollars, Microsoft 365 Copilot pourrait entraîner des pertes encore plus importantes.

Il n'est pas surprenant qu'Adobe, qui vient de lancer l'outil Firefly AI, ait également rapidement mis en place un système de points associé pour éviter que l'utilisation intensive par les utilisateurs n'entraîne des pertes pour l'entreprise. Dès qu'un utilisateur dépasse le quota de points alloué chaque mois, Adobe ralentit le service.

Il faut savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios d'affaires clairs et un grand nombre d'utilisateurs payants existants. Et la plupart des grands modèles basés sur des paramètres sont les plus adaptés.