Stability AI entre dans le domaine de la programmation et lance StableCode, un outil avec une fenêtre contextuelle pouvant contenir jusqu'à 16 000 jetons
Source de l'image : générée par l'outil d'IA illimitée
Stability AI est connu pour son modèle génératif texte-image Stable Diffusion, mais ce n'est pas tout ce que la startup d'IA générative souhaite développer. Stability AI entre dans le monde de la génération de code.
Le 8 août, Stability AI a annoncé la première version publique de StableCode, son nouveau Large Language Model (LLM) ouvert conçu pour aider les utilisateurs à générer du code pour les langages de programmation. StableCode a trois niveaux différents : un modèle de base pour les cas d'utilisation généraux, un modèle d'instructions et un modèle de fenêtre contextuelle longue pouvant prendre en charge jusqu'à 16 000 jetons.
*Source : Stability AI (Comparaison de Stability AI avec d'autres modèles avec un nombre similaire de paramètres et un nombre de jetons formés. Stability AI utilise la référence humaine populaire avec des métriques standard pass@1 et pass@10.)*
Les modèles StableCode bénéficient des ensembles de données de langage de programmation initiaux du projet open source BigCode, avec un filtrage et un réglage supplémentaires fournis par Stability AI. Dans un premier temps, StableCode prendra en charge le développement dans les langages de programmation Python, Go, Java, Java, C, Markdown et C++.
"Nous voulons utiliser ce modèle pour faire quelque chose de similaire à Stable Diffusion, qui vise à aider tout le monde dans le monde à devenir un artiste", a déclaré Christian Laforte, directeur de la recherche Stability AI, dans une interview exclusive avec VentureBeat. le modèle StableCode pour faire la même chose : en gros, laissez quiconque ayant une bonne idée écrire un programme pour résoudre ce problème."
StableCode : s'appuyer sur le BigCode et les grandes idées
La formation de tout LLM repose sur des données, et pour StableCode, ces données proviennent du projet BigCode. Utiliser BigCode comme base pour un outil de code IA génératif LLM n'est pas une idée nouvelle. HuggingFace et ServiceNow ont lancé le StarCoder LLM ouvert dès mai de cette année, dont la base est BigCode.
Le chercheur principal de Stability AI, Nathan Cooper, a expliqué dans une interview exclusive avec VentureBeat que la formation pour StableCode impliquait un filtrage et un nettoyage approfondis des données BigCode.
"Nous aimons vraiment BigCode, ils ont fait un travail incroyable sur la gouvernance des données, la gouvernance des modèles et la formation des modèles", a déclaré Cooper. "Nous avons pris leur ensemble de données et appliqué des filtres de qualité supplémentaires, et avons également construit une version à grande fenêtre contextuelle du modèle, qui a ensuite été formée sur notre cluster."
Stability AI effectue un certain nombre d'étapes de formation en plus du modèle de base BigCode, a déclaré Cooper. Ces étapes comprennent une formation successive dans un langage de programmation spécifique. Selon la description sur le site officiel, StableCode a formé le modèle avec 560 milliards de jetons de code sur son cluster de calcul haute performance.
"Il adopte une approche très similaire au domaine du langage naturel en préformant d'abord un modèle à usage général, puis en l'affinant sur un ensemble spécifique de tâches, dans ce cas le langage", a déclaré Cooper.
StableCode Une longueur de jeton plus longue changera les règles du jeu de génération de code
En plus de la fondation BigCode, la version à long contexte de StableCode apporte des avantages significatifs aux utilisateurs.
La version longue fenêtre contextuelle de StableCode a une fenêtre contextuelle de 16 000 jetons, ce qui, selon Stability AI, est plus grand que tout autre modèle. Des fenêtres de contexte plus longues permettent des conseils de génération de code plus spécialisés et complexes, a expliqué Cooper. Cela signifie également que les utilisateurs peuvent demander à StableCode d'examiner une base de code de taille moyenne avec plusieurs fichiers pour aider à comprendre et à générer un nouveau code.
"Vous pouvez utiliser cette fenêtre de contexte plus longue pour permettre au modèle d'en savoir plus sur votre base de code et sur les fonctionnalités définies dans d'autres fichiers", a déclaré Cooper. Base de code et exigences."
Meilleure génération de code avec RoPE
Comme tous les modèles génératifs d'IA modernes, StableCode est basé sur des réseaux de neurones transformateurs.
Au lieu d'utiliser la méthode ALiBi (Attention with Linear Biases) pour localiser la sortie dans le modèle de transformateur (que StarCoder utilise dans son modèle de codage AI génératif ouvert), StableCode utilise une méthode appelée RoPE.
L'approche ALiBi dans le modèle de transformateur a tendance à peser davantage sur les jetons actuels que sur les jetons passés, a déclaré Cooper. Selon lui, ce n'est pas une approche idéale pour le code car, contrairement au langage naturel, le code n'a pas de structure narrative fixe avec un début, un milieu et une fin. La fonctionnalité de code peut être définie pour n'importe quel point du processus de candidature.
"Je ne pense pas que le code lui-même corresponde à l'idée que ce compromis est plus important maintenant qu'il ne l'était, alors nous utilisons ... RoPE, [qui] n'a pas ce biais."
Actuellement, StableCode en est à ses débuts et l'objectif de la première version est de comprendre comment le modèle sera adopté et utilisé par les développeurs.
"Nous allons nous engager et collaborer avec la communauté pour voir quelles directions intéressantes ils proposent et explorer l'espace de développement génératif", a déclaré Cooper.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Stability AI entre dans le domaine de la programmation et lance StableCode, un outil avec une fenêtre contextuelle pouvant contenir jusqu'à 16 000 jetons
Écrit par : Sean Michael Kerner
Source : VentureBeat
Stability AI est connu pour son modèle génératif texte-image Stable Diffusion, mais ce n'est pas tout ce que la startup d'IA générative souhaite développer. Stability AI entre dans le monde de la génération de code.
Le 8 août, Stability AI a annoncé la première version publique de StableCode, son nouveau Large Language Model (LLM) ouvert conçu pour aider les utilisateurs à générer du code pour les langages de programmation. StableCode a trois niveaux différents : un modèle de base pour les cas d'utilisation généraux, un modèle d'instructions et un modèle de fenêtre contextuelle longue pouvant prendre en charge jusqu'à 16 000 jetons.
Les modèles StableCode bénéficient des ensembles de données de langage de programmation initiaux du projet open source BigCode, avec un filtrage et un réglage supplémentaires fournis par Stability AI. Dans un premier temps, StableCode prendra en charge le développement dans les langages de programmation Python, Go, Java, Java, C, Markdown et C++.
"Nous voulons utiliser ce modèle pour faire quelque chose de similaire à Stable Diffusion, qui vise à aider tout le monde dans le monde à devenir un artiste", a déclaré Christian Laforte, directeur de la recherche Stability AI, dans une interview exclusive avec VentureBeat. le modèle StableCode pour faire la même chose : en gros, laissez quiconque ayant une bonne idée écrire un programme pour résoudre ce problème."
StableCode : s'appuyer sur le BigCode et les grandes idées
La formation de tout LLM repose sur des données, et pour StableCode, ces données proviennent du projet BigCode. Utiliser BigCode comme base pour un outil de code IA génératif LLM n'est pas une idée nouvelle. HuggingFace et ServiceNow ont lancé le StarCoder LLM ouvert dès mai de cette année, dont la base est BigCode.
Le chercheur principal de Stability AI, Nathan Cooper, a expliqué dans une interview exclusive avec VentureBeat que la formation pour StableCode impliquait un filtrage et un nettoyage approfondis des données BigCode.
"Nous aimons vraiment BigCode, ils ont fait un travail incroyable sur la gouvernance des données, la gouvernance des modèles et la formation des modèles", a déclaré Cooper. "Nous avons pris leur ensemble de données et appliqué des filtres de qualité supplémentaires, et avons également construit une version à grande fenêtre contextuelle du modèle, qui a ensuite été formée sur notre cluster."
Stability AI effectue un certain nombre d'étapes de formation en plus du modèle de base BigCode, a déclaré Cooper. Ces étapes comprennent une formation successive dans un langage de programmation spécifique. Selon la description sur le site officiel, StableCode a formé le modèle avec 560 milliards de jetons de code sur son cluster de calcul haute performance.
"Il adopte une approche très similaire au domaine du langage naturel en préformant d'abord un modèle à usage général, puis en l'affinant sur un ensemble spécifique de tâches, dans ce cas le langage", a déclaré Cooper.
StableCode Une longueur de jeton plus longue changera les règles du jeu de génération de code
En plus de la fondation BigCode, la version à long contexte de StableCode apporte des avantages significatifs aux utilisateurs.
La version longue fenêtre contextuelle de StableCode a une fenêtre contextuelle de 16 000 jetons, ce qui, selon Stability AI, est plus grand que tout autre modèle. Des fenêtres de contexte plus longues permettent des conseils de génération de code plus spécialisés et complexes, a expliqué Cooper. Cela signifie également que les utilisateurs peuvent demander à StableCode d'examiner une base de code de taille moyenne avec plusieurs fichiers pour aider à comprendre et à générer un nouveau code.
"Vous pouvez utiliser cette fenêtre de contexte plus longue pour permettre au modèle d'en savoir plus sur votre base de code et sur les fonctionnalités définies dans d'autres fichiers", a déclaré Cooper. Base de code et exigences."
Meilleure génération de code avec RoPE
Comme tous les modèles génératifs d'IA modernes, StableCode est basé sur des réseaux de neurones transformateurs.
Au lieu d'utiliser la méthode ALiBi (Attention with Linear Biases) pour localiser la sortie dans le modèle de transformateur (que StarCoder utilise dans son modèle de codage AI génératif ouvert), StableCode utilise une méthode appelée RoPE.
L'approche ALiBi dans le modèle de transformateur a tendance à peser davantage sur les jetons actuels que sur les jetons passés, a déclaré Cooper. Selon lui, ce n'est pas une approche idéale pour le code car, contrairement au langage naturel, le code n'a pas de structure narrative fixe avec un début, un milieu et une fin. La fonctionnalité de code peut être définie pour n'importe quel point du processus de candidature.
"Je ne pense pas que le code lui-même corresponde à l'idée que ce compromis est plus important maintenant qu'il ne l'était, alors nous utilisons ... RoPE, [qui] n'a pas ce biais."
Actuellement, StableCode en est à ses débuts et l'objectif de la première version est de comprendre comment le modèle sera adopté et utilisé par les développeurs.
"Nous allons nous engager et collaborer avec la communauté pour voir quelles directions intéressantes ils proposent et explorer l'espace de développement génératif", a déclaré Cooper.