*出典: Stability AI (Stability AI と、同様のパラメーター数およびトレーニングされたトークン数を持つ他のモデルとの比較。Stability AI は、標準の pass@1 および pass@10 メトリクスを備えた人気の Human ベンチマークを使用します。)*
StableCode モデルは、オープンソース BigCode プロジェクトの初期プログラミング言語データセットの恩恵を受け、Stability AI によって追加のフィルタリングと微調整が提供されます。当初、StableCode は、Python、Go、Java、Java、C、Markdown、および C++ プログラミング言語での開発をサポートします。
「私たちはこのモデルを使って、世界中の誰もがアーティストになれるよう支援することを目的とした Stable Diffusion と同じようなことをしたいと考えています」と、Stability AI 研究ディレクターの Christian Laforte 氏は VentureBeat との独占インタビューで述べました。 StableCode モデルで行うべきことは同じです。基本的には、良いアイデアを持った人に、この問題を解決するプログラムを作成させます。」
Stability AI がプログラミングの分野に参入し、最大 16,000 トークンのコンテキスト ウィンドウを備えたツールである StableCode をリリース
作者: ショーン・マイケル・カーナー
出典: VentureBeat
Stability AI は、Stable Diffusion のテキストから画像への生成モデルで知られていますが、生成 AI スタートアップが開発に興味を持っているのはそれだけではありません。安定性 AI はコード生成の世界に参入しつつあります。
8 月 8 日、Stability AI は、ユーザーがプログラミング言語のコードを生成できるように設計された新しいオープンなラージ言語モデル (LLM) である StableCode の初公開リリースを発表しました。 StableCode には、一般的なユースケース用の基本モデル、命令モデル、および最大 16000 個のトークンをサポートできる長いコンテキスト ウィンドウ モデルの 3 つの異なるレベルがあります。
StableCode モデルは、オープンソース BigCode プロジェクトの初期プログラミング言語データセットの恩恵を受け、Stability AI によって追加のフィルタリングと微調整が提供されます。当初、StableCode は、Python、Go、Java、Java、C、Markdown、および C++ プログラミング言語での開発をサポートします。
「私たちはこのモデルを使って、世界中の誰もがアーティストになれるよう支援することを目的とした Stable Diffusion と同じようなことをしたいと考えています」と、Stability AI 研究ディレクターの Christian Laforte 氏は VentureBeat との独占インタビューで述べました。 StableCode モデルで行うべきことは同じです。基本的には、良いアイデアを持った人に、この問題を解決するプログラムを作成させます。」
StableCode: BigCode と大きなアイデアに基づく構築
LLM のトレーニングはデータに依存しており、StableCode の場合、このデータは BigCode プロジェクトから取得されます。 LLM 生成 AI コード ツールの基礎として BigCode を使用することは、新しいアイデアではありません。 HuggingFace と ServiceNow は、今年 5 月にオープン StarCoder LLM を開始しました。その基礎となっているのは BigCode です。
Stability AI の主任研究科学者である Nathan Cooper 氏は、VentureBeat との独占インタビューで、StableCode のトレーニングには BigCode データの大規模なフィルタリングとクリーニングが含まれると説明しました。
「私たちは BigCode をとても気に入っています。BigCode は、データ ガバナンス、モデル ガバナンス、モデル トレーニングに関して多くの素晴らしい取り組みを行ってきました」と Cooper 氏は言います。 「私たちは彼らのデータセットを取得し、追加の品質フィルターを適用し、モデルの大きなコンテキスト ウィンドウ バージョンを構築し、それを私たちのクラスターでトレーニングしました。」
クーパー氏によると、安定性 AI は BigCode コア モデルに加えて、多くのトレーニング ステップを実行します。これらのステップには、特定のプログラミング言語での継続的なトレーニングが含まれます。公式ウェブサイトの説明によると、StableCode は自社の高性能コンピューティング クラスター上で 5,600 億のコード トークンを使用してモデルをトレーニングしました。
「最初に一般的なモデルを事前トレーニングし、次に特定の一連のタスク、この場合は言語でそれを微調整するという、自然言語の分野と非常によく似たアプローチが取られます。」とクーパー氏は述べた。
StableCode トークンの長さが長くなると、コード生成ゲームのルールが変わります
BigCode 基盤に加えて、StableCode のロングコンテキスト バージョンはユーザーに大きなメリットをもたらします。
StableCode のロング コンテキスト ウィンドウ バージョンには 16,000 トークンのコンテキスト ウィンドウがあり、Stability AI によれば、これは他のどのモデルよりも大きいとのことです。コンテキストウィンドウが長くなると、より専門的で複雑なコード生成のヒントが可能になるとクーパー氏は説明した。これは、ユーザーが StableCode に複数のファイルを含む適度なサイズのコード ベースを参照させて、新しいコードの理解と生成を支援できることも意味します。
「この長いコンテキスト ウィンドウを使用すると、コードベースと他のファイルで定義されている機能についてモデルにさらに学習させることができます。コード ベースと要件について、クーパー氏は述べています。」
RoPE を使用したより優れたコード生成
すべての最新の AI 生成モデルと同様、StableCode はトランスフォーマー ニューラル ネットワークに基づいています。
ALiBi (Attendee with Linear Biases) メソッドを使用してトランスフォーマー モデルの出力をローカライズする (StarCoder がオープン生成 AI コーディング モデルで使用する) の代わりに、StableCode は RoPE と呼ばれるメソッドを使用します。
トランスフォーマーモデルにおけるALiBiアプローチは、過去のトークンよりも現在のトークンに重きを置く傾向があるとクーパー氏は述べた。彼の見解では、これはコードにとって理想的なアプローチではありません。自然言語とは異なり、コードには始まり、中間、終わりという固定された物語構造がないからです。コード機能は、アプリケーション プロセスの任意の時点で定義できます。
「コード自体が、このトレードオフが以前よりも今の方が重要であるという考えに適合するとは思えません。そのため、私たちは、そのようなバイアスのない RoPE を使用しています。」
現在、StableCode は初期段階にあり、最初のリリースの目標は、このモデルが開発者にどのように受け入れられ、使用されるかを理解することです。
「私たちはコミュニティと関わり、協力して、コミュニティがどのような素晴らしい方向性を考え出すかを確認し、生成的な開発者空間を探索していきます」とクーパー氏は語った。