* مصدر الصورة: تم إنشاؤه بواسطة أداة Unbounded AI *
تشتهر منظمة العفو الدولية بالثبات بنموذجها التوليدي للنص إلى الصورة ، ولكن هذا ليس كل ما تهتم به شركة AI الناشئة التوليدية. الاستقرار يدخل الذكاء الاصطناعي في عالم إنشاء الكود.
في 8 أغسطس ، أعلنت شركة Stability AI عن أول إصدار عام من StableCode ، نموذج اللغة الكبيرة الجديد المفتوح (LLM) المصمم لمساعدة المستخدمين على إنشاء كود للغات البرمجة. يحتوي StableCode على ثلاثة مستويات مختلفة: نموذج أساسي لحالات الاستخدام العام ، ونموذج تعليمات ، ونموذج إطار سياق طويل يمكنه دعم ما يصل إلى 16000 رمز مميز.
* المصدر: Stability AI (مقارنة بين Stability AI ونماذج أخرى مع عدد مماثل من المعلمات وعدد الرموز المدربة. يستخدم Stability AI المعيار البشري الشائع مع تمرير قياسي @ 1 واجتياز @ 10 مقاييس.) *
تستفيد نماذج StableCode من مجموعات بيانات لغة البرمجة الأولية من مشروع BigCode مفتوح المصدر ، مع ترشيح إضافي وضبط دقيق يوفره Stability AI. في البداية ، ستدعم StableCode التطوير في لغات البرمجة Python و Go و Java و Java و C و Markdown و C ++.
قال كريستيان لافورت ، مدير أبحاث Stability AI ، في مقابلة حصرية مع VentureBeat: "نريد استخدام هذا النموذج لعمل شيء مشابه لـ Stable Diffusion ، والذي يهدف إلى مساعدة الجميع في العالم على أن يصبحوا فنانين". يقوم نموذج StableCode بفعل الشيء نفسه: دع أي شخص لديه فكرة جيدة يكتب برنامجًا لحل هذه المشكلة ".
StableCode: البناء على BigCode والأفكار الكبيرة
يعتمد تدريب أي LLM على البيانات ، وبالنسبة إلى StableCode ، تأتي هذه البيانات من مشروع BigCode. إن استخدام BigCode كأساس لأداة رمز AI التوليدية لـ LLM ليس فكرة جديدة. أطلقت HuggingFace و ServiceNow StarCoder LLM المفتوح في وقت مبكر من شهر مايو من هذا العام ، وأساسها هو BigCode.
أوضح عالم أبحاث Stability AI الرئيسي ناثان كوبر في مقابلة حصرية مع VentureBeat أن التدريب على StableCode تضمن تصفية وتنظيف مكثف لبيانات BigCode.
قال كوبر: "نحن نحب حقًا BigCode ، لقد قاموا بالكثير من العمل الرائع في إدارة البيانات وحوكمة النموذج والتدريب النموذجي". "أخذنا مجموعة البيانات الخاصة بهم وطبقنا عوامل تصفية إضافية للجودة ، وقمنا أيضًا ببناء نسخة نافذة سياق كبيرة من النموذج ، والتي تم تدريبها بعد ذلك على المجموعة الخاصة بنا."
قال كوبر إن الذكاء الاصطناعي للثبات ينفذ عددًا من خطوات التدريب بالإضافة إلى نموذج BigCode الأساسي. تتضمن هذه الخطوات تدريبًا متتاليًا على لغة برمجة معينة. وفقًا للوصف الموجود على الموقع الرسمي ، درب StableCode النموذج بـ 560 مليار رمز مميز على مجموعة الحوسبة عالية الأداء.
قال كوبر: "إنها تتخذ نهجًا مشابهًا جدًا لمجال اللغة الطبيعية - من خلال التدريب المسبق على نموذج للأغراض العامة أولاً ثم ضبطه على مجموعة محددة من المهام ، في هذه الحالة اللغة".
StableCode طول الرمز المميز سيغير قواعد لعبة إنشاء الكود
بالإضافة إلى BigCode Foundation ، فإن إصدار السياق الطويل من StableCode يجلب فوائد كبيرة للمستخدمين.
يحتوي إصدار نافذة السياق الطويل من StableCode على نافذة سياق من 16000 رمز ، والتي يقول Stability AI إنها أكبر من أي نموذج آخر. أوضح كوبر أن نوافذ السياق الأطول تسمح بتلميحات إنشاء كود أكثر تخصصًا وتعقيدًا. هذا يعني أيضًا أنه يمكن للمستخدمين الحصول على StableCode لإلقاء نظرة على قاعدة رمز متوسطة الحجم مع ملفات متعددة للمساعدة في فهم وإنشاء رمز جديد.
قال كوبر: "يمكنك استخدام نافذة السياق الأطول هذه للسماح للنموذج بمعرفة المزيد عن قاعدة التعليمات البرمجية الخاصة بك والميزات المحددة في الملفات الأخرى". قاعدة التعليمات البرمجية ومتطلباتها. "
إنشاء كود أفضل باستخدام RoPE
مثل جميع النماذج التوليدية الحديثة للذكاء الاصطناعي ، يعتمد StableCode على الشبكات العصبية للمحولات.
بدلاً من استخدام طريقة ALiBi (الانتباه مع التحيزات الخطية) لتوطين الإخراج في نموذج المحول (الذي يستخدمه StarCoder في نموذج ترميز AI التوليدي المفتوح) ، يستخدم StableCode طريقة تسمى RoPE.
قال كوبر إن نهج ALiBi في نموذج المحولات يميل إلى التركيز على الرموز المميزة الحالية أكثر من الرموز المميزة السابقة. في رأيه ، هذا ليس نهجًا مثاليًا للتشفير لأنه ، على عكس اللغة الطبيعية ، لا يحتوي الكود على بنية سردية ثابتة ذات بداية ووسط ونهاية. يمكن تحديد وظيفة الكود لأي نقطة في عملية التطبيق.
"لا أعتقد أن الكود نفسه يناسب فكرة أن هذه المقايضة أكثر أهمية الآن مما كانت عليه من قبل ، لذلك نستخدم ... RoPE ، [الذي] لا يحتوي على هذا التحيز."
حاليًا ، لا يزال StableCode في مراحله الأولى ، والهدف من الإصدار الأول هو فهم كيفية احتضان النموذج واستخدامه من قبل المطورين.
قال كوبر: "سنشارك ونتعاون مع المجتمع لمعرفة الاتجاهات الرائعة التي يأتون بها واستكشاف مساحة المطورين التوليدية".
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
الاستقرار AI يدخل مجال البرمجة ويصدر StableCode ، وهي أداة ذات نافذة سياق تصل إلى 16000 رمز مميز
بقلم: شون مايكل كيرنر
المصدر: VentureBeat
تشتهر منظمة العفو الدولية بالثبات بنموذجها التوليدي للنص إلى الصورة ، ولكن هذا ليس كل ما تهتم به شركة AI الناشئة التوليدية. الاستقرار يدخل الذكاء الاصطناعي في عالم إنشاء الكود.
في 8 أغسطس ، أعلنت شركة Stability AI عن أول إصدار عام من StableCode ، نموذج اللغة الكبيرة الجديد المفتوح (LLM) المصمم لمساعدة المستخدمين على إنشاء كود للغات البرمجة. يحتوي StableCode على ثلاثة مستويات مختلفة: نموذج أساسي لحالات الاستخدام العام ، ونموذج تعليمات ، ونموذج إطار سياق طويل يمكنه دعم ما يصل إلى 16000 رمز مميز.
تستفيد نماذج StableCode من مجموعات بيانات لغة البرمجة الأولية من مشروع BigCode مفتوح المصدر ، مع ترشيح إضافي وضبط دقيق يوفره Stability AI. في البداية ، ستدعم StableCode التطوير في لغات البرمجة Python و Go و Java و Java و C و Markdown و C ++.
قال كريستيان لافورت ، مدير أبحاث Stability AI ، في مقابلة حصرية مع VentureBeat: "نريد استخدام هذا النموذج لعمل شيء مشابه لـ Stable Diffusion ، والذي يهدف إلى مساعدة الجميع في العالم على أن يصبحوا فنانين". يقوم نموذج StableCode بفعل الشيء نفسه: دع أي شخص لديه فكرة جيدة يكتب برنامجًا لحل هذه المشكلة ".
StableCode: البناء على BigCode والأفكار الكبيرة
يعتمد تدريب أي LLM على البيانات ، وبالنسبة إلى StableCode ، تأتي هذه البيانات من مشروع BigCode. إن استخدام BigCode كأساس لأداة رمز AI التوليدية لـ LLM ليس فكرة جديدة. أطلقت HuggingFace و ServiceNow StarCoder LLM المفتوح في وقت مبكر من شهر مايو من هذا العام ، وأساسها هو BigCode.
أوضح عالم أبحاث Stability AI الرئيسي ناثان كوبر في مقابلة حصرية مع VentureBeat أن التدريب على StableCode تضمن تصفية وتنظيف مكثف لبيانات BigCode.
قال كوبر: "نحن نحب حقًا BigCode ، لقد قاموا بالكثير من العمل الرائع في إدارة البيانات وحوكمة النموذج والتدريب النموذجي". "أخذنا مجموعة البيانات الخاصة بهم وطبقنا عوامل تصفية إضافية للجودة ، وقمنا أيضًا ببناء نسخة نافذة سياق كبيرة من النموذج ، والتي تم تدريبها بعد ذلك على المجموعة الخاصة بنا."
قال كوبر إن الذكاء الاصطناعي للثبات ينفذ عددًا من خطوات التدريب بالإضافة إلى نموذج BigCode الأساسي. تتضمن هذه الخطوات تدريبًا متتاليًا على لغة برمجة معينة. وفقًا للوصف الموجود على الموقع الرسمي ، درب StableCode النموذج بـ 560 مليار رمز مميز على مجموعة الحوسبة عالية الأداء.
قال كوبر: "إنها تتخذ نهجًا مشابهًا جدًا لمجال اللغة الطبيعية - من خلال التدريب المسبق على نموذج للأغراض العامة أولاً ثم ضبطه على مجموعة محددة من المهام ، في هذه الحالة اللغة".
StableCode طول الرمز المميز سيغير قواعد لعبة إنشاء الكود
بالإضافة إلى BigCode Foundation ، فإن إصدار السياق الطويل من StableCode يجلب فوائد كبيرة للمستخدمين.
يحتوي إصدار نافذة السياق الطويل من StableCode على نافذة سياق من 16000 رمز ، والتي يقول Stability AI إنها أكبر من أي نموذج آخر. أوضح كوبر أن نوافذ السياق الأطول تسمح بتلميحات إنشاء كود أكثر تخصصًا وتعقيدًا. هذا يعني أيضًا أنه يمكن للمستخدمين الحصول على StableCode لإلقاء نظرة على قاعدة رمز متوسطة الحجم مع ملفات متعددة للمساعدة في فهم وإنشاء رمز جديد.
قال كوبر: "يمكنك استخدام نافذة السياق الأطول هذه للسماح للنموذج بمعرفة المزيد عن قاعدة التعليمات البرمجية الخاصة بك والميزات المحددة في الملفات الأخرى". قاعدة التعليمات البرمجية ومتطلباتها. "
إنشاء كود أفضل باستخدام RoPE
مثل جميع النماذج التوليدية الحديثة للذكاء الاصطناعي ، يعتمد StableCode على الشبكات العصبية للمحولات.
بدلاً من استخدام طريقة ALiBi (الانتباه مع التحيزات الخطية) لتوطين الإخراج في نموذج المحول (الذي يستخدمه StarCoder في نموذج ترميز AI التوليدي المفتوح) ، يستخدم StableCode طريقة تسمى RoPE.
قال كوبر إن نهج ALiBi في نموذج المحولات يميل إلى التركيز على الرموز المميزة الحالية أكثر من الرموز المميزة السابقة. في رأيه ، هذا ليس نهجًا مثاليًا للتشفير لأنه ، على عكس اللغة الطبيعية ، لا يحتوي الكود على بنية سردية ثابتة ذات بداية ووسط ونهاية. يمكن تحديد وظيفة الكود لأي نقطة في عملية التطبيق.
"لا أعتقد أن الكود نفسه يناسب فكرة أن هذه المقايضة أكثر أهمية الآن مما كانت عليه من قبل ، لذلك نستخدم ... RoPE ، [الذي] لا يحتوي على هذا التحيز."
حاليًا ، لا يزال StableCode في مراحله الأولى ، والهدف من الإصدار الأول هو فهم كيفية احتضان النموذج واستخدامه من قبل المطورين.
قال كوبر: "سنشارك ونتعاون مع المجتمع لمعرفة الاتجاهات الرائعة التي يأتون بها واستكشاف مساحة المطورين التوليدية".