Resim kaynağı: Unbounded AI aracı tarafından oluşturulmuştur
Stability AI, Stable Diffusion metinden görüntüye üretken modeliyle bilinir, ancak üretken AI girişiminin geliştirmekle ilgilendiği tek şey bu değildir. Kararlılık AI, kod oluşturma dünyasına giriyor.
8 Ağustos'ta Stability AI, kullanıcıların programlama dilleri için kod oluşturmasına yardımcı olmak üzere tasarlanmış yeni açık Büyük Dil Modeli (LLM) olan StableCode'un ilk halka açık sürümünü duyurdu. StableCode'un üç farklı düzeyi vardır: genel kullanım durumları için bir temel model, bir talimat modeli ve 16000 adede kadar belirteci destekleyebilen uzun bir bağlam penceresi modeli.
*Kaynak: Stability AI (Stability AI'nin benzer sayıda parametreye ve eğitilen jeton sayısına sahip diğer modellerle karşılaştırılması. Stability AI, standart pass@1 ve pass@10 metrikleriyle popüler İnsan değerlendirmesini kullanır.)*
StableCode modelleri, Stability AI tarafından sağlanan ek filtreleme ve ince ayar ile açık kaynaklı BigCode projesindeki ilk programlama dili veri kümelerinden yararlanır. StableCode başlangıçta Python, Go, Java, Java, C, Markdown ve C++ programlama dillerinde geliştirmeyi destekleyecektir.
Stability AI araştırma direktörü Christian Laforte, VentureBeat ile yaptığı özel bir röportajda, "Bu modeli, dünyadaki herkesin sanatçı olmasına yardımcı olmayı amaçlayan Stable Diffusion'a benzer bir şey yapmak için kullanmak istiyoruz" dedi. Aynı şeyi yapmak için StableCode modeli: temelde iyi bir fikri olan herkesin bu sorunu çözmek için bir program yazmasına izin verin."
StableCode: BigCode ve Büyük Fikirler Üzerine Geliştirme
Herhangi bir LLM'nin eğitimi verilere dayanır ve StableCode için bu veriler BigCode projesinden gelir. BigCode'u LLM üretici yapay zeka kod aracının temeli olarak kullanmak yeni bir fikir değil. HuggingFace ve ServiceNow, temeli BigCode olan açık StarCoder LLM'yi bu yılın Mayıs ayı başlarında piyasaya sürdü.
Stabilite AI baş araştırma bilimcisi Nathan Cooper, VentureBeat ile yaptığı özel bir röportajda, StableCode eğitiminin BigCode verilerinin kapsamlı bir şekilde filtrelenmesini ve temizlenmesini içerdiğini açıkladı.
Cooper, "BigCode'u gerçekten seviyoruz, veri yönetişimi, model yönetişimi ve model eğitimi konusunda pek çok harika çalışma yaptılar" dedi. "Veri kümelerini aldık ve ek kalite filtreleri uyguladık ve ayrıca modelin daha sonra kümemizde eğitilen büyük bir bağlam penceresi sürümünü oluşturduk."
Cooper, Stability AI'nin BigCode çekirdek modeline ek olarak bir dizi eğitim adımı gerçekleştirdiğini söyledi. Bu adımlar, belirli bir programlama dilinde birbirini izleyen eğitimi içerir. Resmi web sitesindeki açıklamaya göre StableCode, modeli yüksek performanslı bilgi işlem kümesinde 560 milyar kod belirteci ile eğitti.
Cooper, "Önce genel amaçlı bir modeli önceden eğiterek ve ardından belirli bir dizi görev üzerinde ince ayar yaparak doğal dil alanına çok benzer bir yaklaşım gerektirir, bu durumda dil." Cooper dedi.
StableCode Daha uzun belirteç uzunluğu, kod oluşturma oyununun kurallarını değiştirecek
BigCode temeline ek olarak, StableCode'un uzun bağlamlı sürümü kullanıcılara önemli avantajlar sağlar.
StableCode'un uzun bağlam penceresi sürümü, Stability AI'nin diğer tüm modellerden daha büyük olduğunu söylediği 16.000 jetonluk bir bağlam penceresine sahiptir. Cooper, daha uzun bağlam pencerelerinin daha özel ve karmaşık kod oluşturma ipuçlarına izin verdiğini açıkladı. Bu aynı zamanda, kullanıcıların yeni kodu anlamalarına ve üretmelerine yardımcı olmak için StableCode'un birden çok dosya içeren orta boyutlu bir kod tabanına bakmasını sağlayabilecekleri anlamına gelir.
Cooper, "Modelin kod tabanınız ve diğer dosyalarda hangi özelliklerin tanımlandığı hakkında daha fazla bilgi edinmesi için bu daha uzun bağlam penceresini kullanabilirsiniz," dedi.
RoPE ile daha iyi kod üretimi
Tüm modern yapay zeka üretim modellerinde olduğu gibi, StableCode da trafo sinir ağlarını temel alır.
StableCode, transformatör modelinde (StarCoder'ın açık üretken yapay zeka kodlama modelinde kullandığı) çıktıyı yerelleştirmek için ALiBi (Doğrusal Önyargılı Dikkat) yöntemini kullanmak yerine, RoPE adlı bir yöntem kullanır.
Cooper, transformatör modelindeki ALiBi yaklaşımının mevcut jetonlara geçmiş jetonlardan daha fazla ağırlık verme eğiliminde olduğunu söyledi. Ona göre bu, kod için ideal bir yaklaşım değil çünkü doğal dilin aksine kodun başı, ortası ve sonu olan sabit bir anlatım yapısı yok. Kod işlevselliği, uygulama sürecindeki herhangi bir nokta için tanımlanabilir.
"Kodun kendisinin, bu takasın artık eskisinden daha önemli olduğu fikrine uyduğunu düşünmüyorum, bu yüzden biz ... RoPE kullanıyoruz, [ki] bu önyargıya sahip değil."
Şu anda StableCode ilk aşamalarında ve ilk sürümün amacı, modelin geliştiriciler tarafından nasıl benimseneceğini ve kullanılacağını anlamak.
Cooper, "Hangi harika yönergeleri bulduklarını görmek ve üretken geliştirici alanını keşfetmek için toplulukla etkileşim kurup işbirliği yapacağız" dedi.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Stability AI, programlama alanına giriyor ve 16.000 jetona kadar bağlam penceresine sahip bir araç olan StableCode'u piyasaya sürüyor
Senaryo: Sean Michael Kerner
Kaynak: VentureBeat
Stability AI, Stable Diffusion metinden görüntüye üretken modeliyle bilinir, ancak üretken AI girişiminin geliştirmekle ilgilendiği tek şey bu değildir. Kararlılık AI, kod oluşturma dünyasına giriyor.
8 Ağustos'ta Stability AI, kullanıcıların programlama dilleri için kod oluşturmasına yardımcı olmak üzere tasarlanmış yeni açık Büyük Dil Modeli (LLM) olan StableCode'un ilk halka açık sürümünü duyurdu. StableCode'un üç farklı düzeyi vardır: genel kullanım durumları için bir temel model, bir talimat modeli ve 16000 adede kadar belirteci destekleyebilen uzun bir bağlam penceresi modeli.
StableCode modelleri, Stability AI tarafından sağlanan ek filtreleme ve ince ayar ile açık kaynaklı BigCode projesindeki ilk programlama dili veri kümelerinden yararlanır. StableCode başlangıçta Python, Go, Java, Java, C, Markdown ve C++ programlama dillerinde geliştirmeyi destekleyecektir.
Stability AI araştırma direktörü Christian Laforte, VentureBeat ile yaptığı özel bir röportajda, "Bu modeli, dünyadaki herkesin sanatçı olmasına yardımcı olmayı amaçlayan Stable Diffusion'a benzer bir şey yapmak için kullanmak istiyoruz" dedi. Aynı şeyi yapmak için StableCode modeli: temelde iyi bir fikri olan herkesin bu sorunu çözmek için bir program yazmasına izin verin."
StableCode: BigCode ve Büyük Fikirler Üzerine Geliştirme
Herhangi bir LLM'nin eğitimi verilere dayanır ve StableCode için bu veriler BigCode projesinden gelir. BigCode'u LLM üretici yapay zeka kod aracının temeli olarak kullanmak yeni bir fikir değil. HuggingFace ve ServiceNow, temeli BigCode olan açık StarCoder LLM'yi bu yılın Mayıs ayı başlarında piyasaya sürdü.
Stabilite AI baş araştırma bilimcisi Nathan Cooper, VentureBeat ile yaptığı özel bir röportajda, StableCode eğitiminin BigCode verilerinin kapsamlı bir şekilde filtrelenmesini ve temizlenmesini içerdiğini açıkladı.
Cooper, "BigCode'u gerçekten seviyoruz, veri yönetişimi, model yönetişimi ve model eğitimi konusunda pek çok harika çalışma yaptılar" dedi. "Veri kümelerini aldık ve ek kalite filtreleri uyguladık ve ayrıca modelin daha sonra kümemizde eğitilen büyük bir bağlam penceresi sürümünü oluşturduk."
Cooper, Stability AI'nin BigCode çekirdek modeline ek olarak bir dizi eğitim adımı gerçekleştirdiğini söyledi. Bu adımlar, belirli bir programlama dilinde birbirini izleyen eğitimi içerir. Resmi web sitesindeki açıklamaya göre StableCode, modeli yüksek performanslı bilgi işlem kümesinde 560 milyar kod belirteci ile eğitti.
Cooper, "Önce genel amaçlı bir modeli önceden eğiterek ve ardından belirli bir dizi görev üzerinde ince ayar yaparak doğal dil alanına çok benzer bir yaklaşım gerektirir, bu durumda dil." Cooper dedi.
StableCode Daha uzun belirteç uzunluğu, kod oluşturma oyununun kurallarını değiştirecek
BigCode temeline ek olarak, StableCode'un uzun bağlamlı sürümü kullanıcılara önemli avantajlar sağlar.
StableCode'un uzun bağlam penceresi sürümü, Stability AI'nin diğer tüm modellerden daha büyük olduğunu söylediği 16.000 jetonluk bir bağlam penceresine sahiptir. Cooper, daha uzun bağlam pencerelerinin daha özel ve karmaşık kod oluşturma ipuçlarına izin verdiğini açıkladı. Bu aynı zamanda, kullanıcıların yeni kodu anlamalarına ve üretmelerine yardımcı olmak için StableCode'un birden çok dosya içeren orta boyutlu bir kod tabanına bakmasını sağlayabilecekleri anlamına gelir.
Cooper, "Modelin kod tabanınız ve diğer dosyalarda hangi özelliklerin tanımlandığı hakkında daha fazla bilgi edinmesi için bu daha uzun bağlam penceresini kullanabilirsiniz," dedi.
RoPE ile daha iyi kod üretimi
Tüm modern yapay zeka üretim modellerinde olduğu gibi, StableCode da trafo sinir ağlarını temel alır.
StableCode, transformatör modelinde (StarCoder'ın açık üretken yapay zeka kodlama modelinde kullandığı) çıktıyı yerelleştirmek için ALiBi (Doğrusal Önyargılı Dikkat) yöntemini kullanmak yerine, RoPE adlı bir yöntem kullanır.
Cooper, transformatör modelindeki ALiBi yaklaşımının mevcut jetonlara geçmiş jetonlardan daha fazla ağırlık verme eğiliminde olduğunu söyledi. Ona göre bu, kod için ideal bir yaklaşım değil çünkü doğal dilin aksine kodun başı, ortası ve sonu olan sabit bir anlatım yapısı yok. Kod işlevselliği, uygulama sürecindeki herhangi bir nokta için tanımlanabilir.
"Kodun kendisinin, bu takasın artık eskisinden daha önemli olduğu fikrine uyduğunu düşünmüyorum, bu yüzden biz ... RoPE kullanıyoruz, [ki] bu önyargıya sahip değil."
Şu anda StableCode ilk aşamalarında ve ilk sürümün amacı, modelin geliştiriciler tarafından nasıl benimseneceğini ve kullanılacağını anlamak.
Cooper, "Hangi harika yönergeleri bulduklarını görmek ve üretken geliştirici alanını keşfetmek için toplulukla etkileşim kurup işbirliği yapacağız" dedi.