📢 Gate廣場獨家活動: #PUBLIC创作大赛# 正式開啓!
參與 Gate Launchpool 第 297 期 — PublicAI (PUBLIC),並在 Gate廣場發布你的原創內容,即有機會瓜分 4,000 枚 $PUBLIC 獎勵池!
🎨 活動時間
2025年8月18日 10:00 – 2025年8月22日 16:00 (UTC)
📌 參與方式
在 Gate廣場發布與 PublicAI (PUBLIC) 或當前 Launchpool 活動相關的原創內容
內容需不少於 100 字(可爲分析、教程、創意圖文、測評等)
添加話題: #PUBLIC创作大赛#
帖子需附帶 Launchpool 參與截圖(如質押記錄、領取頁面等)
🏆 獎勵設置(總計 4,000 枚 $PUBLIC)
🥇 一等獎(1名):1,500 $PUBLIC
🥈 二等獎(3名):每人 500 $PUBLIC
🥉 三等獎(5名):每人 200 $PUBLIC
📋 評選標準
內容質量(相關性、清晰度、創意性)
互動熱度(點讚、評論)
含有 Launchpool 參與截圖的帖子將優先考慮
📄 注意事項
所有內容須爲原創,嚴禁抄襲或虛假互動
獲獎用戶需完成 Gate廣場實名認證
Gate 保留本次活動的最終解釋權
Stability AI 進軍編程領域,發布上下文窗口可達1.6 萬token 的工具StableCode
撰文:Sean Michael Kerner
來源:VentureBeat
Stability AI 因其Stable Diffusion 文本到圖像生成模型而聞名,但這並不是這家生成式人工智能初創公司有興趣開發的全部。 Stability AI 正在涉足代碼生成領域。
8 月8 日,Stability AI 宣布首次公開發布StableCode,這是其新的開放式大型語言模型(LLM),旨在幫助用戶生成編程語言代碼。 StableCode 有三個不同級別:適用於一般用例的基礎模型、指令模型和可支持多達16000 個token 的長上下文窗口模型。
StableCode 模型得益於來自開源BigCode 項目的初始編程語言數據集,以及Stability AI 提供的額外過濾和微調。最初,StableCode 將支持Python、Go、Java、Java、C、Markdown 和C++ 編程語言的開發。
Stability AI 研究主管Christian Laforte 在接受VentureBeat 獨家採訪時說:“我們希望利用這種模型做與Stable Diffusion 類似的事情,而後者旨在幫助世界上的每個人成為藝術家。”“我們想用StableCode 模式做同樣的事情:基本上讓任何有好想法的人都能寫出一個程序來解決這個問題。”
StableCode:建立在BigCode 和大創意之上
任何LLM 的訓練都依賴於數據,而對於StableCode 來說,這些數據來自BigCode 項目。使用BigCode 作為LLM 生成式人工智能代碼工具的基礎並不是一個新想法。 HuggingFace 和ServiceNow 早在今年5 月就推出了開放式StarCoder LLM,其基礎就是BigCode。
Stability AI 首席研究科學家Nathan Cooper 在接受VentureBeat 獨家採訪時解釋說,StableCode 的訓練涉及對BigCode 數據的大量過濾和清理。
“我們很喜歡BigCode,他們在數據治理、模型治理和模型訓練方面做了很多了不起的工作,“Cooper 說。 ”我們採用了他們的數據集,並應用了額外的質量過濾器,還構建了大上下文窗口版本的模型,然後在我們的集群上進行了訓練。”
Cooper 說,除了BigCode 核心模型之外,Stability AI 還執行了許多訓練步驟。這些步驟包括對特定編程語言的連續訓練。根據官網描述,StableCode 在其高性能計算集群上,用5600 億代碼token 對模型進行了訓練。
“它採用了一種與自然語言領域非常相似的方法,即首先對通用模型進行預訓練,然後在一組特殊的任務上對其進行微調,在這種情況下就是對語言進行微調。” Cooper 說。
StableCode 更長的token 長度將改變代碼生成的遊戲規則
除了BigCode 基礎之外,StableCode 的長上下文版本還能為用戶帶來帶來顯著的好處。
StableCode 的長上下文窗口版本具有16,000 個token 的上下文窗口,Stability AI 稱這比其他任何模型都要大。 Cooper 解釋說,較長的上下文窗口可以使用更專業、更複雜的代碼生成提示。這也意味著用戶可以讓StableCode 查看包含多個文件的中等規模代碼庫,以幫助理解和生成新代碼。
Cooper 說:“你可以使用這個較長的上下文窗口,讓模型更多地了解你的代碼庫,以及其他文件中定義了哪些功能。”“這樣,當它提出代碼建議時,就能更符合你的代碼庫和需求。”
利用RoPE 更好地生成代碼
與所有現代人工智能生成模型一樣,StableCode 也是基於transformer 神經網絡。
StableCode 沒有使用ALiBi(Attention with Linear Biases)方法來定位transformer 模型中的輸出(StarCoder 在其開放式生成式人工智能編碼模型中使用了這種方法),而是使用了一種稱為RoPE 的方法。
Cooper 說,transformer 模型中的ALiBi 方法傾向於更多地權衡當前的token,而不是過去的token。在他看來,這對代碼來說並不是一種理想的方法,因為與自然語言不同,代碼並沒有一個具有開頭、中間和結尾的固定敘事結構。代碼功能可以為應用流程中的任何一點進行定義。
“我認為,代碼本身並不適合這種權衡現在比過去更重要的想法,所以我們使用……RoPE,[它] 不存在這種偏見。”
目前,StableCode 還處於早期階段,首次發布的目標是了解開發人員將如何接受和使用該模型。
Cooper 說:“我們將與社區進行互動和合作,看看他們會提出哪些很酷的方向,並探索生成式開發者空間。”