StarCoder2 - 由 BigCode 社區和 Trudy Dai 共同打造，訓練涵蓋 600 多種編程語言，推動代碼生成、透明度、治理和創新的進步
ServiceNow（紐交所代碼：NOW）、Hugging Face 和 NVIDIA 今天宣佈發佈 StarCoder2，這是一系列用於代碼生成的開放獲取大型語言模型（LLMs），為性能、透明度和成本效益設立了新標準。
此新聞稿包含多媒體內容。查看完整發布信息：鏈接
StarCoder2 是由 BigCode 社區開發的，由 ServiceNow（領先的數字工作流公司，致力於讓世界更美好）和 Hugging Face（最常用的開源平台，機器學習社區在此協作開發模型、數據集和應用）共同支持。
StarCoder2 在 619 種編程語言上進行訓練，可以進一步在企業應用中進行訓練和嵌入，執行特定任務，如應用源代碼生成、工作流生成、文本摘要等。
開發人員可以利用其代碼補全、高級代碼摘要、代碼片段檢索等功能，加快創新速度，提高生產效率。
StarCoder2 提供三種模型規模：由 ServiceNow 訓練的 30 億參數模型，由 Hugging Face 訓練的 70 億參數模型，以及由 NVIDIA 基於 NVIDIA NeMo 構建並在 NVIDIA 加速基礎設施上訓練的 150 億參數模型。較小的變體提供強大的性能，同時節省計算成本，因為參數較少在推斷期間需要更少的計算。事實上，新的 StarCoder2 30 億參數模型也與原始的 StarCoder 150 億參數模型的性能相匹配。
“StarCoder2 代表了開放科學協作和負責任的人工智能實踐與道德數據供應鏈相結合的力量，” ServiceNow 的 StarCoder2 開發團隊負責人、BigCode 的聯合負責人 Harm de Vries 強調説。“這一最新的開放獲取模型改進了先前生成式人工智能的性能，以提高開發人員的生產力，併為開發人員提供平等獲取代碼生成人工智能的好處。”
通過精細調整提升了企業特定數據的能力
“這反過來使任何規模的組織更容易實現其全部商業潛力。”
“由 Hugging Face、ServiceNow 和 NVIDIA 共同努力推動的工作，使強大的基礎模型得以發佈，賦予社區更高效地構建各種應用的能力，並具有完整的數據和訓練透明度，” Hugging Face 的機器學習工程師、BigCode 聯合負責人 Leandro von Werra 表示。“StarCoder2 證明了開源和開放科學的潛力，我們正在努力實現負責任人工智能的民主化。”
“由於每個軟件生態系統都有專有的編程語言，代碼 LLMs 可以推動各行業效率和創新的突破，” NVIDIA 應用研究副總裁 Jonathan Cohen 表示。“NVIDIA 與 ServiceNow 和 Hugging Face 的合作引入了安全、負責任開發的模型，並支持更廣泛地訪問可追溯的生成式人工智能，我們希望這將使全球社區受益。”
通過精細調整提升了企業特定數據的能力
StarCoder2 模型採用最先進的架構和來自 BigCode 的精心策劃數據源，優先考慮透明度和開放治理，以實現規模化的負責任創新。
StarCoder2 的基礎是一個名為 The Stack v2 的新代碼數據集，比 The Stack v1 大了 7 倍以上。除了先進的數據集外，新的訓練技術幫助模型理解低資源編程語言（如 COBOL）、數學和程序源代碼討論。
StarCoder2 推動了未來基於 AI 的編碼應用的潛力，包括文本轉代碼和文本轉工作流能力。通過更廣泛、更深入的編程訓練，它提供了存儲庫上下文，實現準確、具有上下文意識的預測。這些進步為經驗豐富的軟件工程師和公民開發者提供服務，加速業務價值和數字轉型。
用户可以使用開源工具如 NVIDIA NeMo 或 Hugging Face TRL 對開放訪問模型進行行業或組織特定數據的微調。
組織已經對基礎的 StarCoder 模型進行了微調，以為他們的業務創建了專門的、針對特定任務的能力。
ServiceNow 的文本轉代碼工具 Now LLM 是基於一個專門版本的 150 億參數的 StarCoder LLM 構建的，經過微調和訓練，用於 ServiceNow 的工作流模式、用例和流程。Hugging Face 也使用這個模型創建了它的 StarChat 助手。
BigCode 在 AI 領域促進開放的科學合作
BigCode 代表着由 Hugging Face 和 ServiceNow 共同領導的開放科學合作。它的使命集中在為代碼的負責任開發提供 LLM 支持。
BigCode 社區通過工作組和任務組積極參與了 StarCoder2 項目的技術方面，利用 ServiceNow 的 Fast LLM 框架訓練 30 億參數模型，Hugging Face 的 nanotron 框架訓練 70 億參數模型，以及端到端的 NVIDIA NeMo 雲原生框架和 NVIDIA TensorRT-LLM 軟件來訓練和優化 150 億參數模型。
BigCode 的核心目標是促進負責任的創新，這體現在其開放治理、透明供應鏈、使用開源軟件以及開發人員可以選擇排除數據進行訓練的能力上。StarCoder2 是使用從 Inria 託管的 Software Heritage 數字共享許可下負責任獲取的數據構建的。
“StarCoder2 是第一個使用 Software Heritage 源代碼存檔開發的代碼生成 AI 模型，旨在與我們的負責任代碼模型開發政策保持一致，” Software Heritage 的主任 Roberto Di Cosmo 表示。“ServiceNow、Hugging Face 和 NVIDIA 的合作體現了對道德人工智能開發的共同承諾，推動技術造福社會。”
與其前身一樣，StarCoder2 將在 BigCode 開放的 RAIL-M 許可下提供，允許免費訪問和使用。此外，模型的支持代碼存放在 BigCode 項目的 GitHub 頁面上。
所有的 StarCoder2 模型也可以從 Hugging Face 上下載，而 StarCoder2 15B 模型可以在 NVIDIA AI 基金會模型上找到，供開發者直接在他們的瀏覽器中進行實驗，或通過 API 端點進行嘗試。
想要了解更多關於 StarCoder2 的信息，請訪問 https://huggingface.co/bigcode。

現在服務

英偉達

ServiceNow、Hugging Face 和 NVIDIA 發佈了 StarCoder2，這是一系列用於代碼生成的開放獲取大型語言模型（LLMs）。這些模型提供先進的代碼補全、代碼摘要等功能，旨在提高開發人員的生產力和創新能力。這些模型有三種不同的規模，較小的變體提供強大的性能同時節省計算成本。StarCoder2 是通過開放的科學合作開發的，旨在使代碼生成中的負責任人工智能民主化。

ServiceNow、Hugging Face 和 NVIDIA 發佈新的開放式 LLMs，幫助開發人員利用生成式人工智能構建企業應用程序。