StarCoder2 - 由 BigCode 社区和 Trudy Dai 共同打造，训练涵盖 600 多种编程语言，推动代码生成、透明度、治理和创新的进步
ServiceNow（纽交所代码：NOW）、Hugging Face 和 NVIDIA 今天宣布发布 StarCoder2，这是一系列用于代码生成的开放获取大型语言模型（LLMs），为性能、透明度和成本效益设立了新标准。
此新闻稿包含多媒体内容。查看完整发布信息：链接
StarCoder2 是由 BigCode 社区开发的，由 ServiceNow（领先的数字工作流公司，致力于让世界更美好）和 Hugging Face（最常用的开源平台，机器学习社区在此协作开发模型、数据集和应用）共同支持。
StarCoder2 在 619 种编程语言上进行训练，可以进一步在企业应用中进行训练和嵌入，执行特定任务，如应用源代码生成、工作流生成、文本摘要等。
开发人员可以利用其代码补全、高级代码摘要、代码片段检索等功能，加快创新速度，提高生产效率。
StarCoder2 提供三种模型规模：由 ServiceNow 训练的 30 亿参数模型，由 Hugging Face 训练的 70 亿参数模型，以及由 NVIDIA 基于 NVIDIA NeMo 构建并在 NVIDIA 加速基础设施上训练的 150 亿参数模型。较小的变体提供强大的性能，同时节省计算成本，因为参数较少在推断期间需要更少的计算。事实上，新的 StarCoder2 30 亿参数模型也与原始的 StarCoder 150 亿参数模型的性能相匹配。
“StarCoder2 代表了开放科学协作和负责任的人工智能实践与道德数据供应链相结合的力量，” ServiceNow 的 StarCoder2 开发团队负责人、BigCode 的联合负责人 Harm de Vries 强调说。“这一最新的开放获取模型改进了先前生成式人工智能的性能，以提高开发人员的生产力，并为开发人员提供平等获取代码生成人工智能的好处。”
通过精细调整提升了企业特定数据的能力
“这反过来使任何规模的组织更容易实现其全部商业潜力。”
“由 Hugging Face、ServiceNow 和 NVIDIA 共同努力推动的工作，使强大的基础模型得以发布，赋予社区更高效地构建各种应用的能力，并具有完整的数据和训练透明度，” Hugging Face 的机器学习工程师、BigCode 联合负责人 Leandro von Werra 表示。“StarCoder2 证明了开源和开放科学的潜力，我们正在努力实现负责任人工智能的民主化。”
“由于每个软件生态系统都有专有的编程语言，代码 LLMs 可以推动各行业效率和创新的突破，” NVIDIA 应用研究副总裁 Jonathan Cohen 表示。“NVIDIA 与 ServiceNow 和 Hugging Face 的合作引入了安全、负责任开发的模型，并支持更广泛地访问可追溯的生成式人工智能，我们希望这将使全球社区受益。”
通过精细调整提升了企业特定数据的能力
StarCoder2 模型采用最先进的架构和来自 BigCode 的精心策划数据源，优先考虑透明度和开放治理，以实现规模化的负责任创新。
StarCoder2 的基础是一个名为 The Stack v2 的新代码数据集，比 The Stack v1 大了 7 倍以上。除了先进的数据集外，新的训练技术帮助模型理解低资源编程语言（如 COBOL）、数学和程序源代码讨论。
StarCoder2 推动了未来基于 AI 的编码应用的潜力，包括文本转代码和文本转工作流能力。通过更广泛、更深入的编程训练，它提供了存储库上下文，实现准确、具有上下文意识的预测。这些进步为经验丰富的软件工程师和公民开发者提供服务，加速业务价值和数字转型。
用户可以使用开源工具如 NVIDIA NeMo 或 Hugging Face TRL 对开放访问模型进行行业或组织特定数据的微调。
组织已经对基础的 StarCoder 模型进行了微调，以为他们的业务创建了专门的、针对特定任务的能力。
ServiceNow 的文本转代码工具 Now LLM 是基于一个专门版本的 150 亿参数的 StarCoder LLM 构建的，经过微调和训练，用于 ServiceNow 的工作流模式、用例和流程。Hugging Face 也使用这个模型创建了它的 StarChat 助手。
BigCode 在 AI 领域促进开放的科学合作
BigCode 代表着由 Hugging Face 和 ServiceNow 共同领导的开放科学合作。它的使命集中在为代码的负责任开发提供 LLM 支持。
BigCode 社区通过工作组和任务组积极参与了 StarCoder2 项目的技术方面，利用 ServiceNow 的 Fast LLM 框架训练 30 亿参数模型，Hugging Face 的 nanotron 框架训练 70 亿参数模型，以及端到端的 NVIDIA NeMo 云原生框架和 NVIDIA TensorRT-LLM 软件来训练和优化 150 亿参数模型。
BigCode 的核心目标是促进负责任的创新，这体现在其开放治理、透明供应链、使用开源软件以及开发人员可以选择排除数据进行训练的能力上。StarCoder2 是使用从 Inria 托管的 Software Heritage 数字共享许可下负责任获取的数据构建的。
“StarCoder2 是第一个使用 Software Heritage 源代码存档开发的代码生成 AI 模型，旨在与我们的负责任代码模型开发政策保持一致，” Software Heritage 的主任 Roberto Di Cosmo 表示。“ServiceNow、Hugging Face 和 NVIDIA 的合作体现了对道德人工智能开发的共同承诺，推动技术造福社会。”
与其前身一样，StarCoder2 将在 BigCode 开放的 RAIL-M 许可下提供，允许免费访问和使用。此外，模型的支持代码存放在 BigCode 项目的 GitHub 页面上。
所有的 StarCoder2 模型也可以从 Hugging Face 上下载，而 StarCoder2 15B 模型可以在 NVIDIA AI 基金会模型上找到，供开发者直接在他们的浏览器中进行实验，或通过 API 端点进行尝试。
想要了解更多关于 StarCoder2 的信息，请访问 https://huggingface.co/bigcode。

现在服务

英伟达

ServiceNow、Hugging Face 和 NVIDIA 发布了 StarCoder2，这是一系列用于代码生成的开放获取大型语言模型（LLMs）。这些模型提供先进的代码补全、代码摘要等功能，旨在提高开发人员的生产力和创新能力。这些模型有三种不同的规模，较小的变体提供强大的性能同时节省计算成本。StarCoder2 是通过开放的科学合作开发的，旨在使代码生成中的负责任人工智能民主化。

ServiceNow、Hugging Face 和 NVIDIA 发布新的开放式 LLMs，帮助开发人员利用生成式人工智能构建企业应用程序。