<div id="readability-page-1">突然间，整个大模型圈都在谈论同一件事。 微软论文里一张「乍一看不足为奇」的统计图，泄露了 “天机”。 引领全球风暴的 ChatGPT，背后大模型参数竟只有 200 亿？？？ <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTEyMzAwMjQ0MzQ=?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="376" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTEyMzAwMjQ0MzQ="/> 论文一经发布，就吸引了国内外众多关注。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTE5MDExODg3NDE=?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="200" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTE5MDExODg3NDE="/><img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTU3ODMwOTQwNQ==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1074" height="200" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTU3ODMwOTQwNQ=="/> 不少网友还不相信：确定不是拼写错了？ <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTYyMDQ3MTg5Mg==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="696" height="202" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTYyMDQ3MTg5Mg=="/> 有网友表示：难怪 OpenAI 对开源这么紧张。又或者，这也许是为 OpenAI 开源做准备。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTE1Njc3MzkyNzM=?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="878" height="186" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTE1Njc3MzkyNzM="/> 无独有偶，就在前几天有网友在 GitHub Copilot 的 API 中发现了疑似 GPT-4 新型号：copilot-gpt-4-2，所拥有的知识更新到了 2023 年 3 月。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTQ5MDA2MjI3NA==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="519" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTQ5MDA2MjI3NA=="/> <h2>这篇论文说了啥？</h2> 除了泄露机密，这篇论文本身也值得一看：业内首个用扩散模型做代码生成。 研究团队设想了这样一个场景： <blockquote> 如果开发人员只能修改最后一行代码，那么需要多少次从头开始编写一个函数才能完成呢？ </blockquote> 用自然语言生成代码的自回归模型也有类似的局限性：不太容易重新考虑之前生成的 tokens。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTY1MTk0OTE4Mg==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="325" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTY1MTk0OTE4Mg=="/> 微软研究员提出了采用编码 - 解码架构的 CODEFUSION，主要包括编码器、解码器、去噪器以及 Classification Head，将自然语言输入编码为连续表示，然后将其附加条件输入 Diffusion 模型中用高斯噪声进行迭代去噪。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTExMjA2NDg2Mjk=?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="335" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTExMjA2NDg2Mjk="/> 为了生成语法正确的代码，去噪后输入解码器中获得代码 tokens，通过针对代码的连续段落去噪 (CPD) 任务预训练 CODEFUSION。 在 Python、Bash 和 Excel 条件格式化（CF）规则三个语言任务上评估了 CODEFUSION。 结果显示其 7500 万参数规模 CODEFUSION 性能，同 200 亿参数的 GPT-3.5-turbo 接近，而且还生成更加多样化的代码。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/NDk2NDA2MjUw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="473" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/NDk2NDA2MjUw"/> 与纯文本生成的 diffusion 模型相比，CODEFUSION 生成更多语法正确的代码；与自动回归模型相比，生成更加多样化的候选代码。 与最先进的自回归系统（350M-175B 参数）相比，在前 1 名的准确率方面表现相当，而在前 3 名和前 5 名的准确率方面，由于其在多样性与质量之间取得了更好的平衡，其表现优于自回归系统。 结果这原本只是一次再正常不过的性能比较，没想到引起轩然大波。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MjA5MDUyMDM2MQ==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1062" height="1158" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MjA5MDUyMDM2MQ=="/> 也有人开始了阴谋论，或许这是 OpenAI 开源的 “前菜”，故意而为之—— 因为不少大模型已经追赶上来了，而且早在今年 5 月，路透社就曾爆料 OpenAI 准备开源新大语言模型。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTI1NDU5NTQxMw==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="335" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTI1NDU5NTQxMw=="/> <h2>One More Thing</h2> 值得一提的是，早在今年 2 月份福布斯一则新闻报道里，就曾透露过 ChatGPT 只有 200 亿参数。 <img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTc4OTcwNDg1?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="494" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTc4OTcwNDg1"/> 当时标题是「越大越好吗？为什么 ChatGPT VS GPT-3 VS GPT-4 的 “战斗 “只是一次家庭聊天？」 只是当时没有太多人在意。 风险提示及免责条款 市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。</div>

OpenAI

微软论文里一张「乍一看不足为奇」的统计图，泄露了 “天机”。引领全球风暴的 ChatGPT，背后大模型参数竟只有 200 亿？？？

ChatGPT 真实参数只有 200 亿，首次被微软曝光！网友：难怪 OpenAI 对开源很紧张