--- title: "被质疑、抄袭、魔改，非主流大模型的诞生之路" description: "RWKV 创始人彭博在 Transformer 架构盛行的背景下，花费三年时间构建了 RWKV 架构，这是一种不同于 Transformer 的 RNN 架构。尽管面临质疑和融资困难，彭博坚持自己的创新之路，并收到了 OpenAI 的入职邀请，显示出其颠覆 OpenAI 的潜力。业内对 RWKV 架构的看法不一，认为其与 Transformer 并无本质区别。" type: "news" locale: "zh-CN" url: "https://longbridge.com/zh-CN/news/216632493.md" published_at: "2024-10-12T08:28:48.000Z" --- # 被质疑、抄袭、魔改，非主流大模型的诞生之路 > RWKV 创始人彭博在 Transformer 架构盛行的背景下，花费三年时间构建了 RWKV 架构，这是一种不同于 Transformer 的 RNN 架构。尽管面临质疑和融资困难，彭博坚持自己的创新之路，并收到了 OpenAI 的入职邀请，显示出其颠覆 OpenAI 的潜力。业内对 RWKV 架构的看法不一，认为其与 Transformer 并无本质区别。 在见到 RWKV 创始人彭博之前，我也像一些人那样，怀疑过他是骗子或者 “民科”。 他的公司元始智能员工在小红书发表的，诸如 “OpenAI 走到死胡同” 这样的 “暴论” 下面，评论区也不时会有对他们质疑和诋毁的声音，比如让他们拿出证据，证明他们自研的大模型架构 RWKV6 确实比 OpenAI 强。 但彭博完全不在意这些声音，或许这就是成为另类的代价。——在诸多大模型公司都选择与 OpenAI 相同的 Transformer 架构时，彭博用了三年时间走上了另一条，将 Transformer 改写成 RNN 形式，保留了较低的时间空间复杂度。“给我十万张卡和 100 个小弟，我把 OpenAI 干趴下。” 彭博半开玩笑半认真地告诉虎嗅。 虽然他们走的是完全不同于 OpenAI 的路子，但 2023 年春节，彭博收到了 “竞对” OpenAI 的入职邀请。元始智能联创罗璇解释说这能够说明他们确实有颠覆 OpenAI 的可能性，而这个 offer 更像是一张用以招安的投名状，是对彭博一种另类的 “认同”。 但业内也有一些声音，认为 RWKV 架构与 Transformer 架构并没有本质上的区别。 另外，他们在融资进程上也难言 “丝滑”，资本对他们的认可度并不高。彭博毫不避讳地告诉我，一些投资人对他们的判断也是 “野生科学家”。 这导致了算力和人力资源限制，也影响了 RWKV 的硬指标。“现在大家 scale 得比较先进，炼的 token 也多，这方面我们相对还比较落后”，彭博表示，token 多的模型先天有很大优势，但他也相信 “等到 token 量上去了，他们就不能轻易黑我们了”。 少有人走的路 但相信 RWKV 路线的人，仍然存在。 比如某技术出身的知名投资人，在 2023 年底，这位投资人给予了 RWKV 团队千万元级别的种子轮投资。为了获得 RWKV 团队的信任，他专程去彭博楼下的咖啡馆聊了两小时，认购了 1% 股权。 让这样的知名投资人亲自登门拜访，并非创业者的常态。但彭博几乎足不出户，他需要足够的独处时间来 “炼丹”。 在大多数都做做模型层的工作时，彭博却选择了模型底层架构的研究，他认为现在的 AI 公司专注的是机械智力的提升，而他同时也关注创造力和智慧的提升。前者指向大脑，有明确的通路（如通过合成数据）；而后者最终指向心和意，路径却有待探索——但这将是真正有趣的问题，需要理解和创造灵性。 最初做这件 “希望改变世界时间线” 的事情，初衷是因为彭博想探索 AI 是否能写出 “真正有力量” 的小说，特别是架空小说。彭博用 “愚公移山” 来形容这项工作，“这其实是体力活，需要实现和测试大量细节。” 2020 年，彭博开始做模型，起初是对 transformer 架构的改进——引入显式 decay 和短卷积。 在优化 attention 机制时，彭博发现它可以写成 RNN，引入 RNN 效率更高和形式优雅的优点后，效果仍然得以保持，通过这种方法，RWKV-2 诞生了。 在 2016 年，AI 学术界最流行的架构是 RNN 循环神经网络的变种——LSTM；但半年后，与其对标的 Transformer 横空出世，使得曾经大火的 RNN 成为落伍的少数派。因此，RWKV 可以称得上是 RNN 的复兴。 2023 年，彭博很快获得了开源社区的关注，LSTM 之父 Sepp Hochreiter 也转发 RWKV 的推文，并介绍这是一种无需使用注意力机制，就能达到 Transformer 性能的 RNN 架构，运行速度很快。 随着关注度的提升，对 RWKV 的质疑也接踵而至。有某头部 AI 公司技术负责人向虎嗅直言：“RWKV 架构与 Transformer 架构并没有本质上的区别。” 在 7 月的一次见面交流时，为了改变我将信将疑的态度，元始智能联合创始人罗璇特地给我展示了研究 RWKV 架构并发表论文的研究人员，这包括：上海人工智能实验室、阿里达摩院、腾讯优图实验室等等机构的学者，他们在官网 rwkv.cn 上展示了二十多篇在各种模态使用 RWKV 的论文。 学术界一直在探索将物理世界压缩复刻到一个大模型的世界模型，而彭博坚信，RWKV 架构作为 RNN，是通往世界模型的最合适通路。 彭博的逻辑是：因为 RNN 更接近人脑和宇宙的运作方式，RWKV 是 state 大小恒定的 RNN——正是固定大小的限制，迫使模型学到真正的东西，必须把世界压缩到它的 state 里去。就像在玩《星露谷》时，由于背包格数有限，玩家只能选择储存最重要的物品。 彭博从物理学的角度向我解释了 RWKV 的优势。在物理上，宇宙的下一状态只与上一状态有关，这是所谓的 locality 和 causality，量子场论遵循这一原则。而 Transformer 是一种 state（KV cache）不断增大的 RNN，它每个字都要和前面的字比对一遍，这相当于 “超距作用”，不符合我们这个宇宙的物理。因此，在彭博看来 RWKV 更加接近这个世界的本质。 彭博甚至更激进地表述：我们目标是做真正的智能，现在可以用混合模型作为过渡方案，以后一定是纯 RWKV。 而能做成这件事的信心，除了以上的优势外，“运气也很重要”，彭博自认为一向是个运气挺好的人。 跳出循环 出乎我意料的是，彭博身上并没有我所假设的——那些恃才傲物的刻板印象，他多次向我强调他其实是个谦虚和谨言慎行的人。例如，当有投资者问到 RWKV 目前的弱点和缺陷，他会直说，并给出解决改进方案。他也告诉我：“现在的算力和人力资源限制，在一定程度上影响了他证明 RWKV 架构的先进性。” 这样的资源限制，是因为他们得不到太多来自资本的支持。 虽然在 2024 年的奇绩创坛路演上，陆奇曾用 “受北美尊重的公司” 来介绍他们，但大部分时间他们并不是风投的宠儿。 几乎每次见投资人，彭博都需要花费很长时间去解释 RWKV，罗璇感觉 “他们好像来学习” 一样，学完之后，可能还会有人说被骗了，“这就是个民科”。很多投资人不敢投，是因为他们也看不懂这些大模型的底层技术，另外在大多数人都选择 Transformer 路线时，投资人对于 RWKV 这样非主流的路线更为谨慎。也会有一些来自 Transformer 主流路线的声音，干扰他们的判断。 而彭博也不会过度花时间去向投资人解释，拉齐认知。因此，彭博选择只在自己家楼下见投资人，这也是一种筛选机制——“如果一个投资人要我过去见面才肯投的话，那说明他不懂我们在做的事情。” 在对冲基金工作过的他，很清楚这样的投资逻辑： 大家追求风险较低的头部路线，有大佬或团队履历背书更佳，这样可以有较为稳定的退出策略。 因此他也十分理解这些投资人的选择，“毕竟有认知有魄力的投资人是少数”。 但大模型研发却需要巨量的资源，我粗略算了下，现在十万张 GPU 大概需要两百亿人民币。算力和人力资源是摆在彭博眼前的首要限制。“如果我们算力上去了，就很容易证明自己了”。虽然 RWKV 在一代代迭代下越来越强，但 “在算力不够的情况下，有些硬指标确实是不好做的。” 在大家都要看硬指标的情况下，难免会陷入被动的循环。 在我表达这样的循环有些可惜后，彭博对此却非常平和自洽：“我觉得没有可惜的，这就是创新者的考验。你选择了更难的道路，就要承担这样的事情，如果你应对不了，就不要创新了，我觉得是很合理。” 彭博认为，时间是站在 RWKV 这边的。目前资源的限制，会影响大模型的训练，但不会影响 RWKV 的迭代速度，反而可以成为他的动力：“以小搏大，更好玩。既然要做大事——构建人类所有 AI 模型的基础架构，就不妨证明自己有能力在任何环境把它做出来，这在后世看，只会更有戏剧性。” 非共识的相遇 为了做这样全新的架构创新，必须有足够的独处空间。彭博几乎没有参加过任何公开活动，因为他有一个关键帮手——元始智能联合创始人罗璇。 罗璇就像美国大片里永远陪伴在男主角左右的靠谱配角一样，充当彭博代言人的角色，频繁出没于各种科技活动现场，积极布道 RWKV 架构。 罗璇追随彭博，是因为他认为彭博是天才，“他似乎是生来就要做这件事情的”，而彭博认为他只是 “很擅长看到其它人难以看到的角度”，他会用更高的视角看待 AI 与人类的关系。 见面之后我发现，一头长发酷似艺术家的彭博，远比我想象中要鲜活得多。在工作之余，他也会玩《崩坏：星穹铁道》，关注社会和人心，在今年还开始了情感关系咨询的 “新业务”。 而在听罗璇讲述了彭博的故事后，我逐渐开始理解罗璇：彭博 6 岁从三年级读起，16 岁参加高考，他的第一志愿是南大物理系，但最终高考分数超出广东省清华分数线 40 分，在南大入学后，彭博很快就以全奖奖学金转学去了香港大学。 没有选择计算机系的原因是：感觉不需要专门学。在大学任教的父母都认为计算机编程是未来的方向，因此从六岁时彭博就开始写代码，在高中时就出版过游戏编程的书籍。 2006 年，彭博在香港大学毕业后去了当时全球最大的外汇对冲基金，做量化模型，并在后来成为其中的几位基金经理之一，在二十多岁管理六千多万美金。 2013 年，彭博从香港回到深圳，开始智能硬件创业——禀临科技。2019 年，他观察到市场需求，开始做没那么智能的全光谱灯，知乎上也有人戏称彭博为卖灯泡的。 这时还在天猫精灵 AI Lab 的罗璇，发现智能音箱是一个当时仍然不成立的故事，于是开始了物流机器人创业。 随后疫情来临，公司销量受影响，彭博保持公司运作，专心投入 AI 模型底层架构的研发，RWKV 架构的诞生之路也由此开启。而罗璇所在的行业也受疫情影响，他开始投身组织、参与黑客松活动——用编程解决实际问题的线下活动。 在一次罗璇组织的黑客松上，他跟彭博第一次见面，两个人的命运也由此交汇。 见面时彭博告诉罗璇，他可能是实现 AGI 的最佳人选——那时他已经独立做了 RWKV-1 到 RWKV-4，并在海外有了不少拥趸。罗璇之前也见过不少天才，但彭博是天才中比较有意思的那类，虽然罗璇当时觉得彭博的说法有些神经病，但他非常认同彭博所做的事情和底层逻辑，于是决定加入元始智能。 而彭博选择罗璇的原因也非常简单：罗璇能够帮彭博做很多他没法分心去做的事情，而且做得不错，两个人非常互补。 “我们正在走向一个正确的非共识，而且这个非共识绝对是没有共识。” 罗璇这样形容他加入元始智能后的感想。 “漫长的路，自己选的，自己走。” 未来彭博会按照计划，一代代迭代，去解开这个死循环。他说未来的 RWKV8 会是一个非常有意思的东西。 “你认为人与人本质区别是什么？” ——在交流的最后，善于从本质出发的彭博问我。 “是认知”，他告诉我：“我只能说我后面做的方向是他们做梦也想不到的。” ### Related Stocks - [OpenAI.NA - OpenAI](https://longbridge.com/zh-CN/quote/OpenAI.NA.md) ## Related News & Research | Title | Description | URL | |-------|-------------|-----| | AI 巨頭競爭愈演愈烈 OpenAI 及 Anthropic 掌舵人印度峯會拒牽手 | 在印度新德裡舉行的人工智慧高峰會上，OpenAI 執行長 Sam Altman 與 Anthropic 執行長 Dario Amodei 拒絕牽手，展現出兩家公司之間的競爭。Altman 表示沒有牽手並非故意，而是拍攝過程中的混亂。兩家公司 | [Link](https://longbridge.com/zh-CN/news/276408352.md) | | 阿特曼出席 AI 峯會 強調全球亟需監管措施 | 阿特曼在 AI 全球峯會上強調，全球亟需對快速發展的人工智慧技術進行監管。他指出，AI 的民主化是人類繁榮發展的關鍵，集中技術於單一公司或國家可能導致災難。他呼籲建立類似國際原子能總署的組織，以協調 AI 事務並應對新出現的問題，如失業和網 | [Link](https://longbridge.com/zh-CN/news/276395979.md) | | OpenAI 新一輪融資或突破千億美元 據報亞馬遜、軟銀、英偉達及微軟參與投資 | OpenAI 即將完成新一輪融資，預計籌集超過 1000 億美元，估值可能超過 8500 億美元。主要投資者包括亞馬遜、軟銀、英偉達和微軟。融資將分階段進行，預計在本年度內完成。亞馬遜可能投資高達 500 億美元，軟銀 300 億美元，英偉 | [Link](https://longbridge.com/zh-CN/news/276297991.md) | | OpenAI 高管：工程師變成 “魔法師”，AI 將開啓新一輪創業狂潮 | OpenAI 內部曝光：95% 工程師已用 AI 編程，代碼審查全由 Codex 接管！負責人 Sherwin Wu 預言，未來兩年模型將具備數小時長任務處理能力，工程師正變為指揮智能體的 “巫師”。隨着模型吞噬中間層，為 “超級個體” 服 | [Link](https://longbridge.com/zh-CN/news/275998627.md) | | 塔塔集團將通過 OpenAI 在公司內部部署 ChatGPT Enterprise | 塔塔集團將在公司內部部署 ChatGPT Enterprise - OpenAI | [Link](https://longbridge.com/zh-CN/news/276296077.md) | --- > **免责声明**：本文内容仅供参考，不构成任何投资建议。