按: 本文为著名科技记者 Gergely Orosz 与 OpenAI 应用工程团队负责人 Evan Morikawa 的访谈。 自从去年 11 月推出以来,ChatGPT 在短短一年里发布了数次重大更新,从一个简陋的网页对话框,进化成如今具备多模态、代码解释器、大模型商店等一系列功能的超级 APP。是什么样的工程文化让 ChatGPT 团队能够如此快速地迭代?在 OpenAI 外部,没有人知道答案,这家炙手可热的明星公司作风低调而神秘,对其软件工程实践三缄其口。 但在与 Orosz 的访谈中,Evan Morikawa 透露了许多 OpenAI 在管理思维、人才选择、工作方法等许多方面的独到之处。 华尔街见闻整理要点如下: 1. OpenAI 极其重视 “人才密度”,它倾向于招聘年龄更大的资深技术人员,小型、资深、专注的团队往往有极高的工作效率。OpenAI 现在只有大约 700 名员工,但工作产出可能比大它一万倍的公司还要更高; 2. OpenAI 的工作节奏非常紧张,但这里不是拼命卷工作时长的地方,许多员工要抽出时间陪伴家人,倒逼他们更有效率地完成任务。 3. 办公室面对面的沟通仍然非常重要。一些创造性的解决方案是在办公室的社交互动中诞生的,OpenAI 团队会在午餐桌上碰撞出很多新想法, 4. 尽管 OpenAI 根据职能划分了研究/应用团队,但不同团队之间的协作非常紧密。在 ChatGPT 团队里,既有设计师和产品经理,也有软件工程师和研究人员。不同职能的团队都需要了解对方的工作,避免出现研究部门只专注于实验,而产品部门只想商业化和赚钱的情况。 5. “打造 AGI” 这一使命是 OpenAI 团队所有人的终极目标,也是日常工作的指引。使命不仅有助于决定做什么,也有助于决定不做什么。 以下为访谈原文: Evan,你能介绍一下 OpenAI 和你自己吗? OpenAI 是 ChatGPT 的制造者。希望你已经用 ChatGPT 学习了新知识,帮助你写作,或者只是和它聊天消遣。ChatGPT 只是 OpenAI 的产品之一,OpenAI 还推出了 DALL-E 3(图像生成)、GPT-4(高级模型)和 OpenAI API(开发者和公司用它将人工智能集成到自己的业务中)。 负责开发这些产品的工程、产品和设计的团队在内部被称为 “应用团队”。OpenAI 的目标是构建对全人类有用的安全 AGI。应用团队的目标是打造真正让人工智能造福全人类的产品。 研究部门训练大型模型,然后应用部门在这些模型的基础上构建 ChatGPT 和 API 等产品。在实践中,这是一个更加紧密结合的过程,我稍后会详细介绍。 应用团队是公司内部的一个新成员。OpenAI 成立于 2015 年,而应用团队则始于 2020 年夏天。我们之所以组建这个团队,是因为我们想围绕 GPT-3 构建并扩展一个 API,而 GPT-3 是我们当时刚刚完成培训的一个模型。" 你是如何成为 OpenAI 应用团队的主要负责人的? 我在 2020 年 10 月加入 OpenAI。当时,OpenAI 总共约有 150 名员工,而应用团队只有少数几个人。几乎所有在 OpenAI 工作的人都是研究员。我没有机器学习方面的博士学位,但我那时候意识到 OpenAI 正在建设 API 和工程团队,这让我感到非常兴奋。 在 OpenAI,我一开始是作为 GPT-3 API 的个人贡献者编写代码。2021 年 1 月,在我上任几个月后,我过渡到管理我们的应用工程团队。那时,我的团队大约有 6 个人。如今,两年半过去了,应用工程团队已经发展到 130 名工程师,我管理其中的一半。整个应用团队约有 150 人,另外 20 人是项目经理和设计师。 自 2020 年 10 月以来,OpenAI 已从约 150 人发展到今天的约 700 人。我们还在继续招聘。 OpenAI 是如何快速发展的?我感觉每隔几个月就会推出一项重要的新功能。作为局外人,光是了解你们的进度就已经很不容易了! 一方面,这绝对是我职业生涯中速度最快的地方;但另一方面,这也并不神奇。我认为关键在于: 让 ChatGPT 像一家小型独立创业公司一样运营 让研究和应用紧密结合 长期的产品和研究思维 渐进式发布 高人才密度 日积月累的习惯 你提到 ChatGPT 像是在独立运营,具体是怎样进行的? ChatGPT 看起来、感觉和行为都像出自一家成立仅一年的初创公司之手,但 OpenAI 本身已有近 8 年的历史。OpenAI 内部的应用小组成立于 3 年前。ChatGPT 是应用团队内部的一个产品团队,大约成立于 1 年前。 我和应用团队领导层的其他成员希望 ChatGPT 团队能感觉到他们是自己独立的创业公司。在实践中,随着团队的成长,这一目标也发生了很多变化。 2022 年夏天,我们开始开发 ChatGPT。当时,应用团队大约有 30 名工程师、几名项目经理和设计师,正在运行的产品包括、GPT-3 和 Codex 的 API 接口、模型微调、嵌入应用程序、DALL-E 2 等。 所有这些产品都使用相同的代码库,在同一个集群中运行,并使用相同的构建管道。在应用团队公司内部,我们的结构是按功能划分的;工程部是一个统一的团队。 ChatGPT 的出现改变了这种状况。 几位应用工程师、一些设计师、研究人员和 Greg Brockman(OpenAI 的总裁兼联合创始人)聚在一间屋子里,开始快速迭代产品创意。 我们给这个新生团队提供了自己的代码库和一个全新的集群。开发环境看起来就像初创公司或个人项目的早期阶段。 我们对 ChatGPT 这个小型子团队的目标是营造一种早期初创公司的氛围,让他们不断迭代,寻找产品市场契合点(Product Market Fit)。团队的每个成员都在办公室工作,我们重新安排了座位,让大家彼此相邻。 随着 ChatGPT 团队的壮大,我们确保团队保持垂直整合。这意味着工程、产品、设计和主要研究人员始终紧密合作。 2023 年 5 月,Peter Deng(OpenAI 消费者产品副总裁)加入 ChatGPT,领导工程、产品和设计团队,我们将这一模式进一步深化。 我们之所以知道要这样组织 ChatGPT 团队,是因为在应用团队开始开发 API 接口的第一版时,我们就建立了类似的结构。三年前,我们也是在一个全新的代码库、全新的集群和全新的开发环境中,从少数几个工程师开始起步的。我们的运作方式就像一家正在寻找产品 PMF 的早期初创公司,并通过 API 产品找到了 PMF。 这种 “分形初创公司” 的方法对于任何新产品类别来说都是一个很好的模式。我希望我们能继续采用这种模式,快速迭代我们考虑采用的新想法。 与研究的紧密结合有多重要,为什么重要? 在大多数科技公司,与工程部合作的 "经典 "三人团队往往被称为 “EPD”(工程、产品、设计): 这些团队之间往往会进行大量合作,跨职能团队中通常有工程、产品和设计方面的成员。 将研究融入产品团队至关重要。与经典的 “EPD” 相比,我更喜欢把我们这个合作紧密的团队称为 “DERP”(设计、工程、研究、产品): 在 OpenAI,许多产品问题实际上是研究问题。比如,这些问题可以被视为功能请求:如何让 ChatGPT 生成更简洁的输出结果?如何让 ChatGPT 生成更准确的答案?ChatGPT 如何连接更多数据源? 虽然这些问题看起来像是产品问题,但实际上它们在很大程度上依赖于研究。如何调整或微调基础模型以实现预期目标?研究人员与产品工程的结合并不总是必然的。在 OpenAI,研究和应用是两个独立的组织结构。在研究组织内部,有各种不同的研究团队。 比如,有预培训团队负责培训 GPT-4 模型,还有,培训后团队负责对 GPT-4 进行微调,还有负责校准的团队和让 GPT-4 能看、能听、能说的多模态团队等等。 研究人员往往具有重要的学术或行业背景。他们阅读大量学术论文,以了解最新技术。他们也会提出想法并进行大量实验,以改进我们的模型。他们都亲力亲为;研究人员要做大量的工程设计并编写大量的代码! 我们本可以选择将模型 “扔到墙外” 应用的方法:就是研究人员先训练一个模型,然后把它交给应用人员,让应用人员把它产品化。 但是,我们希望避免出现这样一种文化:研究部门只专注于进行实验,而产品部门只想商业化和赚钱。 为了避免这种情况,像 ChatGPT 这样的产品团队由软件工程师、设计师、产品经理和研究人员共同组成。 在 ChatGPT 的案例中,大部分研究人员来自我们称为 “后期培训” 的研究团队。这些研究人员精通最新的微调技术和强化学习 (RL) 方法,如临近策略优化 (PPO)。由于这些研究人员也是产品组的一员,而且他们自己也在进行 A/B 实验,因此研究和工程之间的反馈回路非常紧密。 与研究部门的紧密耦合是我们能如此迅速地推出新创意的原因。我们是如何快速推出浏览、代码执行、插件和其他 ChatGPT 功能的呢?就是因为团队间的紧密集成! 所有这些都始于研究构想,之所以能快速部署到生产中,是因为从事研究的团队与工程团队紧密结合在一起!此外,在研究和应用两个团队里都有修补和原型设计的文化。很多原型很快就能投入生产。 长期主义思维如何帮助产品落地? OpenAI 的使命是确保人工智能(AGI)造福全人类。 所谓 AGI,我们指的是在最具经济价值的工作中胜过人类的高度自主系统。这一使命体现在 OpenAI 公司章程中。章程更详细地反映了 OpenAI 的战略,例如,详细说明了对长期安全的关注。 几乎每次全员大会都会提到我们的章程和使命。在产品讨论中,我们有策略地使用了 “在这些选项中,哪一个让我们感觉更接近 AGI” 这一短语——指的就是我们的使命。 这不仅有助于决定打造什么,而且我还看到过很多因为使命而决定放弃的情况。 明确的重点永远是速度的驱动力。我相信,我们的使命有助于保持这种专注,也为许多新想法铺平了道路。 另一个关键在于研究团队: 同时开展的研究活动有助于我们加快产品上线的速度。研究工作就是要不断思考统一的方法、打造功能更强的模型。比如说,和纯文本模型一样,我们之前也一直在进行多模态的研究工作。 研究团队还要确保他们的工作能和别的研究有交汇的地方。我们并不想打造很多小模型,我们希望朝着 AGI 的方向发展。 同时进行的几项研究加快了我们的速度。例如,我们能够在相对较短的时间内推出 GPT-4、图像理解、文字转语音、语音转文字等功能,在很大程度上归功于研究工作的同步进行。 OpenAI 发布产品的策略是什么? 我们避免采用 “大爆炸、一气呵成” 的发布模式。这不仅是因为 “早发布、 勤发布” 是一种屡试不爽的产品策略。也因为持续更新是我们安全的基本原则战略。 人工智能安全是公司内部的一个重要话题,也是我们工作的核心,对安全的关注往往比启动和开发一个项目更重要。我们的核心原则之一是,从现实世界中逐步学习。 我们采取了很多方法确保 AI 的安全性,例如: 红队:一组被称为 “红队” 的安全专家扮演攻击者的角色,测试和评估安全措施的有效性; 对齐:确保人工智能系统的行为方式与人类价值观保持一致,并且不会无意中做出有害的行为; 政策工作:与世界各地的政策制定者合作,制定具体规则加强人工智能技术和服务的安全性和可信度。 除了这些努力之外,我们还注意到,逐步、有控制地让 AI 接触真实世界是发现和解决安全问题的最重要方法之一。 我们的产品都会再密切监控下逐步推出。产品发布前,会先经过选定客户的试用,然后再逐步推广。一个有趣的事实是,当全世界都看到 ChatGPT“突然” 爆发时,实际上,在 OpenAI 内部,我们已经花了好几年,在可控的环境中开发和调整 ChatGPT! ChatGPT 的发布其实是为了收集有关对话模式的反馈意见,不过这次特殊的发布出人意料地一炮而红了。 OpenAI 会雇用什么样的人,招聘策略是什么? Sam Altman——OpenAI 的 CEO——非常关注人才的高密度 。所谓 “高人才密度”,指的是平均技能和业绩表现远高于其他地方的正常水平,出色的工作在 OpenAI 是最基础的。 经验丰富的团队可以非常非常快地交付产品。出于对高人才密度的重视,我们在应用团队招聘时有意向高级工程人员倾斜。此外,我们还尽量保持小规模。事实证明,我们这样做是正确的,因为规模非常小的高级团队可以很快完成任务! 所以,授权和信任团队也很容易。对于即刻做出的决定,我通常都有种不假思索的信心,相信这些决策一般都会指向正确的方向。我们会对决策进行内部审查,写下想法,但不会遵循特别严苛的形式。 让孵化器里的创始人类型的人,和 “曾在一家大型科技公司工作过、参与过规模增长” 的角色融合在一起,效果非常好。我们同时需要这两类人: ChatGPT 内部的早期迭代十分粗糙,而创始人类型的角色恰好能够胜任这部分工作;大规模扩展复杂分布式系统的工程技能,需要参与过大规模系统扩展的工程师。 不管是要购买生产力工具还是自己打造生产力工具,我们都很果断。 我们明白,拥有熟悉创企生态圈使用的最新工具、能及时定位问题的人才非常重要,购买这些生产力工具有助于保持我们的团队小而灵活。 但是,我们不能总是依赖购买和使用现有工具。凡是我们认为是业务核心的工具,我们都会自己动手开发。此外,随着规模的扩大,我们可能会也会淘汰一些生产力工具。 谦逊是我们的 “技术人员” 头衔背后的重要品质。OpenAI 的每个人都有 “技术人员” 的头衔,无论其经验或专业知识如何。 这样做有几个原因。我们坚信,团队中容不下不善于团队配合的 “独行侠”。 我们还希望避免吸引那些一心追求晋升的人,这些人总会为了提升自己的头衔,制造冗余的复杂产品。 我们希望每个人都能很好地沟通,做任何对我们的任务最有利的事情。只要我们能坚持这一点,我们就会更加专注,更快地完成任务。 OpenAI 把安全放在首位,而不是速度。在招聘时,我们非常关注 AI 安全性。我们不希望形成一种速度凌驾于安全之上的文化,在完成任务的过程中注意安全非常重要。 你提到 OpenAI 的日常工作方法也是公司快速发展的因素之一,你觉得最重要的方法是什么? 我们之所以迭代速度那么快,很大程度要归功于我们的工作里的很多小细节,总结一下就是: 周一至周三,团队会在办公室工作。每个人周一、周二、周三都在旧金山总部办公。面对面工作会以意想不到的方式帮助我们完成任务。 我还记得在 ChatGPT 早期开发阶段,我们所构建的内容经常会发生变化。每天都在变化。比如 GPT 大模型那时候每天都在演变,我们的研究人员需要一直调整它。 通过拍同事肩膀或加入无意中听到的谈话,我们取得了令人惊讶的进展。当然,我们也会定期召开同步会议,预定的协作之外,我们也会取得特别的进展。 我们还经常临时制作白板。我们会在午餐桌子上碰撞出很多新想法——真的!随着团队的迅速扩大,临时性的社交互动成为了入职培训的一大助力。如果没有这些面对面互动,两年内招募大概 120 人入职会困难得多。 对一些人来说,星期四和星期五不开会的日子。这两天,办公室里的人比较少。在这些日子里,我们会完成更多有针对性的工作。 协调每天的工作是我们提高工作效率的关键。靠这种协调性,我们在一周的前三天就能抵达关键工作节点。 工作节奏相当紧张。使命、产品和技术的影响力促使大家努力工作。不过需要强调,这并不一定意味着我们的工作时间很长。OpenAI 不是那种凌晨 2 点还有一堆人没下班的地方。在这里,大家会相互支持,我们会积极关注彼此的职业倦怠。 正如我所提到的,我们倾向于招聘年龄更大、经验更丰富的员工。这也意味着这里有很多有孩子的父母。 每个人都非常重视家庭时间。对家庭的关注,也让团队必须高度集中注意力,分清轻重缓急,灵活安排时间,包括我自己在内! OpenAI 似乎已经在相对较短的时间内完成了大量工作。那么,接下来要做什么呢? 要想继续保持较高的交付速度,我们需要克服许多挑战,比如: 团队不断壮大。团队规模越大,沟通越困难,协调越困难。 更成熟的产品。我们制造的产品越来越成熟,对产品进行大刀阔斧的修改更困难了。 人工智能安全问题。这些问题将变得更加严峻,不仅对我们,对整个行业都是如此。OpenAI 很可能需要改变之前的架构来应对这些问题。 我们希望努力保留目前的大部分原则:强大的使命感、一体化的研究团队和更高的人才密度始终都是好事。 总体而言,我对我的团队、公司的未来以及人工智能的潜力持谨慎乐观的态度。我们认为,让更多人感受到我们创造的工具对生产力的价值,是非常重要的事情。现在大家才刚刚看到冰山一角。