按: 本文為著名科技記者 Gergely Orosz 與 OpenAI 應用工程團隊負責人 Evan Morikawa 的訪談。 自從去年 11 月推出以來,ChatGPT 在短短一年裏發佈了數次重大更新,從一個簡陋的網頁對話框,進化成如今具備多模態、代碼解釋器、大模型商店等一系列功能的超級 APP。是什麼樣的工程文化讓 ChatGPT 團隊能夠如此快速地迭代?在 OpenAI 外部,沒有人知道答案,這家炙手可熱的明星公司作風低調而神秘,對其軟件工程實踐三緘其口。 但在與 Orosz 的訪談中,Evan Morikawa 透露了許多 OpenAI 在管理思維、人才選擇、工作方法等許多方面的獨到之處。 華爾街見聞整理要點如下: 1. OpenAI 極其重視 “人才密度”,它傾向於招聘年齡更大的資深技術人員,小型、資深、專注的團隊往往有極高的工作效率。OpenAI 現在只有大約 700 名員工,但工作產出可能比大它一萬倍的公司還要更高; 2. OpenAI 的工作節奏非常緊張,但這裏不是拼命卷工作時長的地方,許多員工要抽出時間陪伴家人,倒逼他們更有效率地完成任務。 3. 辦公室面對面的溝通仍然非常重要。一些創造性的解決方案是在辦公室的社交互動中誕生的,OpenAI 團隊會在午餐桌上碰撞出很多新想法, 4. 儘管 OpenAI 根據職能劃分了研究/應用團隊,但不同團隊之間的協作非常緊密。在 ChatGPT 團隊裏,既有設計師和產品經理,也有軟件工程師和研究人員。不同職能的團隊都需要了解對方的工作,避免出現研究部門只專注於實驗,而產品部門只想商業化和賺錢的情況。 5. “打造 AGI” 這一使命是 OpenAI 團隊所有人的終極目標,也是日常工作的指引。使命不僅有助於決定做什麼,也有助於決定不做什麼。 以下為訪談原文: Evan,你能介紹一下 OpenAI 和你自己嗎? OpenAI 是 ChatGPT 的製造者。希望你已經用 ChatGPT 學習了新知識,幫助你寫作,或者只是和它聊天消遣。ChatGPT 只是 OpenAI 的產品之一,OpenAI 還推出了 DALL-E 3(圖像生成)、GPT-4(高級模型)和 OpenAI API(開發者和公司用它將人工智能集成到自己的業務中)。 負責開發這些產品的工程、產品和設計的團隊在內部被稱為 “應用團隊”。OpenAI 的目標是構建對全人類有用的安全 AGI。應用團隊的目標是打造真正讓人工智能造福全人類的產品。 研究部門訓練大型模型,然後應用部門在這些模型的基礎上構建 ChatGPT 和 API 等產品。在實踐中,這是一個更加緊密結合的過程,我稍後會詳細介紹。 應用團隊是公司內部的一個新成員。OpenAI 成立於 2015 年,而應用團隊則始於 2020 年夏天。我們之所以組建這個團隊,是因為我們想圍繞 GPT-3 構建並擴展一個 API,而 GPT-3 是我們當時剛剛完成培訓的一個模型。" 你是如何成為 OpenAI 應用團隊的主要負責人的? 我在 2020 年 10 月加入 OpenAI。當時,OpenAI 總共約有 150 名員工,而應用團隊只有少數幾個人。幾乎所有在 OpenAI 工作的人都是研究員。我沒有機器學習方面的博士學位,但我那時候意識到 OpenAI 正在建設 API 和工程團隊,這讓我感到非常興奮。 在 OpenAI,我一開始是作為 GPT-3 API 的個人貢獻者編寫代碼。2021 年 1 月,在我上任幾個月後,我過渡到管理我們的應用工程團隊。那時,我的團隊大約有 6 個人。如今,兩年半過去了,應用工程團隊已經發展到 130 名工程師,我管理其中的一半。整個應用團隊約有 150 人,另外 20 人是項目經理和設計師。 自 2020 年 10 月以來,OpenAI 已從約 150 人發展到今天的約 700 人。我們還在繼續招聘。 OpenAI 是如何快速發展的?我感覺每隔幾個月就會推出一項重要的新功能。作為局外人,光是瞭解你們的進度就已經很不容易了! 一方面,這絕對是我職業生涯中速度最快的地方;但另一方面,這也並不神奇。我認為關鍵在於: 讓 ChatGPT 像一家小型獨立創業公司一樣運營 讓研究和應用緊密結合 長期的產品和研究思維 漸進式發佈 高人才密度 日積月累的習慣 你提到 ChatGPT 像是在獨立運營,具體是怎樣進行的? ChatGPT 看起來、感覺和行為都像出自一家成立僅一年的初創公司之手,但 OpenAI 本身已有近 8 年的歷史。OpenAI 內部的應用小組成立於 3 年前。ChatGPT 是應用團隊內部的一個產品團隊,大約成立於 1 年前。 我和應用團隊領導層的其他成員希望 ChatGPT 團隊能感覺到他們是自己獨立的創業公司。在實踐中,隨着團隊的成長,這一目標也發生了很多變化。 2022 年夏天,我們開始開發 ChatGPT。當時,應用團隊大約有 30 名工程師、幾名項目經理和設計師,正在運行的產品包括、GPT-3 和 Codex 的 API 接口、模型微調、嵌入應用程序、DALL-E 2 等。 所有這些產品都使用相同的代碼庫,在同一個集羣中運行,並使用相同的構建管道。在應用團隊公司內部,我們的結構是按功能劃分的;工程部是一個統一的團隊。 ChatGPT 的出現改變了這種狀況。 幾位應用工程師、一些設計師、研究人員和 Greg Brockman(OpenAI 的總裁兼聯合創始人)聚在一間屋子裏,開始快速迭代產品創意。 我們給這個新生團隊提供了自己的代碼庫和一個全新的集羣。開發環境看起來就像初創公司或個人項目的早期階段。 我們對 ChatGPT 這個小型子團隊的目標是營造一種早期初創公司的氛圍,讓他們不斷迭代,尋找產品市場契合點(Product Market Fit)。團隊的每個成員都在辦公室工作,我們重新安排了座位,讓大家彼此相鄰。 隨着 ChatGPT 團隊的壯大,我們確保團隊保持垂直整合。這意味着工程、產品、設計和主要研究人員始終緊密合作。 2023 年 5 月,Peter Deng(OpenAI 消費者產品副總裁)加入 ChatGPT,領導工程、產品和設計團隊,我們將這一模式進一步深化。 我們之所以知道要這樣組織 ChatGPT 團隊,是因為在應用團隊開始開發 API 接口的第一版時,我們就建立了類似的結構。三年前,我們也是在一個全新的代碼庫、全新的集羣和全新的開發環境中,從少數幾個工程師開始起步的。我們的運作方式就像一家正在尋找產品 PMF 的早期初創公司,並通過 API 產品找到了 PMF。 這種 “分形初創公司” 的方法對於任何新產品類別來説都是一個很好的模式。我希望我們能繼續採用這種模式,快速迭代我們考慮採用的新想法。 與研究的緊密結合有多重要,為什麼重要? 在大多數科技公司,與工程部合作的 "經典 "三人團隊往往被稱為 “EPD”(工程、產品、設計): 這些團隊之間往往會進行大量合作,跨職能團隊中通常有工程、產品和設計方面的成員。 將研究融入產品團隊至關重要。與經典的 “EPD” 相比,我更喜歡把我們這個合作緊密的團隊稱為 “DERP”(設計、工程、研究、產品): 在 OpenAI,許多產品問題實際上是研究問題。比如,這些問題可以被視為功能請求:如何讓 ChatGPT 生成更簡潔的輸出結果?如何讓 ChatGPT 生成更準確的答案?ChatGPT 如何連接更多數據源? 雖然這些問題看起來像是產品問題,但實際上它們在很大程度上依賴於研究。如何調整或微調基礎模型以實現預期目標?研究人員與產品工程的結合並不總是必然的。在 OpenAI,研究和應用是兩個獨立的組織結構。在研究組織內部,有各種不同的研究團隊。 比如,有預培訓團隊負責培訓 GPT-4 模型,還有,培訓後團隊負責對 GPT-4 進行微調,還有負責校準的團隊和讓 GPT-4 能看、能聽、能説的多模態團隊等等。 研究人員往往具有重要的學術或行業背景。他們閲讀大量學術論文,以瞭解最新技術。他們也會提出想法並進行大量實驗,以改進我們的模型。他們都親力親為;研究人員要做大量的工程設計並編寫大量的代碼! 我們本可以選擇將模型 “扔到牆外” 應用的方法:就是研究人員先訓練一個模型,然後把它交給應用人員,讓應用人員把它產品化。 但是,我們希望避免出現這樣一種文化:研究部門只專注於進行實驗,而產品部門只想商業化和賺錢。 為了避免這種情況,像 ChatGPT 這樣的產品團隊由軟件工程師、設計師、產品經理和研究人員共同組成。 在 ChatGPT 的案例中,大部分研究人員來自我們稱為 “後期培訓” 的研究團隊。這些研究人員精通最新的微調技術和強化學習 (RL) 方法,如臨近策略優化 (PPO)。由於這些研究人員也是產品組的一員,而且他們自己也在進行 A/B 實驗,因此研究和工程之間的反饋迴路非常緊密。 與研究部門的緊密耦合是我們能如此迅速地推出新創意的原因。我們是如何快速推出瀏覽、代碼執行、插件和其他 ChatGPT 功能的呢?就是因為團隊間的緊密集成! 所有這些都始於研究構想,之所以能快速部署到生產中,是因為從事研究的團隊與工程團隊緊密結合在一起!此外,在研究和應用兩個團隊裏都有修補和原型設計的文化。很多原型很快就能投入生產。 長期主義思維如何幫助產品落地? OpenAI 的使命是確保人工智能(AGI)造福全人類。 所謂 AGI,我們指的是在最具經濟價值的工作中勝過人類的高度自主系統。這一使命體現在 OpenAI 公司章程中。章程更詳細地反映了 OpenAI 的戰略,例如,詳細説明了對長期安全的關注。 幾乎每次全員大會都會提到我們的章程和使命。在產品討論中,我們有策略地使用了 “在這些選項中,哪一個讓我們感覺更接近 AGI” 這一短語——指的就是我們的使命。 這不僅有助於決定打造什麼,而且我還看到過很多因為使命而決定放棄的情況。 明確的重點永遠是速度的驅動力。我相信,我們的使命有助於保持這種專注,也為許多新想法鋪平了道路。 另一個關鍵在於研究團隊: 同時開展的研究活動有助於我們加快產品上線的速度。研究工作就是要不斷思考統一的方法、打造功能更強的模型。比如説,和純文本模型一樣,我們之前也一直在進行多模態的研究工作。 研究團隊還要確保他們的工作能和別的研究有交匯的地方。我們並不想打造很多小模型,我們希望朝着 AGI 的方向發展。 同時進行的幾項研究加快了我們的速度。例如,我們能夠在相對較短的時間內推出 GPT-4、圖像理解、文字轉語音、語音轉文字等功能,在很大程度上歸功於研究工作的同步進行。 OpenAI 發佈產品的策略是什麼? 我們避免採用 “大爆炸、一氣呵成” 的發佈模式。這不僅是因為 “早發佈、 勤發佈” 是一種屢試不爽的產品策略。也因為持續更新是我們安全的基本原則戰略。 人工智能安全是公司內部的一個重要話題,也是我們工作的核心,對安全的關注往往比啓動和開發一個項目更重要。我們的核心原則之一是,從現實世界中逐步學習。 我們採取了很多方法確保 AI 的安全性,例如: 紅隊:一組被稱為 “紅隊” 的安全專家扮演攻擊者的角色,測試和評估安全措施的有效性; 對齊:確保人工智能系統的行為方式與人類價值觀保持一致,並且不會無意中做出有害的行為; 政策工作:與世界各地的政策制定者合作,制定具體規則加強人工智能技術和服務的安全性和可信度。 除了這些努力之外,我們還注意到,逐步、有控制地讓 AI 接觸真實世界是發現和解決安全問題的最重要方法之一。 我們的產品都會再密切監控下逐步推出。產品發佈前,會先經過選定客户的試用,然後再逐步推廣。一個有趣的事實是,當全世界都看到 ChatGPT“突然” 爆發時,實際上,在 OpenAI 內部,我們已經花了好幾年,在可控的環境中開發和調整 ChatGPT! ChatGPT 的發佈其實是為了收集有關對話模式的反饋意見,不過這次特殊的發佈出人意料地一炮而紅了。 OpenAI 會僱用什麼樣的人,招聘策略是什麼? Sam Altman——OpenAI 的 CEO——非常關注人才的高密度 。所謂 “高人才密度”,指的是平均技能和業績表現遠高於其他地方的正常水平,出色的工作在 OpenAI 是最基礎的。 經驗豐富的團隊可以非常非常快地交付產品。出於對高人才密度的重視,我們在應用團隊招聘時有意向高級工程人員傾斜。此外,我們還儘量保持小規模。事實證明,我們這樣做是正確的,因為規模非常小的高級團隊可以很快完成任務! 所以,授權和信任團隊也很容易。對於即刻做出的決定,我通常都有種不假思索的信心,相信這些決策一般都會指向正確的方向。我們會對決策進行內部審查,寫下想法,但不會遵循特別嚴苛的形式。 讓孵化器裏的創始人類型的人,和 “曾在一家大型科技公司工作過、參與過規模增長” 的角色融合在一起,效果非常好。我們同時需要這兩類人: ChatGPT 內部的早期迭代十分粗糙,而創始人類型的角色恰好能夠勝任這部分工作;大規模擴展複雜分佈式系統的工程技能,需要參與過大規模系統擴展的工程師。 不管是要購買生產力工具還是自己打造生產力工具,我們都很果斷。 我們明白,擁有熟悉創企生態圈使用的最新工具、能及時定位問題的人才非常重要,購買這些生產力工具有助於保持我們的團隊小而靈活。 但是,我們不能總是依賴購買和使用現有工具。凡是我們認為是業務核心的工具,我們都會自己動手開發。此外,隨着規模的擴大,我們可能會也會淘汰一些生產力工具。 謙遜是我們的 “技術人員” 頭銜背後的重要品質。OpenAI 的每個人都有 “技術人員” 的頭銜,無論其經驗或專業知識如何。 這樣做有幾個原因。我們堅信,團隊中容不下不善於團隊配合的 “獨行俠”。 我們還希望避免吸引那些一心追求晉升的人,這些人總會為了提升自己的頭銜,製造冗餘的複雜產品。 我們希望每個人都能很好地溝通,做任何對我們的任務最有利的事情。只要我們能堅持這一點,我們就會更加專注,更快地完成任務。 OpenAI 把安全放在首位,而不是速度。在招聘時,我們非常關注 AI 安全性。我們不希望形成一種速度凌駕於安全之上的文化,在完成任務的過程中注意安全非常重要。 你提到 OpenAI 的日常工作方法也是公司快速發展的因素之一,你覺得最重要的方法是什麼? 我們之所以迭代速度那麼快,很大程度要歸功於我們的工作裏的很多小細節,總結一下就是: 週一至週三,團隊會在辦公室工作。每個人週一、週二、週三都在舊金山總部辦公。面對面工作會以意想不到的方式幫助我們完成任務。 我還記得在 ChatGPT 早期開發階段,我們所構建的內容經常會發生變化。每天都在變化。比如 GPT 大模型那時候每天都在演變,我們的研究人員需要一直調整它。 通過拍同事肩膀或加入無意中聽到的談話,我們取得了令人驚訝的進展。當然,我們也會定期召開同步會議,預定的協作之外,我們也會取得特別的進展。 我們還經常臨時製作白板。我們會在午餐桌子上碰撞出很多新想法——真的!隨着團隊的迅速擴大,臨時性的社交互動成為了入職培訓的一大助力。如果沒有這些面對面互動,兩年內招募大概 120 人入職會困難得多。 對一些人來説,星期四和星期五不開會的日子。這兩天,辦公室裏的人比較少。在這些日子裏,我們會完成更多有針對性的工作。 協調每天的工作是我們提高工作效率的關鍵。靠這種協調性,我們在一週的前三天就能抵達關鍵工作節點。 工作節奏相當緊張。使命、產品和技術的影響力促使大家努力工作。不過需要強調,這並不一定意味着我們的工作時間很長。OpenAI 不是那種凌晨 2 點還有一堆人沒下班的地方。在這裏,大家會相互支持,我們會積極關注彼此的職業倦怠。 正如我所提到的,我們傾向於招聘年齡更大、經驗更豐富的員工。這也意味着這裏有很多有孩子的父母。 每個人都非常重視家庭時間。對家庭的關注,也讓團隊必須高度集中注意力,分清輕重緩急,靈活安排時間,包括我自己在內! OpenAI 似乎已經在相對較短的時間內完成了大量工作。那麼,接下來要做什麼呢? 要想繼續保持較高的交付速度,我們需要克服許多挑戰,比如: 團隊不斷壯大。團隊規模越大,溝通越困難,協調越困難。 更成熟的產品。我們製造的產品越來越成熟,對產品進行大刀闊斧的修改更困難了。 人工智能安全問題。這些問題將變得更加嚴峻,不僅對我們,對整個行業都是如此。OpenAI 很可能需要改變之前的架構來應對這些問題。 我們希望努力保留目前的大部分原則:強大的使命感、一體化的研究團隊和更高的人才密度始終都是好事。 總體而言,我對我的團隊、公司的未來以及人工智能的潛力持謹慎樂觀的態度。我們認為,讓更多人感受到我們創造的工具對生產力的價值,是非常重要的事情。現在大家才剛剛看到冰山一角。