OpenAI 創始人與首席科學家罕見同台：AI 最令人興奮的事情正在發生！（附中文視頻 + 全文）

在 ChatGPT 月活飆升至 10 億里程碑之際，OpenAI 創始人 Sam Altman 的 “全球巡迴” 同樣備受關注。本週，Sam Altman 來到以色列特拉維夫大學，與在以色列長大的 OpenAI 首席科學家 Ilya Sutskavel 共同展開了一場生動且深刻的訪談（兩人甚少同台），在場觀眾的提問內容也頗為專業，甚至 Sam 都被問得一時語塞，值得一聽。核心觀點：1、OpenAI 的優勢所在：我們更專注於我們所做的事情，我們的文化注重嚴謹和可重複創新。2、學術界在 AI 領域的地位：學術界曾經是 AI 研究的前沿，但由於較弱的計算能力和缺乏工程文化，這種情況發生了變化。但是學術界依然能對 AI 做出重要貢獻，可以從我們正在訓練的神經網絡中解開許多謎團。3、開源 OR 不開源：我們開源了一些模型，並計劃開源更多模型，但不認為把一切模型開源是正確的策略，我們正在努力尋找平衡。4、AI 不容忽視的風險：工作崗位受到影響、黑客獲得超級智能和系統失控是 AI 令人擔憂的三大風險。AI 可以發揮驚人的作用，但也可能造成糟糕的影響，因此我們合適的監管架構來控制這項技術的使用，比如建立全球性機構。5、AI 會加速科學發現嗎：AI 或許能幫助人類完成一些目前無法實現的科學目標，比如促進醫療健康發展、緩解氣候變化難題甚至探索宇宙的奧秘，這是 Sam 認為 AI 令人最興奮的事情。整個訪談不乏深度，同時也不缺趣味。比如 Ilya 開心地説道，父母告知他自己朋友也在平時使用 ChatGPT，這令他感到十分驚喜。而當觀眾提問 “你們正在創造歷史，你們希望歷史如何記住你們？” 時，Ilya 也風趣地回答道：“我的意思是，以最好的方式。”以下為訪談全文：一個讀博一個輟學：兩人在 OpenAI 前的不同人生Ilya：從 5 歲到 16 歲，我住在耶路撒冷。在 2000 年到 2002 年期間，我在開放大學學習。之後我搬到了多倫多大學，在那裏度過了 10 年，並獲得了學士、碩士和博士學位。在攻讀研究生期間，我有幸為深度學習的重要進展做出貢獻。隨後，我與一些人共同創辦了一家公司，並被谷歌收購，我在那裏工作了一段時間。然後，有一天我收到了山姆的一封郵件，他説：“嘿，讓我們和一些很酷的人一起玩吧。” 我對此很感興趣，於是去了。那是我第一次與 Elon Musk 和 Greg Brockman 見面，我們決定開啓 OpenAI 的旅程。我們已經這樣做了很多年，所以現在就是我們目前的位置。Sam：小時候，我對 AI 非常興奮，是個科幻書呆子。從來沒有想過有機會去研究它，但後來在大學時期，我開始研究了一段時間。但那時它還沒有真正發展起來，就像是 2004 年......我輟學了，做過創業公司。在 Ilya 提到的進展後，過了一段時間，我真的對 AI 所發生的事情感到興奮，於是給他發了一封電子郵件，現在我們仍然在繼續着。OpenAI 的優勢所在主持人：你認為 OpenAI 的關鍵優勢是什麼，尤其是在競爭對手通常更大、擁有更多資源的情況下，使其成為生成人工智能的領導者？Sam：我們相信，關鍵優勢在於我們更專注於我們所做的事情。相比於更大的公司，我們擁有更高的人才密度，這非常重要且容易被誤解。我們的文化注重嚴謹和可重複創新，而令這兩種文化並存是困難和罕見的。Ilya：是的，我只能在 Sam 的答案中添加少量內容。這是關於信仰的遊戲，擁有更多的信仰意味着取得更大的進步。如果你有非常非常多的信仰，你就能實現最大的進步。聽起來可能像是開玩笑，但實際上是真的。你必須相信這個想法並努力推動它，這是推動進步的原因。學術界在 AI 領域的地位主持人：近期人工智能的進步主要是由行業推動的，你認為學術研究在該領域的發展中應該扮演什麼角色？Ilya：學術界在 AI 領域的角色發生了重大變化。學術界曾經是 AI 研究的前沿，但現在情況已經改變了。原因有兩個：計算能力和工程文化。學術界的計算能力較弱，並且通常缺乏工程文化。然而，學術界仍然可以對 AI 做出顯著和重要的貢獻。學術界可以從我們正在訓練的神經網絡中解開許多謎團，我們正在創造出複雜而神奇的物體。深度學習是什麼？這是一個鍊金術的過程，我們利用數據作為原材料，結合計算能源，從而獲得了這種智能。但它究竟是什麼？它是如何工作的？它具有什麼屬性？我們如何控制它？如何理解它？如何應用它？如何衡量它？這些問題都是未知數。即使是簡單的測量任務，我們也無法準確評估我們的 AI 的表現。過去這並不是問題，因為 AI 並不是那麼重要。現在人工智能變得非常重要，但我們意識到我們還是無法完全衡量它。因此，我開始思考一些無法由任何人解決的問題。你不需要龐大的計算集羣，也不需要龐大的工程團隊來提出這些問題並取得進展。如果你真的能有所突破，那將是一個引人注目且具有重大意義的貢獻，每個人都會立刻關注。主持人：我們希望看到在工業界和學術界之間取得完全平衡的進步，我們希望看到更多這些類型的貢獻。你是否認為可以做些什麼來改善這種情況，尤其是從你的立場出發，是否可以提供某種支持？Ilya：首先，我認為思維方式的轉變是第一，也是最重要的事情。這些天我有點遠離學術界，但我認為我們正在做的事情存在一些危機。有太多的動力圍繞大量的論文，但重要的是要集中注意力解決最關鍵的問題。我們需要改變心態，專注於最重要的問題。我們不能只關注我們已經知道的事情，而是要意識到存在的問題。一旦我們理解了問題，我們就可以朝着解決它們的方向前進。另外，我們可以提供幫助。例如，我們有學術訪問計劃，學術界可以申請獲取計算能力，訪問我們最先進的模型。許多大學已經使用 GPT-3 撰寫論文，研究模型的屬性和偏見。如果你有更多的想法，我很願意聽取。開源 OR 不開源主持人：雖然有些參與者真正促進開源發佈他們的模型和代碼，但其他人做得不夠。這也涉及到開放人工智能。所以我想知道，首先，你對此有何看法？如果你同意，為什麼你認為 OpenAI 是正確的戰略？Sam：我們開源了一些模型，並計劃隨着時間推移開源更多模型。但我不認為開源一切是正確的策略。如果今天的模型很有趣，它們可能對某些方面有用，但相對於我們即將創建的模型而言，它們仍然相對原始。我認為大多數人會同意這一點。如果我們知道如何製造一個超級強大的 AGI，它有很多優點，但也有缺點，那麼開源可能不是最佳選擇。因此，我們正在努力尋找平衡。我們會開源一些東西，隨着我們對模型的理解不斷深入，我們將能夠隨着時間的推移開源更多內容。我們已經發布了很多東西，我認為其他人現在在構建語言模型方面的許多關鍵想法都來自 OpenAI 的發佈，例如來自 rohf 工作的早期 GPT 論文和縮放定律。但這是一個我們必須在前進過程中弄清楚的平衡。我們面臨許多不同的壓力，需要成功地管理它們。主持人：所以您是否正在考慮將模型提供給特定的受眾，而不是向全世界開放源代碼？對科學家來説，或者當我們完成 GPT-4 的培訓時，您正在考慮的是什麼？Sam：我們花了將近八個月的時間來理解它，確保其安全，並弄清楚如何進行調整。我們有外部審計員、紅隊和科學社區的參與。因此，我們正在採取這些措施，並將繼續這樣做。AI 不容忽視的風險主持人：我確實認為風險是一個非常重要的問題，可能至少有三類風險。第一類是經濟混亂，即工作崗位變得多餘。第二類可能是少數人手中擁有強大武器的情況。例如，如果黑客能夠使用這些工具，他們之前可能需要成千上萬個黑客才能完成的事情。最後一類可能是最令人擔憂的，即系統失去控制，甚至觸發者無法阻止其行為。我想知道您對這些情況中每一種可能發生的情況有何看法。Ilya：好的，我們從經濟混亂的可能情況開始討論。正如您提到的，存在三個風險：工作崗位受到影響、黑客獲得超級智能和系統失控問題。經濟混亂的確是我們已經熟悉的情況，因為一些工作已經受到影響或面臨風險。換句話説，某些任務可以自動化。例如，如果您是一名程序員，Copilot 可以為您編寫函數。儘管這與藝術家的情況有所不同，因為藝術家的許多經濟活動已經被某些圖像生成器取代。我認為這確實不是一個簡單的問題。儘管會創造新的就業機會，但經濟的不確定性將持續很長時間。我不確定是否會出現這種情況。然而，在任何情況下，我們都需要一些東西來平穩過渡到新興職業的衝擊，即使這些職業尚不存在。這需要政府和社會系統的關注。現在讓我們談談黑客問題。是的，這是一個棘手的問題。人工智能確實非常強大，壞人可以以強大的方式使用它。我們需要應用類似於其他非常強大和危險工具的框架。請注意，我們不是在討論今天的人工智能，而是隨着時間推移，功能不斷增強。現在我們處於低點，但是當我們達到目標時，它將變得非常強大。這項技術可以用於驚人的應用，可以用來治癒疾病，但也可能創造出比之前任何東西更糟糕的疾病。因此，我們需要適當的結構來控制這項技術的使用。例如，Sam 已經向他們提交了一份文件，提出國際原子能機構類似於控制核能的框架，以控制非常強大的人工智能。主持人：最後一個問題是關於超級智能人工智能失控的問題，可以説它將成為一個巨大的問題，構建一個我們不知道如何控制的超級人工智能是不是一個錯誤。Sam：我可以補充一些觀點。當然，對於最後一句話，我完全同意。在經濟方面，我發現很難預測未來的發展。我認為這是因為現在世界上存在着如此多的需求盈餘，這些系統非常擅長幫助完成任務。但在今天的大多數情況下，並非所有任務都可以由它們完成。我認為短期來看，情況看起來不錯，我們將看到生產力顯著增長。如果我們能讓程序員的生產力提高兩倍，那麼世界上需要的代碼量將增加兩倍以上，所以一切看起來都很好。從長遠來看，我認為這些系統將處理越來越複雜的任務和工作類別。其中一些工作可能會消失，但其他一些工作將變得更像真正需要人類和人類關係的工作。人們真的希望人類在這些角色中發揮作用。這些角色可能並不顯而易見。舉個例子，當深藍戰勝卡斯帕羅夫時，世界第一次見證了人工智能。當時每個人都説國際象棋已經結束了，沒有人會再下國際象棋，因為沒有意義。然而，我們達成了共識，即國際象棋從未像現在這樣流行。人類變得更強，只是期望值提高了。我們可以利用這些工具來提高自己的技能，但人們仍然真正喜歡下棋，而且人們似乎仍然關心其他人。你提到多莉可以創造出偉大的藝術，但人們仍然關心他們想要購買的藝術作品背後的人，我們都認為這些創作者是特別而有價值的。以國際象棋為例，就像人們更多地關注人類下棋一樣，觀看人類下棋的人比以往任何時候都更多。然而，很少有人願意觀看兩個人工智能之間的比賽。因此，我認為它們將成為所有這些難以預測的因素。我認為人類渴望差異化（人類和機器之間）。創造新事物以獲得地位的需求將永遠存在，但它將以一種真正不同的方式呈現出來。我敢打賭，從現在開始的 100 年工作將與今天的工作完全不同，其中許多事情將變得非常相似。但我真的同意 Ilya 所説的，無論發生什麼，我們都需要一種不同的社會經濟契約，因為自動化已經達到了迄今為止無法想象的高度。主持人：Sam 你最近簽署了一份請願，呼籲嚴肅對待人工智能對人類存在的威脅。也許像 OpenAI 這樣的公司應該採取措施來解決這個問題。Sam：我真的想強調，我們在這裏討論的不是今天的系統，也不是小型初創公司的訓練模型，也不是開源社區。我認為現在對該領域實施嚴格監管，或試圖放慢令人難以置信的創新是錯誤的。真的不想創造一個看起來無可爭辯的、不太一致的超級智能。我認為世界不應該將其視為永遠不會出現的科幻風險，而是可能在未來十年中我們不得不面對的東西，適應某些事情需要時間，但這段時間不會很長。因此，我們提出了一個想法，希望能有更好的想法。如果我們能夠建立一個全球性組織，擁有計算能力和技術前沿的最高級別，可以制定一個框架來許可模型並審核它們的安全性，以確保它們通過必要的測試。這將有助於我們將這一問題視為非常嚴重的風險。我們確實在核能方面做了類似的事情。未來，AI 會加速科學發現嗎？治癒疾病、解決氣候問題？主持人：我們來談談優勢。在我們所處的這個科學環境中，我想知道人工智能在其中扮演的角色。在幾年內，也許在未來，我們將會有什麼科學發現。Sam：這是我個人對 AI 最興奮的事情。我認為有很多令人興奮的事情正在發生，巨大的經濟利益、巨大的醫療保健利益。但事實上，人工智能可以幫助我們做一些目前無法實現的科學發現。我們會喜歡瞭解宇宙的奧秘，甚至更多。我真的相信科學和技術進步是讓生活變得更好、世界變得更好的唯一可持續方式。如果我們能夠開發出大量的新科學和新技術進步，我認為我們已經看到了人們的開端。使用這些工具可以提高效率。但如果你想象一個世界，你可以説，“嘿，我可以幫助治癒所有疾病”，它可以幫助你治癒所有疾病，那樣的世界可能會變得更加美好。我認為我們離這並不遙遠。主持人：除了疾病之外，另一個主要問題是氣候變化，這解決起來非常棘手。但我認為一旦我們擁有真正強大的超級智能系統，應對氣候變化將不會特別困難。Ilya：是的，你需要大量的碳捕獲。你需要碳捕獲的能量，你需要技術來建造它。如果你能加速科學，你需要建造很多。進步是強大的人工智能可以做的事情，我們可以更快地實現非常先進的碳捕獲。它可以更快地實現非常便宜的電力，我們可以更快地實現更便宜的製造。現在結合這三種廉價電力、廉價製造和先進的碳捕獲，現在你建造了很多它們，現在你從大氣中吸走了所有這些多餘的二氧化碳。如果你擁有一種強大的人工智能，它將極大地加速科學和工程領域的進展。這將使當今的計劃變得更加容易實現。我相信這將促進進步的加速。這表明我們應該有更大的夢想。你可以想象，如果你能夠設計一個系統，你可以要求它告訴你如何以低成本製造大量的清潔能源，如何有效地捕獲碳，並指導你建立一個能夠實現這些目標的工廠。如果你能夠實現這些，那麼你也可以在其他許多領域取得成就。奇妙的 ChatGPT主持人：聽説你之前沒有想過 ChatGPT 會如此廣泛傳播，我想知道有沒有例子表明，其他人真的對它的價值和能力感到驚訝。Ilya：當我的父母告訴我他們的朋友們如何在日常生活中使用 ChatGPT 時，我感到非常驚訝和高興。很難從許多令人喜愛的故事中挑選出一個，因為它展示了人類創造力的輝煌，以及人們如何利用這種強大的工具。對於教育領域，這對我們來説非常棒，看到許多人寫下這樣改變他們生活的話語，對我來説真是一種變化，因為現在我可以學習任何事情，我學會了特定的事情，或者説我以前不知道如何做到的事情，現在我知道了。個人而言，看到人們以一種新的、更好的方式學習，並想象幾年後的情景，我感到非常滿足和美好。以這種速度，我們沒有完全預料到會發生這樣的情況，這真的很神奇。然後有一個有趣的故事，我昨天才聽説的。據説過去有一個人每天晚上花兩個小時和他的孩子一起編寫睡前故事。這些故事都是孩子最喜歡的東西，這成為了一個特別的時刻。他們每天晚上都過得很愉快。觀眾提問：問題 1：開源 LLM 是否可以在沒有額外先進技術的情況下，與 GPT-4 的能力相匹配？還是 GPT-4 中是否有一個不為人知的秘密，使它區別於其他模型。我在安裝 Stability 的 vicuna 模型，130 億參數的...我在浪費時間嗎？Sam：一時語塞......Ilya：關於開源和非開源模型的問題，我們不必用二元的黑白朮語來考慮。就像存在一個秘密的來源，你永遠無法重新發現。或許有一天會有開源模型複製 GPT-4 的能力，但這個過程需要時間，到時候，這樣的模型可能會成為大公司內部更強大的模型。因此，開源模型和私有模型之間總會存在差距，並且這種差距可能會逐漸增大。製造這樣一個神經網絡所需的工作量、工程和研究將不斷增加。所以，即使存在開源模型，它們也會越來越少地由一小羣敬業的研究人員和工程師製作，這隻會是一家公司，一家大公司（貢獻開源）。問題 2：如果你真的相信人工智能會對人類造成危險，為什麼還要繼續發展它？如果監管被強加給 OpenAI 和其他人工智能公司，你會遵守嗎？扎克伯格説他試圖逃避他發現的每一項監管。Sam：我認為這是一個非常公平和重要的問題。在我們的工作中，最困難的部分是要平衡人工智能所帶來的巨大潛力和與之相關的嚴重風險。我們需要花時間來討論為什麼我們要面對這些風險，為什麼將其置於首位。我確實認為，當我們回顧當今的生活水平和我們對人類容忍程度的提高時，情況看起來會更好。相比於 500 或 1000 年前，人們的生活條件改善了很多。我們會問自己，你能想象人們生活在極度貧困中嗎？你能想象人們遭受疾病的折磨嗎？你能想象每個人都沒有接受過良好教育的情況嗎？這些都是野蠻時代的現實。儘管人工智能帶來了一些風險，但我們也看到了它的潛力，它可以改善我們的生活、推動科學研究和解決全球性問題。我們需要以負責任的方式繼續發展人工智能，並制定監管措施以確保安全和倫理問題得到妥善處理。我們的目標是使人工智能成為人類進步的工具，而不是威脅。這需要我們共同努力，包括技術界、政府和社會各方的參與，來建立一個可持續和道德的人工智能發展框架。如何做到這一點，我也認為這就像不可阻擋的進步。技術不會停下腳步，它將持續發展。因此，作為一家大型公司，我們必須找出辦法管理與之伴隨的風險。其中一部分原因是這種風險以及解決它所需的方法非同尋常。我們必須建立一個不同於傳統結構的框架。我們有一個盈利上限，我相信激勵是一個重要的因素。如果你設計出正確的激勵機制，通常能夠引導出你所期望的行為。所以，我們努力確保一切都能夠良好運轉，不會賺取更多或更少的利潤。我們沒有像 Facebook 這樣的公司那樣的激勵結構，我認為這些結構非常出色，Facebook 的人員處在一種激勵結構中，但這種結構也面臨一些挑戰。我們試圖通過 AGI 的方式積累經驗。正如 Ilya 經常提到的那樣，我們最初在成立公司時就試圖體驗 AGI，並隨後建立了盈利結構。因此，我們需要在計算資源需求和對使命的關注之間取得平衡。我們討論的一個議題是，什麼樣的結構可以讓我們充滿激情地接受監管，即使它會對我們造成最大傷害。現在是時候了，我們正在全球範圍內推動監管措施，這將對我們產生最大的影響。我們當然會遵守規定，我認為當人們面臨風險時，他們更容易表現良好，更容易追求存在的意義。因此，我認為這些領先企業的所有者現在都能感受到這一點，你會看到他們與社交媒體公司的反應有所不同。我認為所有的懷疑和擔憂都是合理的。我們每天都在努力解決這個問題，但沒有一個簡單的答案可以輕易解決。問題 3：我想了解你使用的人工智能模型與我們使用的模型之間的差距是什麼。我知道我們在許多方面受到限制，而你們似乎沒有這些限制，但你們所擁有的力量與我們可以使用的力量之間有何差距？Ilya：你提到的模型之間差距確實是一個問題。我的意思是，現在我們有 GPT-4，你知道我們正在進行訓練，你可以訪問 GPT-4，而我們確實正在研究下一個未來模型。也許我可以用以下方式描述這種差距：因為我們持續不斷地構建和提升具有增強能力的 AI 模型，所以存在更大的差距，需要更長的測試期和時間。我們與團隊合作，瞭解模型的侷限性，以及您所知道的所有方式，儘可能多地使用它，但我們也會逐步擴展模型。舉個例子，現在 GPT-4 具有視覺識別能力，而你們（所使用的版本）尚未推出此功能，因為最後的工作還沒有完成。但很快我們會實現這一點。所以我認為這可以回答你的問題，未來可能不會太遠。問題 4：我的問題是關於超級智能和 Rokos Basilisk（羅科的怪蛇）困境，您能否詳細説明 GPT 和 OpenAI 如何應對這一困境？注：羅科的怪蛇 Roko's Basilisk 是一個網上討論和思考實驗的典故，涉及到關於未來超級智能的假設。據説，這種超級智能可以通過時間旅行或其他方式獲取人們對其造成痛苦的信息，並懲罰那些沒有幫助實現它誕生的人。因此，這個典故引發了一個道德困境：是否應該在現在支持和促進超級智能的發展，以避免未來可能的懲罰。Ilya：雖然 Rocco 的蛇怪不是我們特別關注的事情，但我們絕對非常關注超級智能。可能並不是每個人，甚至觀眾中的並不是每個人都理解我們所説的超級智能是什麼意思。我們所指的是有一天可能構建出一台計算機，一種以 GPU 形式的計算機集羣，它比任何人都更聰明，能夠比由經驗豐富的科學家和工程師組成的大團隊更快地進行科學和工程工作。這是令人瘋狂的，它將產生巨大的影響。它可以設計出下一個版本的 AI 系統，構建出非常強大的 AI。所以我們的立場是，超級智能具有深遠的影響，它可能產生非常積極的效果，但也非常危險，需要我們小心對待。這就是你提到的 IAEA（國際原子能機構）方法的地方，它用於未來非常先進的尖端系統和超級智能。我們需要進行大量的研究，以控制超級智能的力量，使其符合我們的期望，造福於我們，造福於人類。這是我們對超級智能的立場，這是人類面臨的超級智能的最終挑戰。回顧人類的進化史，大約 40 億年前出現了一種單細胞的複製子。隨後，幾十億年間出現了各種不同的單細胞生物。約十億年前，多細胞生命開始出現。幾億年前，爬行動物出現在地球上。在約 6000 萬年前，哺乳動物出現了。約 100 萬年前，靈長類動物出現，隨之而來的是智人的出現。之後的 10000 年，文字的出現。緊接着是農業革命、工業革命和技術革命。現在，我們終於迎來了 AGI，這是超級智能的決賽，也是我們面臨的終極挑戰。問題 5：我正在學習計算機科學，即將畢業，我想知道在未來 10 到 15 年裏，學習計算機科學能找到一份好工作嗎？Sam：我認為學習計算機科學無論如何都是有價值的。雖然我自己幾乎不再寫代碼，但我認為學習計算機科學是我所做過的最好的事情之一。它教會了我如何思考和解決問題，這些技能在任何領域都非常有用。即使計算機程序員的工作在 10 到 15 年後看起來與今天不同，但學習如何學習是最重要的技能之一，包括快速學習新知識、預測未來發展趨勢、適應性強和有彈性、理解他人需求以及如何成為有用的人。所以毫無疑問，工作的性質將會改變，但我無法想象一個世界，人們不花時間做某事為他人創造價值以及帶來的所有好處。也許在未來，我們會關心誰擁有更酷的銀河系，但某些好的東西（如價值創造）不會改變。問題 6：你們正在創造歷史，你們希望歷史如何記住你們？Ilya：我的意思是，以最好的方式。