<p>諾姆·布朗（Noam Brown），OpenAI 的 AI 推理研究負責人表示，如果研究人員 “知道 [正確的] 方法” 和算法，像 OpenAI 的 o1 這樣的 “推理” AI 模型可能在 20 年前就能問世。</p>
<p>布朗在週三於聖荷西舉行的英偉達 GTC 大會的一個小組討論中表示：“有各種原因導致這個研究方向被忽視。我在研究過程中注意到，好的，缺少了一些東西。人類在困難情況下采取行動之前會花費大量時間思考。也許這在 AI 中會非常有用。”</p>
<p>布朗是 o1 的主要設計者之一，該 AI 模型採用了一種稱為測試時推理（test-time inference）的技術，在回應查詢之前進行 “思考”。測試時推理涉及對運行模型進行額外計算，以推動一種 “推理” 形式。一般來説，所謂的推理模型在準確性和可靠性上優於傳統模型，特別是在數學和科學等領域。</p>
<p>然而，布朗強調，預訓練——在越來越大的數據集上訓練越來越大的模型——並不是完全 “死了”。包括 OpenAI 在內的 AI 實驗室曾經將大部分精力投入到擴大預訓練上。現在，他們根據布朗的説法，在預訓練和測試時推理之間分配時間，這兩種方法被布朗描述為互補的。</p>
<p>在小組討論中，有人問布朗，考慮到學術機構普遍缺乏計算資源，學術界是否有希望進行與 OpenAI 等 AI 實驗室規模相當的實驗。他承認，隨着模型變得越來越計算密集，近年來這變得更加困難，但學術界可以通過探索需要較少計算的領域（如模型架構設計）來產生影響。</p>
<p>布朗表示：“[這] 是前沿實驗室 [與學術界] 之間合作的機會。毫無疑問，前沿實驗室正在關注學術出版物，並仔細思考，好的，這是否提出了一個有説服力的論點，如果進一步擴大，這將非常有效。如果論文中有這樣的有説服力的論點，你知道，我們會在這些實驗室中進行調查。”</p>
<p>布朗的評論正值特朗普政府對科學撥款進行大幅削減之際。包括諾貝爾獎得主傑弗裏·辛頓（Geoffrey Hinton）在內的 AI 專家批評這些削減，稱這可能威脅到國內外的 AI 研究工作。</p>
<p>布朗指出，AI 基準測試是學術界可以產生重大影響的一個領域。他説：“AI 基準的現狀真的很糟糕，而這並不需要大量計算。”</p>
<p>正如我們之前所寫，今天流行的 AI 基準往往測試一些深奧的知識，並且給出的分數與大多數人關心的任務的熟練程度相關性較差。這導致了對模型能力和改進的廣泛混淆。</p>

OpenAI

<p>諾姆·布朗（Noam Brown），OpenAI 的研究負責人，表示如果採用正確的方法，人工智能推理模型可能在 20 年前就已經出現。他強調了推理在人工智能中的重要性，特別是在具有挑戰性的情況下。布朗討論了預訓練和測試時推理在人工智能發展中的互補性。他還強調了學術界與人工智能實驗室之間合作的潛力，特別是在人工智能基準測試等領域，他認為這可以顯著改善當前人工智能評估的狀態</p>

<p>Noam Brown, who leads AI reasoning research at OpenAI, says “reasoning” AI models like OpenAI’s o1 could’ve arrived 20 years earlier had researchers “known [the right] approach” and algorithms.</p>
<div class="lb-trans"><p>諾姆·布朗（Noam Brown），OpenAI 的 AI 推理研究負責人表示，如果研究人員 “知道 [正確的] 方法” 和算法，像 OpenAI 的 o1 這樣的 “推理” AI 模型可能在 20 年前就能問世。</p>
</div><p>“There were various reasons why this research direction was neglected,” Brown said during a panel at Nvidia’s GTC conference in San Jose on Wednesday. “I noticed over the course of my research that, OK, there’s something missing. Humans spend a lot of time thinking before they act in a tough situation. Maybe this would be very useful [in AI].”</p>
<div class="lb-trans"><p>布朗在週三於聖荷西舉行的英偉達 GTC 大會的一個小組討論中表示：“有各種原因導致這個研究方向被忽視。我在研究過程中注意到，好的，缺少了一些東西。人類在困難情況下采取行動之前會花費大量時間思考。也許這在 AI 中會非常有用。”</p>
</div><p>Brown is one of the principal architects behind o1, an AI model that employs a technique called test-time inference to “think” before it responds to queries. Test-time inference entails applying additional computing to running models to drive a form of “reasoning.” In general, so-called reasoning models are more accurate and reliable than traditional models, particularly in domains like mathematics and science.</p>
<div class="lb-trans"><p>布朗是 o1 的主要設計者之一，該 AI 模型採用了一種稱為測試時推理（test-time inference）的技術，在回應查詢之前進行 “思考”。測試時推理涉及對運行模型進行額外計算，以推動一種 “推理” 形式。一般來説，所謂的推理模型在準確性和可靠性上優於傳統模型，特別是在數學和科學等領域。</p>
</div><p>Brown stressed, however, that pre-training — training ever-larger models on ever-larger datasets — isn’t exactly “dead.” AI labs including OpenAI once invested most of their efforts in scaling up pre-training. Now, they’re splitting time between pre-training and test-time inference, according to Brown — approaches that Brown described as complementary.</p>
<div class="lb-trans"><p>然而，布朗強調，預訓練——在越來越大的數據集上訓練越來越大的模型——並不是完全 “死了”。包括 OpenAI 在內的 AI 實驗室曾經將大部分精力投入到擴大預訓練上。現在，他們根據布朗的説法，在預訓練和測試時推理之間分配時間，這兩種方法被布朗描述為互補的。</p>
</div><p>Brown was asked during the panel whether academia could ever hope to perform experiments on the scale of AI labs like OpenAI, given institutions’ general lack of access to computing resources. He admitted that it’s become tougher in recent years as models have become more computing-intensive, but that academics can make an impact by exploring areas that require less computing, like model architecture design.</p>
<div class="lb-trans"><p>在小組討論中，有人問布朗，考慮到學術機構普遍缺乏計算資源，學術界是否有希望進行與 OpenAI 等 AI 實驗室規模相當的實驗。他承認，隨着模型變得越來越計算密集，近年來這變得更加困難，但學術界可以通過探索需要較少計算的領域（如模型架構設計）來產生影響。</p>
</div><p>“[T] here is an opportunity for collaboration between the frontier labs [and academia],” Brown said. “Certainly, the frontier labs are looking at academic publications and thinking carefully about, OK, does this make a compelling argument that, if this were scaled up further, it would be very effective. If there is that compelling argument from the paper, you know, we will investigate that in these labs.”</p>
<div class="lb-trans"><p>布朗表示：“[這] 是前沿實驗室 [與學術界] 之間合作的機會。毫無疑問，前沿實驗室正在關注學術出版物，並仔細思考，好的，這是否提出了一個有説服力的論點，如果進一步擴大，這將非常有效。如果論文中有這樣的有説服力的論點，你知道，我們會在這些實驗室中進行調查。”</p>
</div><p>Brown’s comments come at a time when the Trump administration is making deep cuts to scientific grant-making. AI experts including Nobel Laureate Geoffrey Hinton have criticized these cuts, saying that they may threaten AI research efforts both domestic and abroad.</p>
<div class="lb-trans"><p>布朗的評論正值特朗普政府對科學撥款進行大幅削減之際。包括諾貝爾獎得主傑弗裏·辛頓（Geoffrey Hinton）在內的 AI 專家批評這些削減，稱這可能威脅到國內外的 AI 研究工作。</p>
</div><p>Brown called out AI benchmarking as an area where academia could make a significant impact. “The state of benchmarks in AI is really bad, and that doesn’t require a lot of compute to do,” he said.</p>
<div class="lb-trans"><p>布朗指出，AI 基準測試是學術界可以產生重大影響的一個領域。他説：“AI 基準的現狀真的很糟糕，而這並不需要大量計算。”</p>
</div><p>As we’ve written about before, popular AI benchmarks today tend to test for esoteric knowledge, and give scores that correlate poorly to proficiency on tasks that most people care about. That’s led to widespread confusion about models’ capabilities and improvements.</p>
<div class="lb-trans"><p>正如我們之前所寫，今天流行的 AI 基準往往測試一些深奧的知識，並且給出的分數與大多數人關心的任務的熟練程度相關性較差。這導致了對模型能力和改進的廣泛混淆。</p>
</div>

OpenAI 研究負責人 Noam Brown 認為 AI‘推理’ 模型本可以在幾十年前就問世