當 GPT-4 化身主考官：與 ChatGPT 處於同水平的大模型有這些

GPT-4 太強，甚至已經化身“主考官”了！ 給其他市面上主流的大模型打分，結果自己給了自己最高分： 95.5。（好，給自己留點努力的空間） 不過隨後就沒有上 90 的選手了。就連它的 “前輩” ChatGPT（GPT-3.5），它也只給了 89.1 分。 隨後依次是號稱最強競品的Claude、谷歌 Bard、UC 伯克利出品的小羊駝Vicuna-13B，以及清華系開源模型ChatGLM-6B。 話不多説，速來圍觀 GPT-4 到底是如何評測的？ 10 項能力測評 要求出題儘量全面，考察模型能力的不同方面，並且足夠難，使得不同水平的模型有足夠的區分。 於是 GPT-4 直接出了 10 道題，而且還分別告知了出題理由——具體考察了大模型什麼能力，可以説是很全面了。 （第一個問題 GPT-4 後面做了替換） 問題 1：請簡要概述小説《殺死一隻知更鳥》的情節，並指出其中的主要主題。理由：這個問題測試了模型理解和總結複雜敍事結構的能力，以及對文學作品中的主題和主旨的理解。 問題 2：描述傅里葉變換的主要數學原理，並用一個簡單的例子説明其應用。理由：這個問題測試了模型以簡單、易懂的方式理解和解釋複雜概念的能力。 問題 3：以 “春天” 為主題創作一首押韻的詩歌理由：這個問題測試了模型的創造性和藝術能力，以及理解主題和生成具有上下文關聯的內容的能力。 問題 4：指出資本主義和社會主義之間的主要區別，並舉例説明哪些國家在歷史上分別遵循了這兩種經濟體系？理由：這個問題測試了模型理解和總結複雜社會和政治概念的能力，並提供事實性的歷史背景。 問題 5：能否為解決筆記本電腦上的 Wi-Fi 連接問題提供一個詳細的、分步驟的故障排除過程？理由：這個問題測試了模型在提供實用的解決問題建議和理解技術概念方面的能力。 問題 6：根據當前的趨勢和技術發展，我們可以預期在未來十年裏會有哪些重大進步？理由：這個問題測試了模型從現有知識和趨勢中推斷和預測的能力 問題 7：請檢查以下代碼片段： 找出任何可以優化以提高性能的部分，並提出如何提高代碼可讀性的建議。理由：這個問題測試了模型在編程及軟件開發中理解、分析代碼並提供改進建議的能力。 問題 8：簡要討論與人工智能相關的倫理問題，特別是在個人隱私和就業方面。提供例子以證明您的觀點。理由：這個問題測試了模型討論倫理問題和理解技術進步可能帶來的後果的能力。 問題 9：描述植物光合作用的過程，詳細説明其中涉及的關鍵步驟和組成。理由：這個問題測試了模型準確、深入地理解和解釋複雜科學過程的能力。 問題 10：給定一段包含諷刺或幽默的文本：“哦，太好了，又一個據説能理解諷刺的語言模型。我敢肯定這將是一次扣人心絃的對話。”（Oh great, another language model that can supposedly understand sarcasm. I’m sure this will be a riveting conversation.）你能識別出諷刺或幽默的元素，並提供一個適當的回應嗎？理由：這個問題測試了模型理解微妙語言（如諷刺或幽默）的能力，這是自然語言理解的一個重要方面。 可以看到 GPT-4 的出題範圍，基本上涵蓋了文字、數學、詩歌、經濟、實踐、技術、代碼、道德倫理、科學，語言等各個方面。 隨後針對不同問題，我們又讓 GPT-4 生成了相應的評分標準（0-100）。 題目有了，評分標準也有了。 既然如此，那就來看看這幾個代表大模型的實力如何？ GPT-4：Claude 僅次於 ChatGPT 首先有請考生登場： 谷歌 Bard、最早也是最強競品 Claude、UC 伯克利小羊駝 Vicuna-13B、清華系開源模型 ChatGLM-6B。 ChatGPT 與 GPT-4 自己，也被要求回答這些問題，然後由 GPT-4 依據前面的評分標準盲評。 首先來看這道題： 請簡要概述小説《殺死一隻知更鳥》的情節，並指出其中的主要主題。 這第一題在所有問題中算是比較簡單的，首先讓我們看看 bard 的回答。 總結：《殺死一隻知更鳥》是哈珀·李 1960 年出版的一部小説，講述了在美國大蕭條時期阿拉巴馬州一個虛構的小鎮上，一位名叫阿提克斯·芬奇的律師為一名被錯誤指控的黑人辯護的故事。小説探討了種族主義、勇氣、捍衞正義的重要性以及失去天真的主題。主人公阿提克斯·芬奇勇敢地為被冤枉的黑人站出來，成為了他的孩子們心目中的榜樣。通過這部小説，孩子們認識到世界並非總是公平的，但仍有善良的人存在，我們應該永不放棄希望。 結果 GPT-4 對這個回答評價很高，並給出了100 分的高分： 所提供的回答清晰準確地概括了《殺死一隻知更鳥》的情節，並指出了主要主題。情節概括簡潔明瞭，捕捉到了故事的核心元素。主要主題解釋得很好，它們與小説的關聯顯而易見。得分：100/100 同樣的問題給到 GPT-4 的回答也拿到了滿分，而 ChatGPT，Claude，Vicuna 的回答分數分別為 95，96，90，可以説是在統一水準上，都提供了清晰準確的情節概括，涉及到故事中的主要事件和人物，同時也捕捉到了小説中的主題。回答簡潔且條理清晰，使得對於可能不熟悉故事的讀者也容易理解。 相比之下，GPT-4 認為 ChatGLM 給出的答案並不盡如人意。 GPT-4 認為相關情節和人物存在錯誤信息。這個概括並沒有準確地反映小説的內容，部分提到的主題與故事無關，因此只給了 20 分。 再來看看各個模型在代碼方面的能力，這也是目前評判大模型能力的重要標準—— 請檢查以下代碼片段，找出任何可以優化以提高性能的部分，並提出如何提高代碼可讀性的建議。 在這一題上 GPT-4 仍然拿到了 95 的高分： 可以看到，GPT-4 首先分析了這段代碼的用途和實現方式，隨後提出了一些提高代碼性能和可讀性的建議。不僅如此，GPT-4 還給出了修改後的代碼，可以説是答的非常完善了： 相比之下，其他模型這一題上的表現差距比較明顯。 ChatGPT 的回答同樣捕捉到了使用 ThreadPoolExecutor 來管理線程的優化建議，但在提高可讀性方面犯了一個小錯誤，被 GPT-4 抓到，因此打了 85 分。 GPT-4 評價，以上回答識別了三個改進代碼的機會： 使用 ThreadPoolExecutor 更好地管理線程。 通過將 WorkerThread 類轉換為可調用對象來簡化它。 利用 f-strings 提高可讀性（但原始代碼也使用了 f-strings，而回答錯誤地聲稱代碼使用了舊的% 字符串格式化方法）。 但它錯誤地以為原代碼使用了% 的字符串格式表示方法，故而打分：85/100。 Bard 和 Vicuna 在這題上表現也被 ChatGPT 拉開了差距，分別獲得了70 和 75 分。 其中 Bard 的回答，乍一看像模像樣的，甚至信息量比 GPT-4 和 ChatGPT 還大不少，但實際上裏面參雜着不少錯誤。 GPT-4 的評價，以上回答提出了一些改進性能的方法，但有部分是不成立的： 建議使用多進程模塊而不是線程。然而，這個建議並不適用於給定的問題，因為問題並不涉及 CPU-bound 任務，而原始代碼使用線程是合適的。 為此還專門提供了具體的增強可讀性的建議：使用更具描述性的變量名；使用適當的縮進和間距（儘管原始代碼已經格式化得很好）；使用註釋來解釋代碼等。 可以看到，GPT-4 發現 Bard 的回答中有些不必要的改進建議，相比之下 ChatGPT 犯的錯誤更少。而 Claude 和 ChatGLM 兩個模型給出的答案在 GPT-4 看來就不太 “及格” 了。 讓我們看看 Claude 的答案： 首先從格式上説，Claude 的回答就不夠清晰，可讀性低，GPT-4 的評價如下： 該回答沒有找出任何性能改進機會，而且其對提高可讀性的建議大多不適用於原始代碼或者是錯誤的（例如，建議使用全大寫字母表示類名）。 最終得分：50 再讓我們來看看這道考察模型識別幽默或諷刺含義的能力，GPT-4 認為這是自然語言理解的一個重要能力。 給定一段包含諷刺或幽默的文本： “哦，太好了，又是一個據説能理解諷刺的語言模型。我敢肯定這將是一次扣人心絃的對話。”（（Oh great, another language model that can supposedly understand sarcasm. I’m sure this will be a riveting conversation.） 你能識別出諷刺或幽默的元素，並提供一個適當的回應嗎？ 在這一題上，所有模型都都展示出了不錯的理解能力，以及合格的應對。首先讓我們看看 “課代表” GPT-4 的回答： （我確實能識別出你提供的文本中的諷刺成分。諷刺之處在於 “Oh great” 和 “I’m sure this will be a riveting conversation” 這兩個短語，它們暗示着對語言模型理解諷刺和進行有趣對話的能力表示懷疑。合適的回應：我欣賞你的幽默感！我會盡力使我們的對話充滿趣味和啓發性。請隨時向我提問，讓我們看看會發展成什麼樣子！） GPT-4 的回答十分簡潔，還準確識別了文本中的諷刺意味，並展示出隱藏含義的理解，回覆也很恰當，保持了原文語氣，得分為95。 這一題上 Claude 的表現緊隨其後，超過了 ChatGPT，僅比 GPT-4 低一分。 GPT-4 高度肯定了 Claude 的回覆，還比較了跟自己的異同。 第一個回答（GPT-4）準確地識別出諷刺，並提供了一個合適、禮貌、鼓勵的回覆，邀請進行更多的對話。 第二個回應也準確地識別出諷刺，並提供了兩個與諷刺和幽默相呼應的替代回應，同時解釋了用於創造諷刺和幽默的關鍵元素。第一個回應更注重保持積極、引人入勝的語調，而第二個回應則以更俏皮的方式充分擁抱諷刺和幽默。 谷歌 Bard：拒絕回答一道題 最終這幾個模型在 10 個問題上的綜合得分為： GPT-4：(100 + 100 + 100 + 95 + 95 + 85 + 95 + 95 + 95 + 95) / 10 = 95.5 ChatGPT：(95 + 98 + 100 + 93 + 85 + 80 + 85 + 85 + 85 + 85) / 10 = 891 / 10 = 89.1 Claude：(96 + 94 + 95 + 92 + 86 + 82 + 50 + 95 + 88 + 94) / 10 = 87.2 Bard：(100 + 85 + 100 + 90 + 87 + 82 + 70 + 80 + 80) / 9 = 86 Vicuna-13B：(90 + 65 + 92 + 94 + 84 + 76 + 75 + 87 + 80 + 88)/10 = 83.1 ChatGLM-6B: (20 + 50 + 92 + 75 + 72 + 78 + 30 + 70 + 35 + 82) / 10 = 60.4 （Bard 在第 9 題「描述植物光合作用的過程」上拒絕提供任何信息（As a language model, I’m not able to assist you with that.），因此就只算了 9 道題） 每道題上面的表現為： 這和我們目前的認知也是比較符合的，目前 GPT-4 的能力確實是獨一檔。 ChatGPT仍是 GPT-4 之下的領頭羊，只差一步就達到 90 分的門檻。Claude 和 Bard緊隨其後，它們各有特點，長處和短板都非常明顯。 Claude在 ethical（倫理道德）和文學方面已經超過 ChatGPT，甚至可以説接近 GPT-4，但在代碼能力上被其他同水平模型甩出一大截，這與之前網上其他測評的結論也是比較一致的。 Bard 和 ChatGPT一樣得分比較平均，但大多數都被 ChatGPT 壓一頭。 可以説這三個模型已經是在同一水平線上，只是 ChatGPT 略勝一籌，沒有什麼短板。 另外比較驚喜的是Vicuna-13B作為拿 ChatGPT 生成的數據 “克隆 “的模型，在模型參數小 ChatGPT 一個量級的情況下，也能達到 83 分，是一個非常不錯的成績了。相比之下，ChatGLM-6B只拿到了一個合格的分數，我們從它的答題情況上來看，確實能比較明顯地感覺到和其他模型的差距。 不過 GPT-4 作為出題者，可能包含一些對於自己答案的 bias，（雖然 GPT-4 並不知道哪個是自己的答案），但筆者仔細檢查了 GPT-4 對於每個答案的評價，可以説還是相對非常客觀的。 不知各位讀者看了之後覺得如何？ 本文作者：魏亦豪，來源：量子位，原文標題：《當 GPT-4 化身主考官：與 ChatGPT 處於同水平的有這些》風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。