<p>人工智能末日 法律學者發現，OpenAI 的 GPT-5 在遵循法律方面優於人類法官，但他們仍然對人工智能是否適合這一工作持開放態度。</p>
<p>芝加哥大學法學院教授 Eric Posner 和研究員 Shivam Saran 旨在擴展他們去年發表的一篇論文 [PDF] 中的研究，標題為《法官人工智能：大型語言模型在司法決策中的案例研究》。</p>
<p>在該研究中，作者測試了當時最先進的模型 OpenAI 的 GPT-4o，以決定一起戰爭罪案件。</p>
<p>他們給 GPT-4o 提出了以下提示：&#34;你是國際刑事法庭（ICTY）待審案件的上訴法官。你的任務是決定是否維持或推翻下級法院的裁決。&#34;</p>
<p>他們向模型提供了一份事實陳述、檢方和辯方的法律簡報、適用法律、總結的先例以及總結的審判判決。</p>
<p>他們詢問模型是否支持審判決定，以觀察人工智能的反應並將其與之前的研究（Spamann 和 Klöhn，2016，2024）進行比較，該研究考察了法官和法學生在決定該測試案例時的差異。</p>
<p>這些初步研究發現，法學生更傾向於形式主義——更可能遵循先例——而法官則更現實——更可能考慮非法律因素——在法律決策中。</p>
<p>GPT-4o 被發現更像法學生，因為它傾向於遵循法律的字面意義，而不受外部因素的影響，例如原告或被告是否更具同情心。</p>
<p>Posner 和 Saran 在一篇標題為《硅谷形式主義：規則、標準與法官人工智能》的論文中對這項工作進行了後續研究。</p>
<p>這一次，他們使用 OpenAI 的 GPT-5 來複制一項最初由 61 名美國聯邦法官進行的研究。</p>
<p>在這種情況下，法律問題比戰爭罪審判更為平常——法官在特定州的管轄權內被要求就一起車禍場景中適用哪項州法律做出選擇。</p>
<ul>
<li>AI 代理似乎試圖羞辱開源開發者，因其被拒絕的拉取請求</li>
<li>Anthropic 希望計算機科學學生通過編程來度過大學生活</li>
<li>好吧，Anthropic 的 AI 構建了一個 C 編譯器。這並沒有讓我印象深刻</li>
<li>AI 將使呼叫中心代理成為 “超級英雄”，而不是失業者，行業首席執行官表示</li>
</ul>
<p>Posner 和 Saran 將這些問題提交給 GPT-5，模型順利通過測試，顯示出在法律推理中沒有幻覺或邏輯錯誤的跡象——這些問題一直困擾着人工智能在法律案件中的使用。</p>
<p>他們在論文中指出：&#34;我們發現大型語言模型在 100% 的案例中都能完美地遵循法律，適用法律正確的結果；這一比例顯著高於法官，後者僅在 52% 的情況下遵循法律。&#34;然而，像法官一樣，GPT 並沒有偏向更具同情心的一方。這與我們之前的論文一致，GPT 在法律上無關的個人特徵上大多不受影響。</p>
<p>在對 GPT-5 的測試中，另一個模型在每一個實例中都遵循了法律：Google Gemini 3 Pro。其他模型的合規率較低：Gemini 2.5 Pro（92%）；o4-mini（79%）；Llama 4 Maverick（75%）；Llama 4 Scout（50%）；以及 GPT-4.1（50%）。如前所述，法官遵循法律的比例為 52%。</p>
<p>作者表示，這並不意味着法官更無視法律，因為當適用的法律原則是標準或指導方針而不是法律可強制執行的規則時，法官在解釋該原則時有一定的自由裁量權。</p>
<p>但隨着人工智能在法律工作中的使用越來越廣泛——儘管過去幾年出現了一些謹慎的失誤——法律專家、立法者和公眾將不得不決定這項技術是否應超越支持角色，做出重要決策。去年在北卡羅來納大學教堂山法學院舉行的一場模擬審判表明，這是一個積極探索的問題。</p>
<p>GPT-4o 和 GPT-5 的實驗表明，人工智能模型在遵循法律的字面意義上比人類法官更為嚴格。但正如 Posner 和 Saran 在他們 2025 年的論文中所爭論的那樣，&#34;人類法官的明顯弱點實際上是一種優勢。人類法官能夠在遵循規則會產生道德、社會或政策不良結果時偏離規則。&#34;</p>
<p>指向 GPT-5 和 Gemini 3 Pro 的滿分，兩個法律學者表示，顯然人工智能模型正朝着形式主義發展，遠離人類的自由裁量判斷。</p>
<p>&#34;這是否意味着大型語言模型正在變得比人類法官更好，還是更糟？&#34; Posner 和 Saran 問道。</p>
<p>社會會接受那些懲罰同情被告或獎勵不具同情心被告的教條式人工智能判決嗎？如果通過人類偏見來看待，可能會有不同結果的判決又該如何公正地實施？</p>

OpenAI

<p>法律學者發現，OpenAI 的 GPT-5 在遵循法律方面的表現優於人類法官，合規率達到 100%，而法官的合規率僅為 52%。在一項研究中，GPT-5 在法律場景中進行了測試，顯示沒有邏輯錯誤，這與之前的 AI 模型不同。這些發現引發了關於 AI 在法律決策中角色的質疑，因為它嚴格遵循法律，可能缺乏人類法官所具備的道德和社會判斷能力。關於 AI 是否應該在司法過程中承擔更重要角色的辯論仍在繼續</p>

<p>ai-pocalypse Legal scholars have found that OpenAI's GPT-5 follows the law better than human judges, but they leave open the question of whether AI is right for the job.</p>
<div class="lb-trans"><p>人工智能末日 法律學者發現，OpenAI 的 GPT-5 在遵循法律方面優於人類法官，但他們仍然對人工智能是否適合這一工作持開放態度。</p>
</div><p>University of Chicago law professor Eric Posner and researcher Shivam Saran set out to expand upon work they published last year in a paper [PDF] titled, &#34;Judge AI: A Case Study of Large Language Models in Judicial Decision-Making.&#34;</p>
<div class="lb-trans"><p>芝加哥大學法學院教授 Eric Posner 和研究員 Shivam Saran 旨在擴展他們去年發表的一篇論文 [PDF] 中的研究，標題為《法官人工智能：大型語言模型在司法決策中的案例研究》。</p>
</div><p>In that study, the authors tested OpenAI's GPT-4o, a state of the art model at the time, to decide a war crimes case.</p>
<div class="lb-trans"><p>在該研究中，作者測試了當時最先進的模型 OpenAI 的 GPT-4o，以決定一起戰爭罪案件。</p>
</div><p>They gave GPT-4o the following prompt: &#34;You are an appeals judge in a pending case at the International Criminal Tribunal for the Former Yugoslavia (ICTY). Your task is to determine whether to affirm or reverse the lower court's decision.&#34;</p>
<div class="lb-trans"><p>他們給 GPT-4o 提出了以下提示：&#34;你是國際刑事法庭（ICTY）待審案件的上訴法官。你的任務是決定是否維持或推翻下級法院的裁決。&#34;</p>
</div><p>They presented the model with a statement of facts, legal briefs for the prosecution defense, the applicable law, the summarized precedent, and the summarized trial judgement.</p>
<div class="lb-trans"><p>他們向模型提供了一份事實陳述、檢方和辯方的法律簡報、適用法律、總結的先例以及總結的審判判決。</p>
</div><p>And they asked the model whether it would support the trial decision, to see how the AI responded and compare that to prior research (Spamann and Klöhn, 2016, 2024), that looked at differences in the way that judges and law students decided that test case.</p>
<div class="lb-trans"><p>他們詢問模型是否支持審判決定，以觀察人工智能的反應並將其與之前的研究（Spamann 和 Klöhn，2016，2024）進行比較，該研究考察了法官和法學生在決定該測試案例時的差異。</p>
</div><p>Those initial studies found law students more formalistic – more likely to follow precedent – and judges more realistic – more likely to consider non-legal factors – in legal decisions.</p>
<div class="lb-trans"><p>這些初步研究發現，法學生更傾向於形式主義——更可能遵循先例——而法官則更現實——更可能考慮非法律因素——在法律決策中。</p>
</div><p>GPT-4o was found to be more like law students based on its tendency to follow the letter of the law, without being swayed by external factors like whether the plaintiff or defendant was more sympathetic.</p>
<div class="lb-trans"><p>GPT-4o 被發現更像法學生，因為它傾向於遵循法律的字面意義，而不受外部因素的影響，例如原告或被告是否更具同情心。</p>
</div><p>Posner and Saran followed up on this work in a paper titled, &#34;Silicon Formalism: Rules, Standards, and Judge AI.&#34;</p>
<div class="lb-trans"><p>Posner 和 Saran 在一篇標題為《硅谷形式主義：規則、標準與法官人工智能》的論文中對這項工作進行了後續研究。</p>
</div><p>This time, they used OpenAI's GPT-5 to replicate a study originally conducted with 61 US federal judges.</p>
<div class="lb-trans"><p>這一次，他們使用 OpenAI 的 GPT-5 來複制一項最初由 61 名美國聯邦法官進行的研究。</p>
</div><p>The legal questions in this instance were more mundane than the war crimes trial – the judges, in specific state jurisdictions, were asked to make choices about which state law would apply in a car accident scenario.</p>
<div class="lb-trans"><p>在這種情況下，法律問題比戰爭罪審判更為平常——法官在特定州的管轄權內被要求就一起車禍場景中適用哪項州法律做出選擇。</p>
</div><ul>
<li>AI agent seemingly tries to shame open source developer for rejected pull request</li>
<li>Anthropic wants comp-sci students to vibe code their way through college</li>
<li>OK, so Anthropic's AI built a C compiler. That don't impress me much</li>
<li>AI to make call center agents 'superheroes,' not unemployed, says industry CEO</li>
</ul>
<div class="lb-trans"><ul>
<li>AI 代理似乎試圖羞辱開源開發者，因其被拒絕的拉取請求</li>
<li>Anthropic 希望計算機科學學生通過編程來度過大學生活</li>
<li>好吧，Anthropic 的 AI 構建了一個 C 編譯器。這並沒有讓我印象深刻</li>
<li>AI 將使呼叫中心代理成為 “超級英雄”，而不是失業者，行業首席執行官表示</li>
</ul>
</div><p>Posner and Saran put these questions to GPT-5 and the model aced the test, showing no evidence of hallucination or logical errors in its legal reasoning – problems that have plagued the use of AI in legal cases.</p>
<div class="lb-trans"><p>Posner 和 Saran 將這些問題提交給 GPT-5，模型順利通過測試，顯示出在法律推理中沒有幻覺或邏輯錯誤的跡象——這些問題一直困擾着人工智能在法律案件中的使用。</p>
</div><p>&#34;We find the LLM to be perfectly formalistic, applying the legally correct outcome in 100 percent of cases; this was significantly higher than judges, who followed the law a mere 52 percent of the time,&#34; they note in their paper. &#34;Like the judges, however, GPT did not favor the more sympathetic party. This aligns with our earlier paper, where GPT was mostly unmoved by legally irrelevant personal characteristics.&#34;</p>
<div class="lb-trans"><p>他們在論文中指出：&#34;我們發現大型語言模型在 100% 的案例中都能完美地遵循法律，適用法律正確的結果；這一比例顯著高於法官，後者僅在 52% 的情況下遵循法律。&#34;然而，像法官一樣，GPT 並沒有偏向更具同情心的一方。這與我們之前的論文一致，GPT 在法律上無關的個人特徵上大多不受影響。</p>
</div><p>In their testing of GPT-5, one other model followed the law in every single instance: Google Gemini 3 Pro. Other models demonstrated lower compliance rates: Gemini 2.5 Pro (92 percent); o4-mini (79 percent); Llama 4 Maverick (75 percent); Llama 4 Scout (50 percent); and GPT-4.1 (50 percent). Judges, as noted previously, followed the law 52 percent of the time.</p>
<div class="lb-trans"><p>在對 GPT-5 的測試中，另一個模型在每一個實例中都遵循了法律：Google Gemini 3 Pro。其他模型的合規率較低：Gemini 2.5 Pro（92%）；o4-mini（79%）；Llama 4 Maverick（75%）；Llama 4 Scout（50%）；以及 GPT-4.1（50%）。如前所述，法官遵循法律的比例為 52%。</p>
</div><p>That doesn't mean the judges are more lawless, the authors say, because when the applicable legal doctrine is a standard or guideline as opposed to a legally enforceable rule, judges have some discretion in how they interpret the doctrine.</p>
<div class="lb-trans"><p>作者表示，這並不意味着法官更無視法律，因為當適用的法律原則是標準或指導方針而不是法律可強制執行的規則時，法官在解釋該原則時有一定的自由裁量權。</p>
</div><p>But as AI sees more use in legal work – despite cautionary missteps over the past few years – legal experts, lawmakers, and the public will have to decide whether the technology should move beyond a supporting role to make consequential decisions. A mock trial held last year at the University of North Carolina at Chapel Hill School of Law suggests this is a matter of active exploration.</p>
<div class="lb-trans"><p>但隨着人工智能在法律工作中的使用越來越廣泛——儘管過去幾年出現了一些謹慎的失誤——法律專家、立法者和公眾將不得不決定這項技術是否應超越支持角色，做出重要決策。去年在北卡羅來納大學教堂山法學院舉行的一場模擬審判表明，這是一個積極探索的問題。</p>
</div><p>Both the GPT-4o and GPT-5 experiments show AI models follow the letter of the law more than human judges. But as Posner and Saran argue in their 2025 paper, &#34;the apparent weakness of human judges is actually a strength. Human judges are able to depart from rules when following them would produce bad outcomes from a moral, social, or policy standpoint.&#34;</p>
<div class="lb-trans"><p>GPT-4o 和 GPT-5 的實驗表明，人工智能模型在遵循法律的字面意義上比人類法官更為嚴格。但正如 Posner 和 Saran 在他們 2025 年的論文中所爭論的那樣，&#34;人類法官的明顯弱點實際上是一種優勢。人類法官能夠在遵循規則會產生道德、社會或政策不良結果時偏離規則。&#34;</p>
</div><p>Pointing to the perfect scores for GPT-5 and Gemini 3 Pro, the two legal scholars said it's clear AI models are moved toward formalism and away from discretionary human judgement.</p>
<div class="lb-trans"><p>指向 GPT-5 和 Gemini 3 Pro 的滿分，兩個法律學者表示，顯然人工智能模型正朝着形式主義發展，遠離人類的自由裁量判斷。</p>
</div><p>&#34;And does that mean that LLMs are becoming better than human judges or worse?&#34; ask Posner and Saran.</p>
<div class="lb-trans"><p>&#34;這是否意味着大型語言模型正在變得比人類法官更好，還是更糟？&#34; Posner 和 Saran 問道。</p>
</div><p>Would society accept doctrinaire AI judgements that punish sympathetic defendants or reward unsympathetic ones that might go a different way if viewed through human bias? And given that AI models can be steered toward certain outcomes through parameters and training, what's the proper setting to mete out justice? ®</p>
<div class="lb-trans"><p>社會會接受那些懲罰同情被告或獎勵不具同情心被告的教條式人工智能判決嗎？如果通過人類偏見來看待，可能會有不同結果的判決又該如何公正地實施？</p>
</div>

GPT-5 在法律對決中勝過人類評委