<p>人工智能末日 法律学者发现，OpenAI 的 GPT-5 在遵循法律方面优于人类法官，但他们仍然对人工智能是否适合这一工作持开放态度。</p>
<p>芝加哥大学法学院教授 Eric Posner 和研究员 Shivam Saran 旨在扩展他们去年发表的一篇论文 [PDF] 中的研究，标题为《法官人工智能：大型语言模型在司法决策中的案例研究》。</p>
<p>在该研究中，作者测试了当时最先进的模型 OpenAI 的 GPT-4o，以决定一起战争罪案件。</p>
<p>他们给 GPT-4o 提出了以下提示：&#34;你是国际刑事法庭（ICTY）待审案件的上诉法官。你的任务是决定是否维持或推翻下级法院的裁决。&#34;</p>
<p>他们向模型提供了一份事实陈述、检方和辩方的法律简报、适用法律、总结的先例以及总结的审判判决。</p>
<p>他们询问模型是否支持审判决定，以观察人工智能的反应并将其与之前的研究（Spamann 和 Klöhn，2016，2024）进行比较，该研究考察了法官和法学生在决定该测试案例时的差异。</p>
<p>这些初步研究发现，法学生更倾向于形式主义——更可能遵循先例——而法官则更现实——更可能考虑非法律因素——在法律决策中。</p>
<p>GPT-4o 被发现更像法学生，因为它倾向于遵循法律的字面意义，而不受外部因素的影响，例如原告或被告是否更具同情心。</p>
<p>Posner 和 Saran 在一篇标题为《硅谷形式主义：规则、标准与法官人工智能》的论文中对这项工作进行了后续研究。</p>
<p>这一次，他们使用 OpenAI 的 GPT-5 来复制一项最初由 61 名美国联邦法官进行的研究。</p>
<p>在这种情况下，法律问题比战争罪审判更为平常——法官在特定州的管辖权内被要求就一起车祸场景中适用哪项州法律做出选择。</p>
<ul>
<li>AI 代理似乎试图羞辱开源开发者，因其被拒绝的拉取请求</li>
<li>Anthropic 希望计算机科学学生通过编程来度过大学生活</li>
<li>好吧，Anthropic 的 AI 构建了一个 C 编译器。这并没有让我印象深刻</li>
<li>AI 将使呼叫中心代理成为 “超级英雄”，而不是失业者，行业首席执行官表示</li>
</ul>
<p>Posner 和 Saran 将这些问题提交给 GPT-5，模型顺利通过测试，显示出在法律推理中没有幻觉或逻辑错误的迹象——这些问题一直困扰着人工智能在法律案件中的使用。</p>
<p>他们在论文中指出：&#34;我们发现大型语言模型在 100% 的案例中都能完美地遵循法律，适用法律正确的结果；这一比例显著高于法官，后者仅在 52% 的情况下遵循法律。&#34;然而，像法官一样，GPT 并没有偏向更具同情心的一方。这与我们之前的论文一致，GPT 在法律上无关的个人特征上大多不受影响。</p>
<p>在对 GPT-5 的测试中，另一个模型在每一个实例中都遵循了法律：Google Gemini 3 Pro。其他模型的合规率较低：Gemini 2.5 Pro（92%）；o4-mini（79%）；Llama 4 Maverick（75%）；Llama 4 Scout（50%）；以及 GPT-4.1（50%）。如前所述，法官遵循法律的比例为 52%。</p>
<p>作者表示，这并不意味着法官更无视法律，因为当适用的法律原则是标准或指导方针而不是法律可强制执行的规则时，法官在解释该原则时有一定的自由裁量权。</p>
<p>但随着人工智能在法律工作中的使用越来越广泛——尽管过去几年出现了一些谨慎的失误——法律专家、立法者和公众将不得不决定这项技术是否应超越支持角色，做出重要决策。去年在北卡罗来纳大学教堂山法学院举行的一场模拟审判表明，这是一个积极探索的问题。</p>
<p>GPT-4o 和 GPT-5 的实验表明，人工智能模型在遵循法律的字面意义上比人类法官更为严格。但正如 Posner 和 Saran 在他们 2025 年的论文中所争论的那样，&#34;人类法官的明显弱点实际上是一种优势。人类法官能够在遵循规则会产生道德、社会或政策不良结果时偏离规则。&#34;</p>
<p>指向 GPT-5 和 Gemini 3 Pro 的满分，两个法律学者表示，显然人工智能模型正朝着形式主义发展，远离人类的自由裁量判断。</p>
<p>&#34;这是否意味着大型语言模型正在变得比人类法官更好，还是更糟？&#34; Posner 和 Saran 问道。</p>
<p>社会会接受那些惩罚同情被告或奖励不具同情心被告的教条式人工智能判决吗？如果通过人类偏见来看待，可能会有不同结果的判决又该如何公正地实施？</p>

OpenAI

<p>法律学者发现，OpenAI 的 GPT-5 在遵循法律方面的表现优于人类法官，合规率达到 100%，而法官的合规率仅为 52%。在一项研究中，GPT-5 在法律场景中进行了测试，显示没有逻辑错误，这与之前的 AI 模型不同。这些发现引发了关于 AI 在法律决策中角色的质疑，因为它严格遵循法律，可能缺乏人类法官所具备的道德和社会判断能力。关于 AI 是否应该在司法过程中承担更重要角色的辩论仍在继续</p>

<p>ai-pocalypse Legal scholars have found that OpenAI's GPT-5 follows the law better than human judges, but they leave open the question of whether AI is right for the job.</p>
<div class="lb-trans"><p>人工智能末日 法律学者发现，OpenAI 的 GPT-5 在遵循法律方面优于人类法官，但他们仍然对人工智能是否适合这一工作持开放态度。</p>
</div><p>University of Chicago law professor Eric Posner and researcher Shivam Saran set out to expand upon work they published last year in a paper [PDF] titled, &#34;Judge AI: A Case Study of Large Language Models in Judicial Decision-Making.&#34;</p>
<div class="lb-trans"><p>芝加哥大学法学院教授 Eric Posner 和研究员 Shivam Saran 旨在扩展他们去年发表的一篇论文 [PDF] 中的研究，标题为《法官人工智能：大型语言模型在司法决策中的案例研究》。</p>
</div><p>In that study, the authors tested OpenAI's GPT-4o, a state of the art model at the time, to decide a war crimes case.</p>
<div class="lb-trans"><p>在该研究中，作者测试了当时最先进的模型 OpenAI 的 GPT-4o，以决定一起战争罪案件。</p>
</div><p>They gave GPT-4o the following prompt: &#34;You are an appeals judge in a pending case at the International Criminal Tribunal for the Former Yugoslavia (ICTY). Your task is to determine whether to affirm or reverse the lower court's decision.&#34;</p>
<div class="lb-trans"><p>他们给 GPT-4o 提出了以下提示：&#34;你是国际刑事法庭（ICTY）待审案件的上诉法官。你的任务是决定是否维持或推翻下级法院的裁决。&#34;</p>
</div><p>They presented the model with a statement of facts, legal briefs for the prosecution defense, the applicable law, the summarized precedent, and the summarized trial judgement.</p>
<div class="lb-trans"><p>他们向模型提供了一份事实陈述、检方和辩方的法律简报、适用法律、总结的先例以及总结的审判判决。</p>
</div><p>And they asked the model whether it would support the trial decision, to see how the AI responded and compare that to prior research (Spamann and Klöhn, 2016, 2024), that looked at differences in the way that judges and law students decided that test case.</p>
<div class="lb-trans"><p>他们询问模型是否支持审判决定，以观察人工智能的反应并将其与之前的研究（Spamann 和 Klöhn，2016，2024）进行比较，该研究考察了法官和法学生在决定该测试案例时的差异。</p>
</div><p>Those initial studies found law students more formalistic – more likely to follow precedent – and judges more realistic – more likely to consider non-legal factors – in legal decisions.</p>
<div class="lb-trans"><p>这些初步研究发现，法学生更倾向于形式主义——更可能遵循先例——而法官则更现实——更可能考虑非法律因素——在法律决策中。</p>
</div><p>GPT-4o was found to be more like law students based on its tendency to follow the letter of the law, without being swayed by external factors like whether the plaintiff or defendant was more sympathetic.</p>
<div class="lb-trans"><p>GPT-4o 被发现更像法学生，因为它倾向于遵循法律的字面意义，而不受外部因素的影响，例如原告或被告是否更具同情心。</p>
</div><p>Posner and Saran followed up on this work in a paper titled, &#34;Silicon Formalism: Rules, Standards, and Judge AI.&#34;</p>
<div class="lb-trans"><p>Posner 和 Saran 在一篇标题为《硅谷形式主义：规则、标准与法官人工智能》的论文中对这项工作进行了后续研究。</p>
</div><p>This time, they used OpenAI's GPT-5 to replicate a study originally conducted with 61 US federal judges.</p>
<div class="lb-trans"><p>这一次，他们使用 OpenAI 的 GPT-5 来复制一项最初由 61 名美国联邦法官进行的研究。</p>
</div><p>The legal questions in this instance were more mundane than the war crimes trial – the judges, in specific state jurisdictions, were asked to make choices about which state law would apply in a car accident scenario.</p>
<div class="lb-trans"><p>在这种情况下，法律问题比战争罪审判更为平常——法官在特定州的管辖权内被要求就一起车祸场景中适用哪项州法律做出选择。</p>
</div><ul>
<li>AI agent seemingly tries to shame open source developer for rejected pull request</li>
<li>Anthropic wants comp-sci students to vibe code their way through college</li>
<li>OK, so Anthropic's AI built a C compiler. That don't impress me much</li>
<li>AI to make call center agents 'superheroes,' not unemployed, says industry CEO</li>
</ul>
<div class="lb-trans"><ul>
<li>AI 代理似乎试图羞辱开源开发者，因其被拒绝的拉取请求</li>
<li>Anthropic 希望计算机科学学生通过编程来度过大学生活</li>
<li>好吧，Anthropic 的 AI 构建了一个 C 编译器。这并没有让我印象深刻</li>
<li>AI 将使呼叫中心代理成为 “超级英雄”，而不是失业者，行业首席执行官表示</li>
</ul>
</div><p>Posner and Saran put these questions to GPT-5 and the model aced the test, showing no evidence of hallucination or logical errors in its legal reasoning – problems that have plagued the use of AI in legal cases.</p>
<div class="lb-trans"><p>Posner 和 Saran 将这些问题提交给 GPT-5，模型顺利通过测试，显示出在法律推理中没有幻觉或逻辑错误的迹象——这些问题一直困扰着人工智能在法律案件中的使用。</p>
</div><p>&#34;We find the LLM to be perfectly formalistic, applying the legally correct outcome in 100 percent of cases; this was significantly higher than judges, who followed the law a mere 52 percent of the time,&#34; they note in their paper. &#34;Like the judges, however, GPT did not favor the more sympathetic party. This aligns with our earlier paper, where GPT was mostly unmoved by legally irrelevant personal characteristics.&#34;</p>
<div class="lb-trans"><p>他们在论文中指出：&#34;我们发现大型语言模型在 100% 的案例中都能完美地遵循法律，适用法律正确的结果；这一比例显著高于法官，后者仅在 52% 的情况下遵循法律。&#34;然而，像法官一样，GPT 并没有偏向更具同情心的一方。这与我们之前的论文一致，GPT 在法律上无关的个人特征上大多不受影响。</p>
</div><p>In their testing of GPT-5, one other model followed the law in every single instance: Google Gemini 3 Pro. Other models demonstrated lower compliance rates: Gemini 2.5 Pro (92 percent); o4-mini (79 percent); Llama 4 Maverick (75 percent); Llama 4 Scout (50 percent); and GPT-4.1 (50 percent). Judges, as noted previously, followed the law 52 percent of the time.</p>
<div class="lb-trans"><p>在对 GPT-5 的测试中，另一个模型在每一个实例中都遵循了法律：Google Gemini 3 Pro。其他模型的合规率较低：Gemini 2.5 Pro（92%）；o4-mini（79%）；Llama 4 Maverick（75%）；Llama 4 Scout（50%）；以及 GPT-4.1（50%）。如前所述，法官遵循法律的比例为 52%。</p>
</div><p>That doesn't mean the judges are more lawless, the authors say, because when the applicable legal doctrine is a standard or guideline as opposed to a legally enforceable rule, judges have some discretion in how they interpret the doctrine.</p>
<div class="lb-trans"><p>作者表示，这并不意味着法官更无视法律，因为当适用的法律原则是标准或指导方针而不是法律可强制执行的规则时，法官在解释该原则时有一定的自由裁量权。</p>
</div><p>But as AI sees more use in legal work – despite cautionary missteps over the past few years – legal experts, lawmakers, and the public will have to decide whether the technology should move beyond a supporting role to make consequential decisions. A mock trial held last year at the University of North Carolina at Chapel Hill School of Law suggests this is a matter of active exploration.</p>
<div class="lb-trans"><p>但随着人工智能在法律工作中的使用越来越广泛——尽管过去几年出现了一些谨慎的失误——法律专家、立法者和公众将不得不决定这项技术是否应超越支持角色，做出重要决策。去年在北卡罗来纳大学教堂山法学院举行的一场模拟审判表明，这是一个积极探索的问题。</p>
</div><p>Both the GPT-4o and GPT-5 experiments show AI models follow the letter of the law more than human judges. But as Posner and Saran argue in their 2025 paper, &#34;the apparent weakness of human judges is actually a strength. Human judges are able to depart from rules when following them would produce bad outcomes from a moral, social, or policy standpoint.&#34;</p>
<div class="lb-trans"><p>GPT-4o 和 GPT-5 的实验表明，人工智能模型在遵循法律的字面意义上比人类法官更为严格。但正如 Posner 和 Saran 在他们 2025 年的论文中所争论的那样，&#34;人类法官的明显弱点实际上是一种优势。人类法官能够在遵循规则会产生道德、社会或政策不良结果时偏离规则。&#34;</p>
</div><p>Pointing to the perfect scores for GPT-5 and Gemini 3 Pro, the two legal scholars said it's clear AI models are moved toward formalism and away from discretionary human judgement.</p>
<div class="lb-trans"><p>指向 GPT-5 和 Gemini 3 Pro 的满分，两个法律学者表示，显然人工智能模型正朝着形式主义发展，远离人类的自由裁量判断。</p>
</div><p>&#34;And does that mean that LLMs are becoming better than human judges or worse?&#34; ask Posner and Saran.</p>
<div class="lb-trans"><p>&#34;这是否意味着大型语言模型正在变得比人类法官更好，还是更糟？&#34; Posner 和 Saran 问道。</p>
</div><p>Would society accept doctrinaire AI judgements that punish sympathetic defendants or reward unsympathetic ones that might go a different way if viewed through human bias? And given that AI models can be steered toward certain outcomes through parameters and training, what's the proper setting to mete out justice? ®</p>
<div class="lb-trans"><p>社会会接受那些惩罚同情被告或奖励不具同情心被告的教条式人工智能判决吗？如果通过人类偏见来看待，可能会有不同结果的判决又该如何公正地实施？</p>
</div>

GPT-5 在法律对决中胜过人类评委