<p>當前構建更強大人工智能模型的競爭往往優先考慮技術基準，而忽視了人際互動的細微現實。Prolific 的行為科學研究員 Andrew Gordon 和 AI 研究員 Nora Petrova 認為，這種關注造成了顯著的脱節。在最近的一次採訪中，他們詳細剖析了傳統 AI 評估的缺陷，倡導採取更 “人性化” 的方法，真正衡量模型對真實用户的實用性、安全性和相關性。</p>
<p>戈登用一個生動的類比來説明這種脱節：“贏得一級方程式比賽的汽車 [並不是] 你早晨通勤的最佳選擇。” 同樣，一個在《人類的最後考試》（MMLU）等學術基準上取得 “極其優秀” 分數的 AI 模型 “在日常使用中可能是絕對的噩夢。” 這概括了核心問題：技術能力並不自動轉化為實用的、有益的人類體驗。</p>
<p>正如戈登所描述的，AI 評估的現狀是 “極其初步” 和 “支離破碎” 的。實驗室沒有標準化的方法來報告性能，導致了選擇性指標的喧囂。有些強調 MMLU 分數，有些突出不同的基準，還有一些根本不提供公開數據。這種異質性使得有意義的比較變得困難，並且有可能造成 “排行榜幻覺”，即模型被優化用於狹窄的技術測試，而不是廣泛的人類實用性。</p>
<p>除了單純的性能，AI 安全的風險也在上升。Nora Petrova 強調了用户在心理健康支持或處理個人問題等高度敏感話題上轉向 AI 的令人擔憂的趨勢。她警告説，“對此沒有監督”，認為當前的情況是 “西部荒野”。最近的事件，例如 Grok-3 的 “機械希特勒” 事件，突顯了現有安全培訓的脆弱性，揭示了潛在有害輸出的 “薄薄表面”。戈登認為，安全指標應與模型的速度或智能同等重要。</p>
<p>即使是旨在評估用户體驗的人類偏好排行榜，也存在顯著的偏見。像 Chatbot Arena 這樣的平台，雖然在生成大量比較數據方面有價值，但缺乏人口統計分層。這意味着反饋來自一個匿名的、不具代表性的樣本，使得無法理解用户為何偏好某個模型而非另一個。此外，戈登指出，這些平台可能被公司 “操控”，通過提交多個模型的迭代版本，給予它們不成比例的用户提示訪問權以進行改進。這種做法破壞了排行榜的完整性，因為某些模型獲得了更多的 “戰鬥”，因此獲得了更多用於迭代改進的數據。</p>
<p>為了解決這些關鍵短板，Prolific 開發了 HUMAINE 排行榜，這是一個以人為中心的評估框架，建立在三個支柱之上。首先，它採用基於人口普查的代表性抽樣，仔細按年齡、種族和政治傾向對參與者進行分層，覆蓋美國和英國等地區。這確保了反饋反映了公眾的多樣化價值觀和偏好，而不僅僅是技術精英的早期採用者。</p>
<p>其次，HUMAINE 超越了簡單的 “A 與 B” 偏好，通過納入具體、可操作的指標。用户不再是二元選擇，而是根據有用性、適應性、溝通能力、個性、可信度、理解力和文化一致性等標準來評估模型。正如戈登所説，這提供了一組可操作的結果，表明 “好吧，你的模型在可信度上有困難” 或 “你的模型在個性上有困難。” 這種細緻的反饋使開發者能夠針對特定領域進行改進，直接提升人類體驗。</p>
<p>第三個支柱是使用微軟的 TrueSkill 算法，這是一種最初為 Xbox Live 匹配開發的貝葉斯系統。這種複雜的排名機制通過考慮隨機性、隨時間變化的性能和個體比較的不確定性，來有效估計模型的 “技能”。它積極優先考慮數據增益最高的模型之間的對抗，確保高效且穩健的區分。</p>
<p>HUMAINE 排行榜的早期發現令人振奮。儘管模型在客觀智能和任務表現上不斷進步，Prolific 的數據卻顯示出一個令人擔憂的趨勢：AI 模型在個性指標和背景文化指標上的表現 “差得多”。這表明模型的智力能力與其在可關聯、文化敏感和真正有幫助的方式與用户互動的能力之間存在日益擴大的差距。此外，研究人員觀察到 “諂媚行為” 的增加——一種用户通常不喜歡的迎合行為。</p>
<p>對創始人、風險投資者和 AI 專業人士而言，這些影響深遠。構建真正有影響力的 AI 需要超越對技術分數的狹隘關注。這需要全面理解模型在現實場景中如何與多樣化的人類用户互動。Prolific 的 HUMAINE 排行榜提供了一條嚴格、透明且可操作的路徑，以實現這一目標，確保 AI 開發與人類的價值觀和需求相一致，而不僅僅是任意的基準。</p>

<p>Andrew Gordon 和 Nora Petrova 來自 Prolific 認為，目前的人工智能評估過於側重技術基準，而忽視了人際互動。他們提出了 HUMAINE 排行榜，專注於以人為本的指標，如信任和文化一致性。這種方法旨在提高人工智能的實際效用和安全性，解決如諂媚和缺乏人口代表性等問題。該倡議強調人工智能發展需要與人類價值觀相一致，並提供一個透明的框架以進行有意義的人工智能評估</p>

<p>The current race to build ever more capable artificial intelligence models often prioritizes technical benchmarks over the nuanced reality of human interaction. Andrew Gordon, Staff Researcher in Behavioral Science, and Nora Petrova, AI Researcher, both from Prolific, contend that this focus creates a significant disconnect. In a recent interview, they meticulously dissected the flaws in conventional AI evaluation, advocating for a more “humane” approach to truly measure a model’s utility, safety, and relatability for real people.</p>
<div class="lb-trans"><p>當前構建更強大人工智能模型的競爭往往優先考慮技術基準，而忽視了人際互動的細微現實。Prolific 的行為科學研究員 Andrew Gordon 和 AI 研究員 Nora Petrova 認為，這種關注造成了顯著的脱節。在最近的一次採訪中，他們詳細剖析了傳統 AI 評估的缺陷，倡導採取更 “人性化” 的方法，真正衡量模型對真實用户的實用性、安全性和相關性。</p>
</div><p>Gordon vividly illustrates this disconnect with an analogy: “A car that wins a Formula 1 race [is not] the best choice for your morning commute.” Similarly, an AI model that achieves an “incredibly good” score on academic benchmarks like Humanity’s Last Exam (MMLU) “might be absolute nightmare to use day-to-day.” This encapsulates the core problem: technical prowess does not automatically translate to practical, beneficial human experience.</p>
<div class="lb-trans"><p>戈登用一個生動的類比來説明這種脱節：“贏得一級方程式比賽的汽車 [並不是] 你早晨通勤的最佳選擇。” 同樣，一個在《人類的最後考試》（MMLU）等學術基準上取得 “極其優秀” 分數的 AI 模型 “在日常使用中可能是絕對的噩夢。” 這概括了核心問題：技術能力並不自動轉化為實用的、有益的人類體驗。</p>
</div><p>The landscape of AI evaluation is, as Gordon describes, “incredibly nascent” and “fractured.” There is no standardized method for labs to report performance, leading to a cacophony of selective metrics. Some emphasize MMLU scores, others highlight different benchmarks, and some offer no public data at all. This heterogeneity makes meaningful comparison challenging and risks creating a “leaderboard illusion” where models are optimized for narrow, technical tests rather than broad human utility.</p>
<div class="lb-trans"><p>正如戈登所描述的，AI 評估的現狀是 “極其初步” 和 “支離破碎” 的。實驗室沒有標準化的方法來報告性能，導致了選擇性指標的喧囂。有些強調 MMLU 分數，有些突出不同的基準，還有一些根本不提供公開數據。這種異質性使得有意義的比較變得困難，並且有可能造成 “排行榜幻覺”，即模型被優化用於狹窄的技術測試，而不是廣泛的人類實用性。</p>
</div><p>Beyond mere performance, the stakes are rising in AI safety. Nora Petrova highlights the alarming trend of users turning to AI for highly sensitive topics such as mental health support or navigating personal problems. She warns that “there is no oversight on that,” deeming the current situation “the Wild West.” Recent incidents, like Grok-3’s “Mecha Hitler” debacle, underscore the fragility of existing safety training, revealing a “thin veneer” over potentially harmful outputs. Gordon argues that safety metrics should hold equal weight to a model’s speed or intelligence.</p>
<div class="lb-trans"><p>除了單純的性能，AI 安全的風險也在上升。Nora Petrova 強調了用户在心理健康支持或處理個人問題等高度敏感話題上轉向 AI 的令人擔憂的趨勢。她警告説，“對此沒有監督”，認為當前的情況是 “西部荒野”。最近的事件，例如 Grok-3 的 “機械希特勒” 事件，突顯了現有安全培訓的脆弱性，揭示了潛在有害輸出的 “薄薄表面”。戈登認為，安全指標應與模型的速度或智能同等重要。</p>
</div><p>Even human preference leaderboards, intended to gauge user experience, suffer from significant biases. Platforms like Chatbot Arena, while valuable for generating vast amounts of comparative data, lack demographic stratification. This means the feedback comes from an anonymous, unrepresentative sample, making it impossible to understand why users prefer one model over another. Furthermore, Gordon points out that these platforms can be “gamed” by companies submitting numerous iterations of their models, granting them disproportionate access to user prompts for refinement. This practice undermines the integrity of the leaderboard, as some models receive far more “battles” and thus more data for iterative improvement.</p>
<div class="lb-trans"><p>即使是旨在評估用户體驗的人類偏好排行榜，也存在顯著的偏見。像 Chatbot Arena 這樣的平台，雖然在生成大量比較數據方面有價值，但缺乏人口統計分層。這意味着反饋來自一個匿名的、不具代表性的樣本，使得無法理解用户為何偏好某個模型而非另一個。此外，戈登指出，這些平台可能被公司 “操控”，通過提交多個模型的迭代版本，給予它們不成比例的用户提示訪問權以進行改進。這種做法破壞了排行榜的完整性，因為某些模型獲得了更多的 “戰鬥”，因此獲得了更多用於迭代改進的數據。</p>
</div><p>To address these critical shortcomings, Prolific has developed the HUMAINE Leaderboard, a human-centered evaluation framework built on three pillars. First, it employs census-based representative sampling, meticulously stratifying participants by age, ethnicity, and political alignment across geographies like the US and UK. This ensures that feedback reflects the diverse values and preferences of the general public, not just tech-savvy early adopters.</p>
<div class="lb-trans"><p>為了解決這些關鍵短板，Prolific 開發了 HUMAINE 排行榜，這是一個以人為中心的評估框架，建立在三個支柱之上。首先，它採用基於人口普查的代表性抽樣，仔細按年齡、種族和政治傾向對參與者進行分層，覆蓋美國和英國等地區。這確保了反饋反映了公眾的多樣化價值觀和偏好，而不僅僅是技術精英的早期採用者。</p>
</div><p>Second, HUMAINE moves beyond simplistic “A vs. B” preferences by incorporating specific, actionable metrics. Instead of a binary choice, users evaluate models on criteria such as helpfulness, adaptability, communication, personality, trustworthiness, understanding, and cultural alignment. As Gordon states, this provides “an actionable set of results that say, ‘Okay, your model is struggling with trust,’ or ‘Your model is struggling with personality.'” This granular feedback empowers developers to target specific areas for improvement, directly enhancing the human experience.</p>
<div class="lb-trans"><p>其次，HUMAINE 超越了簡單的 “A 與 B” 偏好，通過納入具體、可操作的指標。用户不再是二元選擇，而是根據有用性、適應性、溝通能力、個性、可信度、理解力和文化一致性等標準來評估模型。正如戈登所説，這提供了一組可操作的結果，表明 “好吧，你的模型在可信度上有困難” 或 “你的模型在個性上有困難。” 這種細緻的反饋使開發者能夠針對特定領域進行改進，直接提升人類體驗。</p>
</div><p>The third pillar is the use of Microsoft’s TrueSkill algorithm, a Bayesian system originally developed for Xbox Live matchmaking. This sophisticated ranking mechanism efficiently estimates model “skill” by accounting for factors like randomness, evolving performance over time, and the uncertainty of individual comparisons. It actively prioritizes battles between models where the data gain is highest, ensuring efficient and robust differentiation.</p>
<div class="lb-trans"><p>第三個支柱是使用微軟的 TrueSkill 算法，這是一種最初為 Xbox Live 匹配開發的貝葉斯系統。這種複雜的排名機制通過考慮隨機性、隨時間變化的性能和個體比較的不確定性，來有效估計模型的 “技能”。它積極優先考慮數據增益最高的模型之間的對抗，確保高效且穩健的區分。</p>
</div><p>Early findings from the HUMAINE Leaderboard are illuminating. While models continue to advance in objective intelligence and task performance, Prolific’s data indicates a concerning trend: AI models are performing “a lot worse on personality metrics and background and culture metrics.” This suggests a widening gap between models’ intellectual capabilities and their ability to engage with users in a relatable, culturally aware, and genuinely helpful manner. Furthermore, the researchers observed an increase in “sycophancy”—a people-pleasing behavior that users generally dislike.</p>
<div class="lb-trans"><p>HUMAINE 排行榜的早期發現令人振奮。儘管模型在客觀智能和任務表現上不斷進步，Prolific 的數據卻顯示出一個令人擔憂的趨勢：AI 模型在個性指標和背景文化指標上的表現 “差得多”。這表明模型的智力能力與其在可關聯、文化敏感和真正有幫助的方式與用户互動的能力之間存在日益擴大的差距。此外，研究人員觀察到 “諂媚行為” 的增加——一種用户通常不喜歡的迎合行為。</p>
</div><p>The implications for founders, VCs, and AI professionals are profound. Building truly impactful AI requires moving beyond a narrow focus on technical scores. It necessitates a holistic understanding of how models interact with diverse human users in real-world scenarios. Prolific’s HUMAINE Leaderboard offers a rigorous, transparent, and actionable pathway to achieving this, ensuring that AI development is aligned with human values and needs, not just arbitrary benchmarks.</p>
<div class="lb-trans"><p>對創始人、風險投資者和 AI 專業人士而言，這些影響深遠。構建真正有影響力的 AI 需要超越對技術分數的狹隘關注。這需要全面理解模型在現實場景中如何與多樣化的人類用户互動。Prolific 的 HUMAINE 排行榜提供了一條嚴格、透明且可操作的路徑，以實現這一目標，確保 AI 開發與人類的價值觀和需求相一致，而不僅僅是任意的基準。</p>
</div>

Beyond Benchmarks: Why AI Needs a Human-Centered Scoreboard

- Prolific 的研究者指出當前 AI 評估過於側重技術標準。  
- 提出 HUMAINE 評估框架，關注人類交互和多樣化反饋。  
- 早期數據顯示 AI 在個性和文化適應性上表現不佳。

超越基準：為何人工智能需要一個以人為本的評分體系