<p>軟件工程中可衡量的人工智能投資回報率的探索</p>
<p>“你能證明軟件工程中人工智能的投資回報率嗎？” 這是斯坦福大學研究員 Yegor Denisov-Blanch 提出的問題，直指當今企業面臨的一個關鍵挑戰。隨着公司在軟件開發的人工智能工具上投入數百萬，許多公司仍然難以展示這一投資的實際回報。Denisov-Blanch 在人工智能工程師代碼峯會上的演講旨在揭示這一複雜問題，提供數據驅動的見解和衡量人工智能真實影響的實用手冊。</p>
<p>Denisov-Blanch 首先強調了一個常見的陷阱：過度依賴活動指標。雖然像拉取請求（PR）數量或 DORA 評分這樣的指標可以表明活動的增加，但它們往往無法證明實際的改善。他表示：“基準顯示模型可以編寫代碼，但在企業部署中，投資回報率難以衡量，容易受到偏見的影響，並且常常被活動指標（PR 數量、DORA）扭曲，這些指標只説 ‘更多’，卻沒有證明 ‘更好’。” 活動與真正的價值創造之間的這種脱節是許多人工智能項目未能達到預期的關鍵原因。</p>
<p>為了解決這個問題，Denisov-Blanch 的研究團隊採用了一種複雜的方法論。他們分析了來自 600 多家公司、超過 120,000 名軟件工程師的數據。他們的方法結合了使用 Git 歷史數據的時間序列分析和跨公司橫截面分析。關鍵是，他們開發了一種機器學習模型，能夠複製每次代碼提交的專家評估面板。該模型評估了實施時間、質量、可維護性和複雜性等因素，並將這些因素與專家判斷相關聯，以實現 “卓越的相關性”，R 平方值為 0.85。</p>
<p>最初的一個見解是 “富者愈富”。數據表明，早期採用人工智能並掌握其應用的公司與那些掙扎的公司之間的差距在擴大。Denisov-Blanch 用一個預測來説明這一點：“人工智能生產力影響的示例：到 2030 年的加速分化。” 這預測表明，頂尖團隊通過有效利用人工智能，生產力提升可能加速，預計到 2030 年可能與落後團隊形成 “10 倍差距”。這突顯了組織不僅要採用人工智能，還要戰略性地進行採用的緊迫性。</p>
<p>進一步分析顯示，像 “代幣支出” 這樣的簡單指標是人工智能生產力提升的弱預測因子。研究表明，代幣使用與生產力之間存在複雜關係，存在一個 “甜蜜點”。Denisov-Blanch 強調：“人工智能使用的質量比使用的數量更重要。” 他指出，“代幣支出告訴你誰在使用人工智能，而不是誰在獲得收益。” 這表明，單純關注人工智能互動的數量可能會產生誤導。</p>
<p>人工智能部署的環境也起着至關重要的作用。Denisov-Blanch 展示了一張 “人工智能參與與環境清潔度指數的任務組成” 圖表，説明乾淨的工程環境如何放大人工智能的好處。他指出：“乾淨的代碼放大了人工智能的收益”，使人工智能能夠 “完成更大比例的衝刺任務”。相反，“人工智能的使用會降低代碼的清潔度”，在混亂的代碼庫中導致負面結果。這突顯了投資於代碼衞生和良好工程實踐的重要性，作為成功採用人工智能的基礎。</p>
<p>有效衡量投資回報率需要超越簡單指標，關注工程成果。Denisov-Blanch 提出了一個將人工智能使用與具體工程成就聯繫起來的框架。主要指標應為 “工程產出”，不僅通過代碼行數或 PR 來衡量，而是通過工作的質量和影響。他強調了 “保護性指標” 的重要性，以確保人工智能的採用不會對代碼質量等關鍵方面產生負面影響或引入過多的返工。他建議：“保持保護性指標健康……同時提高主要指標（工程產出）。”</p>
<p>研究還識別了不同的人工智能採用模式。從 “沒有可觀察的人工智能使用”（等級 0）到 “協調的代理工作流”（等級 4），人工智能集成的成熟度差異顯著。數據表明，獲得最大收益的公司是那些超越基本的 “系統化提示” 或 “代理支持開發”，實現更復雜的集成，使人工智能積極參與複雜工作流的公司。</p>
<p>最終，Denisov-Blanch 的研究結果強調了一個關鍵真理：人工智能的採用並不是一種適合所有人的解決方案。軟件工程中人工智能的投資回報率在很大程度上取決於其實施、衡量和與現有工作流及公司文化的集成方式。通過關注乾淨的代碼、對工程成果的深思熟慮的衡量和戰略性的採用模式，組織可以超越炒作，釋放人工智能推動有意義的生產力提升的真正潛力。</p>

<p>斯坦福大學的 Yegor Denisov-Blanch 探討了在軟件工程中證明人工智能投資回報率的挑戰。他在 AI 工程師代碼峯會上展示的研究強調了依賴活動指標的陷阱，並強調了衡量工程成果的重要性。通過分析來自 120,000 名開發者的數據，該研究揭示了戰略性人工智能採用和清晰代碼環境能夠增強生產力提升。Denisov-Blanch 提出了一個框架，專注於工程輸出和保護性指標，以確保有效的人工智能整合，強調人工智能投資回報率取決於深思熟慮的實施和測量</p>

<p>The Quest for Measurable AI ROI in Software Engineering</p>
<div class="lb-trans"><p>軟件工程中可衡量的人工智能投資回報率的探索</p>
</div><p>“Can you prove AI ROI in Software Engineering?” This question, posed by Yegor Denisov-Blanch, a researcher from Stanford, cuts to the heart of a critical challenge facing enterprises today. As companies pour millions into AI tools for software development, the ability to demonstrate tangible returns on this investment remains elusive for many. Denisov-Blanch’s presentation at the AI Engineer Code Summit aimed to demystify this complex issue, offering data-driven insights and a practical playbook for measuring AI’s true impact.</p>
<div class="lb-trans"><p>“你能證明軟件工程中人工智能的投資回報率嗎？” 這是斯坦福大學研究員 Yegor Denisov-Blanch 提出的問題，直指當今企業面臨的一個關鍵挑戰。隨着公司在軟件開發的人工智能工具上投入數百萬，許多公司仍然難以展示這一投資的實際回報。Denisov-Blanch 在人工智能工程師代碼峯會上的演講旨在揭示這一複雜問題，提供數據驅動的見解和衡量人工智能真實影響的實用手冊。</p>
</div><p>Denisov-Blanch began by highlighting a common pitfall: the overreliance on activity metrics. While metrics like pull request (PR) counts or DORA scores can indicate increased activity, they often fail to prove actual improvement. “Benchmarks show models can write code, but in enterprise deployments ROI is hard to measure, easy to bias, and often distorted by activity metrics (PR counts, DORA) that say ‘more’ without proving ‘better’,” he stated. This disconnect between activity and genuine value creation is a key reason why many AI initiatives fall short of expectations.</p>
<div class="lb-trans"><p>Denisov-Blanch 首先強調了一個常見的陷阱：過度依賴活動指標。雖然像拉取請求（PR）數量或 DORA 評分這樣的指標可以表明活動的增加，但它們往往無法證明實際的改善。他表示：“基準顯示模型可以編寫代碼，但在企業部署中，投資回報率難以衡量，容易受到偏見的影響，並且常常被活動指標（PR 數量、DORA）扭曲，這些指標只説 ‘更多’，卻沒有證明 ‘更好’。” 活動與真正的價值創造之間的這種脱節是許多人工智能項目未能達到預期的關鍵原因。</p>
</div><p>To address this, Denisov-Blanch’s research team employed a sophisticated methodology. They analyzed data from over 120,000 software engineers across more than 600 companies. Their approach involved a combination of time-series analysis using Git historical data and cross-sectional analysis across companies. Crucially, they developed a machine learning model capable of replicating panels of expert evaluations for every code commit. This model assessed factors such as implementation time, quality, maintainability, and complexity, correlating these with expert judgments to achieve “exceptional correlation” with an R-squared value of 0.85.</p>
<div class="lb-trans"><p>為了解決這個問題，Denisov-Blanch 的研究團隊採用了一種複雜的方法論。他們分析了來自 600 多家公司、超過 120,000 名軟件工程師的數據。他們的方法結合了使用 Git 歷史數據的時間序列分析和跨公司橫截面分析。關鍵是，他們開發了一種機器學習模型，能夠複製每次代碼提交的專家評估面板。該模型評估了實施時間、質量、可維護性和複雜性等因素，並將這些因素與專家判斷相關聯，以實現 “卓越的相關性”，R 平方值為 0.85。</p>
</div><p>One of the initial insights revealed was that “the rich get richer.” The data suggested a widening gap between early AI adopters who master its application and those who struggle. Denisov-Blanch illustrated this with a projection: “Illustrative AI Productivity Impact: Accelerating Divergence Through 2030.” This projected that top-performing teams, by effectively leveraging AI, could see their productivity gains accelerate, potentially creating a “10x gap” with laggard teams by 2030. This underscores the urgency for organizations to not only adopt AI but to do so strategically.</p>
<div class="lb-trans"><p>最初的一個見解是 “富者愈富”。數據表明，早期採用人工智能並掌握其應用的公司與那些掙扎的公司之間的差距在擴大。Denisov-Blanch 用一個預測來説明這一點：“人工智能生產力影響的示例：到 2030 年的加速分化。” 這預測表明，頂尖團隊通過有效利用人工智能，生產力提升可能加速，預計到 2030 年可能與落後團隊形成 “10 倍差距”。這突顯了組織不僅要採用人工智能，還要戰略性地進行採用的緊迫性。</p>
</div><p>Further analysis revealed that simple metrics like “token spend” are a weak predictor of AI productivity gains. The research indicated a complex relationship, with a “sweet spot” for token usage. “AI usage quality matters more than usage volume,” Denisov-Blanch emphasized, pointing out that “token spend tells you who is using AI, not who is getting benefit.” This suggests that focusing solely on the quantity of AI interaction can be misleading.</p>
<div class="lb-trans"><p>進一步分析顯示，像 “代幣支出” 這樣的簡單指標是人工智能生產力提升的弱預測因子。研究表明，代幣使用與生產力之間存在複雜關係，存在一個 “甜蜜點”。Denisov-Blanch 強調：“人工智能使用的質量比使用的數量更重要。” 他指出，“代幣支出告訴你誰在使用人工智能，而不是誰在獲得收益。” 這表明，單純關注人工智能互動的數量可能會產生誤導。</p>
</div><p>The environment in which AI is deployed also plays a crucial role. Denisov-Blanch presented a “Task Composition by AI Involvement vs. Environment Cleanliness Index” chart, illustrating how clean engineering environments amplify AI’s benefits. He noted that “clean code amplifies AI gains,” allowing AI to “complete a larger share of sprint tasks.” Conversely, “AI use degrades cleanliness” in messy codebases, leading to negative outcomes. This highlights the importance of investing in code hygiene and good engineering practices as a foundation for successful AI adoption.</p>
<div class="lb-trans"><p>人工智能部署的環境也起着至關重要的作用。Denisov-Blanch 展示了一張 “人工智能參與與環境清潔度指數的任務組成” 圖表，説明乾淨的工程環境如何放大人工智能的好處。他指出：“乾淨的代碼放大了人工智能的收益”，使人工智能能夠 “完成更大比例的衝刺任務”。相反，“人工智能的使用會降低代碼的清潔度”，在混亂的代碼庫中導致負面結果。這突顯了投資於代碼衞生和良好工程實踐的重要性，作為成功採用人工智能的基礎。</p>
</div><p>Measuring ROI effectively requires moving beyond simplistic metrics and focusing on engineering outcomes. Denisov-Blanch proposed a framework that ties AI usage to concrete engineering achievements. The primary metric should be “engineering output,” which is measured not just by lines of code or PRs, but by the quality and impact of the work. He stressed the importance of “guardrail metrics” to ensure that AI adoption doesn’t negatively affect critical aspects like code quality or introduce excessive rework. “Keep guardrail metrics healthy… while increasing the primary metric (engineering output),” he advised.</p>
<div class="lb-trans"><p>有效衡量投資回報率需要超越簡單指標，關注工程成果。Denisov-Blanch 提出了一個將人工智能使用與具體工程成就聯繫起來的框架。主要指標應為 “工程產出”，不僅通過代碼行數或 PR 來衡量，而是通過工作的質量和影響。他強調了 “保護性指標” 的重要性，以確保人工智能的採用不會對代碼質量等關鍵方面產生負面影響或引入過多的返工。他建議：“保持保護性指標健康……同時提高主要指標（工程產出）。”</p>
</div><p>The research also identified different patterns of AI adoption. From “no observable AI use” (Level 0) to “orchestrated agentic workflows” (Level 4), the maturity of AI integration varied significantly. The data suggested that companies achieving the most substantial gains were those that moved beyond basic “systematized prompting” or “agent-backed development” to more sophisticated integrations where AI actively participates in complex workflows.</p>
<div class="lb-trans"><p>研究還識別了不同的人工智能採用模式。從 “沒有可觀察的人工智能使用”（等級 0）到 “協調的代理工作流”（等級 4），人工智能集成的成熟度差異顯著。數據表明，獲得最大收益的公司是那些超越基本的 “系統化提示” 或 “代理支持開發”，實現更復雜的集成，使人工智能積極參與複雜工作流的公司。</p>
</div><p>Ultimately, Denisov-Blanch’s findings underscore a critical truth: AI adoption is not a one-size-fits-all solution. The ROI of AI in software engineering is heavily dependent on how it’s implemented, measured, and integrated into existing workflows and company culture. By focusing on clean code, thoughtful measurement of engineering outcomes, and strategic adoption patterns, organizations can move beyond the hype and unlock the true potential of AI to drive meaningful productivity gains.</p>
<div class="lb-trans"><p>最終，Denisov-Blanch 的研究結果強調了一個關鍵真理：人工智能的採用並不是一種適合所有人的解決方案。軟件工程中人工智能的投資回報率在很大程度上取決於其實施、衡量和與現有工作流及公司文化的集成方式。通過關注乾淨的代碼、對工程成果的深思熟慮的衡量和戰略性的採用模式，組織可以超越炒作，釋放人工智能推動有意義的生產力提升的真正潛力。</p>
</div>

Can you prove AI ROI in Software Engineering? (120k Devs Study) – Yegor Denisov-Blanch, Stanford

- 研究表明，AI 在軟件工程中的投資回報率難以量化。  
- 分析顯示，清潔的工程環境能顯著提升 AI 的效益。  
- 強調需關注工程成果而非簡單的活動指標。  

你能證明人工智能在軟件工程中的投資回報率嗎？（12 萬開發者的研究）——Yegor Denisov-Blanch，斯坦福大學