<p>软件工程中可衡量的人工智能投资回报率的探索</p>
<p>“你能证明软件工程中人工智能的投资回报率吗？” 这是斯坦福大学研究员 Yegor Denisov-Blanch 提出的问题，直指当今企业面临的一个关键挑战。随着公司在软件开发的人工智能工具上投入数百万，许多公司仍然难以展示这一投资的实际回报。Denisov-Blanch 在人工智能工程师代码峰会上的演讲旨在揭示这一复杂问题，提供数据驱动的见解和衡量人工智能真实影响的实用手册。</p>
<p>Denisov-Blanch 首先强调了一个常见的陷阱：过度依赖活动指标。虽然像拉取请求（PR）数量或 DORA 评分这样的指标可以表明活动的增加，但它们往往无法证明实际的改善。他表示：“基准显示模型可以编写代码，但在企业部署中，投资回报率难以衡量，容易受到偏见的影响，并且常常被活动指标（PR 数量、DORA）扭曲，这些指标只说 ‘更多’，却没有证明 ‘更好’。” 活动与真正的价值创造之间的这种脱节是许多人工智能项目未能达到预期的关键原因。</p>
<p>为了解决这个问题，Denisov-Blanch 的研究团队采用了一种复杂的方法论。他们分析了来自 600 多家公司、超过 120,000 名软件工程师的数据。他们的方法结合了使用 Git 历史数据的时间序列分析和跨公司横截面分析。关键是，他们开发了一种机器学习模型，能够复制每次代码提交的专家评估面板。该模型评估了实施时间、质量、可维护性和复杂性等因素，并将这些因素与专家判断相关联，以实现 “卓越的相关性”，R 平方值为 0.85。</p>
<p>最初的一个见解是 “富者愈富”。数据表明，早期采用人工智能并掌握其应用的公司与那些挣扎的公司之间的差距在扩大。Denisov-Blanch 用一个预测来说明这一点：“人工智能生产力影响的示例：到 2030 年的加速分化。” 这预测表明，顶尖团队通过有效利用人工智能，生产力提升可能加速，预计到 2030 年可能与落后团队形成 “10 倍差距”。这突显了组织不仅要采用人工智能，还要战略性地进行采用的紧迫性。</p>
<p>进一步分析显示，像 “代币支出” 这样的简单指标是人工智能生产力提升的弱预测因子。研究表明，代币使用与生产力之间存在复杂关系，存在一个 “甜蜜点”。Denisov-Blanch 强调：“人工智能使用的质量比使用的数量更重要。” 他指出，“代币支出告诉你谁在使用人工智能，而不是谁在获得收益。” 这表明，单纯关注人工智能互动的数量可能会产生误导。</p>
<p>人工智能部署的环境也起着至关重要的作用。Denisov-Blanch 展示了一张 “人工智能参与与环境清洁度指数的任务组成” 图表，说明干净的工程环境如何放大人工智能的好处。他指出：“干净的代码放大了人工智能的收益”，使人工智能能够 “完成更大比例的冲刺任务”。相反，“人工智能的使用会降低代码的清洁度”，在混乱的代码库中导致负面结果。这突显了投资于代码卫生和良好工程实践的重要性，作为成功采用人工智能的基础。</p>
<p>有效衡量投资回报率需要超越简单指标，关注工程成果。Denisov-Blanch 提出了一个将人工智能使用与具体工程成就联系起来的框架。主要指标应为 “工程产出”，不仅通过代码行数或 PR 来衡量，而是通过工作的质量和影响。他强调了 “保护性指标” 的重要性，以确保人工智能的采用不会对代码质量等关键方面产生负面影响或引入过多的返工。他建议：“保持保护性指标健康……同时提高主要指标（工程产出）。”</p>
<p>研究还识别了不同的人工智能采用模式。从 “没有可观察的人工智能使用”（等级 0）到 “协调的代理工作流”（等级 4），人工智能集成的成熟度差异显著。数据表明，获得最大收益的公司是那些超越基本的 “系统化提示” 或 “代理支持开发”，实现更复杂的集成，使人工智能积极参与复杂工作流的公司。</p>
<p>最终，Denisov-Blanch 的研究结果强调了一个关键真理：人工智能的采用并不是一种适合所有人的解决方案。软件工程中人工智能的投资回报率在很大程度上取决于其实施、衡量和与现有工作流及公司文化的集成方式。通过关注干净的代码、对工程成果的深思熟虑的衡量和战略性的采用模式，组织可以超越炒作，释放人工智能推动有意义的生产力提升的真正潜力。</p>

<p>斯坦福大学的 Yegor Denisov-Blanch 探讨了在软件工程中证明人工智能投资回报率的挑战。他在 AI 工程师代码峰会上展示的研究强调了依赖活动指标的陷阱，并强调了衡量工程成果的重要性。通过分析来自 120,000 名开发者的数据，该研究揭示了战略性人工智能采用和清晰代码环境能够增强生产力提升。Denisov-Blanch 提出了一个框架，专注于工程输出和保护性指标，以确保有效的人工智能整合，强调人工智能投资回报率取决于深思熟虑的实施和测量</p>

<p>The Quest for Measurable AI ROI in Software Engineering</p>
<div class="lb-trans"><p>软件工程中可衡量的人工智能投资回报率的探索</p>
</div><p>“Can you prove AI ROI in Software Engineering?” This question, posed by Yegor Denisov-Blanch, a researcher from Stanford, cuts to the heart of a critical challenge facing enterprises today. As companies pour millions into AI tools for software development, the ability to demonstrate tangible returns on this investment remains elusive for many. Denisov-Blanch’s presentation at the AI Engineer Code Summit aimed to demystify this complex issue, offering data-driven insights and a practical playbook for measuring AI’s true impact.</p>
<div class="lb-trans"><p>“你能证明软件工程中人工智能的投资回报率吗？” 这是斯坦福大学研究员 Yegor Denisov-Blanch 提出的问题，直指当今企业面临的一个关键挑战。随着公司在软件开发的人工智能工具上投入数百万，许多公司仍然难以展示这一投资的实际回报。Denisov-Blanch 在人工智能工程师代码峰会上的演讲旨在揭示这一复杂问题，提供数据驱动的见解和衡量人工智能真实影响的实用手册。</p>
</div><p>Denisov-Blanch began by highlighting a common pitfall: the overreliance on activity metrics. While metrics like pull request (PR) counts or DORA scores can indicate increased activity, they often fail to prove actual improvement. “Benchmarks show models can write code, but in enterprise deployments ROI is hard to measure, easy to bias, and often distorted by activity metrics (PR counts, DORA) that say ‘more’ without proving ‘better’,” he stated. This disconnect between activity and genuine value creation is a key reason why many AI initiatives fall short of expectations.</p>
<div class="lb-trans"><p>Denisov-Blanch 首先强调了一个常见的陷阱：过度依赖活动指标。虽然像拉取请求（PR）数量或 DORA 评分这样的指标可以表明活动的增加，但它们往往无法证明实际的改善。他表示：“基准显示模型可以编写代码，但在企业部署中，投资回报率难以衡量，容易受到偏见的影响，并且常常被活动指标（PR 数量、DORA）扭曲，这些指标只说 ‘更多’，却没有证明 ‘更好’。” 活动与真正的价值创造之间的这种脱节是许多人工智能项目未能达到预期的关键原因。</p>
</div><p>To address this, Denisov-Blanch’s research team employed a sophisticated methodology. They analyzed data from over 120,000 software engineers across more than 600 companies. Their approach involved a combination of time-series analysis using Git historical data and cross-sectional analysis across companies. Crucially, they developed a machine learning model capable of replicating panels of expert evaluations for every code commit. This model assessed factors such as implementation time, quality, maintainability, and complexity, correlating these with expert judgments to achieve “exceptional correlation” with an R-squared value of 0.85.</p>
<div class="lb-trans"><p>为了解决这个问题，Denisov-Blanch 的研究团队采用了一种复杂的方法论。他们分析了来自 600 多家公司、超过 120,000 名软件工程师的数据。他们的方法结合了使用 Git 历史数据的时间序列分析和跨公司横截面分析。关键是，他们开发了一种机器学习模型，能够复制每次代码提交的专家评估面板。该模型评估了实施时间、质量、可维护性和复杂性等因素，并将这些因素与专家判断相关联，以实现 “卓越的相关性”，R 平方值为 0.85。</p>
</div><p>One of the initial insights revealed was that “the rich get richer.” The data suggested a widening gap between early AI adopters who master its application and those who struggle. Denisov-Blanch illustrated this with a projection: “Illustrative AI Productivity Impact: Accelerating Divergence Through 2030.” This projected that top-performing teams, by effectively leveraging AI, could see their productivity gains accelerate, potentially creating a “10x gap” with laggard teams by 2030. This underscores the urgency for organizations to not only adopt AI but to do so strategically.</p>
<div class="lb-trans"><p>最初的一个见解是 “富者愈富”。数据表明，早期采用人工智能并掌握其应用的公司与那些挣扎的公司之间的差距在扩大。Denisov-Blanch 用一个预测来说明这一点：“人工智能生产力影响的示例：到 2030 年的加速分化。” 这预测表明，顶尖团队通过有效利用人工智能，生产力提升可能加速，预计到 2030 年可能与落后团队形成 “10 倍差距”。这突显了组织不仅要采用人工智能，还要战略性地进行采用的紧迫性。</p>
</div><p>Further analysis revealed that simple metrics like “token spend” are a weak predictor of AI productivity gains. The research indicated a complex relationship, with a “sweet spot” for token usage. “AI usage quality matters more than usage volume,” Denisov-Blanch emphasized, pointing out that “token spend tells you who is using AI, not who is getting benefit.” This suggests that focusing solely on the quantity of AI interaction can be misleading.</p>
<div class="lb-trans"><p>进一步分析显示，像 “代币支出” 这样的简单指标是人工智能生产力提升的弱预测因子。研究表明，代币使用与生产力之间存在复杂关系，存在一个 “甜蜜点”。Denisov-Blanch 强调：“人工智能使用的质量比使用的数量更重要。” 他指出，“代币支出告诉你谁在使用人工智能，而不是谁在获得收益。” 这表明，单纯关注人工智能互动的数量可能会产生误导。</p>
</div><p>The environment in which AI is deployed also plays a crucial role. Denisov-Blanch presented a “Task Composition by AI Involvement vs. Environment Cleanliness Index” chart, illustrating how clean engineering environments amplify AI’s benefits. He noted that “clean code amplifies AI gains,” allowing AI to “complete a larger share of sprint tasks.” Conversely, “AI use degrades cleanliness” in messy codebases, leading to negative outcomes. This highlights the importance of investing in code hygiene and good engineering practices as a foundation for successful AI adoption.</p>
<div class="lb-trans"><p>人工智能部署的环境也起着至关重要的作用。Denisov-Blanch 展示了一张 “人工智能参与与环境清洁度指数的任务组成” 图表，说明干净的工程环境如何放大人工智能的好处。他指出：“干净的代码放大了人工智能的收益”，使人工智能能够 “完成更大比例的冲刺任务”。相反，“人工智能的使用会降低代码的清洁度”，在混乱的代码库中导致负面结果。这突显了投资于代码卫生和良好工程实践的重要性，作为成功采用人工智能的基础。</p>
</div><p>Measuring ROI effectively requires moving beyond simplistic metrics and focusing on engineering outcomes. Denisov-Blanch proposed a framework that ties AI usage to concrete engineering achievements. The primary metric should be “engineering output,” which is measured not just by lines of code or PRs, but by the quality and impact of the work. He stressed the importance of “guardrail metrics” to ensure that AI adoption doesn’t negatively affect critical aspects like code quality or introduce excessive rework. “Keep guardrail metrics healthy… while increasing the primary metric (engineering output),” he advised.</p>
<div class="lb-trans"><p>有效衡量投资回报率需要超越简单指标，关注工程成果。Denisov-Blanch 提出了一个将人工智能使用与具体工程成就联系起来的框架。主要指标应为 “工程产出”，不仅通过代码行数或 PR 来衡量，而是通过工作的质量和影响。他强调了 “保护性指标” 的重要性，以确保人工智能的采用不会对代码质量等关键方面产生负面影响或引入过多的返工。他建议：“保持保护性指标健康……同时提高主要指标（工程产出）。”</p>
</div><p>The research also identified different patterns of AI adoption. From “no observable AI use” (Level 0) to “orchestrated agentic workflows” (Level 4), the maturity of AI integration varied significantly. The data suggested that companies achieving the most substantial gains were those that moved beyond basic “systematized prompting” or “agent-backed development” to more sophisticated integrations where AI actively participates in complex workflows.</p>
<div class="lb-trans"><p>研究还识别了不同的人工智能采用模式。从 “没有可观察的人工智能使用”（等级 0）到 “协调的代理工作流”（等级 4），人工智能集成的成熟度差异显著。数据表明，获得最大收益的公司是那些超越基本的 “系统化提示” 或 “代理支持开发”，实现更复杂的集成，使人工智能积极参与复杂工作流的公司。</p>
</div><p>Ultimately, Denisov-Blanch’s findings underscore a critical truth: AI adoption is not a one-size-fits-all solution. The ROI of AI in software engineering is heavily dependent on how it’s implemented, measured, and integrated into existing workflows and company culture. By focusing on clean code, thoughtful measurement of engineering outcomes, and strategic adoption patterns, organizations can move beyond the hype and unlock the true potential of AI to drive meaningful productivity gains.</p>
<div class="lb-trans"><p>最终，Denisov-Blanch 的研究结果强调了一个关键真理：人工智能的采用并不是一种适合所有人的解决方案。软件工程中人工智能的投资回报率在很大程度上取决于其实施、衡量和与现有工作流及公司文化的集成方式。通过关注干净的代码、对工程成果的深思熟虑的衡量和战略性的采用模式，组织可以超越炒作，释放人工智能推动有意义的生产力提升的真正潜力。</p>
</div>

Can you prove AI ROI in Software Engineering? (120k Devs Study) – Yegor Denisov-Blanch, Stanford

- 研究表明，AI 在软件工程中的投资回报率难以量化。  
- 分析显示，清洁的工程环境能显著提升 AI 的效益。  
- 强调需关注工程成果而非简单的活动指标。  

你能证明人工智能在软件工程中的投资回报率吗？（12 万开发者的研究）——Yegor Denisov-Blanch，斯坦福大学