<p>应用人工智能的创新速度已经压缩了新学科的时间线，迫使从业者几乎在一夜之间从原型转向生产。对于上下文工程而言，可靠地为大型语言模型（LLMs）提供必要的外部信息的过程，2025 年感觉就像是 “六个月压缩成一年”。这种快速演变正在推动关注的根本转变：从优化单个组件转向建立能够在企业规模下运行的强大端到端系统架构。</p>
<p>这是 Nina Lopatina 的核心见解，她是 Contextual AI 的首席开发者倡导者，在 2025 年 NeurIPS 大会上与 Latent Space 的编辑 Swyx 进行了现场对话。Lopatina 的背景涵盖神经科学和奖励学习，她强调了行业急于将上下文工程从一系列设计模式转变为一个完整的全栈学科，配备针对现实世界复杂性设计的基准和工具。</p>
<p>在该领域观察到的最直接变化是基本的检索增强生成（RAG）已变得过时。简单的检索已不足以满足复杂的企业查询。Lopatina 确认 “代理 RAG 现在是基线：查询重构为子查询的性能提升如此显著，以至于成为新的标准（普通 RAG 已经死去）。” 这种转变反映了 LLM 动态地将用户的复杂查询分解为多个有针对性的子查询、检索多样化文档并合成答案的必要性——这一过程需要复杂的控制流程和强大的基础设施。</p>
<p>然而，引入代理性需要严格的保护措施。行业正在迅速学习，自主代理需要明确的约束，以维持可靠性和大规模性能。在最近的一次零售宇宙黑客马拉松中，Lopatina 的团队处理了一个包含近 100,000 个文档的数据集，包括 PDF、CSV 和日志文件——这是一个远离学术玩具示例的真实数据环境。他们发现子代理需要定义的轮次限制和验证循环，因为 “无限代理会降低性能并导致幻觉。” 代理的固有驱动是全面搜索每一个可能的途径或不断检查自己的工作，当处理大规模生产数据集时，这种行为很快就会变成反模式。</p>
<p>扩展这些系统带来了研究人员刚开始量化的挑战。上下文衰退的问题——模型忽略深藏在长上下文窗口中的相关信息——被普遍承认，但具体的可操作数据仍然稀缺。Lopatina 指出，“上下文衰退在每个博客中都有提及，但在真实规模（超过 10 万文档，数十亿个标记）的行业基准仍然稀少。” Anthropic 最近的工作为这个问题提供了具体数字——当相关上下文放置在 700k 标记的 1M 窗口中时，检索率下降到 30%——这终于使问题可量化，并迫使开发者在上下文放置和压缩上更加谨慎。</p>
<p>多组件提示（MCP）服务器的出现，使开发者能够通过巨大的 JSON 架构注册和发现工具，这是一把双刃剑。虽然 MCP 服务器通过抽象工具管理加速了快速原型开发，但它们也显著增加了上下文膨胀，消耗了宝贵的标记，仅用于描述可用功能。长期趋势是优化：在系统设计得到验证后，逐步摆脱冗长的架构，转向更简洁、直接的 API 调用。</p>
<p>遵循指令的重新排序器正成为高性能管道的关键组成部分。这些较小的专用模型位于初始密集检索阶段与提供给 LLM 的最终上下文窗口之间，确保初始检索优先考虑高召回率，而最终上下文窗口保持高精度。这对于在大型数据库上进行推理的动态代理尤为重要。</p>
<p>多轮代理的一个关键优化技术是对键值（KV）缓存的战略管理。决策框架很简单：不变的内容（如系统提示或早期对话轮次）放在缓存的前面，而动态生成的上下文（如最近的轮次或工具输出）放在底部。这种方法在保持效率的同时，稳定了代理在多个轮次中的核心身份和指令。最终，模型尚未足够复杂以实现自动压缩，因此需要有意进行上下文压缩，即使这意味着主动限制对话轮次，正如 Lopatina 在自己的开发工作流程中所做的那样。</p>
<p>展望未来，讨论已经超越了单个组件的突破。根据 Lopatina 的说法，2026 年的下一个前沿是全系统设计，“讨论从 ‘我如何优化我的重新排序器’ 转向 ‘在生产中对数十亿个标记进行推理的端到端架构是什么样的？’” 这种系统视角，涵盖多模态摄取、混合搜索、受限代理和战略上下文管理，标志着上下文工程成熟为真正的学科。</p>

<p>应用人工智能的快速发展正在将上下文工程的重点从组件优化转向稳健的系统架构。Contextual AI 的 Nina Lopatina 强调，代理式 RAG 已成为处理复杂企业查询的新标准，这要求大型语言模型（LLMs）能够动态地将查询分解为子查询。上下文衰退和对自主代理的明确约束需求等挑战正在出现。现在的重点是为 2026 年进行全系统设计，超越单个组件，优化针对大数据集推理的端到端架构</p>

<p>The speed of innovation in applied AI has collapsed the timeline for new disciplines, forcing practitioners to move from prototype to production almost overnight. For context engineering, the process of reliably supplying large language models (LLMs) with necessary external information, 2025 felt like “six months compressed into a year.” This rapid evolution is driving a fundamental shift in focus: away from optimizing individual components and toward establishing robust, end-to-end system architectures capable of operating at enterprise scale.</p>
<div class="lb-trans"><p>应用人工智能的创新速度已经压缩了新学科的时间线，迫使从业者几乎在一夜之间从原型转向生产。对于上下文工程而言，可靠地为大型语言模型（LLMs）提供必要的外部信息的过程，2025 年感觉就像是 “六个月压缩成一年”。这种快速演变正在推动关注的根本转变：从优化单个组件转向建立能够在企业规模下运行的强大端到端系统架构。</p>
</div><p>This was the core insight delivered by Nina Lopatina, Lead Developer Advocate at Contextual AI, who spoke with Swyx, Editor of Latent Space, live at NeurIPS 2025. Lopatina, whose background spans neuroscience and reward learning, highlighted the industry’s scramble to turn context engineering from a collection of design patterns into a full-stack discipline, complete with benchmarks and tooling designed for real-world complexity.</p>
<div class="lb-trans"><p>这是 Nina Lopatina 的核心见解，她是 Contextual AI 的首席开发者倡导者，在 2025 年 NeurIPS 大会上与 Latent Space 的编辑 Swyx 进行了现场对话。Lopatina 的背景涵盖神经科学和奖励学习，她强调了行业急于将上下文工程从一系列设计模式转变为一个完整的全栈学科，配备针对现实世界复杂性设计的基准和工具。</p>
</div><p>The most immediate change observed in the field is the obsolescence of basic Retrieval-Augmented Generation (RAG). Simple retrieval is no longer sufficient for complex enterprise queries. Lopatina confirmed that “agentic RAG is now the baseline: query reformulation into subqueries improved performance so dramatically it became the new standard (normal RAG is dead).” This shift reflects the necessity of having the LLM dynamically break down a user’s complex query into multiple, targeted subqueries, retrieve diverse documents, and then synthesize the answer—a process that demands sophisticated control flow and robust infrastructure.</p>
<div class="lb-trans"><p>在该领域观察到的最直接变化是基本的检索增强生成（RAG）已变得过时。简单的检索已不足以满足复杂的企业查询。Lopatina 确认 “代理 RAG 现在是基线：查询重构为子查询的性能提升如此显著，以至于成为新的标准（普通 RAG 已经死去）。” 这种转变反映了 LLM 动态地将用户的复杂查询分解为多个有针对性的子查询、检索多样化文档并合成答案的必要性——这一过程需要复杂的控制流程和强大的基础设施。</p>
</div><p>Yet, introducing agency necessitates strict guardrails. The industry is quickly learning that autonomous agents require explicit constraints to maintain reliability and performance at scale. During a recent Retail Universe hackathon, Lopatina’s team worked with a dataset comprising nearly 100,000 documents, including PDFs, CSVs, and log files—a real-world data landscape far removed from academic toy examples. They found that sub-agents needed defined turn limits and validation loops because “unlimited agency degrades performance and causes hallucinations.” The inherent drive of an agent to exhaustively search every possible avenue or continuously check its own work quickly becomes an anti-pattern when dealing with massive, production-scale datasets.</p>
<div class="lb-trans"><p>然而，引入代理性需要严格的保护措施。行业正在迅速学习，自主代理需要明确的约束，以维持可靠性和大规模性能。在最近的一次零售宇宙黑客马拉松中，Lopatina 的团队处理了一个包含近 100,000 个文档的数据集，包括 PDF、CSV 和日志文件——这是一个远离学术玩具示例的真实数据环境。他们发现子代理需要定义的轮次限制和验证循环，因为 “无限代理会降低性能并导致幻觉。” 代理的固有驱动是全面搜索每一个可能的途径或不断检查自己的工作，当处理大规模生产数据集时，这种行为很快就会变成反模式。</p>
</div><p>Scaling these systems introduces challenges that researchers are only beginning to quantify. The issue of context rot—where models ignore relevant information buried deep within long context windows—is universally acknowledged, yet concrete, actionable data remains scarce. Lopatina noted that “context rot is cited in every blog but industry benchmarks at real scale (100k+ documents, billions of tokens) are still rare.” Anthropic’s recent work, which put hard numbers on the problem—showing retrieval dropping to 30% when relevant context is placed at 700k tokens in a 1M window—is finally making the problem quantifiable and forcing developers to be intentional about context placement and compression.</p>
<div class="lb-trans"><p>扩展这些系统带来了研究人员刚开始量化的挑战。上下文衰退的问题——模型忽略深藏在长上下文窗口中的相关信息——被普遍承认，但具体的可操作数据仍然稀缺。Lopatina 指出，“上下文衰退在每个博客中都有提及，但在真实规模（超过 10 万文档，数十亿个标记）的行业基准仍然稀少。” Anthropic 最近的工作为这个问题提供了具体数字——当相关上下文放置在 700k 标记的 1M 窗口中时，检索率下降到 30%——这终于使问题可量化，并迫使开发者在上下文放置和压缩上更加谨慎。</p>
</div><p>The emergence of Multi-Component Prompting (MCP) servers, allowing developers to register and discover tools via giant JSON schemas, has been a double-edged sword. While MCP servers accelerate rapid prototyping by abstracting tool management, they also contribute significantly to context bloat, consuming precious tokens merely describing the available functions. The long-term trend is optimization: moving away from verbose schemas and toward leaner, direct API calls once the system design is validated.</p>
<div class="lb-trans"><p>多组件提示（MCP）服务器的出现，使开发者能够通过巨大的 JSON 架构注册和发现工具，这是一把双刃剑。虽然 MCP 服务器通过抽象工具管理加速了快速原型开发，但它们也显著增加了上下文膨胀，消耗了宝贵的标记，仅用于描述可用功能。长期趋势是优化：在系统设计得到验证后，逐步摆脱冗长的架构，转向更简洁、直接的 API 调用。</p>
</div><p>Instruction-following re-rankers are becoming critical components of high-performance pipelines. These smaller, specialized models sit between the initial dense retrieval phase and the final context window supplied to the LLM, ensuring that while initial retrieval prioritizes high recall, the final context window maintains high precision. This is particularly important for dynamic agents reasoning over large databases.</p>
<div class="lb-trans"><p>遵循指令的重新排序器正成为高性能管道的关键组成部分。这些较小的专用模型位于初始密集检索阶段与提供给 LLM 的最终上下文窗口之间，确保初始检索优先考虑高召回率，而最终上下文窗口保持高精度。这对于在大型数据库上进行推理的动态代理尤为重要。</p>
</div><p>A key optimization technique for multi-turn agents is the strategic management of the Key-Value (KV) cache. The decision-making framework is simple: stuff that doesn’t change (like the system prompt or early conversational turns) goes up front in the cache, while dynamically generated context (like recent turns or tool outputs) goes at the bottom. This approach stabilizes the agent’s core identity and instructions across turns while maintaining efficiency. Ultimately, models are not yet sophisticated enough for automatic compaction, necessitating intentional context compression, even if it means proactively limiting conversational turns, as Lopatina does in her own development workflow.</p>
<div class="lb-trans"><p>多轮代理的一个关键优化技术是对键值（KV）缓存的战略管理。决策框架很简单：不变的内容（如系统提示或早期对话轮次）放在缓存的前面，而动态生成的上下文（如最近的轮次或工具输出）放在底部。这种方法在保持效率的同时，稳定了代理在多个轮次中的核心身份和指令。最终，模型尚未足够复杂以实现自动压缩，因此需要有意进行上下文压缩，即使这意味着主动限制对话轮次，正如 Lopatina 在自己的开发工作流程中所做的那样。</p>
</div><p>Looking ahead, the discussion is moving past individual component breakthroughs. The next frontier in 2026, according to Lopatina, is full-system design, where “The conversation shifts from ‘how do I optimize my re-ranker’ to ‘what does the end-to-end architecture look like for reasoning over billions of tokens in production?'” This systemic view, encompassing multimodal ingestion, hybrid search, constrained agents, and strategic context management, marks the maturation of context engineering into a true discipline.</p>
<div class="lb-trans"><p>展望未来，讨论已经超越了单个组件的突破。根据 Lopatina 的说法，2026 年的下一个前沿是全系统设计，“讨论从 ‘我如何优化我的重新排序器’ 转向 ‘在生产中对数十亿个标记进行推理的端到端架构是什么样的？’” 这种系统视角，涵盖多模态摄取、混合搜索、受限代理和战略上下文管理，标志着上下文工程成熟为真正的学科。</p>
</div>

Agentic RAG is the New Baseline: Context Engineering Shifts from Component Hacks to Full System...

- 应用 AI 的创新速度迫使从原型到生产的时间大幅缩短。  
- Nina Lopatina 指出，行业正努力将上下文工程转变为完整的全栈学科。  
- 引入代理需要严格限制，以维持可靠性和性能，挑战也在增加。

Agentic RAG 成为新的基准：上下文工程从组件破解转向完整系统