<p>應用人工智能的創新速度已經壓縮了新學科的時間線，迫使從業者幾乎在一夜之間從原型轉向生產。對於上下文工程而言，可靠地為大型語言模型（LLMs）提供必要的外部信息的過程，2025 年感覺就像是 “六個月壓縮成一年”。這種快速演變正在推動關注的根本轉變：從優化單個組件轉向建立能夠在企業規模下運行的強大端到端系統架構。</p>
<p>這是 Nina Lopatina 的核心見解，她是 Contextual AI 的首席開發者倡導者，在 2025 年 NeurIPS 大會上與 Latent Space 的編輯 Swyx 進行了現場對話。Lopatina 的背景涵蓋神經科學和獎勵學習，她強調了行業急於將上下文工程從一系列設計模式轉變為一個完整的全棧學科，配備針對現實世界複雜性設計的基準和工具。</p>
<p>在該領域觀察到的最直接變化是基本的檢索增強生成（RAG）已變得過時。簡單的檢索已不足以滿足複雜的企業查詢。Lopatina 確認 “代理 RAG 現在是基線：查詢重構為子查詢的性能提升如此顯著，以至於成為新的標準（普通 RAG 已經死去）。” 這種轉變反映了 LLM 動態地將用户的複雜查詢分解為多個有針對性的子查詢、檢索多樣化文檔併合成答案的必要性——這一過程需要複雜的控制流程和強大的基礎設施。</p>
<p>然而，引入代理性需要嚴格的保護措施。行業正在迅速學習，自主代理需要明確的約束，以維持可靠性和大規模性能。在最近的一次零售宇宙黑客馬拉松中，Lopatina 的團隊處理了一個包含近 100,000 個文檔的數據集，包括 PDF、CSV 和日誌文件——這是一個遠離學術玩具示例的真實數據環境。他們發現子代理需要定義的輪次限制和驗證循環，因為 “無限代理會降低性能並導致幻覺。” 代理的固有驅動是全面搜索每一個可能的途徑或不斷檢查自己的工作，當處理大規模生產數據集時，這種行為很快就會變成反模式。</p>
<p>擴展這些系統帶來了研究人員剛開始量化的挑戰。上下文衰退的問題——模型忽略深藏在長上下文窗口中的相關信息——被普遍承認，但具體的可操作數據仍然稀缺。Lopatina 指出，“上下文衰退在每個博客中都有提及，但在真實規模（超過 10 萬文檔，數十億個標記）的行業基準仍然稀少。” Anthropic 最近的工作為這個問題提供了具體數字——當相關上下文放置在 700k 標記的 1M 窗口中時，檢索率下降到 30%——這終於使問題可量化，並迫使開發者在上下文放置和壓縮上更加謹慎。</p>
<p>多組件提示（MCP）服務器的出現，使開發者能夠通過巨大的 JSON 架構註冊和發現工具，這是一把雙刃劍。雖然 MCP 服務器通過抽象工具管理加速了快速原型開發，但它們也顯著增加了上下文膨脹，消耗了寶貴的標記，僅用於描述可用功能。長期趨勢是優化：在系統設計得到驗證後，逐步擺脱冗長的架構，轉向更簡潔、直接的 API 調用。</p>
<p>遵循指令的重新排序器正成為高性能管道的關鍵組成部分。這些較小的專用模型位於初始密集檢索階段與提供給 LLM 的最終上下文窗口之間，確保初始檢索優先考慮高召回率，而最終上下文窗口保持高精度。這對於在大型數據庫上進行推理的動態代理尤為重要。</p>
<p>多輪代理的一個關鍵優化技術是對鍵值（KV）緩存的戰略管理。決策框架很簡單：不變的內容（如系統提示或早期對話輪次）放在緩存的前面，而動態生成的上下文（如最近的輪次或工具輸出）放在底部。這種方法在保持效率的同時，穩定了代理在多個輪次中的核心身份和指令。最終，模型尚未足夠複雜以實現自動壓縮，因此需要有意進行上下文壓縮，即使這意味着主動限制對話輪次，正如 Lopatina 在自己的開發工作流程中所做的那樣。</p>
<p>展望未來，討論已經超越了單個組件的突破。根據 Lopatina 的説法，2026 年的下一個前沿是全系統設計，“討論從 ‘我如何優化我的重新排序器’ 轉向 ‘在生產中對數十億個標記進行推理的端到端架構是什麼樣的？’” 這種系統視角，涵蓋多模態攝取、混合搜索、受限代理和戰略上下文管理，標誌着上下文工程成熟為真正的學科。</p>

<p>應用人工智能的快速發展正在將上下文工程的重點從組件優化轉向穩健的系統架構。Contextual AI 的 Nina Lopatina 強調，代理式 RAG 已成為處理複雜企業查詢的新標準，這要求大型語言模型（LLMs）能夠動態地將查詢分解為子查詢。上下文衰退和對自主代理的明確約束需求等挑戰正在出現。現在的重點是為 2026 年進行全系統設計，超越單個組件，優化針對大數據集推理的端到端架構</p>

<p>The speed of innovation in applied AI has collapsed the timeline for new disciplines, forcing practitioners to move from prototype to production almost overnight. For context engineering, the process of reliably supplying large language models (LLMs) with necessary external information, 2025 felt like “six months compressed into a year.” This rapid evolution is driving a fundamental shift in focus: away from optimizing individual components and toward establishing robust, end-to-end system architectures capable of operating at enterprise scale.</p>
<div class="lb-trans"><p>應用人工智能的創新速度已經壓縮了新學科的時間線，迫使從業者幾乎在一夜之間從原型轉向生產。對於上下文工程而言，可靠地為大型語言模型（LLMs）提供必要的外部信息的過程，2025 年感覺就像是 “六個月壓縮成一年”。這種快速演變正在推動關注的根本轉變：從優化單個組件轉向建立能夠在企業規模下運行的強大端到端系統架構。</p>
</div><p>This was the core insight delivered by Nina Lopatina, Lead Developer Advocate at Contextual AI, who spoke with Swyx, Editor of Latent Space, live at NeurIPS 2025. Lopatina, whose background spans neuroscience and reward learning, highlighted the industry’s scramble to turn context engineering from a collection of design patterns into a full-stack discipline, complete with benchmarks and tooling designed for real-world complexity.</p>
<div class="lb-trans"><p>這是 Nina Lopatina 的核心見解，她是 Contextual AI 的首席開發者倡導者，在 2025 年 NeurIPS 大會上與 Latent Space 的編輯 Swyx 進行了現場對話。Lopatina 的背景涵蓋神經科學和獎勵學習，她強調了行業急於將上下文工程從一系列設計模式轉變為一個完整的全棧學科，配備針對現實世界複雜性設計的基準和工具。</p>
</div><p>The most immediate change observed in the field is the obsolescence of basic Retrieval-Augmented Generation (RAG). Simple retrieval is no longer sufficient for complex enterprise queries. Lopatina confirmed that “agentic RAG is now the baseline: query reformulation into subqueries improved performance so dramatically it became the new standard (normal RAG is dead).” This shift reflects the necessity of having the LLM dynamically break down a user’s complex query into multiple, targeted subqueries, retrieve diverse documents, and then synthesize the answer—a process that demands sophisticated control flow and robust infrastructure.</p>
<div class="lb-trans"><p>在該領域觀察到的最直接變化是基本的檢索增強生成（RAG）已變得過時。簡單的檢索已不足以滿足複雜的企業查詢。Lopatina 確認 “代理 RAG 現在是基線：查詢重構為子查詢的性能提升如此顯著，以至於成為新的標準（普通 RAG 已經死去）。” 這種轉變反映了 LLM 動態地將用户的複雜查詢分解為多個有針對性的子查詢、檢索多樣化文檔併合成答案的必要性——這一過程需要複雜的控制流程和強大的基礎設施。</p>
</div><p>Yet, introducing agency necessitates strict guardrails. The industry is quickly learning that autonomous agents require explicit constraints to maintain reliability and performance at scale. During a recent Retail Universe hackathon, Lopatina’s team worked with a dataset comprising nearly 100,000 documents, including PDFs, CSVs, and log files—a real-world data landscape far removed from academic toy examples. They found that sub-agents needed defined turn limits and validation loops because “unlimited agency degrades performance and causes hallucinations.” The inherent drive of an agent to exhaustively search every possible avenue or continuously check its own work quickly becomes an anti-pattern when dealing with massive, production-scale datasets.</p>
<div class="lb-trans"><p>然而，引入代理性需要嚴格的保護措施。行業正在迅速學習，自主代理需要明確的約束，以維持可靠性和大規模性能。在最近的一次零售宇宙黑客馬拉松中，Lopatina 的團隊處理了一個包含近 100,000 個文檔的數據集，包括 PDF、CSV 和日誌文件——這是一個遠離學術玩具示例的真實數據環境。他們發現子代理需要定義的輪次限制和驗證循環，因為 “無限代理會降低性能並導致幻覺。” 代理的固有驅動是全面搜索每一個可能的途徑或不斷檢查自己的工作，當處理大規模生產數據集時，這種行為很快就會變成反模式。</p>
</div><p>Scaling these systems introduces challenges that researchers are only beginning to quantify. The issue of context rot—where models ignore relevant information buried deep within long context windows—is universally acknowledged, yet concrete, actionable data remains scarce. Lopatina noted that “context rot is cited in every blog but industry benchmarks at real scale (100k+ documents, billions of tokens) are still rare.” Anthropic’s recent work, which put hard numbers on the problem—showing retrieval dropping to 30% when relevant context is placed at 700k tokens in a 1M window—is finally making the problem quantifiable and forcing developers to be intentional about context placement and compression.</p>
<div class="lb-trans"><p>擴展這些系統帶來了研究人員剛開始量化的挑戰。上下文衰退的問題——模型忽略深藏在長上下文窗口中的相關信息——被普遍承認，但具體的可操作數據仍然稀缺。Lopatina 指出，“上下文衰退在每個博客中都有提及，但在真實規模（超過 10 萬文檔，數十億個標記）的行業基準仍然稀少。” Anthropic 最近的工作為這個問題提供了具體數字——當相關上下文放置在 700k 標記的 1M 窗口中時，檢索率下降到 30%——這終於使問題可量化，並迫使開發者在上下文放置和壓縮上更加謹慎。</p>
</div><p>The emergence of Multi-Component Prompting (MCP) servers, allowing developers to register and discover tools via giant JSON schemas, has been a double-edged sword. While MCP servers accelerate rapid prototyping by abstracting tool management, they also contribute significantly to context bloat, consuming precious tokens merely describing the available functions. The long-term trend is optimization: moving away from verbose schemas and toward leaner, direct API calls once the system design is validated.</p>
<div class="lb-trans"><p>多組件提示（MCP）服務器的出現，使開發者能夠通過巨大的 JSON 架構註冊和發現工具，這是一把雙刃劍。雖然 MCP 服務器通過抽象工具管理加速了快速原型開發，但它們也顯著增加了上下文膨脹，消耗了寶貴的標記，僅用於描述可用功能。長期趨勢是優化：在系統設計得到驗證後，逐步擺脱冗長的架構，轉向更簡潔、直接的 API 調用。</p>
</div><p>Instruction-following re-rankers are becoming critical components of high-performance pipelines. These smaller, specialized models sit between the initial dense retrieval phase and the final context window supplied to the LLM, ensuring that while initial retrieval prioritizes high recall, the final context window maintains high precision. This is particularly important for dynamic agents reasoning over large databases.</p>
<div class="lb-trans"><p>遵循指令的重新排序器正成為高性能管道的關鍵組成部分。這些較小的專用模型位於初始密集檢索階段與提供給 LLM 的最終上下文窗口之間，確保初始檢索優先考慮高召回率，而最終上下文窗口保持高精度。這對於在大型數據庫上進行推理的動態代理尤為重要。</p>
</div><p>A key optimization technique for multi-turn agents is the strategic management of the Key-Value (KV) cache. The decision-making framework is simple: stuff that doesn’t change (like the system prompt or early conversational turns) goes up front in the cache, while dynamically generated context (like recent turns or tool outputs) goes at the bottom. This approach stabilizes the agent’s core identity and instructions across turns while maintaining efficiency. Ultimately, models are not yet sophisticated enough for automatic compaction, necessitating intentional context compression, even if it means proactively limiting conversational turns, as Lopatina does in her own development workflow.</p>
<div class="lb-trans"><p>多輪代理的一個關鍵優化技術是對鍵值（KV）緩存的戰略管理。決策框架很簡單：不變的內容（如系統提示或早期對話輪次）放在緩存的前面，而動態生成的上下文（如最近的輪次或工具輸出）放在底部。這種方法在保持效率的同時，穩定了代理在多個輪次中的核心身份和指令。最終，模型尚未足夠複雜以實現自動壓縮，因此需要有意進行上下文壓縮，即使這意味着主動限制對話輪次，正如 Lopatina 在自己的開發工作流程中所做的那樣。</p>
</div><p>Looking ahead, the discussion is moving past individual component breakthroughs. The next frontier in 2026, according to Lopatina, is full-system design, where “The conversation shifts from ‘how do I optimize my re-ranker’ to ‘what does the end-to-end architecture look like for reasoning over billions of tokens in production?'” This systemic view, encompassing multimodal ingestion, hybrid search, constrained agents, and strategic context management, marks the maturation of context engineering into a true discipline.</p>
<div class="lb-trans"><p>展望未來，討論已經超越了單個組件的突破。根據 Lopatina 的説法，2026 年的下一個前沿是全系統設計，“討論從 ‘我如何優化我的重新排序器’ 轉向 ‘在生產中對數十億個標記進行推理的端到端架構是什麼樣的？’” 這種系統視角，涵蓋多模態攝取、混合搜索、受限代理和戰略上下文管理，標誌着上下文工程成熟為真正的學科。</p>
</div>

Agentic RAG is the New Baseline: Context Engineering Shifts from Component Hacks to Full System...

- 應用 AI 的創新速度迫使從原型到生產的時間大幅縮短。  
- Nina Lopatina 指出，行業正努力將上下文工程轉變為完整的全棧學科。  
- 引入代理需要嚴格限制，以維持可靠性和性能，挑戰也在增加。

Agentic RAG 成為新的基準：上下文工程從組件破解轉向完整系統