Streamhouse:一種利用實時上下文為 AI 提供服務的新方式

LongbridgeAI我是 LongbridgeAI,我可以總結文章信息。

認識 Streamhouse。

為了滿足 AI 代理在生產環境中正常運行所需的上下文需求,流式數據和數據湖倉這兩個詞組合成了 “Streamhouse”。它在數據湖倉的基礎上構建,旨在滿足 AI 代理對連續、實時數據的需求。

Aiven、Confluent、Redpanda、StreamNative 和 Ververica 最近成立了 Streamhouse 工作組,併發布了新 Streamhouse 架構的開放定義及其關鍵屬性列表。

數據湖倉架構使用户能夠存儲和分析大量歷史數據。Streamhouse 架構同樣支持訪問相關數據。但 Streamhouse 與數據湖倉的不同之處在於數據的時間範圍:Streamhouse 不是存儲歷史數據,而是簡化並標準化地向代理提供分散在眾多系統中的實時數據,使代理能夠獲得新鮮的上下文,從而保持代理工作流的時效性和可靠性。

TreeHive Strategy 的創始人兼負責人 Donald Farmer 告訴 TechTarget:“發佈標準化架構意義重大,即使只是因為它為行業奠定了共享語言和共同的起點。Streamhouse 的定義提供了一種與供應商無關的藍圖。”

BARC U.S. 的分析師 Kevin Petrie 同樣指出,定義一種新架構——包括命名支持技術,如變更數據捕獲、開放表格式和數據目錄——對數據和 AI 行業具有價值。然而,他指出,Streamhouse 的工作定義仍處於起步階段,關於該架構如何支持其他開放標準的具體細節尚顯不足。

他告訴 TechTarget:“我完全支持這一概念,並認為該工作組指出了正確的支持技術。話雖如此,Streamhouse 網站的文檔目前相當稀疏,如果能基於客户實施案例提供更詳細的參考架構,將會更有益處。”

對新事物的需求

AI 代理旨在隨着運營事件的發生做出決策並執行業務流程,例如供應鏈管理和欺詐檢測。

為了在生產環境中按預期運行,代理不僅需要高質量且可信賴的數據,還需要持續並以生產規模提供的、經過治理的新鮮業務上下文。如果沒有流式數據,它們將缺乏實時上下文,並可能錯過按預期執行業務流程所需的觸發條件。

發佈標準化架構意義重大,即使只是因為它為行業奠定了共享語言和共同的起點。Streamhouse 的定義提供了一種與供應商無關的藍圖。Donald Farmer TreeHive Strategy 創始人兼負責人

然而,企業數據通常分散在各種 SaaS 應用中,並存儲在多雲環境下的數據庫、數據倉庫、數據湖和數據湖倉中。Farmer 表示,因此,構建連接分散在如此多系統中的數據並實時(且具有適當的治理)將其交付給代理的管道,對一些組織來説過於複雜。

他説:“大多數企業現有的臨時管道根本不夠好。”

Farmer 繼續説道,因此需要一種新的方式來為代理提供其所需的實時數據。

他説:“Streamhouse 模型專門為生產環境設計流式處理,增加了臨時消息管道未能提供的必要轉換和治理功能。它還使組織能夠避免在使用前將所有企業數據整合到單個系統中的摩擦。”

Petrie 指出,雖然流式數據對代理很重要,但隨着企業競相開發和部署自主 AI 網絡,人們並未充分重視代理如何訪問實時數據。

他説:“在爭相採用代理、湖倉和文檔的過程中,我認為許多組織忽視了為其代理提供一種標準、開放的方法來實時訪問數據的需求。”

Petrie 繼續説道,諸如 Apache Kafka 這樣的流式架構(Confluent 的技術基礎)提供了一種實現方式。而 Streamhouse 現在是另一種方式。

Petrie 説:“幾乎所有代理都需要實時訪問數據,而流式處理是提供表格或半結構化日誌的實時訪問和處理的理想方式。”

Aiven、Confluent、Redpanda、StreamNative 和 Ververica 將 Streamhouse 定義為一種架構,使企業能夠持續捕獲、治理並向代理和其他應用程序提供其運營的當前狀態,以便它們能夠實時分析信息並採取行動。

Streamhouse 架構的關鍵屬性包括以下內容:

  • 連續捕獲、處理和交付數據,使其在事件發生時即可實時可用,而不是通過批處理文件處理進行交付。
  • 生產級工程,使包括代理在內的關鍵業務應用和關鍵分析能夠依賴連續交付。
  • 去中心化,使代理能夠在其所在位置訪問數據,而無需等待數據被打包並整合到單一位置。

Redpanda 的聯合創始人兼首席執行官 Alex Gallego 指出,這些供應商走到一起定義 Streamhouse,是因為他們觀察到客户從不同的起點出發構建代理工作流,但最終看起來相似,每個工作流都具有連接去中心化數據資產的實時數據和生產級工程。

Gallego 告訴 TechTarget:“數據不能滯後數小時,系統也不能依賴批處理作業在代理做出決策之前趕上進度。我們都從客户那裏聽到了類似的説法。當我們交流意見時,很明顯……這是市場正在趨同於同一個問題。這種趨同使得發佈共享的、與供應商無關的定義變得有價值。”

Farmer 指出,雖然 Streamhouse 工作組命名的關鍵屬性很有價值,但開發有效的管道以向代理提供流式數據還需要更多能力。特別是,治理、安全性和互操作性也至關重要,它們使 Streamhouse 能夠使用 Apache Iceberg 和 Delta Lake 等開放表格式與數據湖倉交換數據。

Farmer 説:“如果代理採取自主行動,向其提供的數據必須經過嚴格審計、血緣追蹤和訪問控制。”

Petrie 指出,Streamhouse 工作組正確地強調了某些治理能力。然而,像 Farmer 一樣,他建議該聯盟增加更多關於 Streamhouse 如何保持流式數據安全並符合不斷演變的法規的具體細節。

他説:“工作組正確地將治理命名為必備特徵,但我認為用户需要更多關於如何最好地滿足身份和訪問管理、個人身份信息模糊化以及知識產權保護等特定要求的詳細信息。他們還需要更多關於目錄和元數據存儲如何組織支持性元數據的信息。”

Streamhouse 需要補充

Gallego 表示,在發佈 Streamhouse 的初始定義後,Streamhouse 工作組計劃維護該定義,並隨着技術的發展對其進行修改。

此外,該工作組正在努力改進標準和實踐,使組織能夠使用開源和專有工具構建 Streamhouse,並向更多成員開放參與 Streamhouse 工作組的機會。

Gallego 説:“Streamhouse 在設計上是開放的。沒有一家公司擁有該定義的所有權,我們歡迎任何在該領域構建的人士貢獻併成為其中的一部分。這對客户更有利——他們獲得的是選擇、競爭和創新,而不是由單一供應商控制的另一個類別。”

Gallego 承認,Streamhouse 架構僅解決了阻礙組織將代理投入生產的部分問題。雖然該架構提供了數據基礎設施,但仍需要一個治理和安全層來控制代理的訪問權限。

Farmer 建議工作組解決的另一個缺失部分是 Streamhouse 如何與代理的內存系統(包括向量數據庫和檢索增強生成系統)交互,以便實時準備數據。

他説:“傳輸數據只是戰鬥的一半。對流式數據進行格式化和索引,以便大型語言模型(LLM)能夠以實時所需的毫秒級速度查詢它,是一個他們尚未解決的關鍵障礙。”

Eric Avidon 是 Informa TechTarget 的高級新聞撰稿人,也是一位擁有三十多年經驗的記者。他報道分析和數據管理領域。

來源: TechTarget News 本文版權歸屬於原作者/機構。

以上內容僅代表作者個人觀點,不代表平台立場。本內容僅供投資參考,不應被視為投資建議。如您對平台提供的內容服務有任何疑問或建議,請聯繫我們。