我是 LongbridgeAI,我可以总结文章信息。认识 Streamhouse。
为了满足 AI 代理在生产环境中正常运行所需的上下文需求,流式数据和数据湖仓这两个词组合成了 “Streamhouse”。它在数据湖仓的基础上构建,旨在满足 AI 代理对连续、实时数据的需求。
Aiven、Confluent、Redpanda、StreamNative 和 Ververica 最近成立了 Streamhouse 工作组,并发布了新 Streamhouse 架构的开放定义及其关键属性列表。
数据湖仓架构使用户能够存储和分析大量历史数据。Streamhouse 架构同样支持访问相关数据。但 Streamhouse 与数据湖仓的不同之处在于数据的时间范围:Streamhouse 不是存储历史数据,而是简化并标准化地向代理提供分散在众多系统中的实时数据,使代理能够获得新鲜的上下文,从而保持代理工作流的时效性和可靠性。
TreeHive Strategy 的创始人兼负责人 Donald Farmer 告诉 TechTarget:“发布标准化架构意义重大,即使只是因为它为行业奠定了共享语言和共同的起点。Streamhouse 的定义提供了一种与供应商无关的蓝图。”
BARC U.S. 的分析师 Kevin Petrie 同样指出,定义一种新架构——包括命名支持技术,如变更数据捕获、开放表格式和数据目录——对数据和 AI 行业具有价值。然而,他指出,Streamhouse 的工作定义仍处于起步阶段,关于该架构如何支持其他开放标准的具体细节尚显不足。
他告诉 TechTarget:“我完全支持这一概念,并认为该工作组指出了正确的支持技术。话虽如此,Streamhouse 网站的文档目前相当稀疏,如果能基于客户实施案例提供更详细的参考架构,将会更有益处。”
对新事物的需求
AI 代理旨在随着运营事件的发生做出决策并执行业务流程,例如供应链管理和欺诈检测。
为了在生产环境中按预期运行,代理不仅需要高质量且可信赖的数据,还需要持续并以生产规模提供的、经过治理的新鲜业务上下文。如果没有流式数据,它们将缺乏实时上下文,并可能错过按预期执行业务流程所需的触发条件。
发布标准化架构意义重大,即使只是因为它为行业奠定了共享语言和共同的起点。Streamhouse 的定义提供了一种与供应商无关的蓝图。Donald Farmer TreeHive Strategy 创始人兼负责人
然而,企业数据通常分散在各种 SaaS 应用中,并存储在多云环境下的数据库、数据仓库、数据湖和数据湖仓中。Farmer 表示,因此,构建连接分散在如此多系统中的数据并实时(且具有适当的治理)将其交付给代理的管道,对一些组织来说过于复杂。
他说:“大多数企业现有的临时管道根本不够好。”
Farmer 继续说道,因此需要一种新的方式来为代理提供其所需的实时数据。
他说:“Streamhouse 模型专门为生产环境设计流式处理,增加了临时消息管道未能提供的必要转换和治理功能。它还使组织能够避免在使用前将所有企业数据整合到单个系统中的摩擦。”
Petrie 指出,虽然流式数据对代理很重要,但随着企业竞相开发和部署自主 AI 网络,人们并未充分重视代理如何访问实时数据。
他说:“在争相采用代理、湖仓和文档的过程中,我认为许多组织忽视了为其代理提供一种标准、开放的方法来实时访问数据的需求。”
Petrie 继续说道,诸如 Apache Kafka 这样的流式架构(Confluent 的技术基础)提供了一种实现方式。而 Streamhouse 现在是另一种方式。
Petrie 说:“几乎所有代理都需要实时访问数据,而流式处理是提供表格或半结构化日志的实时访问和处理的理想方式。”
Aiven、Confluent、Redpanda、StreamNative 和 Ververica 将 Streamhouse 定义为一种架构,使企业能够持续捕获、治理并向代理和其他应用程序提供其运营的当前状态,以便它们能够实时分析信息并采取行动。
Streamhouse 架构的关键属性包括以下内容:
- 连续捕获、处理和交付数据,使其在事件发生时即可实时可用,而不是通过批处理文件处理进行交付。
- 生产级工程,使包括代理在内的关键业务应用和关键分析能够依赖连续交付。
- 去中心化,使代理能够在其所在位置访问数据,而无需等待数据被打包并整合到单一位置。
Redpanda 的联合创始人兼首席执行官 Alex Gallego 指出,这些供应商走到一起定义 Streamhouse,是因为他们观察到客户从不同的起点出发构建代理工作流,但最终看起来相似,每个工作流都具有连接去中心化数据资产的实时数据和生产级工程。
Gallego 告诉 TechTarget:“数据不能滞后数小时,系统也不能依赖批处理作业在代理做出决策之前赶上进度。我们都从客户那里听到了类似的说法。当我们交流意见时,很明显……这是市场正在趋同于同一个问题。这种趋同使得发布共享的、与供应商无关的定义变得有价值。”
Farmer 指出,虽然 Streamhouse 工作组命名的关键属性很有价值,但开发有效的管道以向代理提供流式数据还需要更多能力。特别是,治理、安全性和互操作性也至关重要,它们使 Streamhouse 能够使用 Apache Iceberg 和 Delta Lake 等开放表格式与数据湖仓交换数据。
Farmer 说:“如果代理采取自主行动,向其提供的数据必须经过严格审计、血缘追踪和访问控制。”
Petrie 指出,Streamhouse 工作组正确地强调了某些治理能力。然而,像 Farmer 一样,他建议该联盟增加更多关于 Streamhouse 如何保持流式数据安全并符合不断演变的法规的具体细节。
他说:“工作组正确地将治理命名为必备特征,但我认为用户需要更多关于如何最好地满足身份和访问管理、个人身份信息模糊化以及知识产权保护等特定要求的详细信息。他们还需要更多关于目录和元数据存储如何组织支持性元数据的信息。”
Streamhouse 需要补充
Gallego 表示,在发布 Streamhouse 的初始定义后,Streamhouse 工作组计划维护该定义,并随着技术的发展对其进行修改。
此外,该工作组正在努力改进标准和实践,使组织能够使用开源和专有工具构建 Streamhouse,并向更多成员开放参与 Streamhouse 工作组的机会。
Gallego 说:“Streamhouse 在设计上是开放的。没有一家公司拥有该定义的所有权,我们欢迎任何在该领域构建的人士贡献并成为其中的一部分。这对客户更有利——他们获得的是选择、竞争和创新,而不是由单一供应商控制的另一个类别。”
Gallego 承认,Streamhouse 架构仅解决了阻碍组织将代理投入生产的部分问题。虽然该架构提供了数据基础设施,但仍需要一个治理和安全层来控制代理的访问权限。
Farmer 建议工作组解决的另一个缺失部分是 Streamhouse 如何与代理的内存系统(包括向量数据库和检索增强生成系统)交互,以便实时准备数据。
他说:“传输数据只是战斗的一半。对流式数据进行格式化和索引,以便大型语言模型(LLM)能够以实时所需的毫秒级速度查询它,是一个他们尚未解决的关键障碍。”
Eric Avidon 是 Informa TechTarget 的高级新闻撰稿人,也是一位拥有三十多年经验的记者。他报道分析和数据管理领域。
