<p>人工智能不再是一个理论追求；它现在正在推动数据处理和模型部署的自动化和创新。然而，这一转变对传统基础设施施加了巨大的压力，而这些基础设施往往并不是为了处理现代人工智能工作负载的庞大规模和独特需求而构建的。IBM Z 的人工智能产品经理 Joy Deng 最近对支持现代人工智能堆栈所需的基础设施层进行了深刻的分析，详细说明了企业实现可扩展、高效和受管控的人工智能信心所需的特定硬件、数据管道和操作前提。</p>
<p>成功的人工智能实施需要一个强大的支持堆栈，从基础的计算和存储基础设施开始，一直到软件和应用层。Deng 特别关注硬件层，区分了三种不同类型的人工智能工作负载——训练、微调和推理——每种工作负载都有独特的资源需求。训练涉及使用大量数据集从头构建模型，需要极高的并行计算和存储吞吐量。微调则是将现有模型适应特定业务数据，要求在迭代计算和输入/输出速度之间取得平衡。推理是在生产环境中运行模型以提供实时洞察，要求低延迟和高可靠性。</p>
<p>通往人工智能就绪基础设施的路径可以通过一个四点清单来总结，首先是针对人工智能数学的专用加速器。现代计算是异构的，超越了传统的以 CPU 为中心的模型，拥抱 GPU、NPU（神经处理单元）和定制 ASIC（特定应用集成电路）。CPU 负责管理调度和轻量级模型，而 GPU 则提供深度学习训练所需的高并行性。NPU 和定制加速器则针对高效、低功耗的推理进行了优化。</p>
<p>这里的关键见解是对低精度数学的依赖，例如 Int8 或 FP8，这大大提高了性能和效率。Deng 解释道：“这就是如何在不增加更多耗电硬件的情况下获得更多性能、更高效率和更大可扩展性。” 这种转变使组织能够在不产生高昂的能源和冷却成本的情况下最大化吞吐量。</p>
<p>第二个关键组成部分是快速的网络架构。人工智能工作负载本质上是数据密集型的，需要在计算节点、存储和最终用户之间移动大量信息。网络必须跟上步伐，要求高带宽（100 千兆以太网或更快）、低延迟和非阻塞设计。如果网络滞后，昂贵的加速器将处于闲置状态，造成整个人工智能管道中最昂贵的瓶颈。</p>
<p>第三，智能高效的数据管道至关重要。人工智能的强大程度取决于为其提供数据的管道，这需要一个分层存储策略来平衡速度和成本。这种存储架构通常涉及一个热层（用于需要快速实时访问的活跃数据集的快速闪存存储）、一个温层（用于正在进行的项目的对象或扩展存储）和一个冷层（用于历史数据的归档存储）。通过利用智能分层和预取，正确的数据始终在模型需要时准备就绪。此外，基础设施必须支持零拷贝流，确保数据直接流入加速器，而不被 CPU 瓶颈，简化了摄取过程并最大化了加速器的利用率。</p>
<p>最后，基础设施必须支持安全、受管控的 MLOps。MLOps（机器学习操作）确保从训练到生产部署的整个生命周期顺利运行，并直接与业务结果挂钩。治理是保护这一生态系统的屏障，确保安全的工作负载、保护用户隐私，并保持与技术标准的合规性。优化的系统减少资源使用，使得更快和更具成本效益的部署成为可能，最终加快上市时间并培养对已部署模型的信任。这一安全高效的基础是使组织从仅仅具备人工智能准备状态转变为真正具备人工智能信心的基础。</p>

英特尔

<p>这篇文章讨论了可扩展人工智能所需的基础设施，强调了专用硬件、高效数据管道和安全的机器学习运维（MLOps）的重要性。IBM 的 Joy Deng 指出了三种类型的人工智能工作负载：训练、微调和推理，每种工作负载都需要不同的资源。关键组件包括使用 CPU、GPU、NPU 和定制 ASIC 的异构计算、用于数据传输的快速网络架构，以及分层存储策略。重点在于优化性能和效率，同时确保治理和合规，使组织能够从人工智能准备阶段过渡到人工智能自信阶段</p>

<p>Artificial intelligence is no longer a theoretical pursuit; it is now driving automation and innovation across data processing and model deployment. However, this shift places immense pressure on legacy infrastructure, which often was not built to handle the sheer volume and unique demands of modern AI workloads at scale. Joy Deng, Product Manager AI on Z at IBM, recently presented an incisive analysis of the infrastructure layer required to power the modern AI stack, detailing the specific hardware, data pipeline, and operational prerequisites necessary for enterprises to achieve scalable, efficient, and governed AI confidence.</p>
<div class="lb-trans"><p>人工智能不再是一个理论追求；它现在正在推动数据处理和模型部署的自动化和创新。然而，这一转变对传统基础设施施加了巨大的压力，而这些基础设施往往并不是为了处理现代人工智能工作负载的庞大规模和独特需求而构建的。IBM Z 的人工智能产品经理 Joy Deng 最近对支持现代人工智能堆栈所需的基础设施层进行了深刻的分析，详细说明了企业实现可扩展、高效和受管控的人工智能信心所需的特定硬件、数据管道和操作前提。</p>
</div><p>A successful AI implementation requires a robust supporting stack, starting from the foundational compute and storage infrastructure up through the software and application layers. Deng focused acutely on the hardware layer, differentiating three distinct flavors of AI workloads—training, fine-tuning, and inferencing—each with unique resource demands. Training, which involves building models from scratch using massive datasets, requires extreme parallel compute and storage throughput. Fine-tuning, adapting an existing model to specific business data, demands a balance of iterative compute and I/O speed. Inferencing, running the model in production to deliver real-time insights, necessitates low latency and high reliability.</p>
<div class="lb-trans"><p>成功的人工智能实施需要一个强大的支持堆栈，从基础的计算和存储基础设施开始，一直到软件和应用层。Deng 特别关注硬件层，区分了三种不同类型的人工智能工作负载——训练、微调和推理——每种工作负载都有独特的资源需求。训练涉及使用大量数据集从头构建模型，需要极高的并行计算和存储吞吐量。微调则是将现有模型适应特定业务数据，要求在迭代计算和输入/输出速度之间取得平衡。推理是在生产环境中运行模型以提供实时洞察，要求低延迟和高可靠性。</p>
</div><p>The path to AI-ready infrastructure can be summarized by a four-point checklist, beginning with specialized accelerators for AI math. Modern compute is heterogeneous, moving beyond the traditional CPU-centric model to embrace GPUs, NPUs (Neural Processing Units), and custom ASICs (Application-Specific Integrated Circuits). CPUs manage orchestration and lightweight models, while GPUs deliver the high parallelism required for deep learning training. NPUs and custom accelerators are optimized for efficient, low-power inferencing at scale.</p>
<div class="lb-trans"><p>通往人工智能就绪基础设施的路径可以通过一个四点清单来总结，首先是针对人工智能数学的专用加速器。现代计算是异构的，超越了传统的以 CPU 为中心的模型，拥抱 GPU、NPU（神经处理单元）和定制 ASIC（特定应用集成电路）。CPU 负责管理调度和轻量级模型，而 GPU 则提供深度学习训练所需的高并行性。NPU 和定制加速器则针对高效、低功耗的推理进行了优化。</p>
</div><p>The critical insight here is the reliance on low-precision math, such as Int8 or FP8, which drastically improves performance and efficiency. “It’s how you get more performance, more efficiency, and more scalability without adding more power-hungry hardware,” Deng explained. This shift allows organizations to maximize throughput without incurring prohibitive energy and cooling costs.</p>
<div class="lb-trans"><p>这里的关键见解是对低精度数学的依赖，例如 Int8 或 FP8，这大大提高了性能和效率。Deng 解释道：“这就是如何在不增加更多耗电硬件的情况下获得更多性能、更高效率和更大可扩展性。” 这种转变使组织能够在不产生高昂的能源和冷却成本的情况下最大化吞吐量。</p>
</div><p>The second key component is a fast network fabric. AI workloads are inherently data-hungry, requiring the movement of massive amounts of information between compute nodes, storage, and end-users. The network must keep pace, demanding high bandwidth (100 Gigabit Ethernet or faster), low latency, and a non-blocking design. If the network lags, expensive accelerators sit idle, creating the most costly bottleneck in the entire AI pipeline.</p>
<div class="lb-trans"><p>第二个关键组成部分是快速的网络架构。人工智能工作负载本质上是数据密集型的，需要在计算节点、存储和最终用户之间移动大量信息。网络必须跟上步伐，要求高带宽（100 千兆以太网或更快）、低延迟和非阻塞设计。如果网络滞后，昂贵的加速器将处于闲置状态，造成整个人工智能管道中最昂贵的瓶颈。</p>
</div><p>Thirdly, smart and efficient data pipelines are essential. AI is only as powerful as the data pipeline that feeds it, necessitating a tiered storage strategy to balance speed and cost. This storage architecture typically involves a hot tier (fast flash storage for active datasets requiring rapid, real-time access), a warm tier (object or scale-out storage for ongoing projects), and a cold tier (archival storage for historical data). By utilizing intelligent tiering and pre-fetching, the right data is always ready when the model needs it. Furthermore, infrastructure must support zero-copy streaming, ensuring data flows directly into accelerators without being bottlenecked by the CPU, streamlining the ingestion process and maximizing accelerator utilization.</p>
<div class="lb-trans"><p>第三，智能高效的数据管道至关重要。人工智能的强大程度取决于为其提供数据的管道，这需要一个分层存储策略来平衡速度和成本。这种存储架构通常涉及一个热层（用于需要快速实时访问的活跃数据集的快速闪存存储）、一个温层（用于正在进行的项目的对象或扩展存储）和一个冷层（用于历史数据的归档存储）。通过利用智能分层和预取，正确的数据始终在模型需要时准备就绪。此外，基础设施必须支持零拷贝流，确保数据直接流入加速器，而不被 CPU 瓶颈，简化了摄取过程并最大化了加速器的利用率。</p>
</div><p>Finally, infrastructure must support secure, governed MLOps. MLOps (Machine Learning Operations) ensures that the entire lifecycle, from training to production deployment, runs smoothly and is tied directly to business outcomes. Governance is the shield protecting this ecosystem, ensuring secure workloads, protecting user privacy, and maintaining compliance with technical standards. Optimized systems reduce resource usage, enabling faster and more cost-efficient deployments, ultimately accelerating time to market and cultivating trust in the deployed models. This secure and efficient foundation is what allows organizations to move from being merely AI-ready to becoming truly AI-confident.</p>
<div class="lb-trans"><p>最后，基础设施必须支持安全、受管控的 MLOps。MLOps（机器学习操作）确保从训练到生产部署的整个生命周期顺利运行，并直接与业务结果挂钩。治理是保护这一生态系统的屏障，确保安全的工作负载、保护用户隐私，并保持与技术标准的合规性。优化的系统减少资源使用，使得更快和更具成本效益的部署成为可能，最终加快上市时间并培养对已部署模型的信任。这一安全高效的基础是使组织从仅仅具备人工智能准备状态转变为真正具备人工智能信心的基础。</p>
</div>

The Infrastructure Mandate for Scalable AI

- 人工智能现在推动自动化和创新，但对传统基础设施施加巨大压力。  
- IBM 的 Joy Deng 分析了实现可扩展有效 AI 所需的基础设施层，包括硬件和数据管道。  
- 实现成功 AI 应用需要低延迟、高可靠性的资源支持。

可扩展人工智能的基础设施使命