<p>人工智能不再是一個理論追求；它現在正在推動數據處理和模型部署的自動化和創新。然而，這一轉變對傳統基礎設施施加了巨大的壓力，而這些基礎設施往往並不是為了處理現代人工智能工作負載的龐大規模和獨特需求而構建的。IBM Z 的人工智能產品經理 Joy Deng 最近對支持現代人工智能堆棧所需的基礎設施層進行了深刻的分析，詳細説明了企業實現可擴展、高效和受管控的人工智能信心所需的特定硬件、數據管道和操作前提。</p>
<p>成功的人工智能實施需要一個強大的支持堆棧，從基礎的計算和存儲基礎設施開始，一直到軟件和應用層。Deng 特別關注硬件層，區分了三種不同類型的人工智能工作負載——訓練、微調和推理——每種工作負載都有獨特的資源需求。訓練涉及使用大量數據集從頭構建模型，需要極高的並行計算和存儲吞吐量。微調則是將現有模型適應特定業務數據，要求在迭代計算和輸入/輸出速度之間取得平衡。推理是在生產環境中運行模型以提供實時洞察，要求低延遲和高可靠性。</p>
<p>通往人工智能就緒基礎設施的路徑可以通過一個四點清單來總結，首先是針對人工智能數學的專用加速器。現代計算是異構的，超越了傳統的以 CPU 為中心的模型，擁抱 GPU、NPU（神經處理單元）和定製 ASIC（特定應用集成電路）。CPU 負責管理調度和輕量級模型，而 GPU 則提供深度學習訓練所需的高並行性。NPU 和定製加速器則針對高效、低功耗的推理進行了優化。</p>
<p>這裏的關鍵見解是對低精度數學的依賴，例如 Int8 或 FP8，這大大提高了性能和效率。Deng 解釋道：“這就是如何在不增加更多耗電硬件的情況下獲得更多性能、更高效率和更大可擴展性。” 這種轉變使組織能夠在不產生高昂的能源和冷卻成本的情況下最大化吞吐量。</p>
<p>第二個關鍵組成部分是快速的網絡架構。人工智能工作負載本質上是數據密集型的，需要在計算節點、存儲和最終用户之間移動大量信息。網絡必須跟上步伐，要求高帶寬（100 千兆以太網或更快）、低延遲和非阻塞設計。如果網絡滯後，昂貴的加速器將處於閒置狀態，造成整個人工智能管道中最昂貴的瓶頸。</p>
<p>第三，智能高效的數據管道至關重要。人工智能的強大程度取決於為其提供數據的管道，這需要一個分層存儲策略來平衡速度和成本。這種存儲架構通常涉及一個熱層（用於需要快速實時訪問的活躍數據集的快速閃存存儲）、一個温層（用於正在進行的項目的對象或擴展存儲）和一個冷層（用於歷史數據的歸檔存儲）。通過利用智能分層和預取，正確的數據始終在模型需要時準備就緒。此外，基礎設施必須支持零拷貝流，確保數據直接流入加速器，而不被 CPU 瓶頸，簡化了攝取過程並最大化了加速器的利用率。</p>
<p>最後，基礎設施必須支持安全、受管控的 MLOps。MLOps（機器學習操作）確保從訓練到生產部署的整個生命週期順利運行，並直接與業務結果掛鈎。治理是保護這一生態系統的屏障，確保安全的工作負載、保護用户隱私，並保持與技術標準的合規性。優化的系統減少資源使用，使得更快和更具成本效益的部署成為可能，最終加快上市時間並培養對已部署模型的信任。這一安全高效的基礎是使組織從僅僅具備人工智能準備狀態轉變為真正具備人工智能信心的基礎。</p>

英特爾

<p>這篇文章討論了可擴展人工智能所需的基礎設施，強調了專用硬件、高效數據管道和安全的機器學習運維（MLOps）的重要性。IBM 的 Joy Deng 指出了三種類型的人工智能工作負載：訓練、微調和推理，每種工作負載都需要不同的資源。關鍵組件包括使用 CPU、GPU、NPU 和定製 ASIC 的異構計算、用於數據傳輸的快速網絡架構，以及分層存儲策略。重點在於優化性能和效率，同時確保治理和合規，使組織能夠從人工智能準備階段過渡到人工智能自信階段</p>

<p>Artificial intelligence is no longer a theoretical pursuit; it is now driving automation and innovation across data processing and model deployment. However, this shift places immense pressure on legacy infrastructure, which often was not built to handle the sheer volume and unique demands of modern AI workloads at scale. Joy Deng, Product Manager AI on Z at IBM, recently presented an incisive analysis of the infrastructure layer required to power the modern AI stack, detailing the specific hardware, data pipeline, and operational prerequisites necessary for enterprises to achieve scalable, efficient, and governed AI confidence.</p>
<div class="lb-trans"><p>人工智能不再是一個理論追求；它現在正在推動數據處理和模型部署的自動化和創新。然而，這一轉變對傳統基礎設施施加了巨大的壓力，而這些基礎設施往往並不是為了處理現代人工智能工作負載的龐大規模和獨特需求而構建的。IBM Z 的人工智能產品經理 Joy Deng 最近對支持現代人工智能堆棧所需的基礎設施層進行了深刻的分析，詳細説明了企業實現可擴展、高效和受管控的人工智能信心所需的特定硬件、數據管道和操作前提。</p>
</div><p>A successful AI implementation requires a robust supporting stack, starting from the foundational compute and storage infrastructure up through the software and application layers. Deng focused acutely on the hardware layer, differentiating three distinct flavors of AI workloads—training, fine-tuning, and inferencing—each with unique resource demands. Training, which involves building models from scratch using massive datasets, requires extreme parallel compute and storage throughput. Fine-tuning, adapting an existing model to specific business data, demands a balance of iterative compute and I/O speed. Inferencing, running the model in production to deliver real-time insights, necessitates low latency and high reliability.</p>
<div class="lb-trans"><p>成功的人工智能實施需要一個強大的支持堆棧，從基礎的計算和存儲基礎設施開始，一直到軟件和應用層。Deng 特別關注硬件層，區分了三種不同類型的人工智能工作負載——訓練、微調和推理——每種工作負載都有獨特的資源需求。訓練涉及使用大量數據集從頭構建模型，需要極高的並行計算和存儲吞吐量。微調則是將現有模型適應特定業務數據，要求在迭代計算和輸入/輸出速度之間取得平衡。推理是在生產環境中運行模型以提供實時洞察，要求低延遲和高可靠性。</p>
</div><p>The path to AI-ready infrastructure can be summarized by a four-point checklist, beginning with specialized accelerators for AI math. Modern compute is heterogeneous, moving beyond the traditional CPU-centric model to embrace GPUs, NPUs (Neural Processing Units), and custom ASICs (Application-Specific Integrated Circuits). CPUs manage orchestration and lightweight models, while GPUs deliver the high parallelism required for deep learning training. NPUs and custom accelerators are optimized for efficient, low-power inferencing at scale.</p>
<div class="lb-trans"><p>通往人工智能就緒基礎設施的路徑可以通過一個四點清單來總結，首先是針對人工智能數學的專用加速器。現代計算是異構的，超越了傳統的以 CPU 為中心的模型，擁抱 GPU、NPU（神經處理單元）和定製 ASIC（特定應用集成電路）。CPU 負責管理調度和輕量級模型，而 GPU 則提供深度學習訓練所需的高並行性。NPU 和定製加速器則針對高效、低功耗的推理進行了優化。</p>
</div><p>The critical insight here is the reliance on low-precision math, such as Int8 or FP8, which drastically improves performance and efficiency. “It’s how you get more performance, more efficiency, and more scalability without adding more power-hungry hardware,” Deng explained. This shift allows organizations to maximize throughput without incurring prohibitive energy and cooling costs.</p>
<div class="lb-trans"><p>這裏的關鍵見解是對低精度數學的依賴，例如 Int8 或 FP8，這大大提高了性能和效率。Deng 解釋道：“這就是如何在不增加更多耗電硬件的情況下獲得更多性能、更高效率和更大可擴展性。” 這種轉變使組織能夠在不產生高昂的能源和冷卻成本的情況下最大化吞吐量。</p>
</div><p>The second key component is a fast network fabric. AI workloads are inherently data-hungry, requiring the movement of massive amounts of information between compute nodes, storage, and end-users. The network must keep pace, demanding high bandwidth (100 Gigabit Ethernet or faster), low latency, and a non-blocking design. If the network lags, expensive accelerators sit idle, creating the most costly bottleneck in the entire AI pipeline.</p>
<div class="lb-trans"><p>第二個關鍵組成部分是快速的網絡架構。人工智能工作負載本質上是數據密集型的，需要在計算節點、存儲和最終用户之間移動大量信息。網絡必須跟上步伐，要求高帶寬（100 千兆以太網或更快）、低延遲和非阻塞設計。如果網絡滯後，昂貴的加速器將處於閒置狀態，造成整個人工智能管道中最昂貴的瓶頸。</p>
</div><p>Thirdly, smart and efficient data pipelines are essential. AI is only as powerful as the data pipeline that feeds it, necessitating a tiered storage strategy to balance speed and cost. This storage architecture typically involves a hot tier (fast flash storage for active datasets requiring rapid, real-time access), a warm tier (object or scale-out storage for ongoing projects), and a cold tier (archival storage for historical data). By utilizing intelligent tiering and pre-fetching, the right data is always ready when the model needs it. Furthermore, infrastructure must support zero-copy streaming, ensuring data flows directly into accelerators without being bottlenecked by the CPU, streamlining the ingestion process and maximizing accelerator utilization.</p>
<div class="lb-trans"><p>第三，智能高效的數據管道至關重要。人工智能的強大程度取決於為其提供數據的管道，這需要一個分層存儲策略來平衡速度和成本。這種存儲架構通常涉及一個熱層（用於需要快速實時訪問的活躍數據集的快速閃存存儲）、一個温層（用於正在進行的項目的對象或擴展存儲）和一個冷層（用於歷史數據的歸檔存儲）。通過利用智能分層和預取，正確的數據始終在模型需要時準備就緒。此外，基礎設施必須支持零拷貝流，確保數據直接流入加速器，而不被 CPU 瓶頸，簡化了攝取過程並最大化了加速器的利用率。</p>
</div><p>Finally, infrastructure must support secure, governed MLOps. MLOps (Machine Learning Operations) ensures that the entire lifecycle, from training to production deployment, runs smoothly and is tied directly to business outcomes. Governance is the shield protecting this ecosystem, ensuring secure workloads, protecting user privacy, and maintaining compliance with technical standards. Optimized systems reduce resource usage, enabling faster and more cost-efficient deployments, ultimately accelerating time to market and cultivating trust in the deployed models. This secure and efficient foundation is what allows organizations to move from being merely AI-ready to becoming truly AI-confident.</p>
<div class="lb-trans"><p>最後，基礎設施必須支持安全、受管控的 MLOps。MLOps（機器學習操作）確保從訓練到生產部署的整個生命週期順利運行，並直接與業務結果掛鈎。治理是保護這一生態系統的屏障，確保安全的工作負載、保護用户隱私，並保持與技術標準的合規性。優化的系統減少資源使用，使得更快和更具成本效益的部署成為可能，最終加快上市時間並培養對已部署模型的信任。這一安全高效的基礎是使組織從僅僅具備人工智能準備狀態轉變為真正具備人工智能信心的基礎。</p>
</div>

The Infrastructure Mandate for Scalable AI

- 人工智能現在推動自動化和創新，但對傳統基礎設施施加巨大壓力。  
- IBM 的 Joy Deng 分析了實現可擴展有效 AI 所需的基礎設施層，包括硬件和數據管道。  
- 實現成功 AI 應用需要低延遲、高可靠性的資源支持。

可擴展人工智能的基礎設施使命