--- title: "IT 組織在自託管 AI 推理方面面臨棘手的成本計算問題" type: "News" locale: "zh-HK" url: "https://longbridge.com/zh-HK/news/286427755.md" description: "紅帽的人工智能更新旨在促進企業向自託管人工智能的過渡，但與雲服務相比，長期成本效益仍不確定。法國巴黎銀行分享了其完全自託管人工智能的複雜歷程，強調了基礎設施挑戰以及計算總擁有成本的困難。儘管數字主權推動了這一轉變，紅帽預測大多數公司將採用混合雲方法。其他公司，如 Yapi Kredi 和諾斯羅普·格魯曼，報告了最近遷移到 OpenShift AI 後效率的提升，但與雲服務相比的成本效益仍在評估中" datetime: "2026-05-14T13:47:21.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/286427755.md) - [en](https://longbridge.com/en/news/286427755.md) - [zh-HK](https://longbridge.com/zh-HK/news/286427755.md) --- # IT 組織在自託管 AI 推理方面面臨棘手的成本計算問題 亞特蘭大——本週，Red Hat AI 更新旨在幫助企業從代幣消費者轉變為代幣生產者，但自託管 AI 推理是否能在長期內比雲託管服務為大眾帶來成本優勢仍然是一個懸而未決的問題。 在大型公司中，雲託管 AI 服務的代幣預算被迅速消耗已成為 一種普遍現象，而本週早期採用自託管 AI 的演示則描繪了一個不適合膽小者的從公共雲遷移的畫面。 例如，BNP Paribas 詳細介紹了一個多年的項目，旨在從混合雲 AI 轉向完全自託管的 AI 模型和基礎設施，這帶來了重大的基礎設施挑戰。該銀行每天處理約 15 億個 AI 代幣，還在三個數據中心管理裸金屬服務器集羣以確保冗餘。其雄心勃勃的目標是將裸金屬硬件資源管理為一種服務，以匹配公共雲的易用性，服務於超過 150,000 名最終用户。 為了實現這一目標，它使用 OpenShift HyperShift 管理一系列集羣，這是一種將管理控制平面與工作集羣分開託管的嵌套方法。根據 BNP Paribas 的技術架構師 Pascal Guerineau 在本週的分組演示中所述，這帶來了自身的挑戰，包括確保託管控制平面 (HCP) 上的覆蓋網絡和 etcd 存儲的適當規模。 "當我們開始時，理解 HCP 的工作原理以及如何管理它是一個相當大的挑戰，" Guerineau 説。"我們真的必須考慮集羣的規模，這對我們來説非常困難。" Guerineau 説，該銀行仍在努力建立一個跨這些集羣動態分配的 GPU 資源池。它還考慮使用 OpenShift 虛擬化來更有效地將 GPU 分配給輕量級工作負載。 對於一家大型銀行而言，數字主權 和對基礎設施的控制是採用自託管 AI 的強大動機，儘管其複雜性，Guerineau 表示，總擁有成本低於繼續使用雲託管 AI。 但他在分組會議後的問答環節中表示，計算精確的成本節省並不簡單。 "評估所有成本的一致性是困難的，"他説。"如果你在雲中獲得一些 GPU 機器，很容易知道它的成本。如果你有內部 GPU，你必須考慮多年來服務器的成本，支付所有數據中心和網絡 \[工作人員\]……所以這很難溝通。" 在 Red Hat 峯會與 Red Hat AI 副總裁兼總經理 Joe Fernandes 的會議上，BNP Paribas 的代表。左起：Pascal Guedreau、Jean-Charles Lamy、Mathieu Keignaert。 ## OpenShift AI 更新回應早期痛點 與大多數考慮自託管 AI 推理的主流企業相比，BNP Paribas 可以説是一個特例——對於普通公司，Red Hat 預測從公共雲遷移將是部分的，轉向混合雲架構。因此，並非每個企業自託管的 AI 平台都將涉及自託管硬件和數據中心，這些都帶來了自身的管理、供應鏈和成本挑戰。 > 我們的工作是為 \[分佈式推理\] 提供簡單的解決方案，隱藏複雜性，這就是我們正在做的。**Brian Stevens，** Red Hat 高級副總裁兼 AI 首席技術官 BNP Paribas 在自託管 AI 方面的工作也早於許多旨在簡化操作的 OpenShift AI 功能更新，尤其是本週的 模型即服務功能，Brian Stevens 在本週與 Informa TechTarget 的採訪中表示。 "他們早於我們 \[最近\] 開始的分佈式推理相關工作，" Stevens 説。"我們的工作是為此提供簡單的解決方案，隱藏複雜性，這就是我們正在做的。" 其他峯會演講者報告了最近遷移到 OpenShift AI 的效率收益。來自土耳其銀行 Yapi Kredi 的代表詳細介紹了 2025 年從基於 Cloudera 的 MLOps 系統遷移到基於 OpenShift AI 的新共享平台，用於預測和生成 AI，帶來了 50% 更快的故障排除和 75% 更快的數據科學家入職。在另一個會議上，來自諾斯羅普·格魯曼的代表表示，OpenShift Kubernetes 操作員幫助在 其首個現場 GPU 農場 中快速可靠地提供服務。 但儘管這對初始的燈塔項目有效，國防承包商仍在為其更廣泛的環境開發基於 GitOps 的部署工具，包括隔離的機密基礎設施，演講者表示。 諾斯羅普·格魯曼基礎設施自動化卓越中心負責人 Joseph McConnell 在會議中表示，隨着自主 AI 增加代幣消耗，他預計與基於雲的服務相比，成本效率的好處將變得更加明顯。 然而，在會議後的問答環節中，McConnell 表示這些好處尚未具體計算。 "現在，這有點混合，" McConnell 説。"老實説，我們還沒有做具體的計算，但我們從供應商那裏聽到的是，當你進入每個用户數百萬代幣的常規大量使用時，那就是會發生的情況。" ## 雲的成本與複雜性 儘管過渡到自託管人工智能面臨困難，但一些行業分析師對 OpenShift AI 的新自動化功能持樂觀態度，認為這將有效降低主流 IT 組織遷移到自託管的門檻。 "\[Red Hat AI 3.4 是\] 朝着減少碎片化、陰影 AI 擴散和實現一致性邁出的正確一步，" IDC 的分析師 Tim Law 表示。"它消除了混合大型語言模型操作中的許多摩擦和困難。去除這些摩擦還帶來了額外的硬性成本節省，以及軟性成本節省。" ![Varun Raj, 雲計算和人工智能工程執行官](https://imageproxy.pbkrs.com/https://cdn.ttgtmedia.com/rms/onlineimages/varun_raj.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg) Varun Raj 但對於像生成性 AI 這樣複雜的工作負載，仍然存在許多風險，這些風險可能會迅速累積，Varun Raj 表示，他是一位從事企業 AI 和雲轉型項目的雲計算和人工智能工程執行官。 "\[Red Hat AI\] 是一個重要的抽象層，但還不是一個完全的'簡單按鈕'，" Raj 説。"自動化並不能消除更困難的企業問題：運行哪個模型，質量是否足夠好，如何持續評估，如何確保安全，如何管理輸出，以及何時自託管實際上比 API 消費更便宜。" ## 權衡開放權重價值 本週 Red Hat 自託管 AI 推理的價值主張有兩個方面：它不僅呼籲更高效的內部 IT 系統自動化，還進一步推動量化、開放權重的大型語言模型和小型語言模型，這些模型在理論上更便宜且更易於在沒有高端硬件的情況下運行。 這一過渡帶來了自身的挑戰。Yapi Kredi 的團隊中有 200 名數據科學家，早在五年前就已經從 SaaS 託管轉向自託管的開源模型，隨後才轉向 OpenShift。 Yapi Kredi 的機構分析負責人 Osmancan Uslu 在他的分組討論會後問答環節中表示，這一過渡要困難得多。 "當我們轉向 Red Hat 時，我們已經在使用開源架構，所以稍微容易一些，但在我們首次在開源中實施風險模型時，確實是一個挑戰，" Uslu 説。 Yapi Kredi 的分佈式推理和模型訓練計劃仍在開發中；它已經使用 90% 的開源和開放權重模型，但在問答環節中，代表們沒有分享具體的成本節省信息。 儘管如此，有證據表明，企業在面對不斷上升的成本時，仍然有動力嘗試替代模型和自託管。Omdia 在十月進行的一項調查發現，近一半的 400 名受訪者正在使用開源 AI 模型，Omdia 的分析師 Mark Beccue 表示，他是該調查 11 月報告的作者。 減少生成性 AI 運營成本的主要方法包括模型效率技術，包括量化，21% 的受訪者提到這一點，以及在本地而不是公共雲中運行 AI 計算工作負載，18% 的受訪者提到這一點。開放權重模型在列表中排名較低，僅有 4% 的受訪者提到。 "擁有相當規模 IT 部門的大型企業將越來越多地轉向開源模型，因為他們有資源來處理這些模型，" Beccue 預測。 Omdia 在 11 月的調查報告發現，企業已經通過替代 AI 模型和自託管追求生成性 AI 成本節省。 ## 開放權重模型和 AI 代理 自託管 AI 的另一個懸而未決的問題是，開放權重模型是否能夠有效跟上商業模型在 AI 代理時代的步伐，考慮到代理 AI 工作負載的推理需求。 "自管理模型將非常適合狹窄、定義明確的任務，如客户服務，但可能不適用於代理工作流程，" RobustCloud 的首席顧問 Larry Carvalho 表示。"管理代理工作流程是一個新問題，供應商需要花時間來簡化使用。" Raj 預測，長期結果將在專門的開放權重模型和更大型的前沿模型之間找到平衡，因為企業向 AI 代理轉型。 "小型模型的價值將來自成本效率、控制、延遲、數據本地性和可預測的任務執行——而不是在每個維度上與前沿模型相匹配，"他説。"從這個意義上説，代理的採用可能實際上會增加小型模型的價值，因為設計良好的代理需要一個模型組合，而不是一個昂貴的模型來完成所有任務。" 此外，隨着前沿模型公司 將焦點轉向企業，Red Hat 的 Stevens 預測，他們也將打包他們的模型，以便於自託管使用。 "我們還沒有到達那一步，因為前沿模型在其他用例中賺取了豐厚的利潤，" Stevens 説。"但隨着企業用例的增加，他們在 AI 方面取得更多成功……他們也會想要捕捉這部分業務。" _Beth Pariseau 是 Informa TechTarget 的高級新聞撰稿人，是 IT 新聞報道的獲獎老兵。有什麼線索嗎？_ 給她發郵件 _或在_ LinkedIn _上聯繫。_ ### 相關股票 - [NOC.US](https://longbridge.com/zh-HK/quote/NOC.US.md) - [TTGT.US](https://longbridge.com/zh-HK/quote/TTGT.US.md) ## 相關資訊與研究 - [IBM 諮詢擴展人工智能能力，加速企業轉型](https://longbridge.com/zh-HK/news/286204267.md) - [當 AI 成為鏈上原生玩家：盤點 YZiLabs EASY S3 結業的 25 個前沿項目](https://longbridge.com/zh-HK/news/286275590.md) - [挑戰輝達霸權 Cerebras 憑什麼成 AI 晶片最強黑馬？](https://longbridge.com/zh-HK/news/286464708.md) - [滙豐上調思科評級至「買入」，看好 AI 基礎設施需求動能](https://longbridge.com/zh-HK/news/286586197.md) - [阿里：未來一年 AI 相關產品成為雲收入增長引擎](https://longbridge.com/zh-HK/news/286341216.md)