超越應用層的基準測試：Uber 如何評估基礎設施變更與雲服務單元

Uber 了 Ceilometer 的細節，這是他們內部的一個自適應基準測試框架，旨在評估應用級指標之外的基礎設施性能。該系統能夠利用接近生產環境負載的可重複的基準測試，協助 Uber 認證新增的雲服務單元、驗證基礎設施變更並衡量效率提升舉措。隨着不同雲服務商以及硬件代際間基礎設施異構性的不斷增強，Uber 構建了 Ceilometer，希望藉此在不同的環境中提供一致的數據驅動的性能信號。在 Uber 這樣的規模下，基礎設施基準測試一直以來還是一個分散的手動過程。工程師們經常依賴一次性腳本，單獨運行測試，並通過電子表格來比較結果，這使得重現結果或將不同團隊之間的性能指標關聯起來變得困難。Ceilometer 用一個集中化的平台取代了這種方法，它能夠自動編排基準測試、執行測試、攝取結果並進行分析，這樣就可以在不同的服務器、工作負載和環境之間進行標準化比較。Ceilometer 採用分佈式系統架構，可在專用機器上協調基準測試的執行。為了反映真實工作負載的行為，測試以並行方式運行，原始輸出存儲於持久化 Blob 存儲中。測試結果經過驗證及標準化處理後會被導入 Uber 的集中式數據倉庫，然後他們就可以在該倉庫中和生產指標一起進行查詢分析。據 Uber 工程師介紹，該設計使其能夠通過統一的數據模型識別性能退化及配置低效問題或硬件層面的差異。https://static001.geekbang.org/infoq/4d/4dc2a6b15e30d86e496aa3b64be8ea44.pngCeilometer 架構圖（圖片來源：）該框架支持廣泛的工作負載類型。要反映 CPU、內存、網絡和存儲的性能，可以使用合成基準測試，如、、和。對於有狀態系統，Ceilometer 集成了 Uber 的平台，可以在真實條件下對數據庫工作負載進行基準測試。對於無狀態服務，則可以使用 Uber 的框架進行評估，該框架提供了可以模擬生產流量模式的自適應負載測試。該框架的一個主要應用場景是服務器規格和雲服務單元（SKU）認證。硬件供應商和雲服務提供商可以在自己的環境中運行 Ceilometer 的基準測試套件並共享結果，這樣 Uber 就可以在新 SKU 上線前評估預期性能。另一個關鍵的應用場景是基礎設施變更驗證，那些有針對性的基準測試有助於隔離由軟件升級、內核更改、固件更新或配置調整引入的迴歸。Ceilometer 的測試結果可以跨時段、環境和工作負載類型進行比較，為工程師提供了一個更清晰的視圖，讓他們可以瞭解基礎設施變更對系統行為產生了什麼樣的影響，而不僅僅是通過表層的應用級指標。在中，Uber 基礎設施團隊高級工程經理和平台架構師這樣寫道：隨着 Uber 基礎設施的不斷發展，為了獲得更深入、更主動的洞察，Uber 正在對 Ceilometer 進行擴展。已經規劃好的增強功能包括：集成 AI 和機器學習，用於預測迴歸、識別根本原因和優化資源規模；支持更廣泛的生態系統，包括新興技術棧和基礎設施範式；高級異常檢測，用於更快地發現意外的性能偏差；組件級的利用率指標，提供對 CPU、內存、存儲和網絡行為的細粒度可見性。Uber 工程師還計劃利用該框架進行金絲雀持續驗證測試，定期自動運行基準測試，當性能指標超出閾值時提醒團隊，為更快、更可靠的基礎設施決策提供支持。