如何保障數據中心的穩定運行，是多年來一直困擾業界的難題。機房環境如果發生未預期變化，可能造成難以估計的損失。所以我們希望能構建一個“變更沙盤”，在真實變更之前，操作人員可以先在沙盤中進行試變更，若變更效果在預期內，再對真實環境進行變更，從而盡可能減少變更導致的機房故障。
近期，阿里巴巴-南大聯合研究院聯合實現并上線完成了一個高精度，可連接實時監控系統、基于 CFD 的變更沙盤系統。本系統在 off-the-shelf CFD 軟件上實現了工業級精度的變更沙盤測試和驗證。今天，我們就來觀摩這個從零到一的嘗試。
項目背景
隨著阿里巴巴業務不斷拓展，其數據中心規模也越來越大。相應地，數據中心內的日常演練、運營優化等變更操作越來越頻繁；而規模增加導致環境的復雜程度呈指數增長，變更是否可能導致故障，僅憑專家經驗，已經越來越難以判斷。同時，數據中心變更故障可能造成的業務影響也越來越大，可能造成的損失已難以估計。所以，機房運營人員急需一個標準化的、可靠的機房變更安全驗證系統，幫助他們獲知變更產生的具體效果會是如何，是否影響生產安全，是否有更合理的變更建議。
對于電力變更，可以從電力拓撲圖著手構建變更沙盤。但暖通變更，涉及到氣流組織變化、熱力變化，這些東西看不見也摸不著，傳統的方式難以模擬出現實世界中的變化。IDC 運營優化團隊對此進行了一系列調研工作，認為利用計算流體力學（ComputationalFluid Dynamics，簡稱 CFD）進行機房仿真是較為可能達到生產標準的一種方式。
現有的類似的解決方案
利用計算流體力學（Computational Fluid Dynamics，簡稱 CFD）進行機房仿真是檢查不同變更對機房的熱力學影響的通用解決方案。CFD 建模可以通過搭建物理模型，載入現實中的熱力學設置（冷熱量，空調 server 風速等）來計算一個包間內部的氣流分布和溫度情況。CFD 模擬有較為成熟的技術積累，并被廣泛應用與熱力學和空氣動力學領域。在數據中心領域，也有從包間到芯片級的 CFD 模擬應用。但由于其精度限制，一般只用于前期設計和規劃。
數據中心包間流線圖
應用 CFD 建立沙盤系統的挑戰：
1）現有商業 CFD 軟件可以根據對包間進行仿真，得到機房的熱力分布、氣流動向。但該軟件通常應用于設計階段，采用設計階段的粗略數據進行模擬，對真實操作情況的還原度較低，溫度預測精度僅能達到 3 度或以上，不能滿足用于變更沙盤的精度需求。
2）當前 CFD 軟件以人工交互為主，缺少對自動化操作的支持，不能滿足自動獲取數據和返回結果的需求。大量的操作只能通過人機交互進行，效率低下。
3）建模所需要的數據真實性問題。由于模型的準確性與其所采用的模擬設置與實際是否一致息息相關，因此獲取的模擬設置信息（如功耗，空調設置信息等）準確性非常關鍵。通常這些信息是在設計階段確定的，也有部分是運行時獲得的。這些數據只有進行精細的核實才能保證建模的精度（反過來建模的過程可以反推設計實施情況和數據的標準化過程）。
我們的解決方案
阿里巴巴聯合新加坡南洋理工大學（NTU）計算機科學與工程學院文勇剛教授團隊，依托阿里巴巴-南大聯合研究院平臺，通過接近 1 年的研究，開發和測試，實現并上線完成了一個高精度，可連接實時監控系統的基于 CFD 的變更沙盤系統。本系統在 off-the-shelf CFD 軟件上實現了工業級精度的變更沙盤測試和驗證。
本次項目選定了某個機房包間作為技術試點，并在對該機房的物理建模，模型校準和工程落地上進行了緊密合作。
1）物理建模：
該過程主要將包間內各物理結構設置到模型，提供仿真基礎。以達到最好還原度為準則，我們實現了下面所述方面的建模操作：
結構建模：對機房結構、墻、通風口、天花板、管道進行設置
IT 部署建模：機列、機柜、機位設置
環境建模：空調設備、傳感器設置
設備建模：按廠商型號導入服務器模型
2）模型校準
模型校準的主要原則需要達到下述 3 個方面的真實還原：
機房冷熱溫度來源：校準中需要確認模型中冷熱量與實際一致。
機房氣流變化原因：校準中需要保證冷熱風氣流與實際一致。
溫度測量數據：校準中需要保證模型預測溫度與實際一致。
為了保證模型可以到工業級精度，項目團隊進行了大量的數據核準和模型調整工作。這些工作全方位地對整個機房的相關信息和設置進行了梳理和核實，并形成了完整的標準化校準文檔，為以后建模推廣打下了堅實的基礎。這些校準操作可以分為 2 類：
第 1 類：數據核準
服務器核準（包含：少數服務器U位沖突、服務器功耗校準）
傳感器核準（包含：空調供風溫度、轉速和冷熱通道傳感器位置、數據）
第 2 類：模型調整
熱氣泄露設置調整，熱氣泄露會導致冷通道溫度升高。
機柜模擬模式調整，設置為細粒度模擬模式。
Server 風量設置調整，精確設置 server 風速以符合實際需求。
依托大量的傳感器數據，通過上述校準操作，最終模型達到了設計階段 CFD 使用未有過的精度。這些精度來源于我們精確地還原各項硬件的布置，各個操作的數據核準和細粒度的 server 風速校準。
3）工程落地
如圖所示為沙盤系統的流程圖。在模型達到預期精度后，團隊進一步解決了 CFD 模擬的自動化問題。通過接入阿里巴巴自研的數據中心實時監控系統（DCIM），我們獲取到實時的服務器功耗、空調出風溫度和風機轉速等數據，通過 6Sigma 開放 SDK 將數據寫入 CFD 模型，從而使得模型能夠實時模擬包間內真實情況。此外，一旦仿真計算完成后，我們將計算結果從模型中導出，回傳到監控系統，從而完成一次仿真計算的閉環。
如此，我們實現了將沙盤系統整合進入 DCIM 系統，并且全程操作可以自動化進行，為將來沙盤系統的應用和推廣打下了堅實基礎。
最終成果：
1）精度達標：模型采用真實的監控數據作為輸入，并計算模擬的目標傳感器測溫與實際的傳感器測溫之間的平均絕對誤差（MAE）來作為模型的準確性的測量依據。經過長時間觀察（采用不同時刻的數據進行驗證），模型模擬精度均能達到阿里巴巴數據中心建設標準要求。理論上可以替代冷熱通道傳感器，進行數據中心生產包間環境監控。
2）成功落地：目前該模型已經成功接入 DCIM 系統，可以自動從 DCIM 中抓取數據，返回結果。當前模擬的時耗為大約 1 小時，通過升級 6Sigma License 規格未來有希望提升到 10 分鐘。接入該實時 CFD 模擬系統意味著阿里自研 DCIM 系統成為世界上唯一有高精度實時 CFD 模擬模塊的數據中心云維管理系統。
變更沙盤系統的價值
包間可視化：由原來的 2D、數字的方式，升級為 3D、圖形數字結合的展現方式，包括實際布局、熱力情況、氣流情況，從而可以讓機房經理與設施專家能更直觀、全面、迅速地了解機房的整體情況，更快發現包間暖通環境問題，輔助優化現場供冷分配與氣流組織。
故障發現：可以厘米級別監測包間內的溫度，快速發現溫升（局部熱點），從而具備更快、更強的風險識別能力，防止出現大范圍的機房溫升事件。
設計驗證：建模過程所需要的物理設置信息通常決定于設計階段。建模過程中得到的誤差反饋信息可以直接驗證設計與實施的差別。
設計優化（變更指引）：沙盤系統可以模擬不同設計下數據中心的操作情況，從而可以用于設計上的優化和數據中心變更的先驗平臺。
暖通控制推薦：可以通過嘗試不同空調設置應用到當前環境，得到溫度控制最佳、能耗最低的空調設置，實現包間內供冷可靠、智能的控制。
業務調度推薦：根據詳細的機房溫度分布情況，結合功耗水位數據，可以向業務調度系統提供調度參考，使得業務分布更均勻，機房溫度分布也更加均勻，降低制冷能耗，提升服務器健康度。
未來展望
未來合作的方向之一是對變更沙盤系統進行產業級推廣和驗證，目標是做出業界標準。使得變更沙盤系統可以應用與阿里數據中心的更多機房，去驗證設計和優化管理控制。
未來，我們希望將系統沙盤推廣到整個暖通系統，覆蓋到機房外的制冷設備，實現全鏈條模擬。從而實現整個制冷系統的設計驗證和控制優化。
綜上，變更沙盤系統將可以顯著促進數據中心設計到運維的自動化水平，為實現更穩定更高效的數據中心運維提供支撐。這是一次從零到一的嘗試，我們構建了第一個可實時的、高精度的暖通變更系統，幫助數據中心運維人員能夠判斷一次變更是否可能造成故障，從而減少由變更導致的故障。進一步，我們可以給出具體的變更后環境變化，給出變更建議，甚至能夠實現自動變更。如此，我們將離機房無人值守的目標越來越近。
