很多人把DevOps與運維自動化緊綁，認為只有實現(xiàn)了容器化，只有實現(xiàn)了自動編排等等才算是實現(xiàn)了運維的自動化。且不說有多少企業(yè)可以完全實現(xiàn)這種IT轉(zhuǎn)型，就概念本身而言，這也是一種不太合乎邏輯的思維。那么接地氣的運維自動化如何設(shè)計和建設(shè)？
1.何為運維自動化？
何為數(shù)據(jù)中心的自動化運維？很多人把DevOps與運維自動化緊綁，認為只有實現(xiàn)了容器化，只有實現(xiàn)了自動編排等等才算是實現(xiàn)了運維的自動化。且不說有多少企業(yè)可以完全實現(xiàn)這種IT轉(zhuǎn)型，就概念本身而言，我覺得這也是一種不太合乎邏輯的思維。我們來看Gartner對運維自動化的理解“通過運維工具或平臺，實現(xiàn)IT基礎(chǔ)設(shè)施及業(yè)務(wù)應(yīng)用日常任務(wù)處理和運維流程的自動化，從而提高效率和降低風(fēng)險，促進運維組織的成熟和各種能力的升級”。從傳統(tǒng)企業(yè)數(shù)據(jù)中心運維工程師角度來看，所謂自動化運維，即在最少的人工干預(yù)下，結(jié)合運用腳本與第三方工具，保證業(yè)務(wù)系統(tǒng)7*24小時高效穩(wěn)定運行。所以，筆者認為最接地氣的運維自動化即為在企業(yè)數(shù)據(jù)中心原有IT基礎(chǔ)架構(gòu)條件下，能夠?qū)崿F(xiàn)IT資源標(biāo)準(zhǔn)化定義，并且實現(xiàn)運維數(shù)據(jù)采集、加工、分析的自動化流程，最終能保障IT運維的及時性和效率化的建設(shè)體系。
2.運維自動化框架
首先，我們先來從企業(yè)數(shù)據(jù)中心運維發(fā)展的歷史階段來分析運維自動化。從很多傳統(tǒng)企業(yè)來看，尤其是金融企業(yè)的數(shù)據(jù)中心，大部分已經(jīng)經(jīng)歷了三個階段：
（1）復(fù)運維工作精簡化的階段，利用標(biāo)準(zhǔn)統(tǒng)一的工作流來避免重復(fù)的人力工作；
（2）局部運維工作自動化的階段，在不同的系統(tǒng)上部署針對不同對象的腳本來收集處理運維數(shù)據(jù)；
（3）IT運維平臺整合自動化的階段，平臺實現(xiàn)IT基礎(chǔ)架構(gòu)的半自動化運維。
總結(jié)以上歷史階段的發(fā)展過程，運維自動化的最初目的是為了提高效率和準(zhǔn)確率的基礎(chǔ)之上減少人力成本投入。運維具體工作內(nèi)容包括：日常監(jiān)控任務(wù)中的日志配置、數(shù)據(jù)采集、報警過濾等；日常運維任務(wù)當(dāng)中的腳本執(zhí)行、系統(tǒng)安裝、配置備份、配置檢查、配置變更、補丁分發(fā)等；作業(yè)調(diào)度中的應(yīng)用發(fā)布流程、應(yīng)用部署流程、變更流程、故障處理、災(zāi)備切換、資源交付等。那么，要實現(xiàn)對以上所有工作內(nèi)容的自動化整合需要經(jīng)歷以下三個步驟的建設(shè)：
首先，實現(xiàn)標(biāo)準(zhǔn)化是實現(xiàn)自動化的前提條件，因為自動化的工作流是必須要在標(biāo)準(zhǔn)化的基礎(chǔ)之上才能實現(xiàn)識別、判斷、處理等相關(guān)動作。標(biāo)準(zhǔn)化又包括資源定義的標(biāo)準(zhǔn)化、工作流程的標(biāo)準(zhǔn)化以及數(shù)據(jù)的標(biāo)準(zhǔn)化；然后，需要選擇數(shù)據(jù)采集的工具和方式，因為所有的自動化動作都是基于數(shù)據(jù)判斷的基礎(chǔ)上采取的后續(xù)步驟；最后需要對采集來的數(shù)據(jù)進行加工處理以及最終的分析和決策，這里面包括常規(guī)性的決策、為后續(xù)采取動作需做的評估和預(yù)警、需要根據(jù)數(shù)據(jù)變化及時做出的動態(tài)調(diào)整等。
3.數(shù)據(jù)標(biāo)準(zhǔn)化體系建設(shè)
3.1資源標(biāo)準(zhǔn)化
所謂資源的標(biāo)準(zhǔn)化，涉及到的資源主要包括設(shè)備、系統(tǒng)、軟件等三類對象資源。
針對物理設(shè)備的標(biāo)準(zhǔn)化，首先，我們需要做到對物理設(shè)備的資產(chǎn)定義標(biāo)準(zhǔn)化。例如：對設(shè)備的命名、地址、位置、配置、參數(shù)、管理等一系列屬性信息的定義需要有統(tǒng)一規(guī)劃標(biāo)準(zhǔn)。不一定是一個標(biāo)準(zhǔn)，但是一定要建立一系列標(biāo)準(zhǔn)模板。其次，我們需要對物理設(shè)備的規(guī)劃使用設(shè)置標(biāo)準(zhǔn)。例如：設(shè)備的網(wǎng)絡(luò)配置、遠程控制、存儲配置等方面的配置使用標(biāo)準(zhǔn)。最后，我們需要對設(shè)備使用設(shè)置運維管理標(biāo)準(zhǔn)。例如：設(shè)備當(dāng)中的硬件環(huán)境的報警閥值規(guī)則定義。
針對系統(tǒng)層面的標(biāo)準(zhǔn)化，首先，與物理設(shè)備類似的資產(chǎn)定義標(biāo)準(zhǔn)化。例如：操作系統(tǒng)的主機名稱、類型、版本等相關(guān)資產(chǎn)屬性信息的標(biāo)準(zhǔn)化定義。其次，關(guān)于系統(tǒng)的標(biāo)準(zhǔn)化配置管理。例如：操作系統(tǒng)的初始化配置（地址、網(wǎng)關(guān)、掩碼、DNS、NTP、內(nèi)核參數(shù)調(diào)優(yōu)、日志、存儲使用、Agent）。最后，我們需要對操作系統(tǒng)設(shè)置運維監(jiān)控標(biāo)準(zhǔn)。例如：CPU使用率、內(nèi)存使用率、硬盤使用率、IO延時、網(wǎng)絡(luò)狀況、進程指標(biāo)、運行時間等。一方面需要確定運維監(jiān)控的指標(biāo)，另外一方面需要確定每一個指標(biāo)或者指標(biāo)組合的閥值預(yù)警判定規(guī)則。
針對軟件（主要是指系統(tǒng)上運行的數(shù)據(jù)庫及應(yīng)用中間件）層面的標(biāo)準(zhǔn)化，首先，我們需要對應(yīng)用中間件的使用進行標(biāo)準(zhǔn)化管理。例如：數(shù)據(jù)庫的類型和版本、同類中間件的類型和版本。其次，需要對所有軟件的初始化以及配置使用進行標(biāo)準(zhǔn)化管理。例如：軟件安裝配置規(guī)范、配置文件規(guī)范、配置腳本規(guī)范、日志收集規(guī)范、端口監(jiān)聽規(guī)范等。最后，我們同樣需要對軟件的運維監(jiān)控設(shè)定標(biāo)準(zhǔn)。也就是需要監(jiān)控的軟件服務(wù)指標(biāo)體系，以此來判斷軟件提供的服務(wù)的正常與否以及性能如何。
3.2流程標(biāo)準(zhǔn)化
所謂流程標(biāo)準(zhǔn)化就是指在數(shù)據(jù)中心運維管理過程當(dāng)中涉及到的日常工作流程的標(biāo)準(zhǔn)化管理。如果沒有工作流程的標(biāo)準(zhǔn)化規(guī)范，那么所有的運維工作就會變成隨機性流程，這樣的流程是沒有辦法利用腳本或者軟件工具來實現(xiàn)自動化的。具體說來，數(shù)據(jù)中心運維工作流程的標(biāo)準(zhǔn)化需要做到以下幾個方面：
（1）資源管理流程：包括軟硬件資源的申請、審批、提供、銷毀等；
（2）資源初始化流程：包括操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用等方面的初始化配置工作；
（3）資源動態(tài)管理流程：包括資源在使用過程中根據(jù)監(jiān)控數(shù)據(jù)進行動態(tài)調(diào)整的各類流程；
（4）事件處理流程：包括預(yù)警、報警、常規(guī)事件、常規(guī)故障的標(biāo)準(zhǔn)處理流程；
（5）監(jiān)控管理流程：包括監(jiān)控數(shù)據(jù)收集、加工、報送、分析、處理等各環(huán)節(jié)的處理方法及步驟；
（6）應(yīng)急處理流程：預(yù)定義的系列應(yīng)急處理流程，例如：流量限制、容災(zāi)切換。
3.3數(shù)據(jù)標(biāo)準(zhǔn)化
很多做運維平臺的廠家到了客戶現(xiàn)場進行調(diào)研的時候都會發(fā)現(xiàn)一個非常頭痛的問題。客戶實際環(huán)境當(dāng)中的軟件、硬件、應(yīng)用等各方面的日志數(shù)據(jù)會呈現(xiàn)出很多形態(tài)。既有加密日志（日志表現(xiàn)形式為代碼，需要根據(jù)代碼查詢?nèi)罩窘忉屨f明才能定位問題的日志）也有非加密日志；既有字段形式表示的也有不加任何分割的文字串表示的，而且內(nèi)容表示的方式也是各有千秋；既有文本文件也有壓縮包或者其他非文本文件形式；既有保存在數(shù)據(jù)庫的又有保存在目錄當(dāng)中的。總而言之，運維數(shù)據(jù)從形態(tài)、內(nèi)容、載體等各個方面都沒有經(jīng)過標(biāo)準(zhǔn)化規(guī)范，最終導(dǎo)致運維平臺可做的工作非常有限。
要實現(xiàn)運維自動化，數(shù)據(jù)是前提條件，沒有數(shù)據(jù)的支撐就不會有后續(xù)的預(yù)警、報警以及與之相匹配的自動化運維處理過程。因此在系統(tǒng)、中間件、應(yīng)用上線之前的設(shè)計階段，IT運維的標(biāo)準(zhǔn)化規(guī)范就應(yīng)該輸入到規(guī)劃設(shè)計當(dāng)中。
4.數(shù)據(jù)收集手段和工具的使用
4.1腳本工具
很多人覺得談腳本有點落伍，應(yīng)該談一些高大上的自動化運維集成工具或者產(chǎn)品。其實看到本質(zhì)上，任何自動化運維平臺底層都是靠一些腳本去完成具體工作的，只不過是選取的腳本根據(jù)不同的運維任務(wù)在類型、定義、執(zhí)行方式等方面會有所區(qū)別。拋開上層管理集成平臺，聚焦到腳本本身來看的話，腳本工具在自動化運維過程當(dāng)中應(yīng)該在以下幾個方面發(fā)揮作用：
（1）數(shù)據(jù)收集：從很多企業(yè)的運維來看，大家都會部署一些腳本來收集硬件、系統(tǒng)、軟件等各維度的運維信息，有些是基于實時執(zhí)行結(jié)果的收集，有些是基于一定周期內(nèi)的日志文件內(nèi)容；
（2）數(shù)據(jù)加工：面對大量的原始日志信息，相信依靠人力去完成價值信息的提煉是比較耗費時間的，這個時候就需要腳本基于已經(jīng)收集的原始日志信息進行重復(fù)加工，最終提煉價值信息。
（3）任務(wù)流程處理：所謂任務(wù)處理就是要根據(jù)預(yù)定義的一些需求輸入數(shù)據(jù)，串聯(lián)或者并聯(lián)一些工作步驟，從而完成一個完整的運維任務(wù)工作流程，例如：系統(tǒng)初始化、軟件安裝、資源擴展；
4.2工具使用
首先，多數(shù)實現(xiàn)運維自動化的思維是選擇一個大而全的產(chǎn)品，然后讓這個產(chǎn)品滲透到運維工作的各個維度，從而實現(xiàn)整體的自動化。但是結(jié)果往往差強人意，你選擇的產(chǎn)品最終沒有辦法與你現(xiàn)有的環(huán)境非常融洽的相處，所謂的自動化只是一個局部而已。所以，筆者認為真正落地的思路是先選擇設(shè)計好運維工作每一個角落的腳本工具，然后再考慮上層的管理整合。
其次，當(dāng)我們在聚焦于某一個數(shù)據(jù)采集環(huán)節(jié)或者某一個運維工作任務(wù)的工具的時候，要考慮到工具本身的擴展性以及交互性。比如Shell和Python，大多數(shù)數(shù)據(jù)采集的工具都是用Shell實現(xiàn)的，無論從效率上還是從與系統(tǒng)的融洽度角度來考慮，它都是最佳選擇。但是某些需要人機交互的自動化任務(wù)就只能靠Python了，比如輸入登錄信息這個操作。
再次，從運維管理整體的集成角度，我們需要考慮到頂層運維工作和底層運維任務(wù)的整合邏輯。完整的運維工作解耦分解之后就是一個個聚焦到有限動作的運維任務(wù)，但是這些運維任務(wù)要組成一個完整的運維工作流是需要嚴密的判斷邏輯和控制機制的。
5.運維數(shù)據(jù)分析及自動化決策
運維自動化與監(jiān)控自動化最大的區(qū)別就在于是否有后續(xù)的動作。當(dāng)我們把所有的運維數(shù)據(jù)都采集完成并且按照既定邏輯進行加工處理之后，就下來就是價值信息的提取和有效動作的實施。
什么是價值信息的提取呢？舉個例子：比如我們想看存儲設(shè)備的負載是否正常，是否需要調(diào)整資源配置？傳統(tǒng)模式下，工程師需要收集存儲上的各種性能日志（端口性能、存儲控制器CPU及緩存、存儲卷的IO性能、吞吐量等等），而且是需要收集一定周期內(nèi)的均值和峰值數(shù)據(jù)。然后綜合判斷之后，決策需要調(diào)整資源或者無需調(diào)整。如果是自動化運維，我們就需要把工程師如何分析和判斷的邏輯以及經(jīng)驗設(shè)計到腳本當(dāng)中。邏輯可以提煉成算法，經(jīng)驗可以提煉為歷史數(shù)據(jù)的概率算法。
什么是有效動作的實施呢？舉個例子：比如大多數(shù)金融企業(yè)都會面臨的購物刷卡的特殊節(jié)日或者時間段，如果是可預(yù)知的情況，很多相關(guān)的工程師會提前值守，應(yīng)用工程師實時觀察應(yīng)用處理業(yè)務(wù)的情況，IT工程師觀察計算、網(wǎng)絡(luò)、存儲等各類資源的使用情況，一旦監(jiān)控出現(xiàn)異常情況，IT工程師會把提前準(zhǔn)備好的相關(guān)服務(wù)器資源安裝配置好應(yīng)用之后丟進資源池，這是通常的應(yīng)急處理方法。如果是自動化運維，我們就需要把工程師對應(yīng)用、系統(tǒng)、網(wǎng)絡(luò)等各方面實時監(jiān)控到的信息進行判斷的邏輯進行標(biāo)準(zhǔn)固化，同時需要將準(zhǔn)備資源、初始化資源、分配資源以及對外提供服務(wù)的一系列操作進行腳本化。
6.結(jié)語
總結(jié)而言，運維自動化是企業(yè)IT運維追求的重要目標(biāo)。實現(xiàn)運維自動化的前提條件在于標(biāo)準(zhǔn)化，保障運維自動化質(zhì)量的關(guān)鍵在于運維數(shù)據(jù)的利用，落地運維自動化項目的思路在于從下往上的設(shè)計思路。
