今天,純文字的表現形式已經不能滿足用戶對更豐富多彩的網絡內容的需求,我們需要更豐富的數字出版物、圖片、聲音以及視頻來表達和交流;同時,單向傳播也不能滿足用戶對互動式網絡體驗的需求,我們需要更豐富靈活的交流與互動體驗;IT架構必須能夠承載和傳播這些爆發式增長的非結構化的數據。
同時,用戶訪問量的增長卻從沒有停止過,相對于傳統應用,網絡視頻行業應用有著非常龐大的用戶數量上漲空間,IT設施面臨著強大的成本控制的壓力。
那么,我們究竟該如何應對網絡視頻行業的商業模式創新和成本控制的挑戰呢?
視頻網站的典型應用架構
我們將以網絡視頻行業中最具代表性的視頻分享網站為例,通過某視頻網站的存儲環境改造案例來看看網絡視頻需要什么樣的IT結構、分析什么樣的存儲系統能夠更好的來支撐商業模式的創新,并合理的控制成本。
視頻網站的典型應用架構
首先,我們來看看該視頻網站的IT結構:如上圖所示,分別由流媒體服務器、Web服務器、在線錄制服務器、視頻轉換服務器、數據庫服務器、管理服務器、圖片服務器和其他服務器等一系列不同數量的服務器組成。
這一架構在目前的視頻網站中帶有一定的典型性。但是由這幾個部分組合起來的IT結構,如何才能支撐視頻分享門戶的競爭優勢呢?
滿足交互性體驗和服務壓力
以下我們將從應用需求和技術特點兩方面來分析,該架構如何滿足該視頻網站的運營需求:
1. 交互性體驗方面:
首先,為滿足用戶對交互體驗的需要并保持自身的原創優勢,需要為用戶提供視頻上傳和在線錄制視頻的功能;其次,需要把不同格式的視頻,轉換成該網站統一的格式;最后,需要在上傳后盡快發布以供播出。
2. 服務壓力方面:
首先,不但需要應對已有的大數量的用戶訪問,而且將迎接持續的訪問量增長;其次,當用戶訪問量增加時,需要保持良好的反映速度和響應時間;最后,必須面對清晰度日漸提高后,碼流增大所帶來的服務壓力。
在各個技術層面上,我們如何更好的滿足上述諸多需要呢?
1. 在編解碼技術層面:編解碼技術不斷推陳出新,我們可以看到解碼效果更好,編碼壓縮率更高的編解碼方式等諸多方面均有良好進展。尤其是由中科院計算所牽頭制定的AVS標準,是具有我國自主知識產權的新一代編解碼標準,將促進我國網絡視頻行業的健康發展。
2. 在媒體的傳輸層面:CDN技術已經比較成熟,P2P技術的發展也非常的迅速,雖然存在缺乏統一標準等問題,但無法掩蓋P2P技術的鋒芒。目前,已有不少的視頻平臺運營商采用了P2P技術。此外,CDN+P2P的復合技術也有了比較好的發展。
3. 在媒體的服務提供層面:服務器集群技術已經相當成熟:雙機到多機的數據庫集群、由DNS輪詢或相關技術實現的Web服務器集群、由相關查詢指向技術實現的流媒體服務器集群等都可以比較方便的實現。成熟的服務器集群技術可以實現按需增加相應應用服務器來應對業務需求,足以為網絡視頻行業提供良好的支撐。
4. 在媒體資源存儲方面:需要有大容量、高帶寬、可共享的存儲技術來支撐,而傳統的存儲結構和存儲技術,卻不能很好的滿足視頻網站的存儲需求。
那么視頻網站在存儲方面都有什么具體的要求,存儲環境怎樣才能夠滿足這些要求呢?下面我們通過一個實例來詳細分析視頻網站對存儲環境的需求:
集中式存儲把雞蛋放到一個籃子里
傳統存儲的體系結構無非有兩種:集中式和分布式。網絡視頻存儲方案面臨著集中式存儲和分布式存儲兩種選擇,兩種結構各有優缺點,選擇起來其實是比較困難的。本案中的視頻網站的存儲結構就經歷了“集中--分布--分布式的集中存儲”的循回式的變遷:
該網站建立之初,采用了集中式的存儲結構。
某視頻網站原有集中式存儲系統
很多網絡視頻的存儲采用的大多類似于上圖的、集中式的存儲結構來存放所有媒體數據,通常為NAS架構。簡單地說,就是一臺大容量的文件服務器,而高端的NAS結構是由一個NAS頭后面接SAS、SCSI或光纖盤陣。
集中式存儲的優點是比較明顯的:
1. 集中存儲可實現服務的負載均衡,由于流媒體服務間的數據都是共享且統一的,當發生熱點繁忙時,所有流媒體服務器都可為其提供服務,分減壓力,而不像分布式的存儲會出現熱點繁忙,沒有熱點內容的存儲出現空閑這種不均勻情況。
2. 集中存儲提高了存儲資源的利用率。
3. 集中的高Raid 級別保護且成本較低,分布式存儲都實現Raid保護成本高昂。
4. 集中的備份(快照)恢復,能方便的實現遠程容災。
5. 集中存儲方案管理復雜度相對較低,以管理Mount點為例:需管理Mount點的數量為16(M+N+F+W)個,即上圖中的16根藍線。
6. 集中存儲同時也是對流媒體服務器視頻內容的集中管理。
我們知道集中式存儲同時擁有了諸多優點,應該能夠滿足該網站實際運營的需要。但是,在視頻網站發展和訪問量增長的同時,該網站最終還是放棄集中式的存儲結構轉而采用分布式的存儲結構,這是為什么呢?
下篇我們將接續上篇,分析集中式存儲的瓶頸所在,并提出解決方案。