今天,純文字的表現(xiàn)形式已經(jīng)不能滿足用戶對更豐富多彩的網(wǎng)絡(luò)內(nèi)容的需求,我們需要更豐富的數(shù)字出版物、圖片、聲音以及視頻來表達(dá)和交流;同時,單向傳播也不能滿足用戶對互動式網(wǎng)絡(luò)體驗的需求,我們需要更豐富靈活的交流與互動體驗;IT架構(gòu)必須能夠承載和傳播這些爆發(fā)式增長的非結(jié)構(gòu)化的數(shù)據(jù)。
同時,用戶訪問量的增長卻從沒有停止過,相對于傳統(tǒng)應(yīng)用,網(wǎng)絡(luò)視頻行業(yè)應(yīng)用有著非常龐大的用戶數(shù)量上漲空間,IT設(shè)施面臨著強(qiáng)大的成本控制的壓力。
那么,我們究竟該如何應(yīng)對網(wǎng)絡(luò)視頻行業(yè)的商業(yè)模式創(chuàng)新和成本控制的挑戰(zhàn)呢?
視頻網(wǎng)站的典型應(yīng)用架構(gòu)
我們將以網(wǎng)絡(luò)視頻行業(yè)中最具代表性的視頻分享網(wǎng)站為例,通過某視頻網(wǎng)站的存儲環(huán)境改造案例來看看網(wǎng)絡(luò)視頻需要什么樣的IT結(jié)構(gòu)、分析什么樣的存儲系統(tǒng)能夠更好的來支撐商業(yè)模式的創(chuàng)新,并合理的控制成本。
視頻網(wǎng)站的典型應(yīng)用架構(gòu)
首先,我們來看看該視頻網(wǎng)站的IT結(jié)構(gòu):如上圖所示,分別由流媒體服務(wù)器、Web服務(wù)器、在線錄制服務(wù)器、視頻轉(zhuǎn)換服務(wù)器、數(shù)據(jù)庫服務(wù)器、管理服務(wù)器、圖片服務(wù)器和其他服務(wù)器等一系列不同數(shù)量的服務(wù)器組成。
這一架構(gòu)在目前的視頻網(wǎng)站中帶有一定的典型性。但是由這幾個部分組合起來的IT結(jié)構(gòu),如何才能支撐視頻分享門戶的競爭優(yōu)勢呢?
滿足交互性體驗和服務(wù)壓力
以下我們將從應(yīng)用需求和技術(shù)特點兩方面來分析,該架構(gòu)如何滿足該視頻網(wǎng)站的運(yùn)營需求:
1. 交互性體驗方面:
首先,為滿足用戶對交互體驗的需要并保持自身的原創(chuàng)優(yōu)勢,需要為用戶提供視頻上傳和在線錄制視頻的功能;其次,需要把不同格式的視頻,轉(zhuǎn)換成該網(wǎng)站統(tǒng)一的格式;最后,需要在上傳后盡快發(fā)布以供播出。
2. 服務(wù)壓力方面:
首先,不但需要應(yīng)對已有的大數(shù)量的用戶訪問,而且將迎接持續(xù)的訪問量增長;其次,當(dāng)用戶訪問量增加時,需要保持良好的反映速度和響應(yīng)時間;最后,必須面對清晰度日漸提高后,碼流增大所帶來的服務(wù)壓力。
在各個技術(shù)層面上,我們?nèi)绾胃玫臐M足上述諸多需要呢?
1. 在編解碼技術(shù)層面:編解碼技術(shù)不斷推陳出新,我們可以看到解碼效果更好,編碼壓縮率更高的編解碼方式等諸多方面均有良好進(jìn)展。尤其是由中科院計算所牽頭制定的AVS標(biāo)準(zhǔn),是具有我國自主知識產(chǎn)權(quán)的新一代編解碼標(biāo)準(zhǔn),將促進(jìn)我國網(wǎng)絡(luò)視頻行業(yè)的健康發(fā)展。
2. 在媒體的傳輸層面:CDN技術(shù)已經(jīng)比較成熟,P2P技術(shù)的發(fā)展也非常的迅速,雖然存在缺乏統(tǒng)一標(biāo)準(zhǔn)等問題,但無法掩蓋P2P技術(shù)的鋒芒。目前,已有不少的視頻平臺運(yùn)營商采用了P2P技術(shù)。此外,CDN+P2P的復(fù)合技術(shù)也有了比較好的發(fā)展。
3. 在媒體的服務(wù)提供層面:服務(wù)器集群技術(shù)已經(jīng)相當(dāng)成熟:雙機(jī)到多機(jī)的數(shù)據(jù)庫集群、由DNS輪詢或相關(guān)技術(shù)實現(xiàn)的Web服務(wù)器集群、由相關(guān)查詢指向技術(shù)實現(xiàn)的流媒體服務(wù)器集群等都可以比較方便的實現(xiàn)。成熟的服務(wù)器集群技術(shù)可以實現(xiàn)按需增加相應(yīng)應(yīng)用服務(wù)器來應(yīng)對業(yè)務(wù)需求,足以為網(wǎng)絡(luò)視頻行業(yè)提供良好的支撐。
4. 在媒體資源存儲方面:需要有大容量、高帶寬、可共享的存儲技術(shù)來支撐,而傳統(tǒng)的存儲結(jié)構(gòu)和存儲技術(shù),卻不能很好的滿足視頻網(wǎng)站的存儲需求。
那么視頻網(wǎng)站在存儲方面都有什么具體的要求,存儲環(huán)境怎樣才能夠滿足這些要求呢?下面我們通過一個實例來詳細(xì)分析視頻網(wǎng)站對存儲環(huán)境的需求:
集中式存儲把雞蛋放到一個籃子里
傳統(tǒng)存儲的體系結(jié)構(gòu)無非有兩種:集中式和分布式。網(wǎng)絡(luò)視頻存儲方案面臨著集中式存儲和分布式存儲兩種選擇,兩種結(jié)構(gòu)各有優(yōu)缺點,選擇起來其實是比較困難的。本案中的視頻網(wǎng)站的存儲結(jié)構(gòu)就經(jīng)歷了“集中--分布--分布式的集中存儲”的循回式的變遷:
該網(wǎng)站建立之初,采用了集中式的存儲結(jié)構(gòu)。
某視頻網(wǎng)站原有集中式存儲系統(tǒng)
很多網(wǎng)絡(luò)視頻的存儲采用的大多類似于上圖的、集中式的存儲結(jié)構(gòu)來存放所有媒體數(shù)據(jù),通常為NAS架構(gòu)。簡單地說,就是一臺大容量的文件服務(wù)器,而高端的NAS結(jié)構(gòu)是由一個NAS頭后面接SAS、SCSI或光纖盤陣。
集中式存儲的優(yōu)點是比較明顯的:
1. 集中存儲可實現(xiàn)服務(wù)的負(fù)載均衡,由于流媒體服務(wù)間的數(shù)據(jù)都是共享且統(tǒng)一的,當(dāng)發(fā)生熱點繁忙時,所有流媒體服務(wù)器都可為其提供服務(wù),分減壓力,而不像分布式的存儲會出現(xiàn)熱點繁忙,沒有熱點內(nèi)容的存儲出現(xiàn)空閑這種不均勻情況。
2. 集中存儲提高了存儲資源的利用率。
3. 集中的高Raid 級別保護(hù)且成本較低,分布式存儲都實現(xiàn)Raid保護(hù)成本高昂。
4. 集中的備份(快照)恢復(fù),能方便的實現(xiàn)遠(yuǎn)程容災(zāi)。
5. 集中存儲方案管理復(fù)雜度相對較低,以管理Mount點為例:需管理Mount點的數(shù)量為16(M+N+F+W)個,即上圖中的16根藍(lán)線。
6. 集中存儲同時也是對流媒體服務(wù)器視頻內(nèi)容的集中管理。
我們知道集中式存儲同時擁有了諸多優(yōu)點,應(yīng)該能夠滿足該網(wǎng)站實際運(yùn)營的需要。但是,在視頻網(wǎng)站發(fā)展和訪問量增長的同時,該網(wǎng)站最終還是放棄集中式的存儲結(jié)構(gòu)轉(zhuǎn)而采用分布式的存儲結(jié)構(gòu),這是為什么呢?
下篇我們將接續(xù)上篇,分析集中式存儲的瓶頸所在,并提出解決方案。