從集中到分布，化解存儲(chǔ)瓶頸
接上篇：從集中到分布，解讀網(wǎng)絡(luò)視頻IT架構(gòu)變遷(下)。集中式存儲(chǔ)已經(jīng)擁有了諸多優(yōu)勢(shì)，那么為何這家視頻網(wǎng)站最終卻選擇了其他的存儲(chǔ)架構(gòu)呢？該視頻網(wǎng)站究竟在運(yùn)營(yíng)過(guò)程中遭遇到了什么樣的阻礙呢？經(jīng)過(guò)我們對(duì)整個(gè)網(wǎng)站存儲(chǔ)結(jié)構(gòu)的分析，原來(lái)，NAS頭成為整個(gè)存儲(chǔ)環(huán)境的瓶頸……
![""]("http://image.it168.com/cms/2007-6-25/Image/2007625113041.jpg")
NAS成為系統(tǒng)瓶頸
![""]("http://image.it168.com/cms/2007-6-25/Image/200762511310.jpg")
傳統(tǒng)集中式存儲(chǔ)的瓶頸
從以上兩幅圖中，我們可以看到傳統(tǒng)的集中存儲(chǔ)方案中，存在如下問(wèn)題：
I/O瓶頸
容量擴(kuò)展性差
性能不可擴(kuò)展
專業(yè)高端NAS成本高昂
單點(diǎn)故障
隨著數(shù)據(jù)量的增加，存儲(chǔ)壓力也變得越來(lái)越集中，NAS已不足以支撐現(xiàn)有的應(yīng)用，無(wú)法更好的應(yīng)對(duì)未來(lái)的挑戰(zhàn)。既而，該網(wǎng)站從集中式的存儲(chǔ)方式轉(zhuǎn)向了采用分布式的存儲(chǔ)方式。
![""]("http://image.it168.com/cms/2007-6-25/Image/2007625113127.jpg")
分布式存儲(chǔ)系統(tǒng)架構(gòu)
圖中，每臺(tái)服務(wù)器上都提供文件共享服務(wù)，由應(yīng)用層來(lái)實(shí)現(xiàn)媒體資源數(shù)據(jù)在各個(gè)服務(wù)器集群之間的遷移，從而比較好的解決了集中存儲(chǔ)的IO瓶頸問(wèn)題，但是問(wèn)題也隨之而來(lái)。
分布式的存儲(chǔ)沒(méi)有負(fù)載均衡，例如：發(fā)生熱點(diǎn)的時(shí)候、部分流媒體服務(wù)器忙或部分閑置
分布式存儲(chǔ)利用相對(duì)較低率，重復(fù)數(shù)據(jù)大量存在，且份數(shù)多
無(wú)法實(shí)現(xiàn)集中的高Raid 級(jí)別保護(hù)
快照、備份、恢復(fù)、遠(yuǎn)程容災(zāi)比集中存儲(chǔ)實(shí)現(xiàn)成本高
需要在應(yīng)用層對(duì)存儲(chǔ)層過(guò)多關(guān)注。管理復(fù)雜度程幾何級(jí)增長(zhǎng)，整體系統(tǒng)維護(hù)工作越來(lái)越復(fù)雜、繁重。以管理Mount點(diǎn)為例：同樣的服務(wù)器數(shù)，需管理Mount點(diǎn)的數(shù)量為48 [M*(N+F)+W*N]個(gè)，即上圖中的48根紅線，遠(yuǎn)大于集中存儲(chǔ)結(jié)構(gòu)。這僅僅是Mount點(diǎn)一項(xiàng)，還不包括各個(gè)點(diǎn)存儲(chǔ)數(shù)據(jù)的維護(hù)，在實(shí)際應(yīng)用中相關(guān)的工作量是相當(dāng)驚人，管理員疲于奔命。
集中VS.分布？還是分布式的集中？
既然傳統(tǒng)的集中和分布都存在不同的問(wèn)題，怎么樣去解決？在給出答案之前，我們重新歸納前面分析的視頻網(wǎng)站對(duì)存儲(chǔ)的需求：
1. 各種服務(wù)器集群之間有視頻傳遞的需求，需要上傳服務(wù)器、流媒體服務(wù)器、在線錄制服務(wù)器和轉(zhuǎn)換服務(wù)器之間的視頻文件是互相可見的，翻譯成存儲(chǔ)的語(yǔ)言則需要文件級(jí)共享的存儲(chǔ)。
2. 各種應(yīng)用服務(wù)器可能使用著不同的操作系統(tǒng)平臺(tái)，都需要無(wú)差異的訪問(wèn)到存儲(chǔ)空間，而翻譯成存儲(chǔ)的語(yǔ)言則需要跨平臺(tái)共享的存儲(chǔ)。
3. 多臺(tái)流媒體服務(wù)器之間的存儲(chǔ)容量需要共享，從而提高存儲(chǔ)空間的利用率。如采用傳統(tǒng)SAN上面劃分獨(dú)立的存儲(chǔ)空間，給每臺(tái)服務(wù)器的類似做法顯然是不可接受的，并且需要視頻內(nèi)容合理的分布在各個(gè)存儲(chǔ)設(shè)備上，翻譯成存儲(chǔ)的語(yǔ)言則需要存儲(chǔ)容量的負(fù)載均衡。
4. 單臺(tái)存儲(chǔ)設(shè)備的存儲(chǔ)速度始終是有限的，需要多個(gè)存儲(chǔ)設(shè)備的聚合才能滿足視頻內(nèi)容訪問(wèn)量的爆炸式的增長(zhǎng)，翻譯成存儲(chǔ)的語(yǔ)言則需要多臺(tái)存儲(chǔ)設(shè)備間的存儲(chǔ)速度的聚合，從而實(shí)現(xiàn)存儲(chǔ)速度的負(fù)載均衡。
5. 新增視頻內(nèi)容的不斷添加會(huì)導(dǎo)致存儲(chǔ)容量的不斷擴(kuò)大，在添加設(shè)備擴(kuò)展容量的時(shí)，能夠不影響原有系統(tǒng)，且平滑擴(kuò)展，能夠?qū)崿F(xiàn)在線的擴(kuò)展業(yè)務(wù)系統(tǒng)不停機(jī)，翻譯成存儲(chǔ)的語(yǔ)言則需要容量線性可擴(kuò)展，能夠?qū)崿F(xiàn)在線擴(kuò)容。
6. 隨著用戶訪問(wèn)量增長(zhǎng)和視頻清晰度提高帶來(lái)的帶寬增長(zhǎng)等諸多增長(zhǎng)因素的影響，對(duì)存儲(chǔ)帶寬的增長(zhǎng)需求，要求存儲(chǔ)系統(tǒng)實(shí)現(xiàn)帶寬隨容量呈線性增長(zhǎng)。
7. 合理的成本控制是一個(gè)恒久的話題，需要存儲(chǔ)系統(tǒng)的總體擁有成本隨容量的擴(kuò)展而合理的擴(kuò)展，不能出現(xiàn)突變式的增長(zhǎng)。
8. 穩(wěn)定性自然不用說(shuō)，需要存儲(chǔ)系統(tǒng)采用冗余結(jié)構(gòu)以提高系統(tǒng)的穩(wěn)定性。
為了滿足上述需求，當(dāng)我們面對(duì)“集中VS.分布”這個(gè)艱難抉擇的時(shí)候，技術(shù)的不斷進(jìn)步，涌現(xiàn)出：分布式的集中存儲(chǔ)結(jié)構(gòu)——集群存儲(chǔ)技術(shù)，其核心技術(shù)是集群文件系統(tǒng)。
集群存儲(chǔ)系統(tǒng)滿足視頻行業(yè)服務(wù)需求
目前，廣為流行的集群文件系統(tǒng)的典型代表主要有：
Google 的GFS （Google File System）
國(guó)內(nèi)中科院研發(fā)的BWFS（Blue Whale File System）
Panasas 的PanFS （PanFS File System）
IBM 的 GPFS （General Parallel File System)
CFS 的 Lustre （Lustre File System）
這五種集群文件系統(tǒng)各有特點(diǎn)和優(yōu)勢(shì)，一般而言，分布式集中存儲(chǔ)相對(duì)于傳統(tǒng)存儲(chǔ)系統(tǒng)來(lái)說(shuō)擁有如下優(yōu)點(diǎn)：采用統(tǒng)一的全局命名空間，支持文件級(jí)共享，且采用分布式存儲(chǔ)結(jié)構(gòu)，能實(shí)現(xiàn)高聚合I/O帶寬，并且跨Linux平臺(tái)和Windows平臺(tái)的文件共享，還能夠線性擴(kuò)展I/O帶寬，擁有良好的系統(tǒng)負(fù)載平穩(wěn)性，并能夠動(dòng)態(tài)擴(kuò)展存儲(chǔ)容量，實(shí)現(xiàn)成本可控。
![""]("http://image.it168.com/cms/2007-6-25/Image/200762511365.jpg")
基于分布式結(jié)構(gòu)的集中存儲(chǔ)
如上圖所示：該架構(gòu)能較好的滿足網(wǎng)絡(luò)視頻對(duì)存儲(chǔ)系統(tǒng)的需求。
1. 文件共享、統(tǒng)一的全局命名空間——上傳服務(wù)器和流媒體服務(wù)器之間的文件可見性；多臺(tái)流媒體服務(wù)器間的存儲(chǔ)容量共享
2. 多臺(tái)存儲(chǔ)設(shè)備間的存儲(chǔ)速度的聚合——流媒體服務(wù)器可用的存儲(chǔ)速度負(fù)載均衡
3. 跨平臺(tái)共享（Windows/Linux）——支持不同平臺(tái)的流媒體服務(wù)器、上傳和其他服務(wù)器
4. 容量線性可擴(kuò)展——使流媒體服務(wù)能應(yīng)對(duì)不斷擴(kuò)大的存儲(chǔ)容量需求
5. 帶寬隨著容量線性增長(zhǎng)——使流媒體服務(wù)能應(yīng)對(duì)不斷擴(kuò)大的用戶訪問(wèn)量； 可以按需擴(kuò)大流媒體服務(wù)器的數(shù)量而不用擔(dān)心存儲(chǔ)
6. 成本需隨著容量的擴(kuò)展而擴(kuò)展——良好的成本控制
7. 全冗余結(jié)構(gòu)——穩(wěn)定的強(qiáng)壯的存儲(chǔ)系統(tǒng)
該視頻網(wǎng)站最終選擇基于BWFS集群文件系統(tǒng)的BWStor藍(lán)鯨集群存儲(chǔ)系統(tǒng)。BWFS是由我國(guó)中科院計(jì)算所工程中心自主研發(fā)的文件系統(tǒng)，并經(jīng)由中科院中科儲(chǔ)天公司產(chǎn)品化。中科院中科儲(chǔ)天藍(lán)鯨集群存儲(chǔ)系統(tǒng)（BWStor）即采用BWFS文件系統(tǒng)為核心技術(shù)，是中國(guó)自主知識(shí)產(chǎn)權(quán)存儲(chǔ)產(chǎn)品的代表之一。
