IDC中國在10月份剛剛發(fā)布了《中國大數(shù)據(jù)技術(shù)與服務(wù)市場2012-2016年預(yù)測與分析》報告，其中的數(shù)據(jù)顯示，中國大數(shù)據(jù)技術(shù)和服務(wù)市場未來5年的復(fù)合增長率將達51.4%。報告中指出，淘寶、騰訊，以及百度等互聯(lián)網(wǎng)巨頭是率先使用大數(shù)據(jù)技術(shù)的用戶，同時電信和銀行領(lǐng)域也開始對大數(shù)據(jù)技術(shù)和服務(wù)產(chǎn)生濃厚的興趣。

　　Gartner也預(yù)測，到2015年，大數(shù)據(jù)將為全球帶來440萬個IT崗位，其中96萬個IT崗位會在亞太地區(qū)。每個大數(shù)據(jù)相關(guān)的崗位將催生三個非IT的就業(yè)機會，從而使亞太地區(qū)的就業(yè)機會總計達到40萬個。種種數(shù)據(jù)表明，大數(shù)據(jù)不僅會為人們的日常生活帶來影響，對整個IT生態(tài)鏈也是一個巨大的機遇。

　　生活中的大數(shù)據(jù)

　　對于普通的用戶來說，雖然不必關(guān)心大數(shù)據(jù)的概念究竟是什么，但一些案例卻可以直入生活。就拿剛剛過去的11月11日，天貓商城所創(chuàng)造的191億元銷售額的傳奇來說，商家已經(jīng)懂得了如何利用用戶以往的購買記錄去推送有針對性的商品。還有沃爾瑪創(chuàng)造的“尿布+啤酒”的營銷傳奇至今還在被人們津津樂道。尿布、啤酒這看似兩種針對客戶群完全不同的產(chǎn)品，卻在沃爾瑪?shù)匿N售記錄里創(chuàng)造了令人驚奇的搭配效果。這個故事講的是，如果太太讓先生去樓下買尿布時，先生一般都會按照自己的需求再順帶捎上兩聽啤酒，因而啤酒和尿布被一起購買的機會最多。這個案例是由沃爾瑪商場的智能化信息分析系統(tǒng)挖掘出來的秘密，這個系統(tǒng)讓沃爾瑪成為了“最了解消費者”的零售商，而這個故事也成為了大數(shù)據(jù)影響人們?nèi)粘Ｉ畹囊粋€經(jīng)典案例。

　　作為都靈大學(xué)腫瘤學(xué)系的私營且非嬴利機構(gòu)，該校的癌癥研究所一直致力于了解癌癥基本機理，為病人提供最佳診斷和治療服務(wù)。目前，研究人員努力讓他們大量的研究數(shù)據(jù)變得更具有意義。他們最新采用了來自Kairos3D 公司生產(chǎn)的名為GenomeCruzer的產(chǎn)品。GenomeCruzer由Gilgamesh大數(shù)據(jù)3D可視化引擎驅(qū)動，提供一個整合有數(shù)據(jù)模式和關(guān)系、且能夠讓整個數(shù)據(jù)集被看到和開發(fā)的環(huán)境。癌癥研究所的Enzo Medico博士說：“這個神奇的工具提升了我們對龐大數(shù)據(jù)集的利用率，并獲得了前所未有的數(shù)據(jù)分析速度。該工具的這一優(yōu)勢已經(jīng)被確認。”這種最新的交互式3D大數(shù)據(jù)可視化可以推進癌癥研究進程，縮短癌癥治療過程。

　　上述的兩個例子已經(jīng)足以讓我們意識到大數(shù)據(jù)帶來的益處。不僅是在零售、醫(yī)療行業(yè)，PMC公司企業(yè)存儲事業(yè)部市場營銷副總裁Derek Dicker表示：“在眾多垂直行業(yè)中，數(shù)據(jù)量都在快速增長。例如石油、天然氣、氣候建模和預(yù)報、生命科學(xué)等行業(yè)。”以氣候行業(yè)為例，政府機構(gòu)在研究氣象模式時需要創(chuàng)建并分析大數(shù)據(jù)集，從而更加準確地預(yù)報氣候變化的強度、方向，以及持續(xù)時間，這將影響數(shù)百萬人的日常生活。為了實現(xiàn)上述的案例，一個大數(shù)據(jù)分析平臺必不可少，為大數(shù)據(jù)而生的新興技術(shù)也開始層出不窮。

　　阿里云的大數(shù)據(jù)經(jīng)驗

　　伴隨著大數(shù)據(jù)概念的火熱，以一只大象為代表的Hadoop迅速席卷了IT人士的視野。這種分布式的計算模式幾乎成為了公認的大數(shù)據(jù)處理模式，隨之而來的，是IT巨頭紛紛加入Hadoop陣營。雖然開源是個大趨勢，但ESG中國區(qū)總經(jīng)理王叢也認為用戶想要真的去利用Hadoop部署自己的項目，首先需要的就是雇傭大量的人才去學(xué)習(xí)Hadoop，人才成本比較高。同時我們也可以看到，國內(nèi)也出現(xiàn)了一些擁有自主知識產(chǎn)權(quán)的大數(shù)據(jù)處理平臺。阿里云是其中的佼佼者。

　　阿里云作為阿里巴巴旗下的一員，相比淘寶、支付寶等公司低調(diào)許多，但當(dāng)它所自主創(chuàng)建的分布式計算系統(tǒng)進入人們眼簾時，引起了業(yè)內(nèi)的巨大反響。阿里云所涉及的業(yè)務(wù)包含了彈性計算、大規(guī)模存儲、大規(guī)模數(shù)據(jù)處理、搜索、地圖、郵箱等等服務(wù)。在阿里云平臺發(fā)展的過程中，研發(fā)過程也曾受阻，期間也曾遭到質(zhì)疑，但不可否認的是，阿里云目前已經(jīng)擁有了龐大的用戶群，并且在打造“以數(shù)據(jù)為中心的開放云計算服務(wù)平臺”的道路上越走越順。

　　阿里云計算有限公司研究員薛貴榮在接受記者采訪時表示，目前接入阿里云的注冊用戶達到170多萬，平臺租戶已經(jīng)超過了5000家，直接或者間接享受阿里云平臺服務(wù)的終端用戶則可達到上億的用戶。而阿里云最為看重的就是“數(shù)據(jù)”。結(jié)合當(dāng)前的大數(shù)據(jù)熱潮，阿里云的目的就是提供強大的計算能力，幫助用戶去處理新時代的石油——數(shù)據(jù)。

　　薛貴榮介紹，經(jīng)過三年的發(fā)展，阿里云打造成了完全自主研發(fā)的大規(guī)模分布式計算系統(tǒng)——飛天。該系統(tǒng)除了MapReduce之外，還支持最廣泛的多種編程模型。而且，阿里云的技術(shù)人員在這個同一平臺之上實現(xiàn)了數(shù)據(jù)存儲、彈性計算、搜索等多項功能。而這種功能，除了阿里云，世界上也只有Google能夠做到。而阿里云的戰(zhàn)略，我們也可以解讀為Amazon+Google并有所超越，用Google模式的技術(shù)去做Amazon模式的運營。

　　結(jié)合當(dāng)前的Hadoop熱潮，或許有讀者會感到困惑，費了半天勁自己研發(fā)了一個大數(shù)據(jù)平臺，為何不直接使用Hadoop呢?對此問題，阿里云有自己的看法。阿里云總裁王堅曾經(jīng)說：“Hadoop在離線大數(shù)據(jù)處理上很有價值，但它無法解決我們公司公共云計算服務(wù)的問題。因為我們已經(jīng)上線的云服務(wù)已遠遠超出Hadoop的能力，這和公司的定位有關(guān)。現(xiàn)在，飛天已經(jīng)很好地支持了阿里云的各項業(yè)務(wù)，其中包括大數(shù)據(jù)處理，在這方面，飛天實際已經(jīng)超越了Hadoop。”

　　薛貴榮也表示，如果沒有一個專業(yè)性較強的Hadoop團隊去維護，Hadoop的能力上升會受到限制。不管如何，在經(jīng)歷了質(zhì)疑、阻礙之后，飛天成功了。而之后，飛天將會在阿里云技術(shù)團隊的維護下，繼續(xù)擴充自身的計算能力，提供更加廣泛的大數(shù)據(jù)處理服務(wù)。

談到當(dāng)前的大數(shù)據(jù)問題，薛貴榮總結(jié)了以下四個經(jīng)驗與讀者進行分享：

　　第一，就是云計算平臺的建設(shè)。對于大數(shù)據(jù)而言，后端的處理能力是基礎(chǔ)，這也是阿里云最近三年一直致力在做的事情。以搜索業(yè)務(wù)為例，要想把全世界的萬億級別的網(wǎng)頁全部索引一遍，單單依靠一臺機器去處理是完全不可能實現(xiàn)的。因此，對于大數(shù)據(jù)的處理平臺來說，如何將幾千、幾萬臺的機器做成一個集群是最為重要的事情。這種大規(guī)模的分布式計算系統(tǒng)是飛天系統(tǒng)的核心。

　　薛貴榮介紹，飛天從第一行代碼開始就是自己寫的，目前這個分布式計算模式也在積極與ISV進行合作，以便能夠為其他行業(yè)的用戶提供一種“自主”的大數(shù)據(jù)處理工具。

　　第二，薛貴榮表示，大數(shù)據(jù)平臺需要有智能化的技術(shù)。他以“命題作文”為例，大數(shù)據(jù)平臺不能是根據(jù)問題去尋找答案，而是應(yīng)該智能地向用戶提供有價值的信息。以IBM的機器人沃森為例，他能夠回答非固定的問題，后端需要的是一個強大的分析系統(tǒng)。目前在人工智能領(lǐng)域的深度學(xué)習(xí)、自學(xué)習(xí)以及終生學(xué)習(xí)等都取得一些突破性的進展，值得去嘗試。

　　第三，是成本問題。薛貴榮表示，大數(shù)據(jù)不能成為一個燒錢的項目，所以對于用戶而言，成本很重要，因而在阿里云的集群中全部采用了價格比較低廉的PC服務(wù)器。這也是大數(shù)據(jù)與云計算相呼應(yīng)的地方。云計算可以為大數(shù)據(jù)的處理提供一個彈性、低成本的平臺，而大數(shù)據(jù)又促進了云計算的發(fā)展。

　　總而言之，對于一個強大的大數(shù)據(jù)分析平臺來講，智能化、彈性、集群的擴展能力都必不可少。但最基礎(chǔ)的部分，底層的IT基礎(chǔ)設(shè)施必須足夠強大，才能夠應(yīng)付上層的這么許多應(yīng)用。因此包括設(shè)備提供商、芯片制造商也