大數(shù)據(jù)無疑是當(dāng)前最受關(guān)注的技術(shù)話題,它也與我們每個人都息息相關(guān)。隨著互聯(lián)網(wǎng)的快速發(fā)展,我們每個人以及社會應(yīng)用產(chǎn)生的數(shù)據(jù)已經(jīng)開始爆發(fā),比如社交、交互式應(yīng)用帶來了大量的網(wǎng)絡(luò)數(shù)據(jù),這種非結(jié)構(gòu)化數(shù)據(jù)充斥在我們周圍,包括網(wǎng)絡(luò)日志、電話記錄、醫(yī)療記錄、傳感器和監(jiān)控數(shù)據(jù)等,各種來源的數(shù)據(jù)種類豐富,規(guī)模龐大。
以中國互聯(lián)網(wǎng)行業(yè)為例,龐大的網(wǎng)民每時每刻都在產(chǎn)生大數(shù)據(jù),大數(shù)據(jù)對中國的影響也愈發(fā)明顯,從中國互聯(lián)網(wǎng)絡(luò)信息中心公布的最新數(shù)據(jù)來看,中國網(wǎng)民的數(shù)量已經(jīng)超過5億,作為世界上人口最多的國家,中國產(chǎn)生的數(shù)據(jù)量可想而知。但很多時候,除了堆砌在存儲系統(tǒng)中,大數(shù)據(jù)往往也蘊藏著巨大的商業(yè)價值,這一點,一些互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)挖掘以及商業(yè)智能化應(yīng)用都已經(jīng)初露端倪,也讓更多的企業(yè)看到了大數(shù)據(jù)中潛藏的巨大機會。
不僅僅是互聯(lián)網(wǎng)行業(yè),放眼全行業(yè),可以利用大數(shù)據(jù)的機會更多,比如電信運營商利用大數(shù)據(jù)技術(shù)對用戶的行為習(xí)慣進行分析,就能更有針對性地制訂市場營銷計劃或開發(fā)出更多全新的商業(yè)模式和服務(wù);金融行業(yè)能借該技術(shù)更快速地分析在金融機構(gòu)之間交換的營銷與交易數(shù)據(jù),以確保交易的安全可靠和防欺詐;智能城市及物聯(lián)網(wǎng)領(lǐng)域則可借大數(shù)據(jù)技術(shù)更快實現(xiàn)智能交通監(jiān)控、智能公共安全、氣象和污染變化的智能監(jiān)控及預(yù)測等應(yīng)用。
一方面,大數(shù)據(jù)的爆發(fā)帶來了巨大的機遇,另一方面,從繁雜的大數(shù)據(jù)中挖掘有效信息也將是巨大的挑戰(zhàn),因為長期以來,企業(yè)中存儲和處理的通常都是結(jié)構(gòu)化數(shù)據(jù),對于非結(jié)構(gòu)化數(shù)據(jù)的處理,此時傳統(tǒng)的硬件設(shè)備已經(jīng)開始顯得捉襟見肘,無法滿足這種龐雜數(shù)據(jù)帶來的應(yīng)用需求。
大數(shù)據(jù)對IT解決方案提出更高要求
所謂大數(shù)據(jù),首先是數(shù)據(jù)量很大,已經(jīng)從TB級躍升至PB級;其次區(qū)別于傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)和類型,數(shù)據(jù)結(jié)構(gòu)和類型更加復(fù)雜,超過80%都是非結(jié)構(gòu)化數(shù)據(jù),比如網(wǎng)上的流媒體數(shù)據(jù)、物聯(lián)網(wǎng)中RFID感應(yīng)數(shù)據(jù)以及社交網(wǎng)絡(luò)上產(chǎn)生的各種數(shù)據(jù)等。隨著非結(jié)構(gòu)化數(shù)據(jù)持續(xù)不斷地增加,并且需要長時間存儲,非熱點數(shù)據(jù)也會被隨機訪問,這種情況與傳統(tǒng)的、基于關(guān)系型數(shù)據(jù)庫的核心數(shù)據(jù)存儲方式有顯著的差異。這種差異使得傳統(tǒng)的數(shù)據(jù)存儲和管理解決方案無法勝任大數(shù)據(jù)時代的分析、管理和挖掘工作。
此外,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫以及數(shù)據(jù)分析軟件處理的結(jié)構(gòu)化數(shù)據(jù)通常是GB級別的,很難適應(yīng)大數(shù)據(jù)時代TB、PB級復(fù)雜數(shù)據(jù)類型的檢索分析。同時,因為數(shù)據(jù)每時每刻都在快速增長,傳統(tǒng)解決方案也無法適應(yīng)這種近乎無限的擴張性。為了適應(yīng)大數(shù)據(jù)時代的到來,企業(yè)需要硬件、技術(shù)、應(yīng)用等各個層面做好準(zhǔn)備,才能滿足大數(shù)據(jù)收集、存儲、管理和分析的要求。
那么,大數(shù)據(jù)時代下IT解決方案應(yīng)該具備怎樣的要求呢?首先必須支持?jǐn)?shù)量龐大的用戶和數(shù)據(jù)生產(chǎn)者,能夠從企業(yè)及社區(qū)網(wǎng)絡(luò)、移動智能終端、傳感器及物聯(lián)網(wǎng)、定位及地理信息設(shè)備中獲得大量的非結(jié)構(gòu)化數(shù)據(jù),包括視頻、語音、圖片、文字等,并對這些海量復(fù)雜數(shù)據(jù)進行分析和挖掘,從而獲得真正有價值的數(shù)據(jù)用于后續(xù)的經(jīng)營。這種應(yīng)用模式,要求大數(shù)據(jù)時代的IT解決方案具備可變的數(shù)據(jù)接口和高效的數(shù)據(jù)導(dǎo)入、管理、分析、統(tǒng)計技術(shù),在數(shù)據(jù)規(guī)模上能夠支持PB級別的數(shù)據(jù),在數(shù)據(jù)類型上支持非結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù),速度上支持每秒萬次級查詢,擁有更高的系統(tǒng)可靠性以及更高的統(tǒng)計分析效率。
除了同時支持大規(guī)模非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù),更快速、靈活及穩(wěn)定的檢索分析,低成本的存儲和管理能力也必不可少,這無疑對計算能力、數(shù)據(jù)處理能力和管理能力提出了非常高的要求。在應(yīng)對大數(shù)據(jù)處理難題面前,硬件和軟件都將發(fā)揮自身的價值,因為要實現(xiàn)大數(shù)據(jù)的高效挖掘和分析,除了高性能、可靠的硬件平臺,軟件層面的優(yōu)化支持也必不可少。目前已經(jīng)有不少廠商在努力圍繞大數(shù)據(jù)開發(fā)整合解決方案,英特爾就是其中之一。
從開放平臺到大數(shù)據(jù)生態(tài)圈
從目前企業(yè)計算領(lǐng)域來看,英特爾架構(gòu)是承載和實現(xiàn)大數(shù)據(jù)的理想平臺,英特爾架構(gòu)廣泛的普及率可以為企業(yè)提供更高的一致性。英特爾至強處理器擁有更高的計算性能和內(nèi)存數(shù)據(jù)處理能力,以及其為核心服務(wù)器和存儲系統(tǒng)提供開放式的擴展性,非常適合應(yīng)對大數(shù)據(jù)的挑戰(zhàn)。
在實現(xiàn)大數(shù)據(jù)處理的過程中,基于英特爾至強處理器的平臺具備開放式、易優(yōu)化、靈活易擴展等特點,是實現(xiàn)大數(shù)據(jù)應(yīng)用的出色載體。對于數(shù)據(jù)分析來說,英特爾的雙路至強處理器已經(jīng)通過實踐驗證了自身在計算能力的領(lǐng)先性,并為基礎(chǔ)的主流服務(wù)器和存儲系統(tǒng)提供無可比擬的擴展性。對于商業(yè)智能來說,基于英特爾至強處理器的多路平臺則具備高性能、高能效、靈活擴展以及高性價比等優(yōu)勢。
除了基礎(chǔ)硬件平臺領(lǐng)域,英特爾還具有Hadoop這種分布式運算架構(gòu)的軟件方案,也將對大數(shù)據(jù)的處理提供更高的效能。我們知道,Hadoop對海量數(shù)據(jù)處理的支持,可以讓用戶不再依賴價格高昂的大型專有設(shè)備,而是利用較高性價比的x86服務(wù)器來搭配并行計算架構(gòu),從而以更加經(jīng)濟的方式完成龐大的計算任務(wù)。
英特爾Hadoop發(fā)行版軟件方案通過優(yōu)化底層算法,可實現(xiàn)更高的應(yīng)用效率和更均衡的計算存儲分布;加上與英特爾硬件技術(shù)相結(jié)合,可以提供更高的平臺性能。同時,還能提供跨數(shù)據(jù)中心的HBase數(shù)據(jù)庫虛擬大表功能,并實現(xiàn)HBase數(shù)據(jù)庫復(fù)制和備份功能,在功能方面也更適應(yīng)大數(shù)據(jù)時代管理分析的需要。這一切,都為收集數(shù)據(jù)、分析數(shù)據(jù)、優(yōu)化數(shù)據(jù)、利用數(shù)據(jù)提供了堅實的基礎(chǔ),相對來說,就攻克大數(shù)據(jù)這一IT難題,英特爾已經(jīng)形成了完整的大數(shù)據(jù)存儲和管理平臺。
隨著大數(shù)據(jù)技術(shù)、應(yīng)用和市場發(fā)展的逐步深入,關(guān)于英特爾在大數(shù)據(jù)領(lǐng)域扮演的角色,英特爾軟件與服務(wù)事業(yè)部中國區(qū)總經(jīng)理何京翔曾這樣說過:“一方面英特爾提供高效的計算芯片、存儲、IO、網(wǎng)絡(luò)技術(shù),以加速大數(shù)據(jù)價值挖掘與提高決策反應(yīng),同時提供最優(yōu)的軟件和工具,以推動大數(shù)據(jù)應(yīng)用部署與創(chuàng)新;另一方面,英特爾將促進大數(shù)據(jù)生態(tài)系統(tǒng)建設(shè),與廣泛的合作伙伴合作,并且進一步持續(xù)投資大數(shù)據(jù)解決方案的研究與服務(wù)。”
作為上游的芯片廠商,英特爾深知大數(shù)據(jù)時代唯有合作方能共贏的道理。在PC產(chǎn)業(yè)中,英特爾具備多年的生態(tài)系統(tǒng)構(gòu)建經(jīng)驗,并以實際的市場表現(xiàn)證明了這一點。在產(chǎn)業(yè)鏈中,英特爾深入到 OEM廠商、ISV、SI甚至用戶身邊去,將產(chǎn)業(yè)鏈上的每一節(jié)點都緊緊扣在生態(tài)系統(tǒng)周圍,目前,這個生態(tài)系統(tǒng)正呈現(xiàn)出蓬勃發(fā)展的態(tài)勢。
憑借自身在大數(shù)據(jù)分析方面的領(lǐng)先地位,英特爾還致力于幫助企業(yè)用戶或機構(gòu)更好地了解自身,以及如何利用大數(shù)據(jù)分析來更快速地制定決策和解決復(fù)雜問題。英特爾分布式分析愿景就提供了一種創(chuàng)新途徑,來幫助企業(yè)從無處不在的數(shù)據(jù)中獲得出色價值。
在與各行業(yè)組織、生態(tài)系統(tǒng)的合作上,英特爾也十分活躍,并與合作伙伴來共同挖掘?qū)Υ髷?shù)據(jù)分析的需求與潛力。在電信、石油、交通、醫(yī)療以及制造業(yè)大數(shù)據(jù)特征明顯的行業(yè),英特爾也將其生態(tài)系統(tǒng)上每一節(jié)點的力量發(fā)揮到極致。
很多人知道英特爾已經(jīng)成立了軟件部門,這個部門將與英特爾研究院、數(shù)據(jù)中心部門一起合作,來共同研發(fā)大數(shù)據(jù)平臺和工具。在未來,除了繼續(xù)提供現(xiàn)有產(chǎn)品來支撐大數(shù)據(jù)IT基礎(chǔ)設(shè)施,英特爾還將針對大數(shù)據(jù)整體應(yīng)用架構(gòu)進行創(chuàng)新規(guī)劃,通過自身和合作伙伴的努力來共同把握時代機遇,深挖大數(shù)據(jù)價值,推動整個大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,打造更加完善的大數(shù)據(jù)生態(tài)圈。