Hadoop的未來(lái)
為了了解過(guò)去幾年發(fā)生了什么，我們走訪了Chuck Lam，《Hadoop在行動(dòng)(Hadoop in Action)》一書(shū)的作者。Chuck說(shuō)Hadoop還沒(méi)有停下來(lái)休息。“整個(gè)生態(tài)系確實(shí)是進(jìn)化，而且改變了許多。現(xiàn)在甚至出現(xiàn)了官方1.0版本。更重要的是，MapReduce的基礎(chǔ)編程模型已經(jīng)重新修訂，且做了不少的改變。”一般來(lái)說(shuō)，這些改變都向著有利的方面發(fā)展的。開(kāi)發(fā)方向已經(jīng)使得這個(gè)框架易于部署在企業(yè)中，并解決一系列的問(wèn)題，如對(duì)于風(fēng)險(xiǎn)規(guī)避公司是問(wèn)題之首的安全問(wèn)題。
好處越來(lái)越多，包括高水平的可擴(kuò)展性。此框架中的分布式計(jì)算意味著添加越來(lái)越多的數(shù)據(jù)，而不必改變添加它的方式。沒(méi)有必要去改變格式，或打亂工作編輯的方式或決定哪一個(gè)應(yīng)用完成的此工作。你只是隨著工作的進(jìn)行添加更的節(jié)點(diǎn)即可。你不必挑剔你存儲(chǔ)的數(shù)據(jù)類(lèi)型或它來(lái)源。無(wú)模式是此游戲的名稱(chēng)。該框架的并行計(jì)算能力還使商品服務(wù)器存儲(chǔ)究竟的利用率更高。這意味著企業(yè)可以保存，使用更多的數(shù)據(jù)。無(wú)論哪個(gè)節(jié)點(diǎn)出現(xiàn)故障，它都沒(méi)事。即使系統(tǒng)出現(xiàn)故障，也不會(huì)丟失數(shù)據(jù)，降低性能。
助力Hadoop技術(shù)
Hadoop現(xiàn)在也更加的靈活，允許業(yè)務(wù)做更的事情，處理更多的數(shù)據(jù)類(lèi)型。如此強(qiáng)大的功能源于Hadoop的許多同伴項(xiàng)目，包括像Pig這樣的語(yǔ)言，以及如下的可擴(kuò)展解決方案：
1. Hive (數(shù)據(jù)倉(cāng)庫(kù))
2.Mahout (機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘)
3.HBase (大型表格的結(jié)構(gòu)化存儲(chǔ))
4.Cassandra (多主機(jī)數(shù)據(jù)庫(kù))
當(dāng)然，此類(lèi)型的解決方案并不一直都是美好好。Lam說(shuō)主要的陷阱就是處理做出的假設(shè)。換言之，錯(cuò)不在我們的系統(tǒng)而在我們自己。“新技術(shù)并不是所有問(wèn)題的靈丹妙藥。正如NoSQL這類(lèi)的一樣簡(jiǎn)單，但你必須要更深一層地弄清楚你要解決的問(wèn)題。”這可能意味著慎重地查看你的算法，而不是只是把你的員工扔給MapReduce，然后期望Hadoop自動(dòng)擴(kuò)展。使用模式的數(shù)據(jù)會(huì)影響你的擴(kuò)展模式——尤其是當(dāng)使用不平均是。然后線(xiàn)性擴(kuò)展可能就不起作用了。再一次，這個(gè)并不是Hadoop本身的問(wèn)題。Lam相信有工具在手的企業(yè)已經(jīng)足夠成熟了。這只是確保IT管理員熟悉這些工具，確保使用Hadoop的軟件架構(gòu)師知道怎樣更有效地使用用這項(xiàng)技術(shù)。
