大數(shù)據(jù)技術(shù)的成熟
第一次革命與成熟度和質(zhì)量有關(guān)。眾所周知，十年前，大數(shù)據(jù)技術(shù)需要付出一定的努力才能讓所有的部件一起工作。
過(guò)去有大量開(kāi)發(fā)者的故事，他們花費(fèi)了80%的時(shí)間試圖克服Spark、Hadoop、Kafka或其他工具的故障。如今，這些技術(shù)已經(jīng)足夠可靠，并學(xué)會(huì)了如何相互配合。
基礎(chǔ)設(shè)施中斷的可能性比捕獲內(nèi)部錯(cuò)誤的可能性大得多。即使是基礎(chǔ)設(shè)施問(wèn)題，在大多數(shù)情況下也可以容忍，因?yàn)榇蠖鄶?shù)大數(shù)據(jù)處理框架都被設(shè)計(jì)成容錯(cuò)的。此外，這些技術(shù)通過(guò)計(jì)算提供了穩(wěn)定、強(qiáng)大、簡(jiǎn)單的抽象，允許開(kāi)發(fā)人員專注于開(kāi)發(fā)的業(yè)務(wù)方面。
大數(shù)據(jù)技術(shù)的多樣性
第二次革命正在發(fā)生，因?yàn)榻陙?lái)出現(xiàn)了無(wú)數(shù)的開(kāi)源和專有技術(shù)。大量的開(kāi)發(fā)人員的創(chuàng)造性能想法已經(jīng)轉(zhuǎn)化為大膽而杰出的解決方案，并圍繞它們產(chǎn)生了巨大的激勵(lì)協(xié)同作用。
以下了解一個(gè)典型的分析數(shù)據(jù)平臺(tái)(ADP)。它由四個(gè)主要層組成：
•儀表板和可視化——分析數(shù)據(jù)平臺(tái)的外觀，向終端用戶公開(kāi)分析摘要。
•數(shù)據(jù)處理——數(shù)據(jù)管道用于驗(yàn)證、豐富和將數(shù)據(jù)從一種形式轉(zhuǎn)換為另一種形式。
•數(shù)據(jù)倉(cāng)庫(kù)——保存企業(yè)良好的數(shù)據(jù)的地方，進(jìn)行匯總，并成為數(shù)據(jù)集市。
•數(shù)據(jù)湖，純粹的原始數(shù)據(jù)定居的地方，數(shù)據(jù)倉(cāng)庫(kù)的基地。
每一層都有足夠的選擇，以滿足任何口味和要求。這些技術(shù)中有一半是在過(guò)去五年內(nèi)出現(xiàn)的。
它們的重要之處在于，技術(shù)的發(fā)展是為了相互兼容。例如，典型的低成本小型分析數(shù)據(jù)平臺(tái)(ADP)可能包括ApacheSpark作為處理AWSS3組件或數(shù)據(jù)湖等類似項(xiàng)目的基礎(chǔ)，Clickhouse作為倉(cāng)庫(kù)和用于低延遲查詢的OLAP，以及用于漂亮儀表盤的Grafana。
更復(fù)雜、擔(dān)保更強(qiáng)的分析數(shù)據(jù)平臺(tái)(ADP)可以用不同的方式組合。例如，引入ApacheHudi和S3作為數(shù)據(jù)倉(cāng)庫(kù)可以提供更大的規(guī)模，而Clickhouse可以保留對(duì)聚合數(shù)據(jù)的低延遲訪問(wèn)。
成本效益
第三次革命由云計(jì)算服務(wù)發(fā)起。云計(jì)算服務(wù)已經(jīng)成為真正的游戲規(guī)則改變者。他們將大數(shù)據(jù)視為一個(gè)即用的平臺(tái)(大數(shù)據(jù)即服務(wù))，允許開(kāi)發(fā)人員專注于功能開(kāi)發(fā)，而將云計(jì)算服務(wù)留給基礎(chǔ)設(shè)施。
還有一個(gè)分析數(shù)據(jù)平臺(tái)(ADP)的例子，它利用了從存儲(chǔ)和處理到表示層的無(wú)服務(wù)器技術(shù)的力量。它具有相同的設(shè)計(jì)思想，但技術(shù)被AWS管理的服務(wù)所取代。
值得一提的是，這里的AWS只是一個(gè)例子。同樣的分析數(shù)據(jù)平臺(tái)(ADP)可以構(gòu)建在任何其他云計(jì)算平臺(tái)之上。
開(kāi)發(fā)人員可以選擇特定的技術(shù)，并達(dá)到無(wú)服務(wù)器的程度。服務(wù)器越少，它就越可組合;然而，其缺點(diǎn)是它將更多地被供應(yīng)商鎖定。鎖定在特定云計(jì)算提供商和無(wú)服務(wù)器堆棧中的解決方案可以快速進(jìn)入市場(chǎng)。在無(wú)服務(wù)器技術(shù)之間的明智選擇可以使解決方案更具成本效益。
不過(guò)，這個(gè)選項(xiàng)對(duì)初創(chuàng)公司來(lái)說(shuō)并不是很有用，因?yàn)樗麄儍A向于利用典型的云計(jì)算服務(wù)，在AWS、GCP和Azure之間切換是相當(dāng)普遍的情況。這個(gè)事實(shí)必須提前澄清，必須提出更多與云計(jì)算無(wú)關(guān)的技術(shù)。
在通常情況下，開(kāi)發(fā)工程師區(qū)分以下成本：
•開(kāi)發(fā)成本
•維護(hù)成本
•變更成本
以下逐一個(gè)解決這些問(wèn)題。
(1)開(kāi)發(fā)成本
云計(jì)算技術(shù)無(wú)疑簡(jiǎn)化了工程工作。它可以在幾個(gè)領(lǐng)域產(chǎn)生積極影響。
第一個(gè)是關(guān)于體系結(jié)構(gòu)和設(shè)計(jì)決策。無(wú)服務(wù)器堆棧提供了一組豐富的模式和可重用組件，為解決方案體系結(jié)構(gòu)提供了堅(jiān)實(shí)而一致的基礎(chǔ)。
只有一個(gè)問(wèn)題可能會(huì)減緩設(shè)計(jì)階段——大數(shù)據(jù)技術(shù)本質(zhì)上是分布式的，因此相關(guān)解決方案的設(shè)計(jì)必須考慮到可能的故障和中斷，以確保數(shù)據(jù)的可用性和一致性。作為獎(jiǎng)勵(lì)，解決方案需要更少的努力來(lái)擴(kuò)大規(guī)模。
第二個(gè)是集成和端到端測(cè)試。無(wú)服務(wù)器棧允許創(chuàng)建獨(dú)立的沙盒、播放、測(cè)試和修復(fù)問(wèn)題，因此減少了開(kāi)發(fā)時(shí)間和返工。
另一個(gè)優(yōu)點(diǎn)是云計(jì)算對(duì)解決方案的部署過(guò)程進(jìn)行了自動(dòng)化。不用說(shuō)，這一特性是任何成功團(tuán)隊(duì)的關(guān)鍵屬性。
(2)維護(hù)成本
云計(jì)算提供商聲稱已經(jīng)解決的一個(gè)主要目標(biāo)是用更少的精力來(lái)監(jiān)視和保持生產(chǎn)環(huán)境的活躍。他們?cè)噲D構(gòu)建某種理想的抽象，幾乎不涉及DevOps。
然而，現(xiàn)實(shí)情況有些不同。關(guān)于這個(gè)想法，維護(hù)通常仍然需要一些努力。但除此之外，該法案在很大程度上取決于基礎(chǔ)設(shè)施和許可成本。設(shè)計(jì)階段非常重要，因?yàn)樗峁┝颂魬?zhàn)特定技術(shù)和提前估計(jì)運(yùn)行時(shí)成本的機(jī)會(huì)。
(3)變更成本
客戶擔(dān)心的大數(shù)據(jù)技術(shù)的另一個(gè)重要方面是變更成本。經(jīng)驗(yàn)表明，大數(shù)據(jù)和其他任何技術(shù)都沒(méi)有區(qū)別。如果解決方案沒(méi)有過(guò)度設(shè)計(jì)，那么更改的成本可以精確地與非大數(shù)據(jù)堆棧相比。不過(guò)，大數(shù)據(jù)也有一個(gè)好處。大數(shù)據(jù)解決方案被設(shè)計(jì)成去耦是很自然的。適當(dāng)設(shè)計(jì)的解決方案看起來(lái)不像一個(gè)整體，允許在需要的地方在短時(shí)間內(nèi)應(yīng)用局部更改，并且影響生產(chǎn)的風(fēng)險(xiǎn)較小。
總結(jié)
總之，中小企業(yè)可以負(fù)擔(dān)得起大數(shù)據(jù)成本。它向開(kāi)發(fā)人員提出了新的設(shè)計(jì)模式和方法，以便他們能夠利用它來(lái)組裝任何分析數(shù)據(jù)平臺(tái)，同時(shí)保持最強(qiáng)的業(yè)務(wù)需求并同時(shí)具有成本效益。
大數(shù)據(jù)驅(qū)動(dòng)的解決方案可能是業(yè)務(wù)快速增長(zhǎng)的初創(chuàng)公司的一個(gè)很好的基礎(chǔ)，這些初創(chuàng)公司希望更加靈活，應(yīng)用快速變化。一旦企業(yè)需要更大的數(shù)據(jù)量，大數(shù)據(jù)驅(qū)動(dòng)的解決方案可能會(huì)隨業(yè)務(wù)一起擴(kuò)展。
大數(shù)據(jù)技術(shù)允許在小范圍或大范圍內(nèi)實(shí)現(xiàn)近實(shí)時(shí)分析，而經(jīng)典的解決方案則與性能有關(guān)。
云計(jì)算提供商已經(jīng)將大數(shù)據(jù)提升到一個(gè)新的水平，提供了可靠、可擴(kuò)展和隨時(shí)可用的功能。開(kāi)發(fā)高成本、快速交付的分析數(shù)據(jù)平臺(tái)(ADP)從未像現(xiàn)在這樣容易，因此可以采用大數(shù)據(jù)提升業(yè)績(jī)。
