一、實(shí)時(shí)數(shù)倉、數(shù)據(jù)庫、湖倉一體傻傻分不清？
確實(shí)，如果從一個(gè)初學(xué)者來說這些技術(shù)可能大家聽起來會(huì)很容易覺得混淆，他們到底是什么樣的一些關(guān)系？我為大家去簡(jiǎn)單的梳理一下。
1.大數(shù)據(jù)平臺(tái)
我們先談最基本的一個(gè)叫大數(shù)據(jù)平臺(tái)，大數(shù)據(jù)平臺(tái)是什么？大數(shù)據(jù)平臺(tái)是一種利用大數(shù)據(jù)技術(shù)去解決數(shù)據(jù)問題的一種技術(shù)平臺(tái)，也就是說它是一種技術(shù)的一些基本能力的集合，它并不一定是解決某一種具體的業(yè)務(wù)問題。比如說數(shù)據(jù)倉庫就是我們解決數(shù)據(jù)的使用的某一個(gè)具體業(yè)務(wù)問題的一種產(chǎn)品，但是大數(shù)據(jù)平臺(tái)它是個(gè)通用化的產(chǎn)品，那么這種通用化的產(chǎn)品可以解決數(shù)據(jù)的很多方面的訴求。我們可以通過大數(shù)據(jù)平臺(tái)這個(gè)平臺(tái)去自己靈活的組裝成滿足我們一個(gè)業(yè)務(wù)場(chǎng)景的一個(gè)具體的一個(gè)解決方案，它是這樣的概念。也就是說大數(shù)據(jù)平臺(tái)是一個(gè)通用化的技術(shù)平臺(tái)。那么比較典型的比如像數(shù)據(jù)倉庫領(lǐng)域，大家用得比較多的像過去我們用hadoop上面基于hive，現(xiàn)在我們可以看到很多的像input、procedure類似于clob這樣的一些大數(shù)據(jù)平臺(tái)，都可以解決我們一定數(shù)據(jù)的一些分析計(jì)算的問題。但是坦白講大數(shù)據(jù)本身這個(gè)平臺(tái)還是一個(gè)技術(shù)平臺(tái)的定位，那么這是第一個(gè)。
2.數(shù)據(jù)中臺(tái)
第二個(gè)我們?cè)僬務(wù)剶?shù)據(jù)中臺(tái)，可以說在過去的三到四年，數(shù)據(jù)中臺(tái)是非常的火。國內(nèi)也有一些初創(chuàng)的廠商，大家在做數(shù)據(jù)中臺(tái)。數(shù)據(jù)中臺(tái)是什么？我們要強(qiáng)調(diào)一點(diǎn)，數(shù)據(jù)中臺(tái)其實(shí)并不是一個(gè)技術(shù)平臺(tái)，它是一種業(yè)務(wù)平臺(tái)，也就是說數(shù)據(jù)中臺(tái)是把我們企業(yè)內(nèi)部的數(shù)據(jù)服務(wù)通過業(yè)務(wù)的方式重新組織之后，為我們的前端業(yè)務(wù)系統(tǒng)提供支撐的一類平臺(tái)。所以說這里邊我們的數(shù)據(jù)的中臺(tái)，可能更多的是面對(duì)于我們的業(yè)務(wù)側(cè)解決我們的業(yè)務(wù)問題，那么它的底層會(huì)依賴于一些基礎(chǔ)的技術(shù)。比如說我們可以基于一個(gè)大數(shù)據(jù)平臺(tái)之上去構(gòu)建出自己的數(shù)據(jù)中臺(tái)或者是基于其他的一些技術(shù)組合去做我們的底層技術(shù)，去支撐我們的數(shù)據(jù)中臺(tái)。但是從中臺(tái)本身這個(gè)概念來講，它并不是解決技術(shù)問題的，它是為了解決我們企業(yè)的數(shù)據(jù)業(yè)務(wù)問題。
3.數(shù)據(jù)湖
第三個(gè)是數(shù)據(jù)湖，數(shù)據(jù)湖的概念相對(duì)來說比數(shù)據(jù)倉庫的概念要稍微晚一點(diǎn)。它的出現(xiàn)是為了解決什么樣的問題呢？就是過去我們對(duì)于數(shù)據(jù)是一種非常標(biāo)準(zhǔn)化的，非常規(guī)格化的，做好了數(shù)據(jù)建模的一種組織形式。那么我們現(xiàn)在也看到，有更多的一些數(shù)據(jù)他們是沒有嚴(yán)格按照我們的數(shù)據(jù)建模的，或者說他們是非常零散的，散落在各處的，非常的多模，存在不同的這種數(shù)據(jù)存儲(chǔ)形式的這樣一些數(shù)據(jù)。這些數(shù)據(jù)在過去是沒有辦法很好的把它組織管理起來的，后來因?yàn)榇蠹矣辛诉@樣的一些訴求就出現(xiàn)了數(shù)據(jù)湖技術(shù)。通過這個(gè)名字大家也可以看到數(shù)據(jù)湖是數(shù)據(jù)湖，它的含義就是像一個(gè)湖一樣，把我們企業(yè)內(nèi)部的散落在各處的數(shù)據(jù)能夠集中在一起，然后我提供一定的數(shù)據(jù)的計(jì)算加工的這樣一些能力，這是我們講的數(shù)據(jù)湖。
那么數(shù)據(jù)湖和我們的數(shù)據(jù)倉庫在之前是有一種對(duì)應(yīng)的關(guān)系的。數(shù)據(jù)倉庫更強(qiáng)調(diào)的是這種建模的，比較規(guī)整的，比較嚴(yán)格按照一個(gè)規(guī)范要求去預(yù)設(shè)好的這樣一些條件的數(shù)據(jù)。那么這些數(shù)據(jù)往往存在我們數(shù)據(jù)倉庫里面，它的計(jì)算查詢的效率會(huì)更高一點(diǎn)，數(shù)據(jù)湖更涉及到?jīng)]有做過這種很好的一些標(biāo)準(zhǔn)化的一些數(shù)據(jù)。所以這兩個(gè)是有一種互補(bǔ)的關(guān)系。當(dāng)然，從企業(yè)來講，我現(xiàn)在存在著兩個(gè)數(shù)據(jù)不同的載體，我的很標(biāo)準(zhǔn)的，預(yù)建模好的，很標(biāo)準(zhǔn)化的計(jì)算數(shù)據(jù)在我們的數(shù)據(jù)倉庫里面。但是呢，還有一些數(shù)據(jù)湖的數(shù)據(jù)是非常散亂的。那么有沒有一個(gè)數(shù)據(jù)的統(tǒng)一視角呢？這個(gè)時(shí)候就出現(xiàn)了我們的湖倉一體的這個(gè)技術(shù)。
4.湖倉一體
湖倉一體的技術(shù)就是融合的數(shù)據(jù)湖和數(shù)據(jù)倉庫這兩種技術(shù)，提供了一種大一統(tǒng)的一個(gè)解決方案。從更高的維度去看待我們企業(yè)內(nèi)部的數(shù)據(jù)。所以說湖倉一體是提供了一種更全局的一個(gè)視角去看待我們的數(shù)據(jù)。
5.實(shí)時(shí)數(shù)倉
那么今天我們談到的實(shí)時(shí)數(shù)據(jù)倉庫實(shí)際上就是從另外一個(gè)角度去談，對(duì)我們數(shù)據(jù)倉庫中的實(shí)時(shí)性部分的需求做了特殊加強(qiáng)的一種技術(shù)平臺(tái)，它提供的是我們對(duì)于實(shí)時(shí)數(shù)據(jù)倉庫領(lǐng)域里面，對(duì)于那種需要我們的數(shù)據(jù)的采集計(jì)算加工處理，實(shí)現(xiàn)要求很高的一些領(lǐng)域的一種特有的一種技術(shù)，所以它也是一種技術(shù)名詞。
二、盡管實(shí)時(shí)數(shù)倉的最終實(shí)現(xiàn)效果都是為了數(shù)據(jù)實(shí)時(shí)性要求，但實(shí)際表現(xiàn)形式卻“五花八門”，很多企業(yè)用云數(shù)倉、湖倉一體架構(gòu)解決實(shí)時(shí)數(shù)倉需求。您如何看待這種變化?到底什么才是實(shí)時(shí)數(shù)倉？
眾所周知，數(shù)據(jù)倉庫是一種非常久遠(yuǎn)的技術(shù)，從上世紀(jì)80年代到現(xiàn)在發(fā)展的已經(jīng)有三、四十年的歷史了。過去數(shù)據(jù)倉庫主要是解決我們的一些離線問題，現(xiàn)在我們也看到越來越多的企業(yè)把數(shù)據(jù)倉庫用在一些實(shí)時(shí)領(lǐng)域，就產(chǎn)生了所謂的實(shí)時(shí)數(shù)倉這樣的一個(gè)概念。那為什么會(huì)有這樣的一些需求呢？更多的是來自于我們企業(yè)對(duì)于數(shù)據(jù)實(shí)時(shí)性的要求，已經(jīng)慢慢的變得更加重要，甚至在某些情況下會(huì)大于我們數(shù)據(jù)分析的價(jià)值。這個(gè)時(shí)候就凸顯了我們實(shí)時(shí)數(shù)倉的一個(gè)意義。這里面我們看到現(xiàn)在有很多的技術(shù)去支撐我們的數(shù)據(jù)倉庫，包括大家現(xiàn)在耳熟能詳?shù)南駭?shù)據(jù)湖、湖倉一體以及云原生數(shù)倉等等很多的概念，他們跟實(shí)時(shí)數(shù)倉有什么樣的關(guān)系呢？今天我們?cè)谶@個(gè)場(chǎng)合會(huì)跟大家共同去探討數(shù)倉技術(shù)以及實(shí)時(shí)數(shù)倉能給我們企業(yè)帶來什么樣的不同，什么樣的價(jià)值。
實(shí)時(shí)數(shù)據(jù)倉庫經(jīng)歷了哪幾個(gè)重要發(fā)展階段？從底層架構(gòu)來看，實(shí)時(shí)數(shù)倉和離線數(shù)倉的最根本區(qū)別是什么？到底是哪些關(guān)鍵技術(shù)讓實(shí)時(shí)數(shù)倉“夢(mèng)想照進(jìn)現(xiàn)實(shí)”？
三、先來看第一個(gè)問題就是數(shù)據(jù)倉庫的發(fā)展。我之前也講到數(shù)據(jù)倉庫從上世紀(jì)80年代到現(xiàn)在三四十年的歷史發(fā)展之中，數(shù)據(jù)倉庫大概經(jīng)歷了幾個(gè)階段：
從早期的離線數(shù)倉，它解決了我們企業(yè)數(shù)據(jù)的分析基本問題，從原有的交易性數(shù)據(jù)庫很難滿足我們分析的訴求；離線的數(shù)倉提供了一種一定的數(shù)據(jù)規(guī)模下的數(shù)據(jù)分析的能力；現(xiàn)在隨著我們對(duì)于數(shù)據(jù)實(shí)時(shí)要求性比較高，后面出現(xiàn)了一些實(shí)時(shí)數(shù)倉分支的技術(shù)。比如大家現(xiàn)在比較熟知的像Lambda架構(gòu)、Kappa架構(gòu)，這些架構(gòu)的出現(xiàn)更多的是為了滿足我們數(shù)據(jù)在實(shí)時(shí)處理、實(shí)時(shí)查詢方面的一些訴求，這也是我們實(shí)時(shí)數(shù)倉的一個(gè)雛形。到了現(xiàn)在我們可以看到數(shù)據(jù)倉庫在更多的領(lǐng)域得到了一些使用。剛才談到的這些Lambda架構(gòu)包括Kappa架構(gòu)，也在很好的程度上去解決了實(shí)時(shí)的問題。當(dāng)然了，我們現(xiàn)在有了更好的一些技術(shù)來去滿足我們的實(shí)時(shí)數(shù)倉。
我們從本質(zhì)上來看實(shí)時(shí)數(shù)倉和我們的離線數(shù)倉有什么樣的區(qū)別呢？從這個(gè)名字上可以很容易的區(qū)分：一個(gè)是離線；一個(gè)是實(shí)時(shí)，這是它的最本質(zhì)的差別。離線數(shù)倉是指我們的整個(gè)數(shù)據(jù)的獲取、加工、處理、計(jì)算的整個(gè)流程是在離線的形式上，也就是說不是一個(gè)online在線的方式。實(shí)時(shí)數(shù)倉就反知它是提供了一種在線的實(shí)時(shí)的一個(gè)能力，這是兩者最大的區(qū)別。正是有這個(gè)區(qū)別，使得我們實(shí)時(shí)數(shù)倉能夠解決我們很多的業(yè)務(wù)場(chǎng)景中，過去用離線數(shù)倉無法滿足的一些對(duì)數(shù)據(jù)實(shí)時(shí)性要求很高的場(chǎng)景，都可以用實(shí)時(shí)數(shù)倉去解決。
現(xiàn)在有什么樣的技術(shù)去解決這樣的問題呢？包括我們之前談到的關(guān)于Lambda、Kappa這樣的架構(gòu)。其實(shí)它的背后都是我們的流式處理架構(gòu)的一些發(fā)展，包括現(xiàn)在我們也有了一些像云數(shù)倉通過云端的基礎(chǔ)設(shè)施對(duì)我們提供了很好的平臺(tái)。包括也有一些像AI與數(shù)倉的結(jié)合，也包括一些其他的領(lǐng)域，其實(shí)這些技術(shù)的誕生都為我們的實(shí)時(shí)數(shù)倉做好了一些鋪墊。
當(dāng)然我們講到傳統(tǒng)數(shù)倉的技術(shù)對(duì)現(xiàn)有的實(shí)時(shí)數(shù)倉仍然具有很大的支撐的意義，包括比較典型的像MPP的架構(gòu)，在我們實(shí)時(shí)數(shù)倉當(dāng)中仍然是主流的實(shí)現(xiàn)的技術(shù)。可以說，正是這樣的一些新興技術(shù)和我們離線數(shù)倉既有的一些技術(shù)基礎(chǔ)，共同打造為我們的實(shí)時(shí)數(shù)倉奠定了很好的技術(shù)基礎(chǔ)，也為整個(gè)實(shí)時(shí)數(shù)倉未來的發(fā)展會(huì)起到很好的助力。
四、針對(duì)當(dāng)前的傳統(tǒng)企業(yè)，特別是金融企業(yè)，實(shí)時(shí)數(shù)據(jù)倉庫的建設(shè)情況如何？對(duì)實(shí)時(shí)數(shù)據(jù)分析的需求，到底如何？
可以說實(shí)時(shí)數(shù)倉是一個(gè)跨領(lǐng)域、跨行業(yè)的一種基礎(chǔ)技術(shù)，在不同的領(lǐng)域都能得到很好的應(yīng)用發(fā)展。針對(duì)我們傳統(tǒng)企業(yè)，以金融業(yè)為代表，他們其實(shí)對(duì)于數(shù)據(jù)有著更高的要求。我之前也是一名金融行業(yè)的從業(yè)者，金融行業(yè)素以數(shù)據(jù)應(yīng)用高地著稱，他們對(duì)于數(shù)據(jù)的嚴(yán)謹(jǐn)性、實(shí)時(shí)性的要求會(huì)非常的嚴(yán)格和苛刻。其實(shí)實(shí)時(shí)數(shù)倉的技術(shù)，對(duì)于金融行業(yè)會(huì)帶來很非凡的意義。我們知道金融對(duì)我們數(shù)據(jù)要求會(huì)比較嚴(yán)格，在過去很多的金融場(chǎng)景受限于我們底層的技術(shù)，是沒有辦法很好的去實(shí)現(xiàn)的。現(xiàn)在有了實(shí)時(shí)數(shù)倉，其實(shí)對(duì)于金融業(yè)來說會(huì)有一些新的業(yè)務(wù)的突破。比如像我們比較常見的像實(shí)時(shí)的風(fēng)控、反欺詐包括實(shí)時(shí)營銷、在線分析等等很多的領(lǐng)域，正是因?yàn)橛辛藢?shí)時(shí)數(shù)倉的出現(xiàn)能為金融行業(yè)去做了很好的基礎(chǔ)，能夠滿足于一些金融行業(yè)更多的新的業(yè)務(wù)形態(tài)的訴求。除了金融行業(yè)之外，其他的一些企業(yè)包括像物流、制造業(yè)、游戲、電商等等等等很多的行業(yè)領(lǐng)域，他們對(duì)于數(shù)據(jù)的實(shí)時(shí)性要求都有其各自的特點(diǎn)。那么實(shí)時(shí)數(shù)倉的出現(xiàn)也為這些行業(yè)打開了一個(gè)新的一種業(yè)務(wù)的發(fā)展的可能性。
所以我說實(shí)時(shí)數(shù)倉在各個(gè)行業(yè)領(lǐng)域都會(huì)有著比較好的發(fā)展，當(dāng)然受限于不同的行業(yè)發(fā)展階段，實(shí)時(shí)數(shù)倉在不同行業(yè)的發(fā)展也有所差異。目前我們看到像以互聯(lián)網(wǎng)企業(yè)他們?cè)趯?shí)時(shí)數(shù)倉領(lǐng)域?qū)嵺`會(huì)更加的…
五、從實(shí)時(shí)數(shù)倉落地的角度看，哪些行業(yè)發(fā)展速度最快？推動(dòng)實(shí)時(shí)速倉快速發(fā)展的最根本原因是什么？在互聯(lián)網(wǎng)行業(yè)，實(shí)時(shí)數(shù)倉技術(shù)應(yīng)用更加廣泛些，其背后的原因是什么？
首先，互聯(lián)網(wǎng)企業(yè)其業(yè)務(wù)發(fā)展速度是比較快的，有大量的新興業(yè)務(wù)存在，這就促生對(duì)數(shù)據(jù)計(jì)算的更多訴求，實(shí)時(shí)數(shù)倉在其中會(huì)發(fā)揮較大作用。
第二，就是技術(shù)儲(chǔ)備，互聯(lián)網(wǎng)行業(yè)在過去一二十年的發(fā)展，積累了大量技術(shù)，特別是一些互聯(lián)網(wǎng)大廠，技術(shù)積累是比較深厚的。針對(duì)數(shù)據(jù)倉庫這塊，有比較深入的沉淀，包括前面談到的Lambda、Kappa這樣的新興流式處理架構(gòu)，都在一些大廠的得到非常多實(shí)踐；同樣包括新興實(shí)時(shí)數(shù)倉技術(shù)，也有實(shí)踐。所以說相對(duì)傳統(tǒng)企業(yè)來說，互聯(lián)網(wǎng)技術(shù)積累會(huì)更加豐富一點(diǎn)。
第三，就是關(guān)于業(yè)務(wù)模型。互聯(lián)網(wǎng)行業(yè)跟很多傳統(tǒng)企業(yè)不同，其業(yè)務(wù)模型的往往是ToC的，相對(duì)來說業(yè)務(wù)模型的會(huì)簡(jiǎn)單一點(diǎn)，這對(duì)于實(shí)時(shí)數(shù)倉的技術(shù)落地會(huì)更加容易。對(duì)建模的要求也不高，通常一個(gè)簡(jiǎn)單寬表可能就能支持大部分業(yè)務(wù)了。
第四，就是沒有歷史的包袱。一個(gè)企業(yè)是否是使用一種新技術(shù)，也取決于技術(shù)積累和技術(shù)棧演進(jìn)發(fā)展。傳統(tǒng)企業(yè)，多少會(huì)存在一定的歷史包袱，存在存量業(yè)務(wù)很難去完全切換到新的技術(shù)棧。對(duì)于互聯(lián)網(wǎng)來說，這方面包袱相對(duì)比較小，所以比較容易去采用一種新的技術(shù)架構(gòu)。
第五，就是技術(shù)的迭代發(fā)展，我們知道技術(shù)從來不是憑空而降，都是不斷的演進(jìn)迭代的。互聯(lián)網(wǎng)行業(yè)，經(jīng)過這么多年發(fā)展，對(duì)于數(shù)倉的使用經(jīng)歷從離線到流式到實(shí)時(shí)這一過程，這一演進(jìn)過程也促進(jìn)了實(shí)時(shí)數(shù)倉在互聯(lián)網(wǎng)企業(yè)的發(fā)展。
六、不同行業(yè)、應(yīng)用場(chǎng)景，在實(shí)時(shí)數(shù)倉方面的落地方案有哪些差異化特點(diǎn)？在底層的技術(shù)架構(gòu)上又有哪些相同點(diǎn)？
個(gè)人觀點(diǎn)，實(shí)時(shí)數(shù)倉是一種通用的技術(shù)，針對(duì)于不同行業(yè)落地，存在一定差異，但這個(gè)差異不大，更多是來自于行業(yè)自身的一些業(yè)務(wù)特點(diǎn)。舉個(gè)例子，比如說傳統(tǒng)數(shù)據(jù)庫都有一個(gè)叫ACID的能力，也就是對(duì)數(shù)據(jù)一致性要求，過去在數(shù)倉領(lǐng)域不太強(qiáng)調(diào)這一概念。那么現(xiàn)在將實(shí)時(shí)數(shù)倉應(yīng)用到更多線業(yè)務(wù)領(lǐng)域，這就對(duì)數(shù)據(jù)有了一致性要求，ACID能力就變得非常關(guān)鍵，如果一個(gè)行業(yè)業(yè)務(wù)形態(tài)很強(qiáng)調(diào)這點(diǎn)的話，自然而然就會(huì)用到這樣技術(shù)。
七、您認(rèn)為哪些業(yè)務(wù)場(chǎng)景更適合用實(shí)時(shí)數(shù)倉平臺(tái)或者解決方案？自研和采購三方廠商服務(wù)都存在怎樣的優(yōu)缺點(diǎn)？
實(shí)時(shí)數(shù)倉，跟所有新技術(shù)一樣，都有其長(zhǎng)處和短板，而不是一種萬能的方案，在具體實(shí)施上面要分場(chǎng)景。之前大量使用的傳統(tǒng)離線數(shù)倉與現(xiàn)有的實(shí)時(shí)數(shù)倉，兩者不是替代關(guān)系，而是共存。在很多業(yè)務(wù)場(chǎng)景下，其實(shí)還需要兩者來配合使用。一方面，實(shí)時(shí)數(shù)倉給我們提供了非常好的實(shí)時(shí)性，但相對(duì)而言在數(shù)據(jù)處理吞吐能力上，較離線數(shù)倉仍存在明顯差距。如果說數(shù)據(jù)規(guī)模中等，對(duì)實(shí)施性要求較高且并發(fā)控制在一定范圍內(nèi)的情況下，實(shí)時(shí)數(shù)倉技術(shù)就比較合適；反之的比如說是一個(gè)大規(guī)模、甚至超大規(guī)模，更加強(qiáng)調(diào)數(shù)據(jù)吞吐能能或者是較高并發(fā)性要求下，傳統(tǒng)離線數(shù)倉會(huì)更加合適。
另一個(gè)問題就是自研或引入三方服務(wù)上，這里涉及到企業(yè)自有的技術(shù)積累問題。數(shù)據(jù)倉庫技術(shù)，特別是在之前發(fā)展，技術(shù)路線是相對(duì)比較發(fā)散的。從傳統(tǒng)樹倉到流式處理，有很多企業(yè)會(huì)自己去構(gòu)建數(shù)據(jù)倉庫系統(tǒng)，這顯然對(duì)企業(yè)的數(shù)據(jù)技術(shù)人員有較高要求，實(shí)時(shí)數(shù)倉對(duì)企業(yè)的人員則會(huì)更高。這個(gè)時(shí)候呢，就需要看企業(yè)是否已經(jīng)有較好的技術(shù)積累，能夠駕馭好這樣的數(shù)倉能力。如果說有一定技術(shù)積累，可以去用自研方式；反之更加建議使用三方廠商提供比較成熟產(chǎn)品及服務(wù)。特別是現(xiàn)在，很多實(shí)時(shí)數(shù)倉產(chǎn)品都提供類SQL的交互方式，可使用戶使用門檻大幅降低，這對(duì)于企業(yè)數(shù)據(jù)人員會(huì)帶來很大便利。
八、您認(rèn)為離線數(shù)倉會(huì)被取代嗎？云數(shù)倉會(huì)成為實(shí)時(shí)數(shù)倉的中級(jí)發(fā)展方向？
雖然實(shí)時(shí)數(shù)倉是主流趨勢(shì)，但離線數(shù)倉短時(shí)間內(nèi)也不會(huì)被完全取代。這兩種技術(shù)，對(duì)我們來說都是需要的，也都很重要；而且在客戶的很多場(chǎng)景里面也同時(shí)需要離線數(shù)倉和實(shí)時(shí)數(shù)倉，這兩種技術(shù)是一個(gè)互為補(bǔ)充的關(guān)系。實(shí)時(shí)數(shù)倉為企業(yè)在一些實(shí)時(shí)性要求高的新業(yè)務(wù)探索方面
提供一些可能性，但在企業(yè)里仍存在大量的如T+1的離線報(bào)表，這種計(jì)算任務(wù)還是需要離線數(shù)倉的。
此外，之前談到的湖倉一體與實(shí)時(shí)數(shù)倉也是不矛盾的。前者是提供了基于傳統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)湖技術(shù)的一種融合技術(shù)，提供一種更好的數(shù)據(jù)交互方式。當(dāng)然，它呈現(xiàn)的形式可以是這種實(shí)時(shí)數(shù)據(jù)服務(wù)形式，也可以是一種離線的。這兩個(gè)技術(shù)不是一個(gè)對(duì)等的概念。
還有就是關(guān)于云數(shù)倉。我相信大家都看到了這一點(diǎn)，云代表著未來這種方向。我們看到有越來越多的基礎(chǔ)設(shè)施產(chǎn)品都搬到了云端，那么在云數(shù)倉上對(duì)數(shù)倉發(fā)展來也有著非常重要意義。數(shù)據(jù)倉庫，一個(gè)特點(diǎn)就是資源消耗比較大，包括數(shù)據(jù)的存儲(chǔ)資源和計(jì)算資源，而云恰恰為我們很好的解決這樣問題。其本質(zhì)是解決一個(gè)資源供給問題，所以說數(shù)據(jù)倉庫和云的結(jié)合，會(huì)非常好的解決在資源需求上的一些痛點(diǎn)。同時(shí)云廠商也都在云這樣好的基礎(chǔ)設(shè)施之上為數(shù)據(jù)倉庫領(lǐng)域做了定制增強(qiáng)，可以使數(shù)倉更好的利用了云端資源，這為客戶會(huì)帶來附加價(jià)值。比如說，資源的彈性調(diào)度能力、數(shù)據(jù)快速獲取能力、上下游數(shù)據(jù)生態(tài)打通能力。這些都是云端為數(shù)倉所帶來的一些加長(zhǎng)成。
九、您認(rèn)為實(shí)時(shí)數(shù)據(jù)倉庫的最關(guān)鍵能力是什么？如何全面確保數(shù)據(jù)分析的實(shí)時(shí)性、正確性、穩(wěn)定性？
實(shí)時(shí)數(shù)倉，還是一個(gè)快速發(fā)展中的技術(shù)，我們對(duì)它也抱有非常多期許，希望能給企業(yè)的數(shù)據(jù)應(yīng)用帶來很多的不同，因此我們看到對(duì)于實(shí)時(shí)數(shù)倉的關(guān)鍵技術(shù)要求，還在不斷演進(jìn)變化之中。這其中包括很多能力。
第一，如實(shí)時(shí)數(shù)據(jù)獲取感知能力，就是通過這個(gè)能力可快速捕捉到數(shù)據(jù)和數(shù)據(jù)變化；數(shù)據(jù)的實(shí)時(shí)計(jì)算加工等等。
第二，傳統(tǒng)數(shù)據(jù)倉庫相對(duì)來說是比較重的，對(duì)于企業(yè)來說投入較大，那么實(shí)時(shí)數(shù)倉其實(shí)為我們提供了一種可簡(jiǎn)化的方式，即提供相對(duì)較低的使用成本，以一種更小、更節(jié)約化的架構(gòu)去支撐現(xiàn)有企業(yè)的數(shù)據(jù)架構(gòu)。
第三，就是所謂的onedata概念。過去數(shù)倉的一大特點(diǎn)，就是數(shù)據(jù)是要經(jīng)過多級(jí)分層的，其目的是為了提升數(shù)據(jù)利用效率，而今天實(shí)時(shí)數(shù)倉的出現(xiàn)其實(shí)是為了我們開啟一種新的可能性，就是企業(yè)數(shù)據(jù)可保存成一份，充分利用前端豐富算力進(jìn)行計(jì)算。這一方式會(huì)大幅節(jié)約存儲(chǔ)成本，在維護(hù)數(shù)據(jù)質(zhì)量方面也很好。
第四，就是便捷性，未來我們是希望實(shí)時(shí)數(shù)倉能夠提供兩個(gè)一站式能力。一種是面對(duì)開發(fā)人員的服務(wù)能力，包括數(shù)據(jù)建模、數(shù)據(jù)開發(fā)、模型預(yù)測(cè)等。一種是針對(duì)整個(gè)數(shù)據(jù)使用流程從數(shù)據(jù)的采集、加工、計(jì)算、展示，全流程能夠通過實(shí)時(shí)數(shù)倉統(tǒng)一提供。
十、實(shí)時(shí)數(shù)倉與AI，云技術(shù)如何結(jié)合？
