在過去的20年中，大數(shù)據(jù)的架構(gòu)發(fā)生了翻天覆地的變化。隨著企業(yè)數(shù)據(jù)量的爆發(fā)式增長，而單機(jī)數(shù)據(jù)庫或者本地?cái)?shù)倉僅支持縱向拓展，這就造成了高成本，難度大的困境，因此水平拓展的“彈性”方案呼之欲出。Hadoop開創(chuàng)性的使用分布式文件系統(tǒng)、分布式計(jì)算架構(gòu)，將大型數(shù)據(jù)的運(yùn)算過程進(jìn)行拆分，以計(jì)算的分布式替代數(shù)據(jù)本身的搬遷，一時(shí)間成為了最主流的技術(shù)架構(gòu)。
隨著云計(jì)算的興起，數(shù)據(jù)行業(yè)開始向云原生的架構(gòu)演化。隨之而來的混合多云的環(huán)境、數(shù)據(jù)安全的加強(qiáng)、數(shù)據(jù)管理的分布式轉(zhuǎn)變等需求，都使得數(shù)據(jù)使用的門檻大大提高，為此，Kyligence較早前就推出“智能數(shù)據(jù)云”平臺(tái)，在做強(qiáng)分析能力的基礎(chǔ)上增強(qiáng)了數(shù)據(jù)管理能力，以人工智能進(jìn)一步替代人工工作，以云原生進(jìn)一步替代基于Hadoop的基礎(chǔ)架構(gòu)，讓數(shù)據(jù)服務(wù)與管理發(fā)揮核心作用，幫助企業(yè)智能管理最有價(jià)值數(shù)據(jù)，支持企業(yè)全面數(shù)字化轉(zhuǎn)型。
在近日召開的Kyligence2022春季線上論壇上，Kyligence重點(diǎn)介紹了“OLAPon數(shù)據(jù)湖”企業(yè)級(jí)OLAP解決方案、產(chǎn)品運(yùn)營新模式“云上數(shù)據(jù)分析代運(yùn)營”、企業(yè)級(jí)指標(biāo)中臺(tái)等服務(wù)，旨在給與企業(yè)更加專業(yè)的數(shù)據(jù)治理，更好地提升企業(yè)內(nèi)部的決策運(yùn)行效率，最終在企業(yè)內(nèi)外打造良好的數(shù)據(jù)生態(tài)閉環(huán)。
OLAPon數(shù)據(jù)湖
Kyligence提供基于云上數(shù)據(jù)湖的企業(yè)級(jí)OLAP能力。
在整體云的架構(gòu)下，Kyligence只依賴云的存儲(chǔ)和計(jì)算資源。只要把數(shù)據(jù)部署到類似S3這樣的云數(shù)據(jù)的存儲(chǔ)上，再將服務(wù)應(yīng)用起來，就擁有了SQLonS3的能力。用戶可以直接使用各種各樣的BI工具，包括Excel等。同時(shí)，Kyligence還提供相應(yīng)的能力來降低中間的存儲(chǔ)成本、計(jì)算成本和數(shù)據(jù)使用成本。通過標(biāo)準(zhǔn)的SQL對(duì)接各種各樣的前端數(shù)據(jù)工具，通過企業(yè)級(jí)的管控，更好、更安全地管理客戶數(shù)據(jù)。
通過統(tǒng)一的語義層，Kyligence為客戶在云上構(gòu)建了多維的數(shù)據(jù)集市。業(yè)務(wù)用戶只需消費(fèi)這樣的數(shù)據(jù)集市，而無需關(guān)心這些是數(shù)據(jù)的來源（Oracle、Hadoop、Snowflake、Kafka）。通過Kyligence批流一體的能力，呈現(xiàn)給客戶的就是業(yè)務(wù)數(shù)據(jù)的語義。
Kyligence提供整個(gè)云上統(tǒng)一數(shù)據(jù)的訪問入口，通過SmartPushdown智能查詢下壓的能力，可以將ANSISQL翻譯成其他數(shù)據(jù)源。即使用戶的數(shù)據(jù)集市沒有被管理起來，也可以訪問原始的數(shù)據(jù)源，將相應(yīng)的SQL下壓過去，拿到相應(yīng)的記錄返回給客戶端。
此外，Kyligence統(tǒng)一的數(shù)據(jù)集市層能夠更好地為業(yè)務(wù)部門去使用，“一次定義，多次使用”。企業(yè)定義了一個(gè)統(tǒng)一的語義層，可以用到Excel、PowerBI、Tableau以及其他更多的BI和數(shù)據(jù)消費(fèi)工具中，用戶通過標(biāo)準(zhǔn)的SQL語句都可以訪問。
在這個(gè)過程中，Kyligence為客戶提供了統(tǒng)一管控能力。客戶所有數(shù)據(jù)的定義、安全管理、審計(jì)，都可以被管理起來，避免了像在Excel的場(chǎng)景中，將數(shù)據(jù)大量導(dǎo)出來之后，各處不受控地分發(fā)，幫助客戶更好地做內(nèi)部的數(shù)據(jù)合規(guī)工作。
在降低云端數(shù)據(jù)分析的總體擁有成本方面，用戶可以將數(shù)據(jù)刷到AWSS3，或者AzureBlobStorage上，Kyligence直接提供SQL能力。Kyligence提供的彈性伸縮能力，可以根據(jù)集群的使用量在高峰期拿更多的數(shù)據(jù)資源出來，在消費(fèi)的低谷釋放出來，更經(jīng)濟(jì)地利用好集群。定時(shí)的啟停集群功能則進(jìn)一步降低了資源消耗。
總之，在數(shù)據(jù)湖上提供數(shù)據(jù)分析、自動(dòng)化構(gòu)建、自動(dòng)化推薦等能力的大趨勢(shì)下，Kyligence通過統(tǒng)一語義層，將企業(yè)內(nèi)部和外部所有的數(shù)據(jù)看作一個(gè)更大的數(shù)倉或數(shù)據(jù)湖，在其上面構(gòu)建的整體能力，能夠連接相應(yīng)的數(shù)據(jù)。OLAP的引擎則為特定的業(yè)務(wù)場(chǎng)景構(gòu)建了相應(yīng)的數(shù)據(jù)集市和索引，從而確保下游在訪問數(shù)據(jù)的時(shí)候夠快、夠安全。
云上數(shù)據(jù)分析代運(yùn)營
Kyligence此次正式推出的云上數(shù)據(jù)分析代運(yùn)營服務(wù)，以遠(yuǎn)程的方式幫助企業(yè)高效安全地運(yùn)維Kyligence產(chǎn)品，并在現(xiàn)有的標(biāo)準(zhǔn)技術(shù)支持體系之上，額外提供集監(jiān)控告警、定期服務(wù)健康檢查、TCO優(yōu)化建議三位一體的增值服務(wù)，通過7x24x365不間斷的主動(dòng)的、預(yù)防式的、自動(dòng)化運(yùn)維的遠(yuǎn)程服務(wù)，保障客戶業(yè)務(wù)的穩(wěn)定運(yùn)行。
關(guān)于安全性問題，Kyligence聯(lián)合創(chuàng)始人兼CTO李揚(yáng)表示，Kyligence云上數(shù)據(jù)分析代運(yùn)營通常運(yùn)行在用戶自己的云賬戶下面。在應(yīng)用級(jí)別，Kyligence的運(yùn)維人員沒有權(quán)限訪問用戶數(shù)據(jù)，只能幫用戶做日常的IT運(yùn)營。并且，Kyligence還有云上的各種安全管控資質(zhì)認(rèn)證，擁有SOC2Type1、ISO27001等證書。
企業(yè)級(jí)中臺(tái)指標(biāo)
對(duì)于大部分企業(yè)而言，數(shù)據(jù)賦能業(yè)務(wù)的關(guān)鍵在于“降低用戶使用數(shù)據(jù)的門檻”。企業(yè)希望通過從技術(shù)語言到管理語言的抽象，讓數(shù)據(jù)成為企業(yè)管理的有效抓手。這樣一層平臺(tái)經(jīng)過多年的發(fā)展落地成了“以指標(biāo)的統(tǒng)一管理和分析為核心”的指標(biāo)中臺(tái)。然而企業(yè)搭建指標(biāo)中臺(tái)的過程中，內(nèi)部膨脹的ETL任務(wù)和中間表消耗大量資源，Kyligence多維數(shù)據(jù)庫將是企業(yè)級(jí)指標(biāo)中臺(tái)的最佳技術(shù)底座。
Kyligence企業(yè)級(jí)指標(biāo)中臺(tái)產(chǎn)品技術(shù)解決方案，借助AI增強(qiáng)的智能指標(biāo)引擎，可以實(shí)現(xiàn)指標(biāo)的智能建模、自動(dòng)加工計(jì)算，大幅降低指標(biāo)ETL開發(fā)工作量，加快指標(biāo)開發(fā)與上線效率。李揚(yáng)介紹說，指標(biāo)中臺(tái)一般分成原子指標(biāo)和偏業(yè)務(wù)向的衍生和派生指標(biāo)兩部分。原子指標(biāo)是公司集中管理的是統(tǒng)一口徑的基礎(chǔ)，不是每個(gè)業(yè)務(wù)人員可以隨意自己改造的，而衍生和派生指標(biāo)是業(yè)務(wù)創(chuàng)新的空間。他認(rèn)為，每一個(gè)一線業(yè)務(wù)員都能夠用一些數(shù)字化的方法來優(yōu)化自己的工作，而這對(duì)于企業(yè)就意味著一個(gè)很有力的創(chuàng)新賦能，從而打造很完美的方案。
關(guān)于企業(yè)級(jí)指標(biāo)中臺(tái)具體落地時(shí)遇到的困難和挑戰(zhàn)，Kyligence聯(lián)合創(chuàng)始人兼CEO韓卿表示，當(dāng)前客戶的技術(shù)棧千變?nèi)f化，例如生產(chǎn)制造企業(yè)在落地指標(biāo)中臺(tái)時(shí)會(huì)出現(xiàn)生產(chǎn)流水線調(diào)整不到位、生產(chǎn)工藝不現(xiàn)代化等問題，這都給指標(biāo)中臺(tái)的落地造成了一定困難。
李揚(yáng)表示，企業(yè)在落地指標(biāo)中臺(tái)時(shí)，還需要提升數(shù)字化管理思維。Kyligence提供的技術(shù)能力非常適合在大數(shù)據(jù)分析和管理方面幫助企業(yè)打破技術(shù)能力的瓶頸。
結(jié)語
隨著數(shù)據(jù)分析和管理需求的不斷發(fā)展，企業(yè)的數(shù)據(jù)架構(gòu)也在不斷地迭代和完善。Kyligence作為領(lǐng)先的企業(yè)級(jí)數(shù)據(jù)服務(wù)和管理廠商，將繼續(xù)發(fā)揮自己的技術(shù)和服務(wù)優(yōu)勢(shì)，助力全球客戶在云原生時(shí)代實(shí)現(xiàn)面向未來的數(shù)字化轉(zhuǎn)型。
