伴隨著數(shù)字化轉(zhuǎn)型的深入推進(jìn)，產(chǎn)業(yè)對(duì)數(shù)據(jù)化的需求發(fā)生了革命性的變化。而開(kāi)源對(duì)數(shù)據(jù)庫(kù)的影響也在不斷增強(qiáng)，已經(jīng)覆蓋軟件開(kāi)發(fā)的全域場(chǎng)景。
9 月 22 日，中國(guó)工程院倪光南院士在企業(yè)級(jí)開(kāi)源分布式數(shù)據(jù)庫(kù)廠(chǎng)商 PingCAP 用戶(hù)峰會(huì)上的致辭中提到：“全球開(kāi)源數(shù)據(jù)庫(kù)已經(jīng)超過(guò)商用數(shù)據(jù)庫(kù)，占比達(dá)到 52%。全球最受歡迎的前 10 名數(shù)據(jù)庫(kù)中有 6 個(gè)是開(kāi)源數(shù)據(jù)庫(kù)。同時(shí)，分布式、云計(jì)算、大數(shù)據(jù)正在重塑數(shù)據(jù)庫(kù)的市場(chǎng)格局，2021 年全球云數(shù)據(jù)庫(kù)市場(chǎng)份額已超過(guò)傳統(tǒng)部署模式的數(shù)據(jù)庫(kù)，標(biāo)志著云數(shù)據(jù)庫(kù)取代傳統(tǒng)數(shù)據(jù)庫(kù)地位的趨勢(shì)已經(jīng)確立。”
開(kāi)源模式以及分而治之的開(kāi)放式架構(gòu)備受用戶(hù)認(rèn)可
認(rèn)識(shí) PingCAP 是在 4-5 年前，彼時(shí)筆者就關(guān)注到了開(kāi)源數(shù)據(jù)庫(kù)領(lǐng)域，對(duì) PingCAP 聯(lián)合創(chuàng)始人兼 CTO 黃東旭進(jìn)行了一期專(zhuān)訪(fǎng)。如今時(shí)隔多年，來(lái)到 PingCAP 用戶(hù)峰會(huì)，筆者最大的感受就是這家開(kāi)源分布式數(shù)據(jù)庫(kù)廠(chǎng)商對(duì)用戶(hù)需求的洞察已非常深入，相信貼近用戶(hù)這一點(diǎn)也是其能夠快速成長(zhǎng)的重要原因之一。
仍記得企業(yè)網(wǎng) D1Net 在對(duì)某位金融行業(yè) CIO 進(jìn)行專(zhuān)訪(fǎng)時(shí)曾聊到過(guò) PingCAP，那位 CIO 對(duì) PingCAP 贊賞有加，他當(dāng)時(shí)提到：“在交流的過(guò)程中 PingCAP 告訴我 TiDB 社區(qū)版就能滿(mǎn)足我們企業(yè)的需求，讓我用社區(qū)版就好，是免費(fèi)的，有問(wèn)題可以向他們反饋。這是第一家真心幫助用戶(hù)解決需求問(wèn)題卻不要求我付費(fèi)的廠(chǎng)商，給我留下了非常好的印象。即使接下來(lái)公司業(yè)務(wù)發(fā)展需要用到商業(yè)版，我也非常樂(lè)意付費(fèi)。”這位 CIO 的表述，真實(shí)地反映了用戶(hù)對(duì)開(kāi)源社區(qū)商業(yè)模式的高度認(rèn)可。
PingCAP 創(chuàng)始人兼 CEO 劉奇
PingCAP 創(chuàng)始人兼 CEO 劉奇在會(huì)上提到：“分布式數(shù)據(jù)庫(kù)是一個(gè)高度復(fù)雜的系統(tǒng)，與云的結(jié)合讓復(fù)雜度進(jìn)一步上升。分布式數(shù)據(jù)庫(kù)是否能生存下去，本質(zhì)在于能否掌控復(fù)雜度。”在過(guò)去的一年中劉奇做的最重要的工作之一是拜訪(fǎng)用戶(hù)，在與大量用戶(hù)溝通后劉奇發(fā)現(xiàn)：分而治之的開(kāi)放式架構(gòu)被認(rèn)為是未來(lái)分布式云原生數(shù)據(jù)庫(kù)活下去的唯一方法，大多數(shù)用戶(hù)選擇 TiDB 的首要原因在于 TiDB 采用分離式架構(gòu)，更能管理復(fù)雜性。
據(jù)用戶(hù)反饋：PingCAP 更受 CEO 和 CFO 的歡迎，因?yàn)槭褂?TiDB 替換傳統(tǒng)數(shù)據(jù)庫(kù)，至少可以將使用成本降低一半，還能破解企業(yè)在技術(shù)人才匱乏方面的難題。除此之外，越來(lái)越多的年輕用戶(hù)已不再關(guān)心數(shù)據(jù)庫(kù)的底層架構(gòu)，只關(guān)注數(shù)據(jù)庫(kù)產(chǎn)品能否應(yīng)對(duì)業(yè)務(wù)敏捷挑戰(zhàn)，能否在不確定的環(huán)境下滿(mǎn)足業(yè)務(wù)高速發(fā)展的需求。
數(shù)據(jù)庫(kù)能力如何支持企業(yè)級(jí)用戶(hù)業(yè)務(wù)的敏捷性?
商業(yè)模式的成功，只是企業(yè)駛?cè)氚l(fā)展快車(chē)道的第一步，而第二步則是不斷打磨產(chǎn)品。劉奇提到：企業(yè)級(jí)用戶(hù)對(duì)數(shù)據(jù)庫(kù)產(chǎn)品敏捷性的需求使 PingCAP 重新思考，及時(shí)調(diào)整組織架構(gòu)以及產(chǎn)品方案，以滿(mǎn)足用戶(hù)核心系統(tǒng)對(duì)敏捷性和穩(wěn)定性的要求。
TiDB 早在 1.0 版本就實(shí)現(xiàn)了在線(xiàn)事務(wù)處理的規(guī)模化擴(kuò)展，為 HTAP 能力打下堅(jiān)實(shí)的基石;4.0 版本實(shí)現(xiàn)初步的 HTAP 能力，OLAP 與 OLTP 分區(qū)獨(dú)立，物理隔離;5.0 版本在原有 HTAP 引擎的基礎(chǔ)上引入 MPP 架構(gòu)，進(jìn)一步提升海量數(shù)據(jù)下的并行計(jì)算與分析能力，支持同一架構(gòu)下對(duì) Spark、Flink 等技術(shù)棧的集成，成為具備完整實(shí)時(shí) HTAP 能力的分布式數(shù)據(jù)庫(kù)，助力企業(yè)提升關(guān)鍵業(yè)務(wù)的時(shí)效性。
2022 年， TiDB 6.1版本發(fā)布，強(qiáng)化了系統(tǒng)優(yōu)化器，支持系統(tǒng)智能選擇存儲(chǔ)方式，這是第一個(gè)面向企業(yè)級(jí)的長(zhǎng)期支持版( Long Term Support，簡(jiǎn)稱(chēng) LTS)，可穩(wěn)定維護(hù)。對(duì)于用戶(hù)而言，在沒(méi)有特定需求開(kāi)發(fā)的情況下，可以選擇最新的 LTS 版本投產(chǎn)。如果需要某個(gè) DMR(開(kāi)發(fā)里程碑版本)發(fā)布的新功能，可以選擇 DMR 版本進(jìn)行 PoC 以及試運(yùn)行，待到對(duì)應(yīng)的 LTS 版本發(fā)布后升級(jí) TiDB 到穩(wěn)定生產(chǎn)狀態(tài)。PingCAP 期望通過(guò)“敏態(tài)+穩(wěn)態(tài)”快慢結(jié)合的方式最大限度兼顧快速迭代和穩(wěn)定投產(chǎn)兩方面的需求。
PingCAP 研發(fā)副總裁 唐劉
“PingCAP 是一家非常年輕的公司，我們的產(chǎn)品也在不斷打磨和完善。一方面我們需要快速迭代，不斷將產(chǎn)品的價(jià)值快速交付給客戶(hù)，另一方面面對(duì)諸多核心場(chǎng)景，我們還要打磨一個(gè)更加穩(wěn)定的產(chǎn)品，讓客戶(hù)能夠非常高效、放心地使用。” PingCAP 研發(fā)副總裁唐劉如是說(shuō)。
PingCAP 的做法是采用“穩(wěn)態(tài)+敏態(tài)”雙軌并行的研發(fā)機(jī)制：一方面采用開(kāi)放式架構(gòu)，另一方面充分利用豐富的用戶(hù)場(chǎng)景持續(xù)打磨產(chǎn)品。這樣的好處是既能保證用戶(hù)對(duì)產(chǎn)品觸手可及、隨時(shí)可用，又能在核心場(chǎng)景穩(wěn)定放心地使用。
數(shù)據(jù)服務(wù)的敏捷性究竟有多快呢?最好的例子就是 OSS Insight。這是一款從 0 到 1 快速打造的產(chǎn)品，OSS Insight 起初只是劉奇為了在 5-8 分鐘內(nèi)講清楚什么是 HTAP 的一個(gè) Demo，它支持復(fù)雜條件的查詢(xún)和分析，可以讓用戶(hù)從熟悉的簡(jiǎn)單數(shù)據(jù)中獲得全新視角的洞察，同時(shí)也是一個(gè)真實(shí)承載了 50 億條數(shù)據(jù)的平臺(tái)，更是一個(gè)一秒就能體驗(yàn)的真實(shí)、好看、好用、好玩且易于傳播的平臺(tái)。
用戶(hù)普遍認(rèn)為，要做 OSS Insight 這樣一個(gè)查詢(xún)和分析的平臺(tái)大概需要 4-6 個(gè)人花費(fèi)半年時(shí)間。實(shí)際上，基于 TiDB Cloud，2 個(gè)人只花一個(gè)周末就可以將第一個(gè)版本推向市場(chǎng)。以這樣的速度，企業(yè)通過(guò) TiDB 可以領(lǐng)先對(duì)手幾倍時(shí)間，也可以節(jié)約大量人力成本，真正做到以更低的技能要求、更快的速度將產(chǎn)品推向市場(chǎng)，從而更快產(chǎn)生價(jià)值。
PingCAP 研發(fā)副總裁唐劉提到： OSS Insight 有將近 50 億條開(kāi)源數(shù)據(jù)，查詢(xún)條件非常復(fù)雜，面對(duì)這樣高度復(fù)雜的情況，PingCAP 和 OSS Insight 研發(fā)工程師不停打磨、重構(gòu)、加固優(yōu)化器，如今不但研發(fā)工程師不再需要寫(xiě) HINT ，而且智能優(yōu)化水平比人工寫(xiě) HINT 提速了 20-30%。
“通過(guò) OSS Insight ，我們可以讓人人都能在 5 秒鐘內(nèi)獲得 Insight 。我們?cè)O(shè)想每個(gè)組織、每個(gè)企業(yè)、每個(gè)人都可以獲得這項(xiàng)能力，都有好奇心去獲取 Insight，基于 OSS Insight 中的開(kāi)源數(shù)據(jù)，任何人都能提出自己的 Idea。”劉奇如是說(shuō)。
另外一個(gè)例子是一家銀行客戶(hù)，這家頭部股份制銀行將 TiDB 產(chǎn)品應(yīng)用到銀行核心系統(tǒng)，與 PingCAP 持續(xù)打磨 TiDB 的內(nèi)核能力。如今的成果是：在 7×24 小時(shí)性能測(cè)試中，可以將整個(gè)延遲抖動(dòng)控制在 2% 以?xún)?nèi);在某頭部城商行互聯(lián)網(wǎng)交易系統(tǒng)上將延遲縮短了 4 倍，滿(mǎn)足了客戶(hù)互聯(lián)網(wǎng)銀行核心上線(xiàn)的需求。
據(jù)了解，作為一棧式數(shù)據(jù)服務(wù)平臺(tái)，TiDB 一直致力于提升用戶(hù)業(yè)務(wù)的敏捷性，近兩年產(chǎn)品內(nèi)核性能和穩(wěn)定性也在不斷提升，成為各行業(yè)頭部企業(yè)的選擇。TiDB OLTP 的 TPCC 性能提升 200%-300%，實(shí)時(shí) HTAP 性能提升 200%-300%，核心場(chǎng)景性能也獲得持續(xù)突破，例如銀行的轉(zhuǎn)賬核心負(fù)載延遲優(yōu)化達(dá) 4 倍之多，物流等超高吞吐實(shí)時(shí)在線(xiàn)交易讀寫(xiě)混合負(fù)載性能提升 100% 以上，保障了數(shù)億用戶(hù)的順滑體驗(yàn)。
為何 PingCAP 成為行業(yè)頭部客戶(hù)的共同選擇?
會(huì)上，來(lái)自建信金科、百勝中國(guó)、傳音控股、老虎國(guó)際、平安科技、杭州銀行、中國(guó)人壽財(cái)險(xiǎn)、工商銀行、東軟集團(tuán)、中電金信、嘉和美康、神州數(shù)碼、云徙科技、天翼云等多家 PingCAP 重量級(jí)客戶(hù)、合作伙伴及產(chǎn)業(yè)大咖為其站臺(tái)，分享數(shù)字化轉(zhuǎn)型與數(shù)據(jù)價(jià)值創(chuàng)新中的選擇，探討如何通過(guò)面向未來(lái)的敏捷數(shù)據(jù)服務(wù)平臺(tái)實(shí)現(xiàn)業(yè)務(wù)的加速和創(chuàng)新。
建信金科是中國(guó)建設(shè)銀行金融科技子公司。建信金科基礎(chǔ)技術(shù)中心副總裁邢磊道出了其選擇 PingCAP 的三大理由：一是服務(wù)于客戶(hù)成功，關(guān)注客戶(hù)遇到的實(shí)際問(wèn)題;二是 PingCAP 具有開(kāi)源開(kāi)放的特征，相信開(kāi)源和開(kāi)放的力量會(huì)成為未來(lái)企業(yè)技術(shù)重要的組成部分;三是 PingCAP 有很好的成長(zhǎng)性，與 PingCAP 一起、與優(yōu)秀的開(kāi)發(fā)者和專(zhuān)家一起將取得更快的成長(zhǎng)。
建信金科基礎(chǔ)技術(shù)中心副總裁 邢磊
與大多數(shù)用戶(hù)不同的是，建信金科與 PingCAP 的接觸始于 TiKV。建信金科在做微服務(wù)、分布式時(shí)要對(duì)數(shù)據(jù)做拆分，要求在現(xiàn)有的傳統(tǒng)渠道、傳統(tǒng)業(yè)務(wù)和交易不受影響的前提下改造后端的服務(wù)能力，建信金科過(guò)去使用的是國(guó)外開(kāi)源軟件，在安全穩(wěn)定運(yùn)行方面存在很大挑戰(zhàn)，而 TiKV 在這樣的背景下進(jìn)入了建信金科的視野。
邢磊提到：為了能自己掌控技術(shù)，建信金科從 2020 年開(kāi)始接觸 TiKV，與 PingCAP 共同努力投入研發(fā)資源和精力做業(yè)務(wù)場(chǎng)景適配，經(jīng)過(guò)一年時(shí)間成功將 TiKV 5.0.4 版接入到全行分布式體系中，順利扛住 4 萬(wàn)多 TPS 壓力穩(wěn)定運(yùn)行。伴隨核心業(yè)務(wù)改造，建信金科于 2021 年底將整個(gè)核心業(yè)務(wù)在分布式平臺(tái)上進(jìn)行切換，TiKV 起到了關(guān)鍵作用。2022 年建信金科進(jìn)一步借助 TiKV 的高可用體系構(gòu)建了跨地域、跨中心的災(zāi)備能力。
由于前期只關(guān)注應(yīng)用系統(tǒng)項(xiàng)目，建信金科的業(yè)務(wù)在大規(guī)模分布式體系當(dāng)中遇到了一系列穩(wěn)定性、可用性問(wèn)題，基礎(chǔ)平臺(tái)、基礎(chǔ)軟件等的可用性如何保障是一大難題。借助 PingCAP 的Chaos Mesh 混沌工程框架，在雙方的共同努力下，建信金科在 2021 年 7 月完成了第一批最重要的 18 個(gè)混沌和故障場(chǎng)景的注入。如今，建信金科已完成混沌工程平臺(tái)方案設(shè)計(jì)和平臺(tái)一期開(kāi)發(fā)、建設(shè)工作，逐個(gè)攻破其在虛擬化環(huán)境、容器環(huán)境下的各種故障場(chǎng)景的模擬以及自動(dòng)化裝配、組裝難題，使各類(lèi)組件和數(shù)據(jù)庫(kù)能在場(chǎng)景下進(jìn)行完整檢驗(yàn)后再推向應(yīng)用型項(xiàng)目。
傳統(tǒng)金融企業(yè)交易業(yè)務(wù)線(xiàn)和數(shù)據(jù)分析業(yè)務(wù)線(xiàn)的數(shù)據(jù)處理通常是分開(kāi)的，多維查詢(xún)和管理類(lèi)分析業(yè)務(wù)傾向于用大數(shù)據(jù)業(yè)務(wù)處理，但是隨著企業(yè)數(shù)字化轉(zhuǎn)型的逐步深入以及平臺(tái)生態(tài)的繁榮建設(shè)，所有的關(guān)鍵業(yè)務(wù)、核心業(yè)務(wù)都面臨著新的挑戰(zhàn)，用傳統(tǒng)的大數(shù)據(jù)技術(shù)很難在數(shù)據(jù)實(shí)時(shí)更新場(chǎng)景下同時(shí)提供多維的分析和查詢(xún)能力，這恰恰是 HTAP 要解決的問(wèn)題。邢磊回憶：“當(dāng)時(shí)建信金科遇到了非常大的挑戰(zhàn)，留給 PingCAP 的時(shí)間非常短，從2021年 4 月底提出到 5 月底完成技術(shù)驗(yàn)證測(cè)試，只有一個(gè)月的時(shí)間，而到 10 月建信金科已正式投產(chǎn)進(jìn)入穩(wěn)定迭代。現(xiàn)在，建信金科的每個(gè)新場(chǎng)景都有 TiDB 的身影。”當(dāng)前，建信金科正在嘗試將系統(tǒng)升級(jí)到 TiDB 的最新版本，同時(shí)將統(tǒng)一視圖、全量資產(chǎn)、反洗錢(qián)業(yè)務(wù)等在 HTAP 上做驗(yàn)證和遷移。
百勝中國(guó)是中國(guó)最大的餐飲企業(yè)，致力于成為全球最創(chuàng)新的餐飲先鋒。百勝中國(guó)首席技術(shù)官?gòu)埨滋岬剑?ldquo;TiDB 是業(yè)內(nèi)開(kāi)源分布式數(shù)據(jù)庫(kù)的翹楚，百勝中國(guó)在 2019 年就開(kāi)始用 TiDB 嘗試替代傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品。百勝中國(guó)非常看重核心數(shù)據(jù)的處理主權(quán)，開(kāi)源數(shù)據(jù)庫(kù)恰恰能夠幫助掌握這一主權(quán)，同時(shí)借助活躍的開(kāi)源社區(qū)，進(jìn)行企業(yè)內(nèi)部創(chuàng)新性的架構(gòu)研究以及落地。”經(jīng)過(guò)一年的探索，TiDB 最終在百勝的業(yè)務(wù)中臺(tái)得以落地實(shí)施，穩(wěn)定可靠地支撐海量的線(xiàn)上交易，實(shí)現(xiàn)了降本增效的目標(biāo)。此外，百勝中國(guó)將 ERP 中的交易數(shù)據(jù)同步到 TiDB 中，與 BI 工具進(jìn)行集成，大幅縮短了企業(yè)內(nèi)部的財(cái)務(wù)報(bào)表生成時(shí)間，極大提升了內(nèi)部的工作效率。
傳音控股是一家致力于成為新興市場(chǎng)消費(fèi)者最喜愛(ài)的智能終端產(chǎn)品和移動(dòng)互聯(lián)服務(wù)提供商，在與 PingCAP 的合作中，將其移動(dòng)商店的整體服務(wù)架構(gòu)遷移到了 TiDB 上。傳音控股移動(dòng)互聯(lián) CTO 史團(tuán)委提到：“PingCAP 使得傳音控股可以將更多資源投入在業(yè)務(wù)的推進(jìn)上，從龐大、復(fù)雜且耗時(shí)的中后臺(tái)工作中解放出來(lái)，提升人效，大幅降低成本。”據(jù)悉，TiDB 的水平擴(kuò)展、故障自恢復(fù)、數(shù)據(jù)強(qiáng)一致性、高度兼容性等特點(diǎn)，幫助傳音控股實(shí)現(xiàn)了技術(shù)進(jìn)階，大幅縮減了成本，提升了用戶(hù)體驗(yàn)，加速了技術(shù)架構(gòu)平臺(tái)化與垂直化的演進(jìn)。
老虎國(guó)際作為全球知名的國(guó)際化券商，在新加坡、美國(guó)、中國(guó)香港、澳大利亞等地持有 59 張牌照或資質(zhì)，在全球多地開(kāi)展業(yè)務(wù)。老虎國(guó)際技術(shù)副總裁柳鍇表示，只有真正的全球化公司才能服務(wù)全球化客戶(hù)。基于全球化的業(yè)務(wù)，老虎國(guó)際面臨著全球業(yè)務(wù)拓展、數(shù)據(jù)架構(gòu)復(fù)雜以及金融數(shù)據(jù)安全等方面的挑戰(zhàn)。TiDB 可以解決系統(tǒng)架構(gòu)的復(fù)雜度，同時(shí)通過(guò)低延遲、數(shù)據(jù)強(qiáng)一致性，解決業(yè)務(wù)挑戰(zhàn)與數(shù)據(jù)安全挑戰(zhàn)，獲得了老虎國(guó)際研發(fā)、運(yùn)維以及業(yè)務(wù)等多個(gè)部門(mén)的一致認(rèn)可。
持續(xù)引領(lǐng)數(shù)據(jù)庫(kù)的演進(jìn)方向
據(jù)悉，接下來(lái) PingCAP 將在 DB 微服務(wù)化、云原生、智能化以及未來(lái)數(shù)據(jù)生態(tài)等方面不斷探索，持續(xù)引領(lǐng)數(shù)據(jù)服務(wù)的演進(jìn)方向。對(duì)用戶(hù)而言，最直觀(guān)的感受是 PingCAP 正在不斷降低數(shù)據(jù)庫(kù)的行業(yè)門(mén)檻。TiDB 在提供數(shù)據(jù)庫(kù)本身能力的同時(shí)，提供非常強(qiáng)的實(shí)時(shí)在線(xiàn)分析能力，并且通過(guò)規(guī)模效應(yīng)將成本降低至原來(lái)的十分之一甚至是百分之一。
唐劉提到：TiDB 包括存儲(chǔ)層、計(jì)算層在內(nèi)的各個(gè)組件都可以以微服務(wù)的方式提供，通過(guò)微服務(wù)化的方式做 TiDB 系統(tǒng)架構(gòu)的演進(jìn)是 PingCAP 一直堅(jiān)持的研發(fā)原則。DB 微服務(wù)化可以將數(shù)據(jù)庫(kù)任何可分離的組件都實(shí)現(xiàn)服務(wù)化，打造 PB 級(jí)在線(xiàn)數(shù)據(jù)服務(wù)平臺(tái)，提供更高的規(guī)模效應(yīng)、更好的容錯(cuò)能力以及更強(qiáng)的風(fēng)險(xiǎn)控制手段。最近半年以來(lái) PingCAP 正在進(jìn)行存算分離的拆分，TiFlash 的存算分離是第一個(gè)階段;第二個(gè)階段，TiKV 會(huì)將 Compaction 移出做一個(gè)新的功能架構(gòu)，預(yù)計(jì)將在半年到一年之內(nèi)發(fā)布新產(chǎn)品。
可以看到，過(guò)去幾年 TiDB 提升的速度非常快，隨著架構(gòu)本身被分離得越來(lái)越好，產(chǎn)品性能的提升和改進(jìn)將會(huì)非常驚人。唐劉進(jìn)一步表示：“一個(gè)好的架構(gòu)，一個(gè)正確的內(nèi)核才有成長(zhǎng)的可能，才有更高的天花板，接下來(lái)幾個(gè)月大家還能看到更多驚人的表現(xiàn)。”
