2014年12月12日，由中國計(jì)算機(jī)學(xué)會(huì)(CCF)主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中科院計(jì)算所與CSDN共同協(xié)辦的 2014中國大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference 2014，BDTC 2014)在北京拉開帷幕。星環(huán)信息科技(上海)有限公司(以下簡稱星環(huán)科技)參會(huì)，CTO孫元浩發(fā)表了題為“2015年大數(shù)據(jù)基礎(chǔ)技術(shù)的演進(jìn)趨勢(shì)“的主題演講。 大會(huì)匯聚了近千位大數(shù)據(jù)行業(yè)的CIO、CTO、架構(gòu)師、IT經(jīng)理、工程師、Hadoop技術(shù)愛好者，以及從事Hadoop研究與推廣的IT廠商和技術(shù)專家等，共同探討時(shí)下最新技術(shù)熱點(diǎn)，大數(shù)據(jù)生態(tài)圈技術(shù)的發(fā)展與演變。
星環(huán)科技孫元浩在BDTC大會(huì)做主體演講
孫元浩的演講分析了大數(shù)據(jù)基礎(chǔ)技術(shù)的最新進(jìn)展，并基于星環(huán)科技在大數(shù)據(jù)基礎(chǔ)軟件的研發(fā)經(jīng)驗(yàn)和中國大數(shù)據(jù)應(yīng)用的進(jìn)展，作出2015年大數(shù)據(jù)基礎(chǔ)技術(shù)演進(jìn)方向的預(yù)測。”孫元浩表示：“大數(shù)據(jù)基礎(chǔ)軟件技術(shù)在過去幾年中得到了飛速發(fā)展，從Hadoop誕生至今，幾乎每一年都有突破性的技術(shù)進(jìn)展，2008-2009年Hadoop解決擴(kuò)展性瓶頸，開始達(dá)到5000臺(tái)以上的集群規(guī)模，2010-2011年HBase開始超越Cassandra成為穩(wěn)定高可擴(kuò)展的NoSQL數(shù)據(jù)庫，2012年多種SQL on Hadoop技術(shù)誕生，交互式SQL分析一度成為最熱門的技術(shù), 2013年 YARN資源管理框架成為多種計(jì)算框架的資源管理平臺(tái)，被稱為分布式操作系統(tǒng)，2014 Spark技術(shù)得到廣泛支持并即將替代Map/Reduce成為主流計(jì)算引擎。在未來的一年內(nèi)，隨著硬件和軟件技術(shù)的快速發(fā)展，現(xiàn)有大數(shù)據(jù)基礎(chǔ)技術(shù)將得到快速發(fā)展和演變，必將涌現(xiàn)新的技術(shù)熱點(diǎn)引領(lǐng)2015年的大數(shù)據(jù)生態(tài)圈。”
在談到星環(huán)科技Hadoop發(fā)行版的產(chǎn)品發(fā)展時(shí)，他表示：“大數(shù)據(jù)成為時(shí)下熱門關(guān)鍵詞，對(duì)于大數(shù)據(jù)的關(guān)注度與日俱增，由于市場需求的不斷增加，各種前沿技術(shù)也在不斷挑戰(zhàn)自己的發(fā)展速度，星環(huán)也將緊跟大數(shù)據(jù)領(lǐng)域的最新技術(shù)熱點(diǎn)和發(fā)展趨勢(shì)，結(jié)合市場需求來推進(jìn)星環(huán)Transwarp Data Hub的研發(fā)及市場應(yīng)用”。
中美Hadoop發(fā)行版領(lǐng)軍人物在星環(huán)科技展臺(tái)前交流 (孫元浩：星環(huán)科技創(chuàng)始人&CTO， 與Mike Orlson：Cloudera 創(chuàng)始人&主席)
同時(shí)在本次大數(shù)據(jù)技術(shù)大會(huì)上，星環(huán)科技發(fā)布了Transwarp Data Hub(TDH)4.0版本，大幅增強(qiáng)了Transwarp Inceptor交互式SQL分析引擎、Transwarp Hyperbase實(shí)時(shí)數(shù)據(jù)庫和Transwarp Stream流計(jì)算引擎的功能和性能。
Inceptor 4.0支持SQL'99和SQL2003標(biāo)準(zhǔn)，提供大部分的PL/SQL語法兼容，全新設(shè)計(jì)了內(nèi)存計(jì)算平臺(tái)Holodesk并支持?jǐn)?shù)據(jù)的動(dòng)態(tài)插入和索引，并且進(jìn)一步優(yōu)化了基于Spark的SQL引擎的執(zhí)行效率，因此相比開源 Hadoop 版本有 10x~100x 倍性能提升，可處理GB到PB級(jí)別的數(shù)據(jù)。此外Inceptor 4.0強(qiáng)化了安全方面的認(rèn)證和控制，并且整合了更多的數(shù)據(jù)挖掘算法和深度學(xué)習(xí)算法，因此可以滿足絕大部分企業(yè)用戶的數(shù)據(jù)分析、挖掘等需求。
目前TPC-DS基準(zhǔn)測試集能夠完整的在Inceptor上運(yùn)行，并且無論是測試案例數(shù)還是性能都完勝美國主流的Hadoop廠商。
HyperBase 4.0增加了基于SQL的分布式事務(wù)操作并做了大量優(yōu)化，另外推出創(chuàng)新的CBI (Cost Based Indexing)技術(shù)可以讓計(jì)算引擎在查詢時(shí)能夠根據(jù)各個(gè)索引的成本來選擇最合適的查詢方案，從而有效的將查詢延時(shí)降低到百毫秒級(jí)，因此可以滿足大部分的OLTP應(yīng)用場景。
Stream 4.0在系統(tǒng)安全和監(jiān)控方面做了重大升級(jí)，增加了對(duì)Kafka消息隊(duì)列以及Spark On Yarn的Kerberos安全認(rèn)證來確保計(jì)算時(shí)的數(shù)據(jù)安全。另外Stream 4.0推出了創(chuàng)新的基于SQL的實(shí)時(shí)統(tǒng)計(jì)分析功能，可以通過SQL來做實(shí)時(shí)的分析與計(jì)算，降低了開發(fā)者準(zhǔn)入門檻。
詳情請(qǐng)見：http://transwarp.cn/news/detail?id=35
相信在眾多國內(nèi)外大數(shù)據(jù)行業(yè)從業(yè)者的參與下，大會(huì)將會(huì)成為大數(shù)據(jù)技術(shù)與應(yīng)用深度結(jié)合的新起點(diǎn)，必將引領(lǐng)新一輪大數(shù)據(jù)行業(yè)的技術(shù)風(fēng)暴。
星環(huán)科技是目前國內(nèi)極少數(shù)掌握企業(yè)級(jí)大數(shù)據(jù)Hadoop和Spark核心技術(shù)的高科技公司，從事大數(shù)據(jù)時(shí)代核心平臺(tái)數(shù)據(jù)庫軟件的研發(fā)與服務(wù)。在全球去IOE的大背景下，Hadoop技術(shù)已成為公認(rèn)的替代傳統(tǒng)數(shù)據(jù)庫的大數(shù)據(jù)產(chǎn)品。公司產(chǎn)品Transwarp Data Hub (TDH)的整體架構(gòu)及功能特性比肩硅谷同行，產(chǎn)品性能在業(yè)界處于領(lǐng)先水平。
