麥肯錫在研究報告中指出，數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素;而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。麥肯錫的報告發布后，包括IBM、EMC、甲骨文、微軟、天融信在內的各大廠商紛紛跑馬圈地，強勢進入，投入了巨大的資源搶占這個領域的話語權。

　　非結構化數據增長帶來新安全問題

　　隨著互聯網技術的不斷發展，數據本身是資產，這一點在業界已經形成共識。事實上，“大數據”并不是一項技術，而是由于不斷增長的數據量和數據種類而逐漸衍生出來的一種現象。因此，“大數據”在業內并沒有統一的定義。不同廠商，不同用戶，站的角度不同，對大數據的理解也不一樣。因此，大數據市場的快速發展，主要得益于非結構化數據的爆炸式增長。

　　隨著計算機信息化技術飛速發展，企業中的主機、服務器、防火墻、交換機、防毒墻、無線路由等等網絡設備、安全設備以及應用系統越來越多，這些設備所產生的海量日志信息成為了大數據時代飛速增長的數據的重要組成部分，由此帶來的日志管理與安全審計的工作也變得越來越復雜。面對海量數據，單靠人工進行管理幾乎成了一件不可能完成的工作。越來越多的企業也意識到了這種挑戰：一方面，IT 負責人和職員無法有效地對海量數據進行有效地收集、處理和分析;另一方面，企業CEO 以及高層管理人員因不能及時獲得所需的信息，而無法預測出潛在的業務風險，坐等商業機會的流失。

　　綜合管理應對海量數據安全挑戰

　　天融信在面對大數據時代帶來的新挑戰時，提出大數據綜合管理平臺戰略，相應地推出了海量日志數據自動收集與實時智能分析產品(TopAudit-Log，簡稱TA-L)，為企業轉型、成長提供必要的戰略技術支撐，幫助企業將新挑戰變為新機遇。通過海量數據的自動收集、處理以及實時的智能分析實現企業高效、便捷、經濟的大數據管理。

　　該產品主要由數據采集、實時數據分析與存儲、綜合管理平臺三部分構成，其結構如下圖所示：

　　產品架構

　　海量日志數據自動收集與實時智能分析能夠與任何企業以及職能部門進行整合，從以下四個方面幫助其全面應對海量數據帶給企業的新挑戰：

　　1.通過技術手段進行海量數據自動收集，并進行非結構數據歸一化處理，同時將原始數據進行高效壓縮存儲，最大限度提高存儲利用率和數據收集速度，解決人工無法完成海量數據收集的難題。

　　2.收集數據的同時通過數據實時分析引擎對海量數據進行深度分析，數據實時分析引擎融合了數據庫、人工智能、機器學習、統計學等多個領域的理論和技術，從收集到的大數據中第一時間挖掘出黑客攻擊、非法操作、潛在威脅等各類管理者關注的安全事件。同時，采用獨特的事件關聯分析技術實現用戶、事件、后臺數據庫三層關聯分析，關聯分析準確度高達90%以上，從根本上解決了人工無法進行海量數據處理與分析的難題。

　　3.數據實時分析引擎進行深度分析出的各類安全事件將第一時間通知實時告警平臺，告警平臺根據管理者的要求第一時間將管理者關注的安全事件信息告知，便于管理者及時采取有效的管理措施，幫助管理者有效的進行企業風險管理。

　　4.最后通過統一管理平臺，管理者可以進行海量數據查詢以及統計分析，可以第一時間幫助管理者整理出企業CEO以及高層管理人員關注的信息，簡單、直觀、高效。為企業高層管理者預測未來并制定相關管理辦法以及企業發展規劃提供依據，并幫助企業更好的進行風險管理以及滿足各項合規性檢查。

　　TA-L的典型應用

　　TA-L高效的大數據自動收集效率以及智能動態分析性能是行業獨一無二的，不僅涵蓋了從軟件到硬件的各類安全設備、網絡設備、應用系統，同時也創造性的將各種看似毫無關聯的海量數據進行深度挖掘并進行關聯性分析，將普通的大數據處理提高到了智能分析，化挑戰為機遇的戰略高度，充分涵蓋了海量信息價值發掘歷程中的各個層面。該產品尤其適合網絡結構復雜、系統規模龐大、容易形成大數據的金融、政府、銀行、證券、運營商、醫療等各大型機構。采用多級分域部署的集中管理方式，構建覆蓋全國總部、各省級單位和地市級單位的綜合管理體系。其典型的部署架構如下圖所示：

　　產品典型部署

　　天融信日志數據自動收集與實時智能分析系統憑借優異的大數據自動收集性能結合高效的海量數據智能實時分析與動態實時告警，已經到政府、軍工、教育、能源等多個行業得到了廣泛應用，深受IT管理者好評。相信在不久的未來，海量數據智能實時分析將輻射各行各業，為各企業在大數據時代的穩健發展提供前所未有的有價值的信息，幫助各企業變挑戰為基于，同時，各種基于大數據智能實時分析的產品也將得到更廣泛的應用，屆時將會有更多的廠商進入這一領域，百家爭鳴的局面指日可待。