大連理工大學(xué)
海量日志遭遇存儲與查詢難題
首先，在時間上從原來的留存60天增加到6個月，整個日志量提升了三倍。另外，在范圍上由原來的用戶行為日志變?yōu)榫W(wǎng)絡(luò)相關(guān)日志，也就是除了出口行為日志外，還要增加網(wǎng)絡(luò)、安全、服務(wù)器等其他相關(guān)日志，導(dǎo)致需要留存的日志量幾何級的增加。
大連理工大學(xué)（以下簡稱：大連理工）就遇到了這個問題，經(jīng)過前期日志收集發(fā)現(xiàn)僅出口日志平均每秒都有1.3萬條左右，高峰甚至達(dá)到2萬EPS，要滿足安全法僅出口日志就需要300T左右存儲，全網(wǎng)日志數(shù)據(jù)量加起來更加驚人。
面對如此大量的存儲需求，用戶壓力倍增。另外，海量數(shù)據(jù)的查詢速度也是讓人頭疼，采用傳統(tǒng)數(shù)據(jù)庫的日志系統(tǒng)進(jìn)行查詢，幾十億條的日志查起來動輒就需要好幾個小時，有時系統(tǒng)甚至直接崩潰。滿足合規(guī)要求與所需的大量存儲天價成本之間的矛盾，讓大連理工陷入兩難，直到遇到了銳捷RG-BDS大數(shù)據(jù)安全平臺超級日志版（RG-BDS-S）。
大連理工RG-BDS-S實(shí)際部署圖
RG-BDS超級日志版重新定義“超級”二字內(nèi)涵
RG-BDS超級日志版是銳捷基于高校出口應(yīng)用場景定向開發(fā)的，核心價值是超低存儲、超高性能、滿足超大量日志場景的合規(guī)需求。毫不夸張地說，它在功能和性能上重新定義了“超級”二字的內(nèi)涵，被用戶稱為“超級贊”。
首先，單位數(shù)據(jù)所需存儲空間超級小。
RG-BDS超級日志版可通過選擇性日志字段裁剪、ES默認(rèn)存儲方案壓縮優(yōu)化、索引壓縮等技術(shù)，大幅減小6個月日志留存所需存儲空間，并且，實(shí)際環(huán)境中數(shù)據(jù)量越大，數(shù)據(jù)重復(fù)比例越高，壓縮比越大，節(jié)約的存儲空間越多。下面是大連理工的實(shí)際存儲數(shù)據(jù)（實(shí)現(xiàn)10:1的超級壓縮比）。
大連理工部署RG-BDS-S前后數(shù)據(jù)存儲量對比
第二、滿足超級大日志量場景性能需求。
通過可伸縮大數(shù)據(jù)架構(gòu)，支撐每秒10000條以上超大日志量場景性能需求，配合集群節(jié)點(diǎn)（查詢性能擴(kuò)容）和采集器（收集性能擴(kuò)容）實(shí)現(xiàn)彈性性能擴(kuò)容。其中：50TB數(shù)據(jù)級以下，可以使用單機(jī)部署；1PB數(shù)據(jù)級以下，可以使用ES集群部署；1PB數(shù)據(jù)級以上，可以使用ES+Hadoop部署。
第三、查詢速度超級快。
如下方表格所示，ES大數(shù)據(jù)底層架構(gòu)，可實(shí)現(xiàn)10億級日志秒級查詢，滿足網(wǎng)監(jiān)溯源需求，支持與Hadoop一起部署使用。
第四、兼容品類超級全。
RG-BDS-S開放兼容，可收集主流網(wǎng)絡(luò)、安全、服務(wù)器、中間件等廠商日志，內(nèi)置74個廠商，182種設(shè)備的日志標(biāo)準(zhǔn)化腳本。
RG-BDS-S內(nèi)置74個廠商，182種設(shè)備的日志標(biāo)準(zhǔn)化腳本
最后，RG-BDS-S還可以與銳捷RG-SAM（安全計(jì)費(fèi)管理系統(tǒng)）聯(lián)動，結(jié)合其他設(shè)備日志實(shí)現(xiàn)實(shí)名制的日志留存和查詢。
低存儲、高性能、滿足超大量日志場景的合規(guī)需求。這就是RG-BDS-S在海量日志場景下幫助大連理工滿足《網(wǎng)絡(luò)安全法》合規(guī)要求的解決之道！
