一、產(chǎn)品概述
AI 日志審計(jì)大模型是一款自主研發(fā)、擁有完全自主知識(shí)產(chǎn)權(quán)的專業(yè)日志安全審計(jì)產(chǎn)品。該產(chǎn)品依托先進(jìn)的 AI 技術(shù)架構(gòu),旨在為各類組織提供高效、精準(zhǔn)的日志安全審計(jì)服務(wù)。
系統(tǒng)采用分層架構(gòu)設(shè)計(jì),自下而上依次為采集層、存儲(chǔ)層、分析層和可視化層。采集層運(yùn)用智能數(shù)據(jù)采集算法,實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)環(huán)境中安全事件、用戶行為、系統(tǒng)運(yùn)行、系統(tǒng)狀態(tài)、操作系統(tǒng)以及信息系統(tǒng)操作等各類日志信息的全面采集。存儲(chǔ)層借助高性能的數(shù)據(jù)存儲(chǔ)技術(shù),對(duì)采集到的日志數(shù)據(jù)進(jìn)行統(tǒng)一的過濾、篩選、格式化和歸一化處理,確保數(shù)據(jù)的規(guī)范性和可用性。分析層運(yùn)用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法,結(jié)合統(tǒng)計(jì)分析與關(guān)聯(lián)分析技術(shù),對(duì)日志數(shù)據(jù)進(jìn)行深度挖掘,精準(zhǔn)識(shí)別潛在的安全威脅??梢暬瘜觿t通過直觀、易懂的可視化界面,將審計(jì)結(jié)果以圖表、報(bào)表等形式呈現(xiàn)給用戶,助力用戶快速做出決策。
二、產(chǎn)品功能
1. 日志采集
AI日志審計(jì)系統(tǒng)支持 syslog、snmp、jdbc 等多種數(shù)據(jù)采集協(xié)議,具備高度靈活的解析規(guī)則配置能力?;谧匀徽Z言處理技術(shù),用戶可通過簡(jiǎn)單的文本描述自定義日志解析規(guī)則,無需復(fù)雜的編程操作。同時(shí),產(chǎn)品提供的日志代理軟件,利用智能適配算法,能夠自動(dòng)識(shí)別并采集常見的 Windows、Linux 系統(tǒng)日志數(shù)據(jù),實(shí)現(xiàn)多源日志的高效匯聚。
2.日志存儲(chǔ)
AI日志審計(jì)系統(tǒng)具備強(qiáng)大的數(shù)據(jù)存儲(chǔ)能力,可提供超過 TB 級(jí)的基礎(chǔ)存儲(chǔ)容量,最大支持?jǐn)U展至 PB 級(jí)。采用自研的高性能全文檢索引擎,結(jié)合分布式存儲(chǔ)技術(shù),實(shí)現(xiàn)億級(jí)數(shù)據(jù)的秒級(jí)查詢響應(yīng)。該引擎利用向量索引和語義理解技術(shù),能夠快速定位用戶所需的日志數(shù)據(jù)。產(chǎn)品支持 6 個(gè)月以上的數(shù)據(jù)存儲(chǔ)周期,充分滿足各類組織的合規(guī)性存儲(chǔ)要求。
3. 日志檢索
AI日志審計(jì)系統(tǒng)以 Elasticsearch 為基礎(chǔ)平臺(tái),結(jié)合智能檢索算法,提供多條件組合檢索功能。用戶可通過名稱、時(shí)間、級(jí)別、IP、內(nèi)容、來源等多種條件靈活組合進(jìn)行日志檢索。在億級(jí)數(shù)據(jù)規(guī)模下,檢索時(shí)間不超過 3 秒。檢索過程中,利用語義理解技術(shù)對(duì)用戶輸入的檢索條件進(jìn)行智能解析和優(yōu)化,提高檢索的準(zhǔn)確性和效率。
4. 日志分析
AI日志審計(jì)系統(tǒng)利用 Elasticsearch 插件,結(jié)合 AI 驅(qū)動(dòng)的數(shù)據(jù)分析算法,對(duì)日志數(shù)據(jù)進(jìn)行多維度統(tǒng)計(jì)分析。涵蓋事件分析、事件級(jí)別分析、事件分類分析、事件 IP 訪問關(guān)系分析以及運(yùn)行狀態(tài)分析等多個(gè)方面。通過關(guān)聯(lián)分析引擎,運(yùn)用深度學(xué)習(xí)模型進(jìn)行深度關(guān)聯(lián)分析,包括聚類分析、規(guī)則分析和事件序列化分析,挖掘日志數(shù)據(jù)中的潛在關(guān)聯(lián)和異常模式。
5. 安全報(bào)表
AI日志審計(jì)系統(tǒng)內(nèi)置豐富的安全報(bào)表模板,支持 html、pdf 格式報(bào)表生成。借助 AI 生成內(nèi)容技術(shù),報(bào)表能夠自動(dòng)整合關(guān)鍵審計(jì)信息,滿足用戶的審計(jì)合規(guī)需求。產(chǎn)品支持一鍵郵件外發(fā)報(bào)表功能,并可通過定時(shí)任務(wù)設(shè)置,實(shí)現(xiàn)報(bào)表的自動(dòng)生成和發(fā)送。
6. 工單系統(tǒng)
AI日志審計(jì)系統(tǒng)內(nèi)置智能工單子系統(tǒng),實(shí)現(xiàn)安全運(yùn)維工作的流程化管理。用戶可通過工單系統(tǒng)創(chuàng)建、處理、跟蹤和完結(jié)各類安全運(yùn)維任務(wù),包括待處理工單、已處理工單、已完結(jié)工單、創(chuàng)建的工單、未完結(jié)工單等。工單系統(tǒng)利用工作流自動(dòng)化技術(shù),優(yōu)化運(yùn)維流程,提高工作效率。
7. 異常監(jiān)控及告警
AI日志審計(jì)系統(tǒng)內(nèi)置異常監(jiān)控及告警系統(tǒng),通過實(shí)時(shí)分析和關(guān)聯(lián)分析模型,對(duì)日志數(shù)據(jù)進(jìn)行持續(xù)監(jiān)測(cè)。一旦發(fā)現(xiàn)異常事件,系統(tǒng)將迅速觸發(fā)多種預(yù)警方式,包括 WEB 彈窗、郵件、短信、syslog 等,確保用戶能夠及時(shí)知曉并處理潛在的安全威脅。
8. 系統(tǒng)管理
AI日志審計(jì)系統(tǒng)提供全面的系統(tǒng)管理功能,包括用戶管理、安全性設(shè)置和系統(tǒng)運(yùn)行狀態(tài)查看。用戶管理模塊運(yùn)用身份認(rèn)證和訪問控制技術(shù),為不同用戶設(shè)置精細(xì)化的權(quán)限,確保用戶在系統(tǒng)中的操作符合其角色和職責(zé)。安全性設(shè)置涵蓋 IP 訪問限制、密碼策略、登錄鎖定等功能,保障系統(tǒng)的安全性。系統(tǒng)運(yùn)行狀態(tài)模塊實(shí)時(shí)展示系統(tǒng)的運(yùn)行狀況和管理員操作記錄,便于系統(tǒng)運(yùn)維和管理。
三、產(chǎn)品價(jià)值
1. 日志集中存儲(chǔ)及管理
AI日志審計(jì)產(chǎn)品將大數(shù)據(jù)技術(shù)與 AI 技術(shù)深度融合,在本地構(gòu)建高性能的大數(shù)據(jù)分析平臺(tái)。用戶可將網(wǎng)絡(luò)環(huán)境下的全量網(wǎng)絡(luò)、應(yīng)用、安全日志等信息集中存儲(chǔ)到本地平臺(tái)進(jìn)行統(tǒng)一管理。提供超過 TB 級(jí)最大 PB 的數(shù)據(jù)存儲(chǔ)能力,支持超過 6 個(gè)月的數(shù)據(jù)存儲(chǔ)周期,滿足用戶長(zhǎng)期的數(shù)據(jù)存儲(chǔ)和管理需求。
2. 快速日志檢索
AI日志審計(jì)系統(tǒng)借助高性能的檢索引擎和智能檢索算法,產(chǎn)品能夠在海量日志數(shù)據(jù)中實(shí)現(xiàn)快速檢索。當(dāng)數(shù)據(jù)量達(dá)到億級(jí)規(guī)模時(shí),檢索時(shí)間不超過 3 秒,為用戶提供高效的數(shù)據(jù)查詢服務(wù),便于用戶快速定位和分析關(guān)鍵日志信息。
3. 異常分析及告警
AI日志審計(jì)通過統(tǒng)計(jì)分析與關(guān)聯(lián)分析相結(jié)合的方式,利用深度學(xué)習(xí)模型對(duì)所有日志數(shù)據(jù)進(jìn)行深度挖掘。采用實(shí)時(shí)分析與歷史分析雙軌機(jī)制,精準(zhǔn)識(shí)別可疑攻擊、違規(guī)行為和安全風(fēng)險(xiǎn)。一旦發(fā)現(xiàn)異常,及時(shí)向用戶發(fā)出告警,幫助用戶快速響應(yīng)和處理安全事件。
4. 安全運(yùn)維工作落地
AI日志審計(jì)產(chǎn)品通過工單系統(tǒng)將安全運(yùn)維工作流程化,實(shí)現(xiàn)對(duì)安全事件的全生命周期管理,包括監(jiān)控、分析、處置和報(bào)告等環(huán)節(jié)。幫助企業(yè)建立完善的安全管理閉環(huán),提高安全運(yùn)維工作的效率和質(zhì)量,確保企業(yè)信息系統(tǒng)的安全穩(wěn)定運(yùn)行。
四、關(guān)鍵技術(shù)
1. 多源異構(gòu)日志采集
AI日志審計(jì)系統(tǒng)基于 Flume 思想進(jìn)行創(chuàng)新設(shè)計(jì),構(gòu)建靈活的解析規(guī)則模式。運(yùn)用自然語言處理和機(jī)器學(xué)習(xí)技術(shù),實(shí)現(xiàn)對(duì)不同數(shù)據(jù)源、不同格式日志的自動(dòng)識(shí)別和集中采集。采集模塊的核心 agent 支持單級(jí)、多級(jí)部署方式,具備扇入、扇出功能,可實(shí)現(xiàn)高效的數(shù)據(jù)采集和分發(fā),無需二次開發(fā),降低用戶使用門檻。
2. 基于搜索引擎技術(shù)的檢索與存儲(chǔ)
AI日志審計(jì)系統(tǒng)以 ElasticSearch 搜索引擎為基礎(chǔ),進(jìn)行深度定制化開發(fā)。優(yōu)化搜索引擎的索引算法和查詢性能,引入向量檢索和語義理解技術(shù),實(shí)現(xiàn)對(duì)日志數(shù)據(jù)的快速檢索和精準(zhǔn)分析。結(jié)合分布式存儲(chǔ)技術(shù),確保數(shù)據(jù)的高可用性和擴(kuò)展性。
3. 統(tǒng)計(jì)分析與關(guān)聯(lián)分析相結(jié)合
AI日志審計(jì)系統(tǒng)融合統(tǒng)計(jì)分析模型和關(guān)聯(lián)分析模型,通過對(duì)日志數(shù)據(jù)的多維度統(tǒng)計(jì)和深度關(guān)聯(lián)挖掘,精準(zhǔn)定位異常事件。利用機(jī)器學(xué)習(xí)算法對(duì)統(tǒng)計(jì)和關(guān)聯(lián)分析結(jié)果進(jìn)行智能分析和預(yù)測(cè),提高異常檢測(cè)的準(zhǔn)確性和及時(shí)性。
4. 實(shí)時(shí)分析與歷史分析相結(jié)合
AI日志審計(jì)系統(tǒng)支持實(shí)時(shí)分析和歷史分析兩種模式,通過建立實(shí)時(shí)數(shù)據(jù)處理流和歷史數(shù)據(jù)倉庫,對(duì)日志數(shù)據(jù)進(jìn)行全方位監(jiān)測(cè)和分析。實(shí)時(shí)分析用于及時(shí)發(fā)現(xiàn)當(dāng)前的安全威脅,歷史分析則用于挖掘長(zhǎng)期的安全趨勢(shì)和潛在風(fēng)險(xiǎn),兩者結(jié)合,實(shí)現(xiàn)對(duì)安全問題的全面把控。