本發(fā)明涉及電力數(shù)據(jù)處理，尤其涉及一種基于注意力機(jī)制多特征融合的電力日志異常檢測方法。

背景技術(shù)：

1、電力行業(yè)管理安全可靠的電力信息，支撐國家經(jīng)濟(jì)和居民生活。然而，隨著信息網(wǎng)絡(luò)系統(tǒng)規(guī)模擴(kuò)大，網(wǎng)絡(luò)管理員的工作量和復(fù)雜性增加，現(xiàn)有管理員數(shù)量已無法滿足需求。分析日志以監(jiān)控系統(tǒng)狀態(tài)并警告異常情況至關(guān)重要。電力信息系統(tǒng)監(jiān)測電網(wǎng)各平臺狀態(tài)，保證其穩(wěn)定運(yùn)行，設(shè)計高效的異常檢測方案有助于快速定位故障，提高運(yùn)維效率，異常檢測是確保網(wǎng)絡(luò)和信息系統(tǒng)安全的關(guān)鍵技術(shù)之一。日志中包含大量信息，但并非所有信息都對異常檢測有用，直接使用所有日志信息可能導(dǎo)致數(shù)據(jù)維度過多。

2、隨著自然語言處理研究深入，一些研究者開始探索其在日志文本語義信息提取和異常檢測中的應(yīng)用，現(xiàn)有方法處理日志文本時準(zhǔn)確率較低，日志挖掘已成為新興的檢測方法，是建立安全可信的重要任務(wù)。傳統(tǒng)的日志分析依靠手動檢查或預(yù)定義異常規(guī)則，當(dāng)日志量有限且異常類型已知時，這些方法有效且靈活，但對于當(dāng)前電力信息系統(tǒng)產(chǎn)生的大規(guī)模日志，人工檢測和提前獲取所有可能異常非常困難?？紤]到日志隨時間變化，現(xiàn)有方法難以充分利用日志語義特征，當(dāng)系統(tǒng)更新引入新類型日志模板時，現(xiàn)有模型難以準(zhǔn)確檢測新類型日志模板，因此亟需提供一種方案解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于注意力機(jī)制多特征融合的電力日志異常檢測方法，提升了異常檢測的準(zhǔn)確性和效率。

2、本發(fā)明提供的一種基于注意力機(jī)制多特征融合的電力日志異常檢測方法采用如下的技術(shù)方案：

3、收集電力系統(tǒng)日志數(shù)據(jù)并進(jìn)行預(yù)處理獲得原始日志數(shù)據(jù)，基于drain對所述原始日志數(shù)據(jù)進(jìn)行日志解析獲得結(jié)構(gòu)化日志序列，基于albert模型將所述結(jié)構(gòu)化日志序列轉(zhuǎn)化為初始向量集合；

4、將所述初始向量集合輸入到textcnn模型，基于初始向量的維度及長度確定卷積核的寬度及大小，基于卷積核的大小選擇池化策略，基于卷積運(yùn)算與relu激活函數(shù)提取初始向量的特征，并在反向傳播中基于dropout函數(shù)將神經(jīng)元激活值根據(jù)給定概率隨機(jī)丟失獲得輸出向量，基于池化策略篩選輸出向量獲得特征向量；

5、基于特征注意力機(jī)制自適應(yīng)地調(diào)整特征向量的權(quán)重獲得加權(quán)后的中間特征，基于bigru網(wǎng)絡(luò)利用中間特征進(jìn)行時間序列建模，捕獲日志數(shù)據(jù)的全局特征，并基于時間注意力機(jī)制根據(jù)全局特征對不同時間步的重要性進(jìn)行加權(quán)融合，計算獲得日志數(shù)據(jù)的特征表示，基于全連接層和softmax激活函數(shù)計算特征表示獲得日志異常概率。

6、可選的，基于drain對所述原始日志數(shù)據(jù)進(jìn)行日志解析獲得結(jié)構(gòu)化日志序列的過程中，包括：

7、將原始日志數(shù)據(jù)輸入drain解析器，基于drain解析器分析并識別常量關(guān)鍵字和可變參數(shù)，并使用通配符替換可變參數(shù)從而生成日志模板，基于正則表達(dá)式將每個新的日志事件根據(jù)其結(jié)構(gòu)與已有的日志模板進(jìn)行匹配并進(jìn)行映射獲得結(jié)構(gòu)化日志模板集合，基于結(jié)構(gòu)化日志模板集合構(gòu)建結(jié)構(gòu)化日志序列。

8、可選的，基于albert模型將所述結(jié)構(gòu)化日志序列轉(zhuǎn)化為初始向量集合的過程中，包括：

9、基于albert模型接收結(jié)構(gòu)化日志序列文本，對所述日志序列文本進(jìn)行分詞處理，并在序列的首尾分別添加標(biāo)記以確定句子的位置信息，將分詞后的日志文本轉(zhuǎn)化為包含位置信息和上下文信息的向量表示，基于transformer編碼器對所述向量表示的日志文本進(jìn)行特征提取，獲得初始向量集合。

10、可選的，基于transformer編碼器對所述向量表示的日志文本進(jìn)行特征提取的過程中，包括：

11、在transformer的每一層中，采用多頭注意力機(jī)制處理日志文本序列中的每個鍵、值、對組成的輸入向量q、k、v，基于多頭注意力機(jī)制對輸入的q、k、v分別進(jìn)行線性變換，計算注意力權(quán)重并對向量q、k、v進(jìn)行縮放，將多個頭的輸出拼接，并通過線性層進(jìn)行映射；

12、在每個transformer層之后，使用殘差連接和層歸一化技術(shù)。

13、可選的，基于卷積核的大小選擇池化策略的過程中，包括：

14、當(dāng)卷積核的為2時，采用k-maxpooling池化方法，保留得分最高的k個特征；

15、當(dāng)卷積核大小為3時，使用最大池化，突出關(guān)鍵詞并減少噪音干擾；

16、當(dāng)卷積核大小為4時，結(jié)合最大池化和平均池化，拼接兩者特征，利用最大池化突出高分特征，同時利用平均池化保留所有詞的信息。

17、可選的，基于卷積運(yùn)算與relu激活函數(shù)提取初始向量的特征，使用以下公式進(jìn)行：

18、；

19、其中，為卷積后的特征，表示輸入文本中第到第個詞的詞向量拼接而成的向量，c為卷積核的權(quán)重矩陣，b為偏置項，f為激活函數(shù)。

20、可選的，在反向傳播中基于dropout函數(shù)將神經(jīng)元激活值根據(jù)給定概率p隨機(jī)丟失獲得輸出向量，使用以下公式進(jìn)行：

21、；

22、其中，為輸出向量，為權(quán)重矩陣，為逐個元素乘法運(yùn)算符，為伯努利函數(shù)根據(jù)概率p隨機(jī)生成的0或1，為輸入dropout函數(shù)的特征，b為偏置項。

23、可選的，基于特征注意力機(jī)制自適應(yīng)地調(diào)整特征向量的權(quán)重獲得加權(quán)后的中間特征，包括：

24、基于特征注意力機(jī)制自適應(yīng)地調(diào)整輸入特征的權(quán)重，自動識別輸入的特征與電力信息日志之間的相關(guān)性，根據(jù)特征與待預(yù)測負(fù)荷的相關(guān)性進(jìn)行優(yōu)化，增強(qiáng)相關(guān)特征的影響，同時減弱無關(guān)特征的影響，獲得加權(quán)后的中間特征；特征注意力機(jī)制的參數(shù)計算公式如下：

25、；

26、；

27、其中，是時間時不同特征的權(quán)重，是特征注意力結(jié)構(gòu)中多層感知器學(xué)習(xí)的權(quán)重系數(shù)，為時間t的上一刻輸出的特征向量，為時間步時的輸入特征，是偏置值，表示特征注意力機(jī)制在不同時間分配的權(quán)重，表示對取指數(shù)，為對所有時間步分配的權(quán)重求和。

28、可選的，基于bigru網(wǎng)絡(luò)利用中間特征進(jìn)行時間序列建模的過程中，包括：

29、將中間特征輸入到bigru網(wǎng)絡(luò)，所述bigru網(wǎng)絡(luò)使用兩個gru層解決傳播方向問題，前向gru從開始到結(jié)束處理輸入序列，后向gru從序列的結(jié)束位置到起始位置處理輸入序列，每個gru層基于當(dāng)前輸入和前一時間步的隱藏狀態(tài)維護(hù)并更新自己的隱藏狀態(tài)。

30、可選的，基于時間注意力機(jī)制根據(jù)全局特征對不同時間步的重要性進(jìn)行加權(quán)融合的過程中，計算公式如下：

31、；

32、；

33、；

34、其中，表示時間注意力的權(quán)重，和是時間注意力的多層感知器的權(quán)重，是偏差值，表示全局特征，為每個特征的注意力權(quán)重，為對取指數(shù)，為對所有時間步的時間注意力分?jǐn)?shù)求和，為所有加權(quán)的隱狀態(tài)之和，為輸入序列的時間步總數(shù)，隱狀態(tài)為時間步的隱藏表示，為對應(yīng)的注意力權(quán)重，用于衡量第個時間步對第個輸出的貢獻(xiàn)。

35、本發(fā)明提供的一種基于注意力機(jī)制多特征融合的電力日志異常檢測方法，有益效果在于：

36、1、本發(fā)明使用特征注意力機(jī)制作為編碼器，時間注意機(jī)制作為解碼器，能夠自動提取關(guān)鍵特征和歷史時間信息，以提高異常檢測的準(zhǔn)確性和效率。

37、2、本發(fā)明通過結(jié)合textcnn模型和bigru網(wǎng)絡(luò)的雙注意力機(jī)制模型，可以有效地從日志文件中識別出異常模式，為系統(tǒng)運(yùn)維和安全監(jiān)控提供支持；

38、3、本發(fā)明能夠?qū)⒛Ｐ图傻饺罩竟芾硐到y(tǒng)中，自動分析和標(biāo)記可能的異常日志，從而減少人工審查的工作量，并提高問題響應(yīng)的速度。