本申請(qǐng)涉及日志異常檢測(cè)，尤其是涉及一種基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法及相關(guān)裝置。

背景技術(shù)：

1、為了確保esn系統(tǒng)的穩(wěn)定性和可靠性，采用日志異常檢測(cè)技術(shù)對(duì)系統(tǒng)日志進(jìn)行監(jiān)控，可快速識(shí)別并預(yù)警潛在的問(wèn)題，使運(yùn)維團(tuán)隊(duì)能夠及時(shí)響應(yīng)，有效減少服務(wù)中斷風(fēng)險(xiǎn)。目前，主流的日志異常檢測(cè)基本流程包括三個(gè)階段：使用日志解析器提取日志模板，將半結(jié)構(gòu)化的日志數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化的日志數(shù)據(jù)；然后，將連續(xù)的日志數(shù)據(jù)切分為日志序列，構(gòu)造日志序列的特征表示；最后，使用提取的特征進(jìn)行異常檢測(cè)。日志異常檢測(cè)方法根據(jù)所采用的技術(shù)可以分成：基于機(jī)器學(xué)習(xí)的日志異常檢測(cè)方法，基于深度學(xué)習(xí)的日志異常檢測(cè)方法，以及基于預(yù)訓(xùn)練模型的日志異常檢測(cè)方法。

2、基于機(jī)器學(xué)習(xí)的方法面臨著特征提取難度大、需要復(fù)雜的預(yù)處理步驟以及對(duì)特征選擇高度敏感的問(wèn)題。此外，這些方法在捕捉日志事件的時(shí)間序列特性方面存在局限性。相比之下，基于深度學(xué)習(xí)的方法能夠更有效地捕捉長(zhǎng)距離依賴關(guān)系和語(yǔ)義信息，但在模型復(fù)雜度、訓(xùn)練與推理時(shí)間上面臨挑戰(zhàn)，且在小規(guī)模數(shù)據(jù)集上易發(fā)生過(guò)擬合現(xiàn)象。同時(shí)，這類模型往往缺乏透明性和可解釋性，這使得在需要深入分析異常根源的情況下難以滿足需求。當(dāng)預(yù)訓(xùn)練模型被應(yīng)用于日志異常檢測(cè)場(chǎng)景時(shí)，展現(xiàn)出了強(qiáng)大的檢測(cè)的準(zhǔn)確性和泛化能力，但微調(diào)這些模型以適應(yīng)特定任務(wù)仍然需要大量的計(jì)算資源和時(shí)間投入，且在某些特定任務(wù)中可能會(huì)遭遇性能瓶頸。盡管參數(shù)高效的微調(diào)方法可以在一定程度上減少微調(diào)的成本，但這種方法可能會(huì)犧牲模型的性能，進(jìn)而影響異常檢測(cè)的準(zhǔn)確性。

3、因此，如何實(shí)現(xiàn)在日志異常檢測(cè)過(guò)程中降低模型訓(xùn)練成本，提升模型可解釋性成為了一種亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了實(shí)現(xiàn)在日志異常檢測(cè)過(guò)程中降低模型訓(xùn)練成本，提升模型可解釋性，本申請(qǐng)?zhí)峁┮环N基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法及相關(guān)裝置。

2、第一方面，本申請(qǐng)?zhí)峁┑囊环N基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法采用如下的技術(shù)方案：

3、一種基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法，包括：

4、獲取原始日志數(shù)據(jù)并通過(guò)日志預(yù)處理的方式將所述原始日志數(shù)據(jù)轉(zhuǎn)換為目標(biāo)日志序列；

5、獲取預(yù)設(shè)基座模型，并通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型；

6、將所述目標(biāo)日志序列輸入至所述目標(biāo)模型中以確定特征向量；

7、通過(guò)預(yù)設(shè)線性分類器根據(jù)所述特征向量進(jìn)行日志異常檢測(cè)；

8、其中所述預(yù)設(shè)基座模型為roberta-base模型。

9、可選的，所述獲取原始日志數(shù)據(jù)并通過(guò)日志預(yù)處理的方式將所述原始日志數(shù)據(jù)轉(zhuǎn)換為目標(biāo)日志序列的步驟，包括：

10、獲取原始日志數(shù)據(jù)；

11、使用日志解析器drain將所述原始日志數(shù)據(jù)解析為日志模板集合，并在所述日志模板集合中為每一日志模板分配一個(gè)事件id；

12、根據(jù)所述日志模板集合進(jìn)行轉(zhuǎn)化以生成結(jié)構(gòu)化的日志集合；

13、通過(guò)滑動(dòng)窗口或會(huì)話的方式在所述日志集合中進(jìn)行切割以生成目標(biāo)日志序列。

14、可選的，所述預(yù)設(shè)基座模型，包括：roberta-base模型。

15、可選的，所述通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型的步驟，包括：

16、利用學(xué)習(xí)到的線性投影對(duì)模型在子空間內(nèi)的表示進(jìn)行調(diào)整，

17、其中{r,w,b}為學(xué)習(xí)參數(shù)，而模型原始參數(shù)保持不變，h是應(yīng)用干預(yù)層的隱藏表示，是具有正交行的低秩矩陣，和分別為線性投影矩陣和偏置向量；

18、將低秩線性子空間表征微調(diào)技術(shù)應(yīng)用于基座模型roberta-base第12層注意力層的輸出表示的前2位及后2位，以生成帶有l(wèi)oreft干預(yù)的目標(biāo)模型。

19、可選的，所述將所述目標(biāo)日志序列輸入至所述目標(biāo)模型中以確定特征向量的步驟，包括：

20、將所述目標(biāo)日志序列x輸入至所述目標(biāo)模型中，以使數(shù)據(jù)經(jīng)過(guò)embedding和l層transformer?enconder的處理后，獲得日志序列中所有日志事件的特征向量t；

21、t＝trml(x')

22、其中x'為embedding后的x。

23、可選的，所述獲取預(yù)設(shè)基座模型，并通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型的步驟之后，還包括：

24、引入類別權(quán)重機(jī)制，使用帶有類權(quán)重的交叉熵?fù)p失函數(shù)訓(xùn)練所述目標(biāo)模型；

25、第i類的類別權(quán)重wi的計(jì)算為：

26、

27、其中，n是數(shù)據(jù)集中的總樣本數(shù)，k是類別的總數(shù)，ni是第i類的樣本數(shù)；

28、帶有類權(quán)重的交叉熵?fù)p失函數(shù)為：

29、

30、其中k是類別的總數(shù)，wi是第i類的權(quán)重，yi是第i類的真實(shí)標(biāo)簽，pi是模型預(yù)測(cè)的第i類的概率。

31、可選的，所述通過(guò)預(yù)設(shè)線性分類器根據(jù)所述特征向量進(jìn)行日志異常檢測(cè)的步驟之前，還包括：

32、構(gòu)造預(yù)設(shè)線性分類器，使用雙曲正切函數(shù)來(lái)近似標(biāo)準(zhǔn)的gelu作為所述預(yù)設(shè)線性分類器的激活函數(shù)；

33、

34、其中，x為輸入的向量。

35、第二方面，本申請(qǐng)?zhí)峁┮环N基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)系統(tǒng)，所述基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)系統(tǒng)包括：

36、數(shù)據(jù)獲取模塊，用于獲取原始日志數(shù)據(jù)并通過(guò)日志預(yù)處理的方式將所述原始日志數(shù)據(jù)轉(zhuǎn)換為目標(biāo)日志序列；

37、模型生成模塊，用于獲取預(yù)設(shè)基座模型，并通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型；

38、特征向量模塊，用于將所述目標(biāo)日志序列輸入至所述目標(biāo)模型中以確定特征向量；

39、異常檢測(cè)模塊，用于通過(guò)預(yù)設(shè)線性分類器根據(jù)所述特征向量進(jìn)行日志異常檢測(cè)。

40、第三方面，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器，所述處理器在運(yùn)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)指令時(shí)，執(zhí)行如上文所述的方法。

41、第四方面，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如上文所述的方法。

42、綜上描述，本申請(qǐng)包括以下有益技術(shù)效果：

43、本申請(qǐng)獲取原始日志數(shù)據(jù)并通過(guò)日志預(yù)處理的方式將所述原始日志數(shù)據(jù)轉(zhuǎn)換為目標(biāo)日志序列；獲取預(yù)設(shè)基座模型，并通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型；將所述目標(biāo)日志序列輸入至所述目標(biāo)模型中以確定特征向量；通過(guò)預(yù)設(shè)線性分類器根據(jù)所述特征向量進(jìn)行日志異常檢測(cè)。通過(guò)干預(yù)已知編碼特定語(yǔ)義信息的表示，低秩線性子空間表征微調(diào)方法能夠深入揭示模型處理和理解數(shù)據(jù)的方式，實(shí)現(xiàn)降低模型訓(xùn)練成本，提升模型可解釋性的技術(shù)效果。

技術(shù)特征：

1.一種基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法，其特征在于，所述獲取原始日志數(shù)據(jù)并通過(guò)日志預(yù)處理的方式將所述原始日志數(shù)據(jù)轉(zhuǎn)換為目標(biāo)日志序列的步驟，包括：

3.根據(jù)權(quán)利要求1所述的基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法，其特征在于，所述將所述目標(biāo)日志序列輸入至所述目標(biāo)模型中以確定特征向量的步驟，包括：

4.根據(jù)權(quán)利要求1所述的基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法，其特征在于，所述獲取預(yù)設(shè)基座模型，并通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型的步驟之后，還包括：

5.根據(jù)權(quán)利要求1所述的基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)方法，其特征在于，所述通過(guò)預(yù)設(shè)線性分類器根據(jù)所述特征向量進(jìn)行日志異常檢測(cè)的步驟之前，還包括：

6.一種基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)系統(tǒng)，其特征在于，執(zhí)行如權(quán)利要求1所述的方法，所述基于低秩線性子空間表征微調(diào)的esn日志異常檢測(cè)系統(tǒng)包括：

7.一種計(jì)算機(jī)設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器，所述處理器在運(yùn)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)指令時(shí)，執(zhí)行如權(quán)利要求1至5中任一項(xiàng)所述的方法。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，包括指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1至5中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明提供了一種基于低秩線性子空間表征微調(diào)的ESN日志異常檢測(cè)方法及相關(guān)裝置，涉及日志異常檢測(cè)技術(shù)領(lǐng)域。獲取原始日志數(shù)據(jù)并通過(guò)日志預(yù)處理的方式將所述原始日志數(shù)據(jù)轉(zhuǎn)換為目標(biāo)日志序列；獲取預(yù)設(shè)基座模型，并通過(guò)低秩線性子空間表征微調(diào)技術(shù)對(duì)所述預(yù)設(shè)基座模型進(jìn)行調(diào)整以生成目標(biāo)模型；將所述目標(biāo)日志序列輸入至所述目標(biāo)模型中以確定特征向量；通過(guò)預(yù)設(shè)線性分類器根據(jù)所述特征向量進(jìn)行日志異常檢測(cè)。通過(guò)干預(yù)已知編碼特定語(yǔ)義信息的表示，低秩線性子空間表征微調(diào)方法能夠深入揭示模型處理和理解數(shù)據(jù)的方式，實(shí)現(xiàn)降低模型訓(xùn)練成本，提升模型可解釋性的技術(shù)效果。

技術(shù)研發(fā)人員：陳榮元,賀煜東,歐陽(yáng)予婧,蔡燕,何歐騰,陳浪
受保護(hù)的技術(shù)使用者：湖南工商大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8