本發(fā)明涉及異質(zhì)圖識別領(lǐng)域，具體涉及一種基于語言模型實(shí)現(xiàn)跨異質(zhì)圖譜知識識別方法。

背景技術(shù)：

1、包含各種節(jié)點(diǎn)和邊類型的異構(gòu)圖在現(xiàn)實(shí)世界中無處不在，例如社交網(wǎng)絡(luò)、推薦系統(tǒng)和生物網(wǎng)絡(luò)等。將異構(gòu)圖的結(jié)構(gòu)和屬性信息嵌入低維向量空間，通常以端到端方式進(jìn)行訓(xùn)練，在大量圖任務(wù)中表現(xiàn)出良好的性能。最近，由于標(biāo)簽稀疏和數(shù)據(jù)注釋成本高昂，研究人員轉(zhuǎn)向了一種新的范式，即首先在源異構(gòu)圖上對模型進(jìn)行預(yù)訓(xùn)練，然后在目標(biāo)異構(gòu)圖上對模型進(jìn)行微調(diào)，以減少處理拍攝的場景。然而，這些方法通常假定源異構(gòu)圖和目標(biāo)異構(gòu)圖具有相同的他質(zhì)性，這意味著它們有相同類型的節(jié)點(diǎn)和邊。在更接近真實(shí)世界應(yīng)用的跨異質(zhì)性場景中，這種方法經(jīng)常導(dǎo)致糟糕的結(jié)果。為了實(shí)現(xiàn)跨異構(gòu)圖知識的傳遞，最近的一項(xiàng)研究做了一些初步嘗試?？紤]到異構(gòu)圖關(guān)系的結(jié)構(gòu)特征，他們將異構(gòu)圖關(guān)系分為兩類：關(guān)聯(lián)關(guān)系(ars)具有一中心對另一中心的結(jié)構(gòu)，互動關(guān)系(irs)具有點(diǎn)對點(diǎn)的結(jié)構(gòu)。隨后，關(guān)聯(lián)關(guān)系和互動關(guān)系被視為不同異構(gòu)圖之間共享的一般知識，用于促進(jìn)知識轉(zhuǎn)移。然而，一般知識的選擇和定義嚴(yán)重依賴于人類知識中的預(yù)定義模式，缺乏靈活性，有損通用性。此外，關(guān)聯(lián)和互動是基于節(jié)點(diǎn)度差異提取的，這種方法只考慮了局部結(jié)構(gòu)，忽略異構(gòu)圖中固有的遠(yuǎn)距離語義關(guān)系，從而導(dǎo)致性能不理想。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的上述不足，本發(fā)明提供了一種基于語言模型實(shí)現(xiàn)跨異質(zhì)圖譜知識識別方法。

2、為達(dá)到上述發(fā)明目的，本發(fā)明所采用的技術(shù)方案為：

3、提供一種基于語言模型實(shí)現(xiàn)跨異質(zhì)圖譜知識識別方法，其包括以下步驟：

4、s1：根據(jù)不同源的異質(zhì)圖的特征獲取每個節(jié)點(diǎn)以及節(jié)點(diǎn)之間的元路徑，對節(jié)點(diǎn)與元路徑對應(yīng)的邊進(jìn)行文本化處理，將元路徑連接成文本序列，得到不同源的異質(zhì)圖中節(jié)點(diǎn)的語料庫；

5、s2：提取不同源的異質(zhì)圖的語料庫，作為訓(xùn)練數(shù)據(jù)，對跨異構(gòu)語言模型lm進(jìn)行訓(xùn)練，編碼語料庫中節(jié)點(diǎn)的標(biāo)簽，并利用標(biāo)簽對節(jié)點(diǎn)進(jìn)行分類，得到基于跨異構(gòu)語言模型lm的分類結(jié)果，根據(jù)分類結(jié)果對跨異構(gòu)語言模型lm進(jìn)行優(yōu)化；

6、s3：將異構(gòu)語言模型lm編碼的節(jié)點(diǎn)標(biāo)簽作為rgcn模型的輸入，利用rgcn模型根據(jù)節(jié)點(diǎn)與相鄰節(jié)點(diǎn)之間的關(guān)系提取節(jié)點(diǎn)的標(biāo)簽，并利用標(biāo)簽對節(jié)點(diǎn)進(jìn)行分類，得到基于rgcn模型的節(jié)點(diǎn)分類結(jié)果，生成無標(biāo)簽節(jié)點(diǎn)的軟標(biāo)簽，為節(jié)點(diǎn)生成更新的節(jié)點(diǎn)嵌入，并對rgcn模型進(jìn)行優(yōu)化、以及對跨異構(gòu)語言模型lm進(jìn)行微調(diào)；

7、s4：根據(jù)跨異構(gòu)語言模型lm編碼的節(jié)點(diǎn)標(biāo)簽集合與rgcn模型編碼的節(jié)點(diǎn)標(biāo)簽集合對跨異構(gòu)語言模型lm和rgcn模型的性能進(jìn)行對齊，拉近兩模型之間的性能差距。

8、進(jìn)一步地，步驟s1包括：

9、s11：提取異質(zhì)圖的特征g＝(v,e,a,r,x)，v為異質(zhì)圖中的節(jié)點(diǎn)集，節(jié)點(diǎn)集內(nèi)的節(jié)點(diǎn)滿足節(jié)點(diǎn)類型映射v→a，a為節(jié)點(diǎn)類型集，e為異質(zhì)圖中的邊集，邊集e中的邊滿足邊類型的映射ψ：e→r，r為邊類型集，x為節(jié)點(diǎn)的文本屬性集，且|a|+|r|>2；

10、s12：將異質(zhì)圖中帶有屬性的節(jié)點(diǎn)進(jìn)行文本化，建立基于規(guī)則的文本函數(shù)t(.)，得到關(guān)于節(jié)點(diǎn)的文本函數(shù)t(v)；

11、s13：根據(jù)異質(zhì)圖中每個節(jié)點(diǎn)，初始化每個節(jié)點(diǎn)之間的元路徑集p；

12、

13、其中，v為節(jié)點(diǎn)類型集中的節(jié)點(diǎn)類型，為與節(jié)點(diǎn)類型v相關(guān)的元路徑，n為元路徑的數(shù)量；

14、s14：根據(jù)每個節(jié)點(diǎn)類型對元路徑實(shí)例進(jìn)行采樣將節(jié)點(diǎn)集(v1,v2,…,vl+1)和元路徑實(shí)例中的邊集(e1,e2,…,el)進(jìn)行文本化處理，l為邊的數(shù)量，之后，將元路徑實(shí)例連接成文本序列：

15、[t(v1),t(e1),t(v2),t(e2),…,t(vl),t(el),t(vl+1)]；

16、s15：節(jié)點(diǎn)v的所有元路徑實(shí)例被組裝成語言標(biāo)記序列wv，每個語言標(biāo)記序列之間用[sep]標(biāo)記進(jìn)行分割；節(jié)點(diǎn)v的元路徑均進(jìn)行文本化之后，得到節(jié)點(diǎn)v的語料庫。

17、進(jìn)一步地，步驟s2包括：

18、s21：將不同源的異質(zhì)圖的語料庫作為訓(xùn)練數(shù)據(jù)，提取語料庫中節(jié)點(diǎn)v的語言標(biāo)記序列wv，利用跨異構(gòu)語言模型lm作為編碼器，對跨異構(gòu)語言模型lm進(jìn)行訓(xùn)練，提取節(jié)點(diǎn)v的標(biāo)簽zv；

19、zv＝m-p(lm(mv))；

20、其中，m-p(.)為編碼器的池化函數(shù)，lm(.)為編碼器采用的語言模型函數(shù)，標(biāo)簽b為隱維度，為實(shí)數(shù)集；

21、s22：編碼器提取節(jié)點(diǎn)v的所有標(biāo)簽后，對所有標(biāo)簽進(jìn)行平均得到最終關(guān)于節(jié)點(diǎn)v的標(biāo)簽zv′；

22、s23：利用多層感知器mlp作為解碼器，根據(jù)標(biāo)簽zv′對節(jié)點(diǎn)v進(jìn)行分類，分類函數(shù)為：

23、

24、其中，mlp(.)為解碼器的解碼函數(shù)，softmax(.)為分類函數(shù)，為基于跨異構(gòu)語言模型lm的分類結(jié)果；

25、s24：基于交叉熵對跨異構(gòu)語言模型lm進(jìn)行優(yōu)化，優(yōu)化的目標(biāo)函數(shù)llm為：

26、

27、其中，y為異質(zhì)圖中具有標(biāo)簽的節(jié)點(diǎn)集合，c為節(jié)點(diǎn)的分類類型，c為異質(zhì)圖中所有節(jié)點(diǎn)類型的集合，為節(jié)點(diǎn)v分類到類型c的概率，當(dāng)節(jié)點(diǎn)v分類到c類時(shí)，否則，λlm為跨異構(gòu)語言模型lm的參數(shù)的正則化系數(shù)，θlm為跨異構(gòu)語言模型lm的參數(shù)集合，θ為跨異構(gòu)語言模型lm的參數(shù)，為基于跨異構(gòu)語言模型lm節(jié)點(diǎn)v分類到類型c的特征值。

28、進(jìn)一步地，步驟s3具體包括：

29、s31：將解碼器編碼的節(jié)點(diǎn)v標(biāo)簽zv′作為rgcn模型的輸入，通過rgcn模型基于節(jié)點(diǎn)v相鄰的節(jié)點(diǎn)u之間的關(guān)系提取節(jié)點(diǎn)v的標(biāo)簽；

30、

31、其中，為rgcn模型中第x層的節(jié)點(diǎn)v的標(biāo)簽，d(x)為第x層的隱維度，σ(.)為rgcn模型的激活函數(shù)，為第x層的參數(shù)，f(x)為第x+1層的隱維度，為與節(jié)點(diǎn)v相鄰的節(jié)點(diǎn)集合，r為節(jié)點(diǎn)v與節(jié)點(diǎn)u之間的關(guān)系，r為異質(zhì)圖中節(jié)點(diǎn)之間的關(guān)系集合，為第x層表示的節(jié)點(diǎn)v的標(biāo)簽，為第x層表示的節(jié)點(diǎn)u的標(biāo)簽，為第x+1層輸出的節(jié)點(diǎn)v的標(biāo)簽，為第x+1層的輸入；

32、s32：堆疊x層輸出的節(jié)點(diǎn)v的標(biāo)簽通過解碼器mlp得到標(biāo)簽預(yù)測的分類結(jié)果

33、s33：根據(jù)分類結(jié)果對rgcn模型進(jìn)行優(yōu)化，優(yōu)化的目標(biāo)函數(shù)llm-gnn為：

34、

35、其中，為基于rgcn模型節(jié)點(diǎn)v分類到類型c的特征值，為rgcn模型中節(jié)點(diǎn)v分類到類型c的概率，當(dāng)節(jié)點(diǎn)v分類到c類時(shí)，否則，λgnn為rgcn模型的參數(shù)的正則化系數(shù)，θgnn為rgcn模型的參數(shù)集合，θ′為rgcn模型的參數(shù)；

36、s34：根據(jù)rgcn模型的x層輸出結(jié)果的迭代過程，生成無標(biāo)簽節(jié)點(diǎn)的軟標(biāo)簽，為節(jié)點(diǎn)生成更新的節(jié)點(diǎn)嵌入，利用軟標(biāo)簽對跨異構(gòu)語言模型lm進(jìn)行微調(diào)，將軟標(biāo)簽加入到跨異構(gòu)語言模型lm中，對跨異構(gòu)語言模型lm進(jìn)行微調(diào)的優(yōu)化目標(biāo)函數(shù)lgnn→lm為：

37、

38、其中，β為權(quán)重系數(shù)，用于平衡未標(biāo)記節(jié)點(diǎn)的軟標(biāo)簽與少標(biāo)記節(jié)點(diǎn)的真實(shí)標(biāo)簽之間的損失，s為rgcn模型生成的帶有軟標(biāo)簽的無標(biāo)簽節(jié)點(diǎn)集合，為用于跨異構(gòu)語言模型lm微調(diào)的軟標(biāo)簽分類到類型c的特征值。

39、進(jìn)一步地，步驟s4包括：

40、s41：獲取跨異構(gòu)語言模型lm編碼的節(jié)點(diǎn)標(biāo)簽集合和rgcn模型編碼的節(jié)點(diǎn)標(biāo)簽集合v為節(jié)點(diǎn)數(shù)量，zv∈z且

41、s42：建立跨異構(gòu)語言模型lm和rgcn模型的對比對齊范式，對跨異構(gòu)語言模型lm和rgcn模型的輸出進(jìn)行對齊，拉近兩模型之間的性能差距，對比對齊范式為；

42、

43、其中，norm(.)為范化函數(shù)，分別為節(jié)點(diǎn)標(biāo)簽集合z和節(jié)點(diǎn)標(biāo)簽集合h的范數(shù)矩陣，q為范數(shù)矩陣之間的相似度矩陣，τ為相似度修正系數(shù)，t為。對比節(jié)點(diǎn)標(biāo)簽矩陣，t為對比節(jié)點(diǎn)標(biāo)簽矩陣中的元素。

44、本發(fā)明的有益效果為：首先，本發(fā)明鑒于元路徑既能捕捉局部結(jié)構(gòu)，也能捕捉長程語義關(guān)系，我們構(gòu)建了基于元路徑的語料庫，利用自然語言統(tǒng)一了異構(gòu)圖的特征，并在異構(gòu)圖的語料庫上微調(diào)跨異構(gòu)語言模型lm，使跨異構(gòu)語言模型lm能夠自主提取異構(gòu)圖的信息。其次，為了充分利用異構(gòu)圖中大量未標(biāo)記節(jié)點(diǎn)的豐富信息，我們借助額外rgcn模型的訓(xùn)練通道，利用跨異構(gòu)語言模型lm生成的增強(qiáng)特征來優(yōu)化rgcn模型，然后由rgcn模型生成未標(biāo)記節(jié)點(diǎn)的軟標(biāo)簽來微調(diào)跨異構(gòu)語言模型lm。最后，為了進(jìn)一步縮小跨異構(gòu)語言模型lm和rgcn模型之間的性能差距，我們采用了lm-gnn對比對齊方法。

45、本發(fā)明提出了一種新的異構(gòu)圖信息識別方法，通過將跨異構(gòu)語言模型lm和rgcn模型有機(jī)地結(jié)合在一起，使跨異構(gòu)語言模型lm能夠?qū)悩?gòu)圖的一般知識轉(zhuǎn)移到由rgcn模型生成的具有豐富軟標(biāo)簽的異構(gòu)圖上，進(jìn)一步加強(qiáng)了異構(gòu)圖信息識別與轉(zhuǎn)移過程。