本發(fā)明涉及通信技術(shù)，特別是與語義通信相關(guān)的技術(shù)。

背景技術(shù)：

1、隨著科技的迅猛發(fā)展，移動設(shè)備和智能應(yīng)用變得日益普及，極大地豐富了人們的日常生活和工作效率。這些設(shè)備和應(yīng)用的廣泛使用導(dǎo)致了無線數(shù)據(jù)流量的爆炸性增長。據(jù)國際電信聯(lián)盟(itu)的數(shù)據(jù)顯示，全球移動數(shù)據(jù)流量在過去幾年中以指數(shù)級速度增長，預(yù)計未來幾年這一趨勢仍將持續(xù)。這種快速的數(shù)據(jù)流量增長對現(xiàn)代通信系統(tǒng)構(gòu)成了前所未有的挑戰(zhàn)。

2、傳統(tǒng)的通信系統(tǒng)主要依賴于比特級的數(shù)據(jù)傳輸，即在發(fā)射端將數(shù)據(jù)轉(zhuǎn)換為比特流，然后在接收端準(zhǔn)確恢復(fù)這些比特以重建原始數(shù)據(jù)。這一過程要求通信系統(tǒng)具備高質(zhì)量的信道條件和較高的信噪比(snr)，以確保數(shù)據(jù)傳輸?shù)臏?zhǔn)確性和可靠性。然而，隨著數(shù)據(jù)量的增加，傳統(tǒng)通信系統(tǒng)的這些要求變得越來越難以滿足。此外，傳統(tǒng)通信系統(tǒng)在處理復(fù)雜環(huán)境下的數(shù)據(jù)傳輸時，往往難以保持高效和穩(wěn)定。

3、為了解決這些問題，需要一種新的通信范式，即從傳統(tǒng)的比特精確性轉(zhuǎn)變?yōu)檎Z義保真度。這種范式強調(diào)直接傳輸和檢索內(nèi)容的語義，而不是單純的比特流。語義通信能夠更好地處理復(fù)雜信道條件下的數(shù)據(jù)傳輸，因為它關(guān)注的是信息的語義而不是具體的比特模式。這種轉(zhuǎn)變要求通信系統(tǒng)不僅要能夠處理數(shù)據(jù)的準(zhǔn)確傳輸，還要能夠理解和利用數(shù)據(jù)的語義內(nèi)容，從而在各種環(huán)境下實現(xiàn)更高效、更可靠的通信。

4、然而，現(xiàn)有的語義通信系統(tǒng)首先，缺乏視覺語義理解，傳統(tǒng)系統(tǒng)主要關(guān)注低級圖像特征，忽略了對象關(guān)系和上下文等高級視覺語義信息，這限制了視覺問答(vqa)和圖像檢索等任務(wù)的性能；其次，依賴靜態(tài)知識庫，大多數(shù)系統(tǒng)使用固定的、特定任務(wù)的知識庫，限制了其在多樣化任務(wù)和動態(tài)環(huán)境中的適應(yīng)性和泛化能力；最后，編碼效率低下和冗余，現(xiàn)有系統(tǒng)經(jīng)常傳輸冗余的語義信息，導(dǎo)致帶寬和資源的利用效率低下。

技術(shù)實現(xiàn)思路

1、為了解決這些問題，本發(fā)明提出一種基于場景理解的開放語義通信編碼方法，可以顯著提升語義通信系統(tǒng)的靈活性、適應(yīng)性和整體性能，特別是在復(fù)雜的多模態(tài)應(yīng)用場景中。

2、為了實現(xiàn)上述發(fā)明目的，本發(fā)明提出了一種基于場景理解的開放語義通信構(gòu)建方法，包括以下步驟：

3、1)結(jié)構(gòu)化語義編碼器從輸入源圖像中提取并封裝結(jié)構(gòu)化語義特征，用于有效捕捉圖像中的潛在結(jié)構(gòu)化語義信息a；其中，a∈rl，記為<主體s,謂詞p，客體o>，計算公式如下：

4、α＝s(i；ζ)

5、rl表示提取的結(jié)構(gòu)化語義特征，長度為l，i∈rh×w表示高度為h、寬度為w的輸入圖像，ζ表示網(wǎng)絡(luò)的可訓(xùn)練參數(shù)。

6、2)通過線性變換將主體s、謂詞p、客體o映射到共享的語義空間中，其中，線性變換公式如下：

7、s＝wsts+vs

8、o＝woto+vo

9、p＝wptp+up

10、ws、wo、和wp分別是主體s、謂詞p、客體o的原型參數(shù)；ts、tp、和to分別是主體s、謂詞p、客體o的類別特定原型；vs，vo，vp是實例特定的組件，用于捕捉每個類別內(nèi)的變異性。

11、3)定義匹配函數(shù)測量主體和客體原型之間的相似度，用于對齊共享語義空間中主體s-客體o對及其對應(yīng)的謂詞p，其中，匹配函數(shù)f(s,o)定義如下：

12、f(s,o)＝relu(s+o)-(s-o)2

13、relu(s+o)用于保留主體和客體向量相加后正的部分，忽略負(fù)的部分，捕捉主體和客體之間的正向關(guān)聯(lián)；(s-o)2用于使得主體和客體之間的差異更加明顯。

14、4)使用原型引導(dǎo)學(xué)習(xí)的方法，利用損失函數(shù)le_sim最小化預(yù)測關(guān)系與真實語義表示之間的差異,優(yōu)化主體-客體對與謂詞的匹配；其中，損失函數(shù)le_sim公式如下：

15、

16、τ是一個可學(xué)習(xí)的溫度超參數(shù),r表示要匹配的關(guān)系，ct表示正確的目標(biāo)原型，cj表示所有可能的原型，n表示所有可能原型的數(shù)量。

17、5)使用原型正則化損失函數(shù)lr_sim，平衡謂詞之間的語義差異，其中，原型正則化損失函數(shù)lr_sim公式如下：

18、

19、|s|2，1是s矩陣的范數(shù)，用于衡量第i個謂詞原型與第j個謂詞原型之間的相似度，n是謂詞原型的數(shù)量。

20、6)通過超參數(shù)λ，平衡損失函數(shù)le_sim和原型正則化損失函數(shù)lr_sim之間的權(quán)重，應(yīng)對謂詞之間語義重疊，平衡公式如下：

21、l＝le_sim+λlr_sim

22、7)使用wordpiece算法對場景圖中的文本信息進行子詞分割，生成更小、更易管理的令牌token，其中，令牌token的生成公式如下:

23、

24、v是詞匯表，w是句子中的每個詞，詞匯表中匹配的子字符串的長度,最長的子字符串為w′，token代表最小的詞元。

25、8)將提取的令牌token轉(zhuǎn)換為二進制字符串，生成的正交幅度調(diào)制qam符號d。

26、9)模擬兩種挑戰(zhàn)性的信道，用于傳輸正交幅度調(diào)制qam符號d。

27、10)定義兩種接收模式，用于接收傳輸?shù)恼环日{(diào)制qam符號d；其中，接收模式包括信道狀態(tài)信息(csi)可用模式和信道狀態(tài)信息(csi)不可用模式。

28、11)對接收到的正交幅度調(diào)制qam符號d進行初始信息的重建，得到j(luò)son格式的數(shù)據(jù)。

29、12)將json文件包含數(shù)量、位置和關(guān)系信息嵌入到高維向量空間中，生成密集的向量表示。

30、進一步的，上述步驟8)中正交幅度調(diào)制qam符號d的生成方法包括如下步驟：

31、8.1)從預(yù)訓(xùn)練的bert模型中提取token的標(biāo)記id，id表示token在預(yù)定義詞匯表中的特定位置；

32、8.2)將id轉(zhuǎn)換為m位二進制字符串，其中，m是可調(diào)節(jié)的字符串長度；

33、8.3)將二進制字符串分割成m/n個子字符串，每個子字符串代表一個qam符號d，公式如下：

34、

35、其中，bi是二進制字符串中的位，是對應(yīng)qam符號的十進制值，n為可調(diào)節(jié)的分割次數(shù)。

36、進一步的，上述步驟9)中，加性白高斯噪聲(awgn)信道的模擬方法為：利用qam符號d作為輸入信號，為輸入信號的實部和虛部分別生成高斯噪聲，將該高斯噪聲加到輸入信號上，設(shè)置信道矩陣i為單位矩陣，表示無失真信道；瑞利rayleigh衰落信道模擬方法為：生成一個復(fù)數(shù)信道矩陣h并將其應(yīng)用于輸入信號以形成輸出信號y，計算信道矩陣h的共軛轉(zhuǎn)置hh和外積hhh。

37、進一步的，上述步驟10)中，所述信道狀態(tài)信息(csi)可用模式定義如下：當(dāng)信道狀態(tài)信息(csi)可用時，使用零強制線性最小均方誤差(zf-lmmse)檢測器來進行信號檢測和解調(diào)，其中，zf-lmmse檢測矩陣w以估計傳輸信號計算公式如下：

38、

39、y為接收到的信號向量，x為發(fā)送的信號向量，h為信道矩陣,hh為信道矩陣h的共軛轉(zhuǎn)置，是噪聲的方差，是發(fā)送信號的方差；i是單位矩陣；

40、所述信道狀態(tài)信息(csi)不可用模式定義如下：

41、當(dāng)信道狀態(tài)信息不可用時,依賴于通過最小化接收到的信號點與星座圖上的預(yù)定義符號點之間的歐幾里得距離來進行符號解調(diào)，接收到信號向量y的概率計算公式如下：

42、

43、y為接收到的信號向量，x為發(fā)送的信號向量，是噪聲的方差。

44、進一步的，上述步驟11)包括如下步驟：

45、11.1)使用標(biāo)記器將將token的標(biāo)記id映射到相應(yīng)的文本標(biāo)記序列，記為x，表示如下：

46、x＝[in1，...，inn]

47、其中[in1，...，inn]是初始信息序列；

48、11.2)利用llm(large?language?model)糾正和豐富初始信息得到豐富后的信息p，用于解決重建的信息可能不完整或包含錯誤的問題，所述p的表示如下：

49、p＝[pin1，...，pinm]

50、其中[pin1，...，pinm]是補充后的信息；

51、11.3)利用llm將豐富后的信息p與結(jié)構(gòu)化數(shù)據(jù)集成，集成公式如下：

52、hl＝σ(wlhl-1+bl)

53、其中，l是隱藏層的數(shù)量，wl,bl分別是第l層的權(quán)重矩陣和偏置向量，h1層的輸入是p，hl表示第l層的輸出；

54、11.4)將信息hl轉(zhuǎn)換為json格式的數(shù)據(jù)，數(shù)據(jù)格式如下：

55、final_information＝[n，l，r]

56、其中，n表示物體的數(shù)量,l表示位置，而r表示物體之間的關(guān)系。

57、本發(fā)明的有益技術(shù)效果如下：

58、1、設(shè)計了一種基于場景理解的開放語義通信編碼方法，使用大型語言模型(llms)與結(jié)構(gòu)化場景圖編碼相結(jié)合，改善了視覺-文本關(guān)系的表示，特別適用于視覺問答(vqa)等任務(wù)。這種方法通過融合文本和視覺信息，提升了系統(tǒng)的理解和響應(yīng)能力。

59、2、設(shè)計了一個動態(tài)開放信道編碼機制，該機制能夠?qū)崟r適應(yīng)信道條件的變化，提高傳輸效率，克服了靜態(tài)知識庫系統(tǒng)的局限。這使得系統(tǒng)在不同的網(wǎng)絡(luò)環(huán)境下都能保持高效的數(shù)據(jù)傳輸。

60、3、采用了選擇性場景圖編碼策略，優(yōu)先編碼相關(guān)對象和關(guān)系，減少了冗余信息的傳輸，提高了語義表示的可解釋性和準(zhǔn)確性。這使得系統(tǒng)能夠提供更加精準(zhǔn)和情境感知的響應(yīng)。