本發(fā)明屬于人工智能，具體涉及一種結(jié)合知識圖譜、大語言模型與視覺想象力機制的多模態(tài)機器翻譯訓(xùn)練方法。
背景技術(shù)：
：：1、大語言模型是基于神經(jīng)網(wǎng)絡(luò)的大規(guī)模、預(yù)訓(xùn)練的統(tǒng)計語言模型。它們通常在大規(guī)模的語料庫上進行預(yù)訓(xùn)練，包含數(shù)百至數(shù)千億個參數(shù)。相比于傳統(tǒng)的語言模型，他們規(guī)模更大，語言理解能力和生成能力都更強，也具有小規(guī)模語言模型所不具備的涌現(xiàn)能力。正因如此，它們也成為了許多自然語言處理方法的基座模型。2、知識圖譜是自然語言處理任務(wù)中的一種知識表征方式，它可以將大量的知識表征為圖結(jié)構(gòu)。知識圖譜由三元組構(gòu)成，三元組的結(jié)構(gòu)為(h,r,t)，其中h,r,t分別代表頭實體、關(guān)系和尾實體。相比于自然語言，三元組結(jié)構(gòu)具有簡潔、高知識密度等特點。此外，也可以通過三元組的嵌入技術(shù)，比對不同三元組之間的距離。3、視覺想象力機制是指這樣一種現(xiàn)象：即在大語言模型的推理過程中，通過圖片生成模型生成與問題相關(guān)的圖片，能夠提升大語言模型的效率與準確率。4、多模態(tài)機器翻譯技術(shù)，是指結(jié)合了圖片、語音等非文字模態(tài)的機器翻譯技術(shù)。5、從自然語言中提取三元組，是一個非常成熟的技術(shù)，依靠常用的自然語言處理工具包即可處理；近期，從圖片中提取三元組的技術(shù)也成為了研究的重點。6、然而，現(xiàn)有的多模態(tài)機器翻譯方法，無法根據(jù)待翻譯句子生成高質(zhì)量的對應(yīng)圖片，從而提升翻譯質(zhì)量。因此，如何通過現(xiàn)有技術(shù)，構(gòu)造出一種能夠根據(jù)待翻譯句子生成高質(zhì)量圖片的模型，是十分有意義的。技術(shù)實現(xiàn)思路1、本發(fā)明要解決的問題是優(yōu)化多模態(tài)機器翻譯方法的圖像生成質(zhì)量，提出一種結(jié)合知識圖譜、大語言模型與視覺想象力機制的多模態(tài)機器翻譯訓(xùn)練方法。2、為實現(xiàn)上述目的，本發(fā)明通過以下技術(shù)方案實現(xiàn)：3、一種結(jié)合知識圖譜、大語言模型與視覺想象力機制的多模態(tài)機器翻譯訓(xùn)練方法，包括如下步驟：4、s1.人工設(shè)置待翻譯句子，構(gòu)建訓(xùn)練集1；5、s2.對步驟s1得到的訓(xùn)練集1，應(yīng)用文字處理庫處理訓(xùn)練集1中的待翻譯句子得到文字三元組，將訓(xùn)練集1中的待翻譯句子輸入圖像生成模型生成圖片后利用圖像三元組提取模型處理得到圖像三元組，然后應(yīng)用兩組三元組的距離性質(zhì)對圖像生成模型進行訓(xùn)練，得到訓(xùn)練好的圖像生成模型；6、s3.將步驟s1得到的訓(xùn)練集1中的待翻譯句子輸入到步驟s2中訓(xùn)練好的圖像生成模型，得到待翻譯句子對應(yīng)生成圖像；7、s4.將步驟s3得到的待翻譯句子對應(yīng)生成圖像進行編碼處理，然后和對應(yīng)的待翻譯句子進行拼接后，構(gòu)建訓(xùn)練集2，利用訓(xùn)練集2對大語言模型進行訓(xùn)練，優(yōu)化大語言模型的多模態(tài)機器翻譯性能。8、進一步的，步驟s2的具體實現(xiàn)方法包括如下步驟：9、s2.1.應(yīng)用文字處理庫處理訓(xùn)練集1中的待翻譯句子x，迭代訓(xùn)練集1中的每個數(shù)據(jù)，根據(jù)語法關(guān)系提取待翻譯語言句子中的動詞、名詞，對待翻譯語言句子進行處理，提取文字三元組集合lsg＝(hl1，rl1，tl1)，(hl2，rl2，tl2)，…，(hln，rln，tln)，其中，hln為文字三元組集合中的第n個頭實體，rln為文字三元組集合中的第n個關(guān)系，tln為文字三元組集合中的第n個尾實體；10、s2.2.將訓(xùn)練集1中的待翻譯句子輸入圖像生成模型生成圖片，所述圖像生成模型為stable?diffusion模型，自動生成待翻譯句子的對應(yīng)圖片i；11、s2.3.將步驟s2.2得到的圖片，輸入到圖像三元組提取模型中，自動得到圖像三元組集合vsg＝(hv1，rv1，tv1)，(hv2，rv2，tv2)，…，(hvm，rvm，tvm)，其中hvm為圖像三元組集合中的第m個頭實體，rvm為圖像三元組集合中的第m個關(guān)系，tvm為圖像三元組集合中的第m個尾實體；12、s2.4.計算步驟s2.1得到的文字三元組集合的成員和步驟s2.4得到的圖像三元組集合的距離，作為數(shù)據(jù)的圖像生成得分sim(x，i)，具體公式為：13、14、其中，score是文字三元組集合的成員與圖像三元組集合相似度的得分函數(shù)；15、score的具體計算方法為：16、score(lsgi，vsg)＝max(d(lsgi，vsg1)，…，d(lsgi，vsgm))17、其中，d為三元組相似度函數(shù)，18、d的具體計算方法為：19、20、其中，sim是計算自然語言單詞距離的函數(shù)；21、s2.5.對步驟s2.4得到的圖像生成得分作為模型的表現(xiàn)得分，應(yīng)用ddpo訓(xùn)練方法，對圖像生成模型進行優(yōu)化，優(yōu)化公式為：22、23、其中，θ是stable?diffusion模型的參數(shù)，jddpo(θ)是stable?diffusion模型參數(shù)的優(yōu)化目標，r(x，i)是人工設(shè)置的獎勵函數(shù)，用于量化待翻譯句子x和與之對應(yīng)的圖片i的匹配度，是指，當(dāng)待翻譯句子x滿足給定參數(shù)θ、給定文本條件c的概率分布pθ(x|c)，并且圖片i滿足圖片自有的概率分布p(i)時，獎勵函數(shù)的似然估計期望。24、進一步的，步驟s2.1中應(yīng)用的文字處理庫為spacy自然語言文本處理庫或nltk自然語言工具包。25、進一步的，所述圖像生成模型為stable?diffusion模型。26、進一步的，步驟s2.3中圖像三元組提取模型為scene-graph-benchmark模型或relationformer模型。27、進一步的，步驟s2.4中sim的計算方法為先應(yīng)用大語言模型進行編碼，然后應(yīng)用余弦相似度進行計算，具體公式為：28、29、其中，encode表示利用大語言模型自動對單詞編碼的過程，a和b為待計算的兩個自然語言單詞。30、進一步的，步驟s4的具體實現(xiàn)方法包括如下步驟：31、s4.1.將步驟s3得到的待翻譯句子對應(yīng)生成圖像i′進行編碼處理，得到圖像編碼c(i′)，編碼器的處理的表達式為：32、c(i′)＝w′i′+b′33、其中，w′和b′分別是第一權(quán)重矩陣，第二權(quán)重矩陣，編碼器選擇clip模型；34、s4.2.隨后應(yīng)用如下的公式處理得到的圖像編碼c(i′)，得到圖像的最終編碼c′(i′)：35、c′(i′)＝wc(i′)+b36、其中，w與b分別是第三權(quán)重矩陣、第四權(quán)重矩陣；37、s4.3.將圖像的最終編拼接到待翻譯句子的前面構(gòu)建訓(xùn)練集2，作為大語言模型的輸入進行訓(xùn)練，得到最終的機器翻譯結(jié)果；38、s4.4.將最終的機器翻譯結(jié)果w′與人工翻譯后的句子w進行損失計算，得到翻譯的損失losslm的表達式為：39、40、其中，c是大語言模型參數(shù)；41、然后計算大語言模型整體的損失loss，表達式為：42、loss＝losslm+sim(x，i)。43、進一步的，步驟s4.3中大語言模型為llama2模型或llama3模型或在llama2模型基礎(chǔ)上進一步訓(xùn)練的vicuna模型，使用的大語言模型建模為：44、45、其中，t代表當(dāng)前的時間步，jt代表語段的第t個單詞，基于大模型按照時間步進行生成的，一個時間步生成一個單詞，則p(w′)代表生成w′的概率，而p(jt|j<t)則代表生成前t-1個單詞后再生成第t個單詞的概率，t為總時間。46、本發(fā)明的有益效果：47、本發(fā)明所述的一種結(jié)合知識圖譜、大語言模型與視覺想象力機制的多模態(tài)機器翻譯訓(xùn)練方法，聚焦于將知識圖譜的三元組結(jié)構(gòu)利用到圖像生成模塊的訓(xùn)練中，相比于現(xiàn)有的利用想象力機制進行大語言模型推理的模型，在圖像生成模塊訓(xùn)練過程中，本發(fā)明能夠利用三元組結(jié)構(gòu)，顯著提升圖像生成的質(zhì)量與效率；在大語言模型性能優(yōu)化訓(xùn)練過程中，通過損失函數(shù)的結(jié)合，令大語言模型能夠適應(yīng)圖像生成模塊的變化，從而優(yōu)化大語言模型的機器翻譯性能。當(dāng)前第1頁12當(dāng)前第1頁12