本申請涉及機器學(xué)習(xí)，尤其是涉及到一種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法和裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、隨著機器學(xué)習(xí)技術(shù)的不斷發(fā)展，以及機器學(xué)習(xí)應(yīng)用的實際場景的復(fù)雜化。神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)也越來越復(fù)雜，網(wǎng)絡(luò)層數(shù)不斷增加，導(dǎo)致運行神經(jīng)網(wǎng)絡(luò)模型的計算設(shè)備的硬件要求不斷提高，不僅提高了運行神經(jīng)網(wǎng)絡(luò)模型所需的計算設(shè)備硬件要求，還可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型輸出效率和性能的下降。

2、此外，在源域數(shù)據(jù)下訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型，難以適應(yīng)于目標(biāo)域下的處理任務(wù)。為了保證神經(jīng)網(wǎng)絡(luò)模型能夠在不同域中有效工作，對神經(jīng)網(wǎng)絡(luò)模型進行域適應(yīng)處理是必要的，但是這一過程通常復(fù)雜且耗時。以上因素，共同導(dǎo)致了神經(jīng)網(wǎng)絡(luò)模型在不同域中切換的效率低下的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法和裝置、電子設(shè)備和存儲介質(zhì)，既能夠降低神經(jīng)網(wǎng)絡(luò)模型的模型規(guī)模，又能夠使神經(jīng)網(wǎng)絡(luò)模型能夠快速地進行域適應(yīng)，提高了神經(jīng)網(wǎng)絡(luò)模型的適應(yīng)性和輸出效率。

2、第一方面，本申請實施例提供了一種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，包括：對第一神經(jīng)網(wǎng)絡(luò)模型進行壓縮處理得到第二神經(jīng)網(wǎng)絡(luò)模型；在源域中獲取第一歷史數(shù)據(jù)，以及在目標(biāo)域中獲取第二歷史數(shù)據(jù)；通過所述第一歷史數(shù)據(jù)訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)模型，得到所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型；通過模型轉(zhuǎn)換裝置根據(jù)所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型和所述第二歷史數(shù)據(jù)，得到所述目標(biāo)域的目標(biāo)權(quán)重矩陣；所述模型轉(zhuǎn)換裝置數(shù)根據(jù)所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣，對訓(xùn)練后的所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行模型轉(zhuǎn)換處理，得到所述目標(biāo)域下的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

3、根據(jù)本申請實施例的上述方法，還可以具有以下附加技術(shù)特征：

4、在一種可能的實現(xiàn)方式中，所述對第一神經(jīng)網(wǎng)絡(luò)模型進行壓縮處理得到第二神經(jīng)網(wǎng)絡(luò)模型，包括：確定所述第一神經(jīng)網(wǎng)絡(luò)模型中的多個殘差單元，每個所述殘差單元包括輸入、輸出和捷徑連接，所述捷徑連接用于連接一個所述殘差單元的輸出與相鄰的所述殘差單元的輸入；根據(jù)阿當(dāng)姆斯法，確定相鄰的所述殘差單元之間通過所述捷徑連接加權(quán)的權(quán)重系數(shù)；根據(jù)前一個所述殘差單元的輸出、當(dāng)前所述殘差單元的輸入和所述權(quán)重系數(shù)，重構(gòu)所述第一神經(jīng)網(wǎng)絡(luò)模型；訓(xùn)練重構(gòu)后的所述第一神經(jīng)網(wǎng)絡(luò)模型，得到所述第二神經(jīng)網(wǎng)絡(luò)模型。

5、在一種可能的實現(xiàn)方式中，所述根據(jù)前一個所述殘差單元的輸出、當(dāng)前所述殘差單元的輸入和所述權(quán)重系數(shù)，重構(gòu)所述第一神經(jīng)網(wǎng)絡(luò)模型，包括：將前一個所述殘差單元的輸出乘以對應(yīng)的所述權(quán)重系數(shù)，并與當(dāng)前所述殘差單元的輸入相加，得到當(dāng)前所述殘差單元更新后的輸入；遍歷每個所述殘差單元并得到對應(yīng)的所述殘差單元更新后的輸入；根據(jù)每個更新后的輸入和對應(yīng)的所述殘差單元的結(jié)構(gòu)，重構(gòu)所述第一神經(jīng)網(wǎng)絡(luò)模型。

6、在一種可能的實現(xiàn)方式中，所述通過模型轉(zhuǎn)換裝置根據(jù)所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型和所述第二歷史數(shù)據(jù)，得到所述目標(biāo)域的目標(biāo)權(quán)重矩陣包括：將所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型的權(quán)重矩陣作為所述目標(biāo)域下的所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)重矩陣；根據(jù)所述第二歷史數(shù)據(jù)和lm最小二乘算法更新所述初始權(quán)重矩陣，得到所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣。

7、在一種可能的實現(xiàn)方式中，所述根據(jù)所述第二歷史數(shù)據(jù)和lm最小二乘算法更新所述初始權(quán)重，得到所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣，包括：使用所述第二歷史數(shù)據(jù)對所述初始權(quán)重矩陣進行訓(xùn)練，并通過lm最小二乘算法對訓(xùn)練后的權(quán)重矩陣進行更新；重復(fù)使用所述第二歷史數(shù)據(jù)對更新后的所述權(quán)重矩陣進行訓(xùn)練，并通過lm最小二乘算法再次更新所述權(quán)重矩陣，直至達到預(yù)設(shè)收斂條件，從而得到所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣。

8、在一種可能的實現(xiàn)方式中，所述模型轉(zhuǎn)換裝置根據(jù)所述目標(biāo)域的目標(biāo)權(quán)重矩陣，對訓(xùn)練后的所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行模型轉(zhuǎn)換處理，得到所述目標(biāo)域下的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：將所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣加載至所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型；在所述目標(biāo)域下，根據(jù)所述目標(biāo)權(quán)重矩陣調(diào)整所述第二神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)；對更新網(wǎng)絡(luò)結(jié)構(gòu)后的所述目標(biāo)域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行測試驗證，以得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

9、在一種可能的實現(xiàn)方式中，所述對更新網(wǎng)絡(luò)結(jié)構(gòu)后的所述目標(biāo)域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行測試驗證，以得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：將所述第二歷史數(shù)據(jù)劃分為訓(xùn)練集和測試集；使用所述訓(xùn)練集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)模型，得到所述目標(biāo)域下的第三神經(jīng)網(wǎng)絡(luò)模型；將所述測試集輸入所述目標(biāo)域下的所述第三神經(jīng)網(wǎng)絡(luò)模型，得到第一輸出結(jié)果；將所述測試集輸入至所述目標(biāo)域下的所述第二神經(jīng)網(wǎng)絡(luò)模型，得到第二輸出結(jié)果；若所述第一輸出結(jié)果與所述第二輸出結(jié)果之間的差異處于預(yù)設(shè)誤差范圍內(nèi)，確定得到所述目標(biāo)域下的所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

10、第二方面，本申請實施例提供了一種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化裝置，包括：壓縮單元，用于對第一神經(jīng)網(wǎng)絡(luò)模型進行壓縮處理得到第二神經(jīng)網(wǎng)絡(luò)模型；獲取單元，用于在源域中獲取第一歷史數(shù)據(jù)，以及在目標(biāo)域中獲取第二歷史數(shù)據(jù)；訓(xùn)練單元，用于通過所述第一歷史數(shù)據(jù)訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)模型，得到所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型；處理單元，用于通過模型轉(zhuǎn)換裝置根據(jù)所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型和所述第二歷史數(shù)據(jù)，得到所述目標(biāo)域的目標(biāo)權(quán)重矩陣；所述處理單元還用于所述模型轉(zhuǎn)換裝置數(shù)根據(jù)所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣，對訓(xùn)練后的所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行模型轉(zhuǎn)換處理，得到所述目標(biāo)域下的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

11、第三方面，本申請實施例提供了一種電子設(shè)備，該電子設(shè)備包括處理器和存儲器，存儲器存儲可在處理器上運行的程序或指令，程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面的方法的步驟。

12、第四方面，本申請實施例提供了一種可讀存儲介質(zhì)，該可讀存儲介質(zhì)上存儲程序或指令，程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面的方法的步驟。

13、第五方面，本申請實施例提供了一種芯片，該芯片包括處理器和通信接口，通信接口和處理器耦合，處理器用于運行程序或指令，實現(xiàn)如第一方面的方法。

14、可選地，作為一種實現(xiàn)方式，所述芯片還可以包括存儲器，所述存儲器中存儲有指令，所述處理器用于執(zhí)行所述存儲器上存儲的指令，當(dāng)所述指令被執(zhí)行時，所述處理器用于執(zhí)行第一方面所述的神經(jīng)網(wǎng)絡(luò)模型優(yōu)化方法。

15、第六方面，本申請實施例提供一種計算機程序產(chǎn)品，該程序產(chǎn)品被存儲在存儲介質(zhì)中，該程序產(chǎn)品被至少一個處理器執(zhí)行以實現(xiàn)如第一方面的方法。

16、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本申請的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本申請的具體實施方式。

技術(shù)特征：

1.一種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，所述對第一神經(jīng)網(wǎng)絡(luò)模型進行壓縮處理得到第二神經(jīng)網(wǎng)絡(luò)模型，包括：

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，所述根據(jù)前一個所述殘差單元的輸出、當(dāng)前所述殘差單元的輸入和所述權(quán)重系數(shù)，重構(gòu)所述第一神經(jīng)網(wǎng)絡(luò)模型，包括：

4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，所述通過模型轉(zhuǎn)換裝置根據(jù)所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型和所述第二歷史數(shù)據(jù)，得到所述目標(biāo)域的目標(biāo)權(quán)重矩陣包括：

5.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，所述根據(jù)所述第二歷史數(shù)據(jù)和lm最小二乘算法更新所述初始權(quán)重，得到所述目標(biāo)域的所述目標(biāo)權(quán)重矩陣，包括：

6.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，所述模型轉(zhuǎn)換裝置根據(jù)所述目標(biāo)域的目標(biāo)權(quán)重矩陣，對訓(xùn)練后的所述源域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行模型轉(zhuǎn)換處理，得到所述目標(biāo)域下的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：

7.根據(jù)權(quán)利要求6所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，其特征在于，所述對更新網(wǎng)絡(luò)結(jié)構(gòu)后的所述目標(biāo)域下的所述第二神經(jīng)網(wǎng)絡(luò)模型進行測試驗證，以得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：

8.一種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化裝置，其特征在于，所述方法應(yīng)用于電子設(shè)備，所述神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化裝置包括：

9.一種電子設(shè)備，其特征在于，包括處理器和存儲器，所述存儲器存儲有在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至8中任一項所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法的步驟。

10.一種可讀存儲介質(zhì)，其上存儲有程序或指令，其特征在于，所述程序或指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至8中任一項所述的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法及裝置、電子設(shè)備和存儲介質(zhì)，神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法包括：對第一神經(jīng)網(wǎng)絡(luò)模型進行壓縮處理得到第二神經(jīng)網(wǎng)絡(luò)模型；在源域中獲取第一歷史數(shù)據(jù)，以及在目標(biāo)域中獲取第二歷史數(shù)據(jù)；通過第一歷史數(shù)據(jù)訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)模型，得到源域下的第二神經(jīng)網(wǎng)絡(luò)模型；通過模型轉(zhuǎn)換裝置根據(jù)源域下的第二神經(jīng)網(wǎng)絡(luò)模型和第二歷史數(shù)據(jù)，得到目標(biāo)域的目標(biāo)權(quán)重矩陣；模型轉(zhuǎn)換裝置數(shù)根據(jù)目標(biāo)域的目標(biāo)權(quán)重矩陣，對訓(xùn)練后的源域下的第二神經(jīng)網(wǎng)絡(luò)模型進行模型轉(zhuǎn)換處理，得到目標(biāo)域下的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

技術(shù)研發(fā)人員：李歆,潘福成,林百川,羅賽,于淼
受保護的技術(shù)使用者：中國科學(xué)院沈陽自動化研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8