本發(fā)明涉及圖像處理，具體而言，涉及一種海底地形分類方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、海底地形地貌制圖在科學(xué)研究、資源勘探與開發(fā)、海洋工程與建設(shè)、導(dǎo)航與安全保障以及環(huán)境保護(hù)與管理等方面發(fā)揮著至關(guān)重要的作用，是現(xiàn)代海洋活動(dòng)不可或缺的基礎(chǔ)工具。傳統(tǒng)的海底地形地貌調(diào)查方法在深海區(qū)域操作困難、覆蓋范圍有限且耗時(shí)較長(zhǎng)，難以滿足現(xiàn)代海洋活動(dòng)的需求。采用多波束回聲測(cè)深等聲學(xué)探測(cè)手段可以快速覆蓋廣泛的海域，生成高分辨率的海底三維地形圖，極大地提高了工作效率和測(cè)量精度。

2、然而，相關(guān)技術(shù)中大多數(shù)都基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)多波束數(shù)據(jù)進(jìn)行特征提取，這樣就會(huì)在對(duì)海底地形地貌進(jìn)行特征提取時(shí)存在不全面的情況，且存在因大量地貌類別相似而導(dǎo)致特征差異較小，進(jìn)而使得最終海底地形地貌的分類精度較低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明解決的問(wèn)題是如何提升海底地形地貌的分類精度。

2、為解決上述問(wèn)題，本發(fā)明提供一種海底地形分類方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

3、第一方面，本發(fā)明提供了一種海底地形分類方法，包括：

4、將目標(biāo)海底區(qū)域?qū)?yīng)的反向散射數(shù)據(jù)和水深數(shù)據(jù)分別輸入至第一建模網(wǎng)絡(luò)和第二建模網(wǎng)絡(luò)，并通過(guò)所述第一建模網(wǎng)絡(luò)提取所述反向散射數(shù)據(jù)的上下文特征，得到第一模態(tài)特征，以及通過(guò)所述第二建模網(wǎng)絡(luò)提取所述水深數(shù)據(jù)的上下文特征，得到第二模態(tài)特征；

5、通過(guò)模態(tài)混洗網(wǎng)絡(luò)將所述第一模態(tài)特征和所述第二模態(tài)特征進(jìn)行融合，得到融合特征；

6、通過(guò)圖變壓器網(wǎng)絡(luò)中的鄰接矩陣對(duì)所述融合特征進(jìn)行增強(qiáng)處理，得到增強(qiáng)特征；

7、通過(guò)上采樣網(wǎng)絡(luò)對(duì)所述增強(qiáng)特征進(jìn)行上采樣處理，得到目標(biāo)特征；

8、根據(jù)所述目標(biāo)特征確定所述目標(biāo)海底區(qū)域的地形分類結(jié)果。

9、可選地，所述通過(guò)模態(tài)混洗網(wǎng)絡(luò)將所述第一模態(tài)特征和所述第二模態(tài)特征進(jìn)行融合，得到融合特征，包括：

10、對(duì)所述第一模態(tài)特征進(jìn)行卷積處理，得到所述第一模態(tài)特征對(duì)應(yīng)的第一查詢特征、第一鍵特征、第一值特征；

11、對(duì)所述第二模態(tài)特征進(jìn)行卷積處理，得到所述第二模態(tài)特征對(duì)應(yīng)的第二查詢特征、第二鍵特征、第二值特征；

12、根據(jù)第一查詢特征、第二鍵特征以及第二值特征確定所述第一模態(tài)特征到所述第二模態(tài)特征的交互特征，得到第一交互特征；

13、根據(jù)第二查詢特征、第一鍵特征以及第一值特征確定所述第二模態(tài)特征到所述第一模態(tài)特征的交互特征，得到第二交互特征；

14、根據(jù)所述第一交互特征和所述第二交互特征確定所述融合特征。

15、可選地，所述根據(jù)第一查詢特征、第二鍵特征以及第二值特征確定所述第一模態(tài)特征到所述第二模態(tài)特征的交互特征，得到第一交互特征，包括：

16、通過(guò)以下公式確定所述第一交互特征：

17、

18、其中，表示所述第一交互特征，表示所述第一查詢特征，表示所述第二鍵特征的維度，表示所述第二值特征，表示第二鍵特征的轉(zhuǎn)置，a表示第一模態(tài)特征，b表示第二模態(tài)特征，表示歸一化操作。

19、可選地，所述根據(jù)所述第一交互特征和所述第二交互特征確定所述融合特征包括：

20、將所述第一交互特征和所述第二交互特征進(jìn)行拼接，得到第一拼接特征；

21、對(duì)所述第一拼接特征進(jìn)行降維處理，得到第一降維特征；

22、使用批歸一化函數(shù)和激活函數(shù)對(duì)所述第一降維特征進(jìn)行處理，得到所述融合特征。

23、可選地，所述通過(guò)所述第一建模網(wǎng)絡(luò)提取所述反向散射數(shù)據(jù)的上下文特征，得到第一模態(tài)特征，包括：

24、對(duì)所述反向散射數(shù)據(jù)進(jìn)行下采樣處理以及歸一化處理，得到第1個(gè)輸入特征；

25、將第1個(gè)所述輸入特征輸入至所述第一建模網(wǎng)絡(luò)中的狀態(tài)特征提取模塊其中，所述狀態(tài)特征提取模塊包括n個(gè)提取子模塊，n個(gè)提取子模塊中上一個(gè)提取子模塊輸出的所述輸出特征被確定為下一個(gè)所述提取子模塊對(duì)應(yīng)的所述輸入特征，n為大于1的整數(shù)且n為預(yù)設(shè)值；

26、將n個(gè)所述提取子模塊中第n個(gè)所述提取子模塊的所述輸出特征確定所述第一模態(tài)特征。

27、可選地，所述上采樣網(wǎng)絡(luò)包括n個(gè)上采樣塊，所述通過(guò)上采樣網(wǎng)絡(luò)對(duì)所述增強(qiáng)特征進(jìn)行上采樣處理，得到目標(biāo)特征包括：

28、獲取第i個(gè)上采樣塊對(duì)應(yīng)的跳躍連接特征和輸入采樣特征，得到第i個(gè)跳躍連接特征和第i個(gè)輸入采樣特征，其中，第i個(gè)跳躍連接特征為第j個(gè)所述提取子模塊輸出的所述輸出特征，第1個(gè)輸入采樣特征為所述增強(qiáng)特征，所述第i個(gè)輸入采樣特征為第i-1個(gè)所述采樣塊輸出的上采樣特征，i+j=n+1，1≤i≤n,?1≤j≤n；

29、將所述第i個(gè)輸入采樣特征和第i個(gè)跳躍連接特征輸入至第i個(gè)所述采樣塊，以通過(guò)所述第i個(gè)所述采樣塊輸出第i個(gè)上采樣特征，并將所述第i個(gè)上采樣特征確定為第i+1個(gè)所述輸入采樣特征；

30、根據(jù)第n個(gè)所述上采樣塊輸出的上采樣特征確定所述目標(biāo)特征。

31、可選地，所述通過(guò)所述第i個(gè)所述采樣塊輸出第i個(gè)上采樣特征，包括：

32、通過(guò)第一卷積塊對(duì)所述第i個(gè)跳躍連接特征進(jìn)行卷積處理，得到第一卷積特征；

33、將所述第一卷積特征和第i個(gè)所述輸入采樣特征進(jìn)行串聯(lián)操作，得到第一串聯(lián)特征；

34、通過(guò)第二卷積塊對(duì)所述第一串聯(lián)特征進(jìn)行卷積處理，得到第二卷積特征；

35、對(duì)所述第二卷積特征進(jìn)行轉(zhuǎn)置卷積操作，得到第i個(gè)所述上采樣特征。

36、可選地，在所述通過(guò)圖變壓器網(wǎng)絡(luò)中的鄰接矩陣對(duì)所述融合特征進(jìn)行增強(qiáng)處理，得到增強(qiáng)特征之前，所述方法還包括：

37、獲取海底地形知識(shí)圖譜，提取所述海底地形知識(shí)圖譜中的文本信息，得到知識(shí)矩陣；

38、將所述知識(shí)矩陣中的每個(gè)地形對(duì)應(yīng)的所述文本信息映射到向量空間，得到多個(gè)知識(shí)向量；

39、確定多個(gè)所述知識(shí)向量中任意兩個(gè)知識(shí)向量的余弦相似度，得到多個(gè)相似度值；

40、根據(jù)多個(gè)所述相似度值構(gòu)建所述鄰接矩陣。

41、第二方面，本發(fā)明提供了一種海底地形分類裝置，包括：

42、特征提取模塊，所述特征提取模塊用于將目標(biāo)海底區(qū)域?qū)?yīng)的反向散射數(shù)據(jù)和水深數(shù)據(jù)分別輸入至第一建模網(wǎng)絡(luò)和第二建模網(wǎng)絡(luò)，并通過(guò)所述第一建模網(wǎng)絡(luò)提取所述反向散射數(shù)據(jù)的上下文特征，得到第一模態(tài)特征，以及通過(guò)所述第二建模網(wǎng)絡(luò)提取所述水深數(shù)據(jù)的上下文特征，得到第二模態(tài)特征；

43、模態(tài)混洗模塊，所述模態(tài)混洗模塊用于通過(guò)模態(tài)混洗網(wǎng)絡(luò)將所述第一模態(tài)特征和所述第二模態(tài)特征進(jìn)行融合，得到融合特征；

44、增強(qiáng)處理模塊，所述增強(qiáng)處理模塊用于通過(guò)圖變壓器網(wǎng)絡(luò)中的鄰接矩陣對(duì)所述融合特征進(jìn)行增強(qiáng)處理，得到增強(qiáng)特征；

45、上采樣處理模塊，所述上采樣處理模塊用于通過(guò)上采樣網(wǎng)絡(luò)對(duì)所述增強(qiáng)特征進(jìn)行上采樣處理，得到目標(biāo)特征。

46、第三方面，本發(fā)明提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器；

47、所述存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

48、所述處理器，用于當(dāng)執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如第一方面所述的海底地形分類方法。

49、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如第一方面所述的海底地形分類方法。

50、本發(fā)明的海底地形地貌分類模型構(gòu)建方法的有益效果是：分別對(duì)反向散射數(shù)據(jù)和水深數(shù)據(jù)進(jìn)行上下文特征提取，能夠有效捕捉目標(biāo)海底區(qū)域的不同模態(tài)數(shù)據(jù)下的特征，在分類過(guò)程中形成互補(bǔ)，提升特征表達(dá)的全面性和準(zhǔn)確性；并通過(guò)模態(tài)混洗網(wǎng)絡(luò)實(shí)現(xiàn)第一模態(tài)特征與第二模態(tài)特征的融合，能夠整合來(lái)自不同數(shù)據(jù)源的信息，可以充分利用不同模態(tài)數(shù)據(jù)的優(yōu)勢(shì)，使得融合特征包含更加全面和豐富的信息。利用圖變壓器網(wǎng)絡(luò)中的鄰接矩陣對(duì)融合特征進(jìn)行增強(qiáng)處理，能夠充分挖掘融合特征中各個(gè)節(jié)點(diǎn)之間的相互關(guān)系，考慮鄰近節(jié)點(diǎn)和全局圖結(jié)構(gòu)信息，得到更具豐富性和有效性的增加特征，通過(guò)上采樣網(wǎng)絡(luò)對(duì)增強(qiáng)特征進(jìn)行處理，能夠?qū)⑻卣鲌D恢復(fù)到更高的分辨率，從而能夠捕捉到微小的地貌變化。對(duì)于特征差異較小但在空間分布上存在微小差異的地貌類別，上采樣網(wǎng)絡(luò)通過(guò)細(xì)節(jié)增強(qiáng)確保了這些特征的細(xì)微差異得以凸顯，從而進(jìn)一步提高分類的區(qū)分能力，提高了分類的精度。通過(guò)本實(shí)施例中在對(duì)海底地形地貌進(jìn)行特征提取時(shí)能夠提取全面豐富的信息，能夠處理更復(fù)雜的海底地形特征，顯著提升了海底地形地貌的分類精度。