本申請(qǐng)涉及圖像識(shí)別計(jì)數(shù)，特別涉及一種水生生物圖像識(shí)別計(jì)數(shù)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、沼蛤在自然環(huán)境中通常呈現(xiàn)部分聚集型分布，且單個(gè)幼蟲(chóng)在顯微鏡圖像中所占比例極小，這對(duì)其自動(dòng)化識(shí)別和計(jì)數(shù)提出了巨大挑戰(zhàn)。傳統(tǒng)的目標(biāo)檢測(cè)算法在處理這些密集分布的小目標(biāo)時(shí)，面臨以下幾個(gè)主要問(wèn)題：

2、特征信息丟失：在卷積神經(jīng)網(wǎng)絡(luò)中，池化層的作用是減少數(shù)據(jù)維度和計(jì)算量，但這同時(shí)也會(huì)導(dǎo)致小目標(biāo)的特征信息逐層減弱。特別是在圖像中占比極小的幼蟲(chóng)，經(jīng)過(guò)多層池化操作后，其特征信息可能被嚴(yán)重?fù)p失，導(dǎo)致檢測(cè)精度下降。

3、密集分布物體的檢測(cè)：當(dāng)前許多目標(biāo)檢測(cè)算法在處理密集分布的物體時(shí)表現(xiàn)不佳。這些算法通常依賴(lài)于單個(gè)目標(biāo)的明顯特征，而在沼蛤幼蟲(chóng)密集分布的情況下，目標(biāo)之間的距離較近，相互遮擋嚴(yán)重，使得檢測(cè)算法難以區(qū)分和識(shí)別每一個(gè)單獨(dú)的目標(biāo)，導(dǎo)致綜合漏檢率極高。

4、漏檢問(wèn)題：由于以上兩個(gè)原因，傳統(tǒng)的目標(biāo)檢測(cè)算法在處理密集分布的小目標(biāo)時(shí)，往往會(huì)出現(xiàn)較高的漏檢率。漏檢不僅影響了識(shí)別的準(zhǔn)確性，也對(duì)后續(xù)的數(shù)量統(tǒng)計(jì)和數(shù)據(jù)分析帶來(lái)了極大不便。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┮环N水生生物圖像識(shí)別計(jì)數(shù)方法、裝置、設(shè)備及介質(zhì)，以解決相關(guān)技術(shù)特征信息丟失、對(duì)密集分布物體的檢測(cè)不佳，漏檢率高等問(wèn)題。

2、本申請(qǐng)第一方面提供一種水生生物圖像識(shí)別計(jì)數(shù)方法，包括以下步驟：獲取用戶輸入的水生生物圖像，對(duì)水生生物圖像進(jìn)行預(yù)處理；將預(yù)處理后的水生生物圖像輸入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型，目標(biāo)檢測(cè)模型輸出水生生物圖像中目標(biāo)水生生物的檢測(cè)結(jié)果，其中，目標(biāo)檢測(cè)模型包括引入多尺度特征融合技術(shù)的特征提取網(wǎng)絡(luò)、采用自適應(yīng)池化和空間金字塔池化技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)、以及密集分布目標(biāo)檢測(cè)的密集檢測(cè)頭；對(duì)目標(biāo)水生生物的檢測(cè)結(jié)果進(jìn)行后處理，根據(jù)后處理的檢測(cè)結(jié)果識(shí)別目標(biāo)水生生物的數(shù)量和目標(biāo)水生生物在水生生物圖像中的位置。

3、可選地，特征提取網(wǎng)絡(luò)提取水生生物圖像中不同層級(jí)的特征圖，在特征提取過(guò)程中，采用多尺度特征融合技術(shù)將不同層級(jí)的特征圖進(jìn)行融合；卷積神經(jīng)網(wǎng)絡(luò)采用自適應(yīng)池化和空間金字塔池化技術(shù)，對(duì)融合特征圖進(jìn)行池化操作，在單次前向傳播中完成類(lèi)別和位置的預(yù)測(cè)；密集檢測(cè)頭識(shí)別池化操作后特征圖的多個(gè)目標(biāo)水生生物，并通過(guò)改進(jìn)非極大值抑制策略區(qū)分多個(gè)目標(biāo)水生生物中的相鄰目標(biāo)水生生物。

4、可選地，在將預(yù)處理后的水生生物圖像輸入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型之前，還包括：獲取訓(xùn)練集，訓(xùn)練集包括多張標(biāo)注有目標(biāo)水生生物的水生生物圖像；通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)處理擴(kuò)充訓(xùn)練集，利用擴(kuò)充后的訓(xùn)練集訓(xùn)練目標(biāo)檢測(cè)模型，在訓(xùn)練過(guò)程中優(yōu)化損失函數(shù)和調(diào)整超參數(shù)。

5、可選地，數(shù)據(jù)增強(qiáng)技術(shù)包括多張標(biāo)注有目標(biāo)水生生物的水生生物圖像進(jìn)行旋轉(zhuǎn)、縮放和平移的至少一種操作。

6、可選地，獲取用戶輸入的水生生物圖像，包括：使用pyqt框架開(kāi)發(fā)的圖形用戶界面接收用戶輸入的水生生物圖像。

7、可選地，圖形用戶界面還用于展示目標(biāo)水生生物的數(shù)量和目標(biāo)水生生物在水生生物圖像中的位置。

8、可選地，預(yù)處理的方式包括圖像尺寸調(diào)整、顏色空間轉(zhuǎn)換和噪聲去除的至少一種。

9、本申請(qǐng)第二方面提供一種水生生物圖像識(shí)別計(jì)數(shù)裝置，包括：獲取模塊，用于獲取用戶輸入的水生生物圖像，對(duì)水生生物圖像進(jìn)行預(yù)處理；輸入模塊，用于將預(yù)處理后的水生生物圖像輸入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型，目標(biāo)檢測(cè)模型輸出水生生物圖像中目標(biāo)水生生物的檢測(cè)結(jié)果，其中，目標(biāo)檢測(cè)模型包括引入多尺度特征融合技術(shù)的特征提取網(wǎng)絡(luò)、采用自適應(yīng)池化和空間金字塔池化技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)、以及密集分布目標(biāo)檢測(cè)的密集檢測(cè)頭；處理模塊，用于對(duì)目標(biāo)水生生物的檢測(cè)結(jié)果進(jìn)行后處理，根據(jù)后處理的檢測(cè)結(jié)果識(shí)別目標(biāo)水生生物的數(shù)量和目標(biāo)水生生物在水生生物圖像中的位置。

10、本申請(qǐng)第三方面提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序，以實(shí)現(xiàn)如上述實(shí)施例的水生生物圖像識(shí)別計(jì)數(shù)方法。

11、本申請(qǐng)第四方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行，以用于實(shí)現(xiàn)如上述實(shí)施例的水生生物圖像識(shí)別計(jì)數(shù)方法。

12、由此，本申請(qǐng)包括如下有益效果：

13、本申請(qǐng)實(shí)施例通過(guò)獲取用戶輸入的水生生物圖像，并對(duì)水生生物圖像進(jìn)行預(yù)處理，將預(yù)處理后的水生生物圖像輸入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型，模型輸出水生生物圖像中目標(biāo)水生生物的檢測(cè)結(jié)果，對(duì)目標(biāo)水生生物的檢測(cè)結(jié)果進(jìn)行后處理，根據(jù)后處理的檢測(cè)結(jié)果識(shí)別目標(biāo)水生生物的數(shù)量和目標(biāo)水生生物在水生生物圖像中的位置，能夠?qū)崿F(xiàn)對(duì)圖像中沼蛤幼蟲(chóng)數(shù)量及生長(zhǎng)特征的快速統(tǒng)計(jì)和精確定位，減少了漏檢和誤檢。由此，解決了相關(guān)技術(shù)特征信息丟失、對(duì)密集分布物體的檢測(cè)不佳，漏檢率高等問(wèn)題。

14、本申請(qǐng)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本申請(qǐng)的實(shí)踐了解到。

技術(shù)特征：

1.一種水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，所述特征提取網(wǎng)絡(luò)提取所述水生生物圖像中不同層級(jí)的特征圖，在特征提取過(guò)程中，采用多尺度特征融合技術(shù)將不同層級(jí)的特征圖進(jìn)行融合；所述卷積神經(jīng)網(wǎng)絡(luò)采用自適應(yīng)池化和空間金字塔池化技術(shù)，對(duì)融合特征圖進(jìn)行池化操作，在單次前向傳播中完成類(lèi)別和位置的預(yù)測(cè)；密集檢測(cè)頭識(shí)別池化操作后特征圖的多個(gè)目標(biāo)水生生物，并通過(guò)改進(jìn)非極大值抑制策略區(qū)分所述多個(gè)目標(biāo)水生生物中的相鄰目標(biāo)水生生物。

3.根據(jù)權(quán)利要求1或2所述的水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，在將預(yù)處理后的水生生物圖像輸入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型之前，還包括：

4.根據(jù)權(quán)利要求3所述的水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，所述數(shù)據(jù)增強(qiáng)技術(shù)包括多張標(biāo)注有目標(biāo)水生生物的水生生物圖像進(jìn)行旋轉(zhuǎn)、縮放和平移的至少一種操作。

5.根據(jù)權(quán)利要求1所述的水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，所述獲取用戶輸入的水生生物圖像，包括：

6.根據(jù)權(quán)利要求5所述的水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，所述圖形用戶界面還用于展示目標(biāo)水生生物的數(shù)量和目標(biāo)水生生物在所述水生生物圖像中的位置。

7.根據(jù)權(quán)利要求1所述的水生生物圖像識(shí)別計(jì)數(shù)方法，其特征在于，預(yù)處理的方式包括圖像尺寸調(diào)整、顏色空間轉(zhuǎn)換和噪聲去除的至少一種。

8.一種水生生物圖像識(shí)別計(jì)數(shù)裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序，以實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的水生生物圖像識(shí)別計(jì)數(shù)方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序或指令，其特征在于，所述計(jì)算機(jī)程序或指令被執(zhí)行時(shí)，以實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的水生生物圖像識(shí)別計(jì)數(shù)方法。

技術(shù)總結(jié)
本申請(qǐng)涉及圖像識(shí)別計(jì)數(shù)技術(shù)領(lǐng)域，特別涉及一種水生生物圖像識(shí)別計(jì)數(shù)方法、裝置、設(shè)備及介質(zhì)，方法包括：獲取用戶輸入的水生生物圖像，對(duì)水生生物圖像進(jìn)行預(yù)處理；將預(yù)處理后的水生生物圖像輸入基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型，目標(biāo)檢測(cè)模型輸出水生生物圖像中目標(biāo)水生生物的檢測(cè)結(jié)果，其中，目標(biāo)檢測(cè)模型包括引入多尺度特征融合技術(shù)的特征提取網(wǎng)絡(luò)、采用自適應(yīng)池化和空間金字塔池化技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)、以及密集分布目標(biāo)檢測(cè)的密集檢測(cè)頭；對(duì)目標(biāo)水生生物的檢測(cè)結(jié)果進(jìn)行后處理，根據(jù)后處理的檢測(cè)結(jié)果識(shí)別目標(biāo)水生生物的數(shù)量和目標(biāo)水生生物在水生生物圖像中的位置。由此，解決了相關(guān)技術(shù)特征信息丟失、對(duì)密集分布物體的檢測(cè)不佳，漏檢率高等問(wèn)題。

技術(shù)研發(fā)人員：徐夢(mèng)珍,邢軒瑋,劉凱,郭芳,肖新宗,王聰聰,薛源
受保護(hù)的技術(shù)使用者：清華大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8