本發(fā)明涉及水聲學(xué)和智慧漁業(yè)的，特別涉及構(gòu)建一種用于分類魚類聲譜特性模型的構(gòu)建方法及聲譜獲取裝置。

背景技術(shù)：

1、目前對(duì)于魚類聲學(xué)信號(hào)的研究仍不夠深入，實(shí)際生產(chǎn)中復(fù)雜的環(huán)境和難以預(yù)測(cè)的魚類行為，給魚類的聲紋識(shí)別帶來(lái)了自然條件上的難度。雖然近年來(lái)機(jī)器視覺技術(shù)在魚類的攝食行為識(shí)別中運(yùn)用廣泛，但在魚群圖像采集時(shí)成像易被環(huán)境因素影響，其采集的圖像的紋理、顏色和空間關(guān)系登特征都會(huì)發(fā)生改變。且目前單特征分析局限較大，并且機(jī)器視覺采集對(duì)可見光的要求非常高，雖然紅外成像有所彌補(bǔ)，但在光線差水質(zhì)混濁的條件下依然無(wú)法使用。

2、被動(dòng)聲學(xué)監(jiān)測(cè)能夠彌補(bǔ)計(jì)算機(jī)視覺和其他監(jiān)測(cè)方法的不足，它利用水聽器作為信號(hào)采集設(shè)備，操作簡(jiǎn)單且靈敏度高，能夠?qū)崟r(shí)顯示聲信號(hào)的波動(dòng)情況。然而，由于養(yǎng)殖魚類的生活環(huán)境異常復(fù)雜，聲信號(hào)采集過(guò)程中不可避免地會(huì)摻雜各種背景噪聲。為了準(zhǔn)確提取聲學(xué)特征參數(shù)，我們必須通過(guò)精細(xì)的聲學(xué)分析，確定背景噪聲的類型，并采取相應(yīng)的降噪方法。

3、目前，能夠用來(lái)評(píng)估聲學(xué)特性的聲學(xué)參數(shù)相對(duì)單一，而且對(duì)于養(yǎng)殖魚類規(guī)格大小、各類行為等因素對(duì)聲信號(hào)的影響，我們還未進(jìn)行深入的研究。因此，為了更準(zhǔn)確地理解養(yǎng)殖魚類的行為，我們需要在聲學(xué)監(jiān)測(cè)技術(shù)上不斷創(chuàng)新，并結(jié)合多種因素進(jìn)行綜合分析，以期找到一種更為精準(zhǔn)、有效的非接觸式行為活躍度判斷方法。

4、魚類聲音的研究對(duì)魚類養(yǎng)殖有著重要意義，例如：攝食聲音研究對(duì)于優(yōu)化投喂策略、加強(qiáng)病害防控及提升捕撈效率等方面都具有至關(guān)重要的意義；求偶聲音的研究對(duì)于魚類繁殖、育種有著重要意義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了構(gòu)建一種用于分類魚類聲譜特性模型的方法，旨在利用魚類聲學(xué)進(jìn)行智能化的分類判別。

2、本發(fā)明提供一種用于分類魚類聲譜特性模型的構(gòu)建方法，包括以下步驟：

3、步驟1：通過(guò)水聽器與攝像機(jī)對(duì)進(jìn)行采集，設(shè)置所述水聽器的采樣頻率并控制采樣環(huán)境；

4、步驟2：對(duì)所述攝像機(jī)與所述水聽器采集的圖像以及聲音進(jìn)行分割及匹配，利用視聽結(jié)合剪輯出感興趣的魚類聲音；

5、步驟3：根據(jù)步驟2中獲取的感興趣的魚類聲音進(jìn)行處理，提取梅爾倒頻譜系數(shù)mfccs，計(jì)算語(yǔ)音信號(hào)的短時(shí)能量以及計(jì)算語(yǔ)音信號(hào)的功率譜密度psd；

6、步驟4：根據(jù)步驟2和步驟3獲取的數(shù)據(jù)，得出感興趣的魚類聲音的梅爾倒譜圖，短時(shí)能量圖以及功率譜圖；

7、步驟5：將感興趣的魚類聲音的梅爾倒譜圖，短時(shí)能量圖以及功率譜圖生成標(biāo)簽，所述標(biāo)簽的集合即為感興趣的魚類聲音的聲音信號(hào)數(shù)據(jù)集；根據(jù)所述感興趣的魚類聲音的聲音信號(hào)數(shù)據(jù)集，利用convnext網(wǎng)絡(luò)構(gòu)建感興趣的魚類聲音的模型，對(duì)采集的音頻數(shù)據(jù)進(jìn)行分類預(yù)測(cè)。

8、進(jìn)一步地，所述步驟4中，魚類感興趣是聲音的標(biāo)簽與其對(duì)應(yīng)的梅爾倒譜圖、短時(shí)能量圖以及功率譜圖相匹配。

9、進(jìn)一步地，所述步驟3中，先對(duì)采集到的感興趣的魚類聲音進(jìn)行濾波降噪，去除背景噪音再獲取其梅爾倒譜圖、短時(shí)能量圖以及功率譜圖。

10、進(jìn)一步地，所述步驟1中，還需要通過(guò)空白水箱對(duì)環(huán)境噪音進(jìn)行采集；所述空白水箱內(nèi)的水聽器的采樣頻率、環(huán)境的水溫，以及水質(zhì)條件與采集感興趣的魚類聲音一致。

11、進(jìn)一步地，所述步驟1中，采用視聽結(jié)合方法同時(shí)采集視頻和聲音，同時(shí)將采集的視頻、音頻時(shí)間軸進(jìn)行對(duì)齊。

12、進(jìn)一步地，所述步驟5中，構(gòu)建convnext網(wǎng)絡(luò)即建立適用于處理魚類聲音mfcc圖像的convnext網(wǎng)絡(luò)，包括：卷積層、4個(gè)convnext?block、池化層，layer?norm下采樣以及線性全連接層等；所述convnext模型根據(jù)輸入特征的維度和數(shù)據(jù)集的大小進(jìn)行設(shè)計(jì)，所述convnext模型設(shè)計(jì)包括以下步驟：

13、步驟51：將輸入數(shù)據(jù)格式化；將mfcc特征圖實(shí)例化調(diào)整為適合圖像大小輸入convnext網(wǎng)絡(luò)模型；

14、步驟52：對(duì)convnext網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練：使用聲音信號(hào)數(shù)據(jù)集對(duì)所述convnext網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

15、步驟53：特征提?。核鯿onvnext網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中，先通過(guò)卷積層，利用4個(gè)convnext?block提取魚類聲音mfcc特征的抽象表示，最后經(jīng)過(guò)池化層，全連接層獲得結(jié)果用于區(qū)分不同類型魚類聲音或不同種類魚的發(fā)聲區(qū)別。

16、進(jìn)一步地，所述步驟5中，采用convnext網(wǎng)絡(luò)對(duì)短時(shí)能量圖，與功率譜圖進(jìn)行特征提取。

17、本發(fā)明還包含一種聲譜獲取裝置，包括：圖像聲音采集處理系統(tǒng)及機(jī)械運(yùn)動(dòng)系統(tǒng)

18、所述機(jī)械運(yùn)動(dòng)系統(tǒng)包括：

19、升降單元，用于放置并固定水聽器；所述升降單元通過(guò)錐齒輪嚙合達(dá)到升降，通過(guò)控制手柄轉(zhuǎn)動(dòng)或控制電機(jī)驅(qū)動(dòng)實(shí)現(xiàn)升降單元的升降。

20、進(jìn)一步地，所述圖像采集處理系統(tǒng)包括：

21、含魚水箱，用于養(yǎng)魚；

22、背景噪音采集水箱，用于對(duì)照；

23、計(jì)算機(jī)處理單元，用于處理并顯示攝像機(jī)、水聽器探頭獲取的信息；

24、攝像機(jī)，用于捕捉感興趣的魚類聲音的視頻信息；

25、水聽器探頭，用于采集感興趣的魚類聲音的音頻信息；

26、消音棉，用于隔絕外部噪音。

27、進(jìn)一步地，所述水聽器探頭設(shè)置在升降平臺(tái)上。

28、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

29、本發(fā)明的獲取魚類聲譜特性的方法，相對(duì)單一特征，如mfcc頻譜圖具有較高的準(zhǔn)確率與精度，并且該實(shí)驗(yàn)裝置克服了對(duì)于魚類行為，例如攝食，攻擊，咀嚼等聲音的細(xì)分問(wèn)題，還有生物量預(yù)測(cè)問(wèn)題。相比通過(guò)其他方法和裝置，本發(fā)明裝置搭建簡(jiǎn)單，方法優(yōu)異，且對(duì)各類水生生物適用性較為廣泛。

技術(shù)特征：

1.一種用于分類魚類聲譜特性模型的構(gòu)建方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的構(gòu)建一種用于分類魚類聲譜特性模型的方法，其特征在于，所述步驟4中，魚類感興趣是聲音的標(biāo)簽與其對(duì)應(yīng)的梅爾倒譜圖、短時(shí)能量圖以及功率譜圖相匹配。

3.如權(quán)利要求1所述的一種用于分類魚類聲譜特性模型的構(gòu)建方法，其特征在于，所述步驟3中，先對(duì)采集到的感興趣的魚類聲音進(jìn)行濾波降噪，去除背景噪音再獲取其梅爾倒譜圖、短時(shí)能量圖以及功率譜圖。

4.如權(quán)利要求1所述的一種用于分類魚類聲譜特性模型的構(gòu)建方法，其特征在于，所述步驟1中，還需要通過(guò)空白水箱對(duì)環(huán)境噪音進(jìn)行采集；所述空白水箱內(nèi)的水聽器的采樣頻率、環(huán)境的水溫，以及水質(zhì)條件與采集感興趣的魚類聲音一致。

5.如權(quán)利要求1所述的一種用于分類魚類聲譜特性模型的構(gòu)建方法，其特征在于，所述步驟1中，采用視聽結(jié)合方法同時(shí)采集視頻和聲音，同時(shí)將采集的視頻、音頻時(shí)間軸進(jìn)行對(duì)齊。

6.如權(quán)利要求1所述的一種用于分類魚類聲譜特性模型的構(gòu)建方法，其特征在于，所述步驟5中，構(gòu)建convnext網(wǎng)絡(luò)即建立適用于處理魚類聲音mfcc圖像的convnext網(wǎng)絡(luò)，包括：卷積層、4個(gè)convnext?block、池化層，layer?norm下采樣以及線性全連接層等；所述convnext模型根據(jù)輸入特征的維度和數(shù)據(jù)集的大小進(jìn)行設(shè)計(jì)，所述convnext模型設(shè)計(jì)包括以下步驟：

7.如權(quán)利要求1所述的一種用于分類魚類聲譜特性模型的構(gòu)建方法，其特征在于，所述步驟5中，采用convnext網(wǎng)絡(luò)對(duì)短時(shí)能量圖，與功率譜圖進(jìn)行特征提取。

8.一種聲譜獲取裝置，應(yīng)用權(quán)利要求1-7所述構(gòu)建方法，其特征在于，包括：圖像聲音采集處理系統(tǒng)及機(jī)械運(yùn)動(dòng)系統(tǒng)

9.根據(jù)權(quán)利要求8所述的一種聲譜獲取裝置，其特征在于，

10.根據(jù)權(quán)利要求8所述的一種聲譜獲取裝置，其特征在于，所述水聽器探頭設(shè)置在升降平臺(tái)上。

技術(shù)總結(jié)
本發(fā)明公開了一種用于分類魚類聲譜特性模型的構(gòu)建方法，涉及水聲學(xué)和智慧漁業(yè)的技術(shù)領(lǐng)域。包括以下步驟：通過(guò)水聽器與攝像機(jī)對(duì)進(jìn)行采集；對(duì)攝像機(jī)與水聽器采集的圖像以及聲音進(jìn)行分割及匹配，利用視聽結(jié)合剪輯出感興趣的魚類聲音；對(duì)獲取的感興趣的魚類聲音進(jìn)行處理，提取梅爾倒頻譜系數(shù)MFCCs，計(jì)算語(yǔ)音信號(hào)的短時(shí)能量以及計(jì)算語(yǔ)音信號(hào)的功率譜密度PSD，得出感興趣的魚類聲音的梅爾倒譜圖，短時(shí)能量圖以及功率譜圖；將感興趣的魚類聲音的梅爾倒譜圖，短時(shí)能量圖以及功率譜圖生成標(biāo)簽；根據(jù)感興趣的魚類聲音的聲音信號(hào)數(shù)據(jù)集，對(duì)采集的音頻數(shù)據(jù)進(jìn)行分類預(yù)測(cè)。本發(fā)明的獲取魚類聲譜特性的方法具有較高的準(zhǔn)確率與精度。

技術(shù)研發(fā)人員：劉鷹,張小龍,麻志宏,馮冠博,趙世龍,王俁晴,趙天昊,馬賀,任由為,趙欣宇,蔡皓瑋
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8