本發(fā)明屬于計算機視覺中的目標檢測領(lǐng)域，涉及一種目標檢測方法，具體涉及一種基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法。

背景技術(shù)：

1、在計算機技術(shù)飛速發(fā)展的今天，目標檢測技術(shù)越來越多地應用于各類環(huán)境感知任務(wù)中，以更安全、更高效地實現(xiàn)各類任務(wù)。目前基于深度學習的目標檢測方法已經(jīng)發(fā)展到比較成熟的階段，并在各類數(shù)據(jù)集中實現(xiàn)了相當優(yōu)秀的準確性。但在日益龐大的數(shù)據(jù)集上訓練和優(yōu)化復雜的模型，對于時間和硬件資源的需求不斷攀升，這使得深度學習模型更難在針對特定領(lǐng)域的低成本工程中實際訓練和部署。如何降低模型訓練成本并提高模型檢測精度目前是目標檢測在工程應用中的痛點。集成方法通過結(jié)合多個模型各自的優(yōu)點，獲得了更加優(yōu)異的泛化性能，并在降低了模型訓練偏置的同時提高了魯棒性。

2、傳統(tǒng)的集成方法通常依賴預先設(shè)定的iou閾值判斷重疊的物體是否為同一實例，而在多模態(tài)目標檢測的任務(wù)中，顛簸和震動都有可能讓傳感器間的外參標定精度隨時間降低，這種精度的下降會進一步導致集成方法在處理多模態(tài)數(shù)據(jù)時，由于不同模型所提供的檢測框之間的iou過小而錯誤地將它們判定為不同的實例，從而引發(fā)誤檢問題。這一在工程領(lǐng)域中頻繁出現(xiàn)的問題目前仍沒有妥善解決的方法。

技術(shù)實現(xiàn)思路

1、為了降低目標檢測模型的學習和訓練成本，并解決傳統(tǒng)的集成方法在多模態(tài)目標檢測任務(wù)中因外參標定誤差或固定iou閾值導致的檢測精度降低，本發(fā)明提供了一種基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法。該方法通過聯(lián)合概率方法對不同目標檢測模型輸出的置信度和檢測框進行了集成，運用概率邊緣化處理了可能出現(xiàn)的模態(tài)缺失，并引入了熵歸一化以降低因外參標定誤差而出現(xiàn)誤檢的情況，提高了整體的目標檢測精度和魯棒性，對于在成本受限的工程任務(wù)中提高目標檢測的可靠性和準確性具有重要意義。

2、本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

3、一種基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法，包括如下步驟：

4、步驟一、初始化檢測器輸出集合d和集成檢測集合f，di＝{si,ci}∈d，di′＝{si′,ci′}∈f，其中，si,ci表示檢測器輸出的置信度與檢測框坐標，si′,ci′表示集成后的置信度與檢測框坐標，將d中的元素按si從大到小排列起來；

5、步驟二、模態(tài)間投影：根據(jù)外參矩陣，將激光雷達檢測器輸出的檢測框坐標點從3d激光雷達坐標系轉(zhuǎn)換到2d相機坐標系上，隨后根據(jù)相機在x軸和y軸方向焦距的長度和相機坐標系的原點將激光雷達點投影為像素點，具體投影方法如下：

6、如果要將一個激光雷達點投影至相機平面，那么首先將激光雷達坐標系轉(zhuǎn)換至相機坐標系：

7、

8、其中，表示點li在激光雷達坐標系下的3d坐標，表示點li在相機坐標系下的3d坐標，t為外參矩陣，之后將3d坐標轉(zhuǎn)換為2d坐標：

9、

10、其中，(ui,vi)是該激光雷達點在相機平面上的像素坐標，(fx,fy)是像素單位下的相機在x軸和y軸方向焦距的長度，(cx,cy)是相機坐標系的原點，至此，完成了激光雷達點到相機像素點的投影；

11、步驟三、熵歸一化：

12、從d中找到si最大的檢測dmax，并將與其檢測框相交的所有檢測di添加至集合i，根據(jù)i中元素的置信度比例進行熵歸一化：

13、

14、其中，hγ為期望得到的熵值，h1是γ＝1時的熵值，γ是需要求解的值，pi是第i個檢測器輸出結(jié)果的概率分布，e表示期望；

15、步驟四、置信度集成：

16、對于i中所有與dmax的iou超過閾值的檢測，將它們的置信度與dmax集成：

17、ci∝(p(f|x1)p(f|x2))γ

18、其中，p(f|xi)表示第i個檢測器的條件概率分布；

19、步驟五、檢測框集成：

20、將大于iou閾值的檢測框坐標集成：

21、

22、其中，f表示由檢測框質(zhì)心、寬度和高度組成的連續(xù)隨機變量，μi代表檢測框坐標，為分布的方差；

23、步驟六、循環(huán)：

24、將dmax從d中移除，并將di′＝{si′,ci′}添加至f，重復步驟一至步驟五直到d為空。

25、相比于現(xiàn)有技術(shù)，本發(fā)明具有如下優(yōu)點：

26、本發(fā)明針對深度學習方法的訓練成本不斷增加，而傳統(tǒng)集成方法在多模態(tài)數(shù)據(jù)上表現(xiàn)不理想的情況，通過引入獨立分布檢測期間置信度和檢測框的聯(lián)合概率，結(jié)合熵歸一化逼近不同模態(tài)間的概率分布，提出了基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法。本發(fā)明通過集成已訓練完成的檢測器輸出，在不需要額外訓練成本的同時，給出了相較傳統(tǒng)單模態(tài)檢測器更加精確的檢測結(jié)果，并妥善處理了在模態(tài)缺失時傳統(tǒng)集成方法可能失效的情況，此外，在多模態(tài)檢測器外參標定不理想時提供了比傳統(tǒng)集成方法更高的檢測精度，對于提高目標檢測任務(wù)的可靠性和安全性起到積極作用，減少了因誤檢、漏檢而導致事故的風險。

技術(shù)特征：

1.一種基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法，其特征在于所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法，其特征在于所述步驟二中，外參矩陣描述了從世界坐標系到相機坐標系的變換，定義了傳感器在世界坐標系中的位置和方向，外參矩陣t的形式如下：

3.根據(jù)權(quán)利要求1所述的基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法，其特征在于所述步驟二中，具體投影方法如下：

4.根據(jù)權(quán)利要求1所述的基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法，其特征在于所述步驟五中，分母是標簽為y時第i個檢測器結(jié)果的條件概率分布。

技術(shù)總結(jié)
本發(fā)明公開了一種基于聯(lián)合概率和熵歸一化的多模態(tài)目標檢測集成方法，所述方法包括如下步驟：一、初始化檢測器輸出集合和集成檢測集合；二、模態(tài)間投影；三、熵歸一化；四、置信度集成；五、檢測框集成；六、循環(huán)。本發(fā)明通過集成已訓練完成的檢測器輸出，在不需要額外訓練成本的同時，給出了相較傳統(tǒng)單模態(tài)檢測器更加精確的檢測結(jié)果，并妥善處理了在模態(tài)缺失時傳統(tǒng)集成方法可能失效的情況，此外，在多模態(tài)檢測器外參標定不理想時提供了比傳統(tǒng)集成方法更高的檢測精度，對于提高目標檢測任務(wù)的可靠性和安全性起到積極作用，減少了因誤檢、漏檢而導致事故的風險，對于在成本受限的工程任務(wù)中提高目標檢測的可靠性和準確性具有重要意義。

技術(shù)研發(fā)人員：程紹武,張涵之
受保護的技術(shù)使用者：哈爾濱工業(yè)大學
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8