本發(fā)明涉及智能駕駛，更具體地說，涉及一種物體的三維目標(biāo)檢測方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、激光雷達(dá)是滿足智能駕駛技術(shù)的重要傳感器，尤其是針對激光雷達(dá)數(shù)據(jù)的三維目標(biāo)檢測技術(shù)，更是智能駕駛環(huán)境感知的核心技術(shù)之一。

2、目前的三維目標(biāo)檢測技術(shù)主要是以單幀的激光點云技術(shù)作為輸入，并通過體素化、體素特征提取、多尺度特征編碼、檢測頭等模塊進(jìn)行處理，得到若干個目標(biāo)的包圍框。但是在實際應(yīng)用場景中，激光雷達(dá)還能都提供時間的點云序列，因此，為了提高三維目標(biāo)檢測的準(zhǔn)確性和穩(wěn)定性，還可以在原來的三維目標(biāo)檢測技術(shù)中加入時序信息。

3、在現(xiàn)有技術(shù)中，可以通過位姿信息將時序點云在空間上直接疊加，從而形成一個更稠密的點云作為檢測模型的輸入；或者，將每一幀點云獨立進(jìn)行特征提取，然后在較深的特征層級進(jìn)行時序特征的融合；又或者，對每一幀點云先檢測出物體的局域點云，再通過注意力機(jī)制或transformer結(jié)構(gòu)進(jìn)行物體級的時序特征融合。但是，直接疊加點云容易出現(xiàn)動態(tài)物體拖影的問題，并且通過時序特征融合的方式未充分考慮物體運動信息，以及通過逐幀點云特征提取或逐幀物體檢測的方式會大幅增加計算代價，不利于智能駕駛?cè)蝿?wù)上的實際部署。

4、因此，如何提供一種基于物體速度信息和時序特征融合的三維目標(biāo)檢測方式，以結(jié)合時序信息和物體運動信息，提高三維目標(biāo)檢測的準(zhǔn)確性和穩(wěn)定性，以及避免出現(xiàn)動態(tài)物體拖影和降低計算代價，便于智能駕駛?cè)蝿?wù)的實際部署，是本技術(shù)當(dāng)前亟需解決的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種物體的三維目標(biāo)檢測方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，以結(jié)合時序信息和物體運動信息，提高三維目標(biāo)檢測的準(zhǔn)確性和穩(wěn)定性，以及避免出現(xiàn)動態(tài)物體拖影和降低計算代價，便于智能駕駛?cè)蝿?wù)的實際部署為目的。

2、本技術(shù)第一方面提供一種物體的三維目標(biāo)檢測方法，所述方法包括：

3、確定每個物體在當(dāng)前幀的物體區(qū)域和速度信息；

4、基于所述物體在當(dāng)前幀的物體區(qū)域和速度信息，確定所述物體在連續(xù)的每個歷史幀的物體區(qū)域；

5、基于所述物體在當(dāng)前幀的物體區(qū)域和在每個歷史幀的物體區(qū)域，確定所述物體在當(dāng)前幀的局部點云區(qū)域和在每個歷史幀的局部點云區(qū)域；

6、通過三維目標(biāo)檢測模型根據(jù)所述物體的物體區(qū)域和各個連續(xù)幀的局部點云區(qū)域生成相應(yīng)的全局特征，并對所述全局特征進(jìn)行處理，得到所述物體的分類置信度和回歸預(yù)測框；其中，各個連續(xù)幀包括當(dāng)前幀和各個歷史幀。

7、可選的，所述確定每個物體在當(dāng)前幀的物體區(qū)域和速度信息，包括：

8、獲取每個物體的當(dāng)前幀點云；

9、通過三維目標(biāo)檢測任務(wù)利用所述物體的當(dāng)前幀點云，確定所述物體在當(dāng)前幀的物體區(qū)域和速度信息；其中，所述三維目標(biāo)檢測模型為以物體的當(dāng)前幀點云作為輸入，目標(biāo)檢測結(jié)果作為輸出的一個任務(wù)，目標(biāo)檢測結(jié)果包括物體在當(dāng)前幀的物體區(qū)域和速度信息。

10、可選的，所述基于所述物體在當(dāng)前幀的物體區(qū)域和速度信息，確定所述物體在連續(xù)的每個歷史幀的物體區(qū)域，包括：

11、從緩存中獲取與所述當(dāng)前幀相連的前t-1個連續(xù)的歷史幀；其中，所述t大于1；

12、基于所述物體在當(dāng)前幀的物體區(qū)域和所述速度信息控制所述物體進(jìn)行勻速直線運行；

13、在所述物體進(jìn)行勻速直線運行的過程中，根據(jù)所述當(dāng)前幀與所述歷史幀的時間差推測所述物體在所述歷史幀的物體區(qū)域。

14、可選的，所述基于所述物體在當(dāng)前幀的物體區(qū)域和在每個歷史幀的物體區(qū)域，確定所述物體在當(dāng)前幀的局部點云區(qū)域和在連續(xù)的每個歷史幀的局部點云區(qū)域，包括：

15、獲取所述物體的寬度和長度，并根據(jù)所述物體的長度和寬度確定所述物體在當(dāng)前幀的區(qū)域半徑和在每個所述歷史幀的區(qū)域半徑；

16、根據(jù)所述物體在當(dāng)前幀的物體區(qū)域和區(qū)域半徑，確定所述物體在當(dāng)前幀的局部點云區(qū)域；

17、根據(jù)所述物體每個在所述歷史幀的物體區(qū)域和區(qū)域半徑，確定所述物體每個在所述歷史幀的局部點云區(qū)域。

18、可選的，所述三維目標(biāo)檢測模型包括特征提取模塊和多層感知機(jī)模塊；

19、通過三維目標(biāo)檢測模型根據(jù)所述物體的物體區(qū)域和各個連續(xù)幀的局部點云區(qū)域生成相應(yīng)的全局特征，并對所述全局特征進(jìn)行處理，得到每個物體的分類置信度和回歸預(yù)測框，包括：

20、通過所述特征提取模塊從所述物體的各個連續(xù)幀的局部點云區(qū)域中提取出所述物體的物體區(qū)域內(nèi)各個坐標(biāo)點的局部點云特征，將各個所述坐標(biāo)點的局部點云特征與其空間信息進(jìn)行融合，得到各個所述坐標(biāo)點的空間特征，并將各個所述坐標(biāo)點的空間特征與其時間信息進(jìn)行融合，得到全局特征；

21、通過所述多層感知機(jī)模塊對所述全局特征進(jìn)行處理，得到每個所述物體的分類置信度和回歸預(yù)測框。

22、可選的，所述特征提取模塊包括局部特征混合器、空間特征混合器和時間特征混合器；

23、所述通過所述特征提取模塊從所述物體的各個連續(xù)幀的局部點云區(qū)域中提取出所述物體的物體區(qū)域內(nèi)各個坐標(biāo)點的局部點云特征，將各個所述坐標(biāo)點的局部點云特征進(jìn)行空間信息融合，得到各個所述坐標(biāo)點的空間特征，并將各個所述坐標(biāo)點的空間特征與其時間信息進(jìn)行融合，得到全局特征，包括：

24、通過所述局部特征混合器從所述物體的各個連續(xù)幀的局部點云區(qū)域中提取出所述物體的物體區(qū)域內(nèi)各個坐標(biāo)點的局部點云特征；

25、通過所述空間特征混合器將各個所述坐標(biāo)點的局部點云特征與其空間信息進(jìn)行融合，得到各個所述坐標(biāo)點的空間特征；

26、通過所述時間特征混合器將各個所述坐標(biāo)點的空間特征與其時間信息進(jìn)行融合，得到全局特征；

27、將所述局部點云特征、所述空間特征和所述時間特征進(jìn)行特征整合，得到全局特征。

28、可選的，所述多層感知機(jī)模塊包括分類多層感知機(jī)和回歸多層感知機(jī)；

29、通過多層感知機(jī)模塊對所述全局特征進(jìn)行處理，得到每個所述物體的分類置信度和回歸預(yù)測框，包括：

30、通過所述分類多層感知機(jī)對所述全局特征進(jìn)行處理，得到每個所述物體的分類置信度；

31、通過所述回復(fù)多層感知機(jī)對所述全局特征進(jìn)行處理，得到每個所述物體的回歸預(yù)測框。

32、本技術(shù)第二方面提供一種物體的三維目標(biāo)檢測系統(tǒng)，所述系統(tǒng)包括：

33、第一確定單元，用于確定所述物體在當(dāng)前幀的物體區(qū)域和速度信息；

34、第二確定單元，用于基于所述物體在當(dāng)前幀的物體區(qū)域和速度信息，確定所述物體在與所述當(dāng)前幀連續(xù)的每個歷史幀的物體區(qū)域；

35、第三確定單元，用于基于所述物體在當(dāng)前幀的物體區(qū)域和在每個歷史幀的物體區(qū)域，確定所述物體在當(dāng)前幀的局部點云區(qū)域和在每個歷史幀的局部點云區(qū)域；

36、處理單元，用于通過三維目標(biāo)檢測模型根據(jù)所述物體的物體區(qū)域和各個連續(xù)幀的局部點云區(qū)域生成相應(yīng)的全局特征，并對所述全局特征進(jìn)行處理，得到所述物體的分類置信度和回歸預(yù)測框；其中，各個連續(xù)幀包括當(dāng)前幀和各個歷史幀。

37、本發(fā)明第三方面提供一種電子設(shè)備，包括：處理器以及存儲器，所述處理器以及存儲器通過通信總線相連；其中，所述處理器，用于調(diào)用并執(zhí)行所述存儲器中存儲的程序；所述存儲器，用于存儲程序，所述程序用于實現(xiàn)如本發(fā)明第一方面提供的物體的三維目標(biāo)檢測方法。

38、本發(fā)明第四方面提供一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)可執(zhí)行指令，所述計算機(jī)可執(zhí)行指令用于執(zhí)行如本發(fā)明第一方面提供的物體的三維目標(biāo)檢測方法。

39、本發(fā)明實施例提供一種物體的三維目標(biāo)檢測方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，通過確定每個物體在當(dāng)前幀的物體區(qū)域和速度信息，以便基于物體在當(dāng)前幀的物體區(qū)域和速度信息，推斷物體在連續(xù)的每個歷史幀的物體區(qū)域，避免了多幀點云直接疊加帶來的動態(tài)物體拖影的問題，從而提高物體的三維檢測精度；基于物體在當(dāng)前幀的物體區(qū)域和在每個歷史幀的物體區(qū)域確定物體的在當(dāng)前幀的局部點云區(qū)域和在每個歷史幀的局部點云區(qū)域，并通過三維目標(biāo)檢測模型根據(jù)所述物體的物體區(qū)域和各個連續(xù)幀的局部點云區(qū)域生成相應(yīng)的全局特征，并對得到的全局特征進(jìn)行處理，得到每個物體的分類置信度和回歸預(yù)測框；其中，各個連續(xù)幀包括當(dāng)前幀和各個歷史幀，各個連續(xù)幀包括當(dāng)前幀和各個歷史幀。由此可見，本發(fā)明提供的技術(shù)方案，通過結(jié)合物體的速度信息和多個連續(xù)幀包含的時序特征，不僅能夠避免多幀點云直接疊加帶來的動態(tài)物體拖影的問題，提高物體的三維檢測精度，還能夠大幅度降低多幀時序點云的檢測方式所需的計算代價，降低了三維目標(biāo)檢測成本，提高了應(yīng)用到實現(xiàn)場景的落地潛能，即提高智能駕駛?cè)蝿?wù)上的實際部署。