所屬的技術(shù)人員能夠理解，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即：完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“平臺(tái)”。圖9是本發(fā)明實(shí)施例中的一種透明物體檢測(cè)分割和深度校正設(shè)備的結(jié)構(gòu)示意圖。下面參照?qǐng)D9來描述根據(jù)本發(fā)明的這種實(shí)施方式的電子設(shè)備600。圖9顯示的電子設(shè)備600僅僅是一個(gè)示例，不應(yīng)對(duì)本發(fā)明實(shí)施例的功能和使用范圍帶來任何限制。如圖9所示，電子設(shè)備600以通用計(jì)算設(shè)備的形式表現(xiàn)。電子設(shè)備600的組件可以包括但不限于：至少一個(gè)處理單元610、至少一個(gè)存儲(chǔ)單元620、連接不同平臺(tái)組件(包括存儲(chǔ)單元620和處理單元610)的總線630、顯示單元640等。其中，存儲(chǔ)單元存儲(chǔ)有程序代碼，程序代碼可以被處理單元610執(zhí)行，使得處理單元610執(zhí)行本說明書上述一種透明物體檢測(cè)分割和深度校正方法部分中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。例如，處理單元610可以執(zhí)行如圖1中所示的步驟。存儲(chǔ)單元620可以包括易失性存儲(chǔ)單元形式的可讀介質(zhì)，例如隨機(jī)存取存儲(chǔ)單元(ram)6201和/或高速緩存存儲(chǔ)單元6202，還可以進(jìn)一步包括只讀存儲(chǔ)單元(rom)6203。存儲(chǔ)單元620還可以包括具有一組(至少一個(gè))程序模塊6205的程序/實(shí)用工具6204，這樣的程序模塊6205包括但不限于：操作系統(tǒng)、一個(gè)或者多個(gè)應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個(gè)或某種組合中可能包括網(wǎng)格環(huán)境的實(shí)現(xiàn)?？偩€630可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲(chǔ)單元總線或者存儲(chǔ)單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備600也可以與一個(gè)或多個(gè)外部設(shè)備700(例如鍵盤、指向設(shè)備、藍(lán)牙設(shè)備等)通信，還可與一個(gè)或者多個(gè)使得用戶能與該電子設(shè)備600交互的設(shè)備通信，和/或與使得該電子設(shè)備600能與一個(gè)或多個(gè)其它計(jì)算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(i/o)接口650進(jìn)行。并且，電子設(shè)備600還可以通過網(wǎng)格適配器660與一個(gè)或者多個(gè)網(wǎng)格(例如局域網(wǎng)(lan)，廣域網(wǎng)(wan)和/或公共網(wǎng)格，例如因特網(wǎng))通信。網(wǎng)格適配器660可以通過總線630與電子設(shè)備600的其它模塊通信。應(yīng)當(dāng)明白，盡管圖9中未示出，可以結(jié)合電子設(shè)備600使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動(dòng)器、冗余處理單元、外部磁盤驅(qū)動(dòng)陣列、raid系統(tǒng)、磁帶驅(qū)動(dòng)器以及數(shù)據(jù)備份存儲(chǔ)平臺(tái)等。本發(fā)明實(shí)施例中還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)程序，程序被執(zhí)行時(shí)實(shí)現(xiàn)的一種透明物體檢測(cè)分割和深度校正方法的步驟。在一些可能的實(shí)施方式中，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為一種程序產(chǎn)品的形式，其包括程序代碼，當(dāng)程序產(chǎn)品在終端設(shè)備上運(yùn)行時(shí)，程序代碼用于使終端設(shè)備執(zhí)行本說明書上述一種透明物體檢測(cè)分割和深度校正方法部分中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。如上所示，本實(shí)施例基于rgbd相機(jī)，獲取rgb圖、散斑紅外圖和深度圖，通過第一深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別出透明物體范圍，再對(duì)深度值進(jìn)行校正，得到最終的深度圖，能夠準(zhǔn)確識(shí)別出各類應(yīng)用場(chǎng)景中的透明物體，解決現(xiàn)有技術(shù)中識(shí)別不準(zhǔn)確的問題。圖10是本發(fā)明實(shí)施例中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的結(jié)構(gòu)示意圖。參考圖10所示，描述了根據(jù)本發(fā)明的實(shí)施方式的用于實(shí)現(xiàn)上述方法的程序產(chǎn)品800，其可以采用便攜式緊湊盤只讀存儲(chǔ)器(cd-rom)并包括程序代碼，并可以在終端設(shè)備，例如個(gè)人電腦上運(yùn)行。然而，本發(fā)明的程序產(chǎn)品不限于此，在本文件中，可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。程序產(chǎn)品可以采用一個(gè)或多個(gè)可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號(hào)介質(zhì)或者可讀存儲(chǔ)介質(zhì)?？勺x存儲(chǔ)介質(zhì)例如可以為但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦式可編程只讀存儲(chǔ)器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(cd-rom)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括但不限于電磁信號(hào)、光信號(hào)或上述的任意合適的組合。可讀存儲(chǔ)介質(zhì)還可以是可讀存儲(chǔ)介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序?？勺x存儲(chǔ)介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括但不限于無線、有線、光纜、rf等等，或者上述的任意合適的組合?？梢砸砸环N或多種程序設(shè)計(jì)語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的程序代碼，程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言—諸如java、c++等，還包括常規(guī)的過程式程序設(shè)計(jì)語言—諸如“c”語言或類似的程序設(shè)計(jì)語言。程序代碼可以完全地在用戶計(jì)算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算設(shè)備上部分在遠(yuǎn)程計(jì)算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算設(shè)備的情形中，遠(yuǎn)程計(jì)算設(shè)備可以通過任意種類的網(wǎng)格，包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)，連接到用戶計(jì)算設(shè)備，或者，可以連接到外部計(jì)算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。本實(shí)施例基于rgbd相機(jī)，獲取rgb圖、散斑紅外圖和深度圖，通過第一深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別出透明物體范圍，再對(duì)深度值進(jìn)行校正，得到最終的深度圖，能夠準(zhǔn)確識(shí)別出各類應(yīng)用場(chǎng)景中的透明物體，解決現(xiàn)有技術(shù)中識(shí)別不準(zhǔn)確的問題。本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。

背景技術(shù)：

1、基于深度相機(jī)的透明物體檢測(cè)技術(shù)是一種先進(jìn)的計(jì)算機(jī)視覺技術(shù)，它利用深度相機(jī)獲取物體的三維信息，從而實(shí)現(xiàn)對(duì)透明物體的檢測(cè)和定位。

2、深度相機(jī)通過發(fā)射和接收光線(如紅外光)來測(cè)量物體與相機(jī)之間的距離，從而生成物體的深度圖像。這些深度圖像與彩色圖像(rgb圖像)相結(jié)合，可以提供物體的三維信息。

3、透明物體由于其高透光性和低反射率，使得傳統(tǒng)的基于阻擋光線的檢測(cè)方法難以有效應(yīng)用。深度相機(jī)雖然可以獲取物體的三維信息，但在面對(duì)透明物體時(shí)，也面臨一些挑戰(zhàn)：

4、深度信息缺失：透明物體可能無法形成有效的深度信息，因?yàn)樯疃认鄼C(jī)通常依賴于光線在物體表面的反射來測(cè)量距離。

5、反射干擾：透明物體的反射可能導(dǎo)致深度信息的誤讀，特別是當(dāng)環(huán)境光強(qiáng)烈反射在物體表面時(shí)。

6、為了克服上述挑戰(zhàn)，研究者們提出了多種基于深度相機(jī)的透明物體檢測(cè)技術(shù)。這些技術(shù)通常結(jié)合深度圖像、rgb圖像以及其他傳感器數(shù)據(jù)(如紅外圖像)來實(shí)現(xiàn)對(duì)透明物體的檢測(cè)和定位。

7、一、多模態(tài)信息融合：

8、深度相機(jī)不僅提供深度圖像，還可以提供rgb圖像。結(jié)合這兩種圖像，可以實(shí)現(xiàn)對(duì)透明物體的初步檢測(cè)。

9、紅外圖像也可以作為輔助信息，因?yàn)橥该魑矬w在紅外光下的反射特性可能與可見光不同。

10、二、候選區(qū)域提?。?/p>

11、使用主動(dòng)深度傳感器(如intelrealsense)從深度圖像中檢索透明候選區(qū)域。這些區(qū)域通常是深度信息缺失或不確定的區(qū)域。

12、在rgb圖像和紅外圖像中分別提取對(duì)應(yīng)的候選區(qū)域，以便進(jìn)行后續(xù)處理。

13、三、特征提取與分類：

14、使用特征提取算法(如sift)從候選區(qū)域中提取特征點(diǎn)。

15、利用分類算法(如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等)對(duì)提取的特征進(jìn)行分類，以識(shí)別出透明物體。

16、四、三維重建與定位：

17、通過調(diào)整相機(jī)方向，使其光軸垂直于物體所在平面的法線方向，獲取一組新的rgb圖像和紅外圖像。

18、分別提取這些圖像中的對(duì)象輪廓，并通過立體匹配來重建三維物體。

19、利用重建的三維模型來估計(jì)物體的位姿信息，從而實(shí)現(xiàn)對(duì)透明物體的精確定位。

20、以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請(qǐng)的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請(qǐng)的申請(qǐng)日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評(píng)價(jià)本技術(shù)的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明提供一種透明物體檢測(cè)分割和深度校正方案，以解決在各類應(yīng)用場(chǎng)景中，對(duì)透明物體范圍和深度的需求。

2、第一方面，本發(fā)明提供一種透明物體檢測(cè)分割和深度校正方法，其特征在于，包括：

3、步驟s1：獲取rgb圖、散斑紅外圖和深度圖；

4、步驟s2：通過第一深度學(xué)習(xí)網(wǎng)絡(luò)，識(shí)別出透明物體范圍和透明物體邊界；其中，所述第一深度學(xué)習(xí)網(wǎng)絡(luò)根據(jù)散斑照射在透明物體上的散光特性獲得所述透明物體范圍和所述透明物體邊界；

5、步驟s3：根據(jù)所述深度圖和所述散斑紅外圖，結(jié)合所述透明物體邊界的深度值，對(duì)所述透明物體范圍內(nèi)的深度值進(jìn)行校正，得到最終的深度圖。

6、可選地，所述的一種透明物體檢測(cè)分割和深度校正方法，其特征在于，步驟s1包括：

7、步驟s11：獲取rgb圖和散斑紅外圖；其中，所述散斑紅外圖至少有兩幅圖像；

8、步驟s12：根據(jù)兩幅所述散斑紅外圖計(jì)算視差，得到深度圖。

9、可選地，所述的一種透明物體檢測(cè)分割和深度校正方法，其特征在于，所述散斑紅外圖有兩幅圖像，還包括：

10、步驟s13：對(duì)所述深度圖和所述rgb圖進(jìn)行像素級(jí)重投影對(duì)齊。

11、可選地，所述的一種透明物體檢測(cè)分割和深度校正方法，其特征在于，所述第一深度學(xué)習(xí)網(wǎng)絡(luò)為unet網(wǎng)絡(luò)，包含編碼器、第一解碼器和第二解碼器；所述第一解碼器輸出透明物體的范圍；所述第二解碼器輸出透明物體的邊界；所述第一解碼器和所述第二解碼器各層級(jí)特征之間特征交互。

12、可選地，所述的一種透明物體檢測(cè)分割和深度校正方法，其特征在于，在步驟s3中，將所述深度圖、所述透明物體范圍、所述透明物體邊界和所述散斑紅外圖輸入第二深度學(xué)習(xí)網(wǎng)絡(luò)，以得到最終的深度圖；其中，所述第二深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合所述透明物體邊界，對(duì)所述透明物體范圍內(nèi)的深度值進(jìn)行校正。

13、可選地，所述的一種透明物體檢測(cè)分割和深度校正方法，其特征在于，步驟s3包括：

14、步驟s31：根據(jù)所述深度圖和所述散斑紅外圖，對(duì)所述透明物體范圍以外的部分進(jìn)行三維重建；

15、步驟s32：獲得所述透明物體邊界的三維信息，識(shí)別所述透明物體邊界在三維空間中的形狀；

16、步驟s33：根據(jù)所述透明物體邊界進(jìn)行平面擬合，得到所述透明物體范圍內(nèi)每一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值。

17、可選地，所述的一種透明物體檢測(cè)分割和深度校正方法，其特征在于，步驟s33包括：

18、步驟s331：對(duì)所述透明物體邊界進(jìn)行直線擬合，獲得三維空間中多個(gè)直線；

19、步驟s332：對(duì)依次相連的三個(gè)直線擬合平面，得到透明物體；

20、步驟s333：根據(jù)所述透明物體計(jì)算所述透明物體范圍內(nèi)每一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值。

21、第二方面，本發(fā)明提供一種透明物體檢測(cè)分割和深度校正系統(tǒng)，用于實(shí)現(xiàn)前述任一項(xiàng)所述的透明物體檢測(cè)分割和深度校正方法，其特征在于，包括：

22、獲取模塊，用于獲取rgb圖、散斑紅外圖和深度圖；

23、識(shí)別模塊，用于通過第一深度學(xué)習(xí)網(wǎng)絡(luò)，識(shí)別出透明物體范圍和透明物體邊界；其中，所述第一深度學(xué)習(xí)網(wǎng)絡(luò)根據(jù)散斑照射在透明物體上的散光特性獲得所述透明物體范圍和所述透明物體邊界；

24、校正模塊，用于根據(jù)所述深度圖和所述散斑紅外圖，結(jié)合所述透明物體邊界的深度值，對(duì)所述透明物體范圍內(nèi)的深度值進(jìn)行校正，得到最終的深度圖。

25、第三方面，本發(fā)明提供一種透明物體檢測(cè)分割和深度校正設(shè)備，其特征在于，包括：

26、處理器；

27、存儲(chǔ)器，其中存儲(chǔ)有所述處理器的可執(zhí)行指令；

28、其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行前述任一項(xiàng)所述透明物體檢測(cè)分割和深度校正方法的步驟。

29、第四方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)程序，其特征在于，所述程序被執(zhí)行時(shí)實(shí)現(xiàn)前述任一項(xiàng)所述透明物體檢測(cè)分割和深度校正方法的步驟。

30、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

31、本發(fā)明采用散斑紅外圖，利用透明物體對(duì)于光斑的反射不同于非透明物體，使得光斑的反射信號(hào)在圖像上呈現(xiàn)出不同的特性，并使得計(jì)算得到的深度值也呈現(xiàn)出雜亂的特性；本發(fā)明通過對(duì)光斑和深度值的深度學(xué)習(xí)，可以準(zhǔn)確識(shí)別出透明物體范圍，并可以對(duì)透明物體的深度值進(jìn)行有效的校正，適用于各類透明物體的識(shí)別場(chǎng)景。