本發(fā)明涉及計(jì)算機(jī)視覺(jué)，具體涉及基于三維交互建模與頂點(diǎn)對(duì)比學(xué)習(xí)的一種手-物估計(jì)方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、3d手-物姿態(tài)估計(jì)是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)研究方向之一，在虛擬現(xiàn)實(shí)、人機(jī)交互等領(lǐng)域發(fā)揮著至關(guān)重要的作用。這個(gè)任務(wù)通常是估計(jì)或重建圖像中的手和被操作的物體。近年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展和大規(guī)模手-物交互數(shù)據(jù)集的出現(xiàn)，對(duì)手和物體的姿態(tài)方面的研究取得了許多突破性的成果。目前，從單目圖像中估計(jì)單個(gè)手的姿態(tài)及單個(gè)物體的姿態(tài)已經(jīng)取得了比較好的結(jié)果。然而，由于手的高自由度，以及手頻繁地與物體接觸而造成的相互遮擋情況，從單目圖像中估計(jì)交互式手-物的姿態(tài)更具有挑戰(zhàn)性。

2、目前，交互式手-物姿態(tài)估計(jì)方法獲得相對(duì)令人滿(mǎn)意的結(jié)果，但還是存在一些問(wèn)題：（1）3d交互式手-物姿態(tài)估計(jì)任務(wù)核心在于精確地建模手和物體之間的交互關(guān)系。近些年，雖然能夠捕捉到手和物體的基本位置和姿態(tài)特征，但對(duì)于手-物體交互細(xì)節(jié)方面存在不足，尤其是手和物體的交互接觸主要發(fā)生在表面，這并沒(méi)有很好地利用手和物體的表面輪廓信息。（2）在復(fù)雜背景下對(duì)手-物姿態(tài)聯(lián)合估計(jì)，特別是對(duì)小物體的建模，是具有挑戰(zhàn)性的。因?yàn)樾∥矬w在圖像中占據(jù)的面積較小，導(dǎo)致從圖像中提取的有效信息較少。另外，在復(fù)雜背景下，圖像中可能包含多種物體，這些物體可能與被操作的物體在顏色或形狀上相似。但目前主流方法對(duì)這些小物體或相近物體特征獲取不足。因此，上述兩個(gè)問(wèn)題導(dǎo)致3d交互式手-物姿態(tài)估計(jì)方法的性能受到限制。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的是提供一種手-物估計(jì)方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，旨在提升三維交互式手-物姿態(tài)估計(jì)方法的性能。一方面，通過(guò)三維交互建模方法，實(shí)現(xiàn)了多尺度二維到三維空間特征的映射，同時(shí)捕獲了手和物體之間在三維空間中的細(xì)粒度交互相關(guān)性，增強(qiáng)了交互細(xì)節(jié)表示；另一方面，通過(guò)在三維空間中手部頂點(diǎn)間正負(fù)樣本的對(duì)比學(xué)習(xí)，增強(qiáng)了復(fù)雜背景中手部網(wǎng)格頂點(diǎn)與環(huán)境體素之間的相似性和差異性，從而加強(qiáng)了模型處理復(fù)雜場(chǎng)景中手-物姿態(tài)估計(jì)的能力。

2、為了解決上述技術(shù)問(wèn)題，本技術(shù)是這樣實(shí)現(xiàn)的：

3、第一方面，本技術(shù)實(shí)施例提供了一種手-物估計(jì)方法，所述方法包括：

4、獲取手-物交互圖像；

5、對(duì)所述手-物交互圖像進(jìn)行特征提取，分別得到手部深層特征圖和物體深層特征圖；

6、對(duì)所述手部深層特征圖進(jìn)行手部關(guān)節(jié)點(diǎn)預(yù)測(cè)，得到手部頂點(diǎn)2d坐標(biāo)；對(duì)所述物體深層特征圖進(jìn)行物體熱圖編碼，得到物體2d坐標(biāo)；

7、將所述手部頂點(diǎn)2d坐標(biāo)和所述手部深層特征圖進(jìn)行姿勢(shì)對(duì)齊，得到手部姿勢(shì)對(duì)齊特征；將所述物體2d坐標(biāo)和所述物體深層特征圖進(jìn)行姿勢(shì)對(duì)齊，得到物體姿勢(shì)對(duì)齊特征；

8、將所述手部姿勢(shì)對(duì)齊特征和所述物體姿勢(shì)對(duì)齊特征進(jìn)行3d特征映射，分別得到手部3d空間特征和物體3d空間特征；

9、根據(jù)交叉注意力機(jī)制，捕捉所述手部3d空間特征和所述物體3d空間特征之間的細(xì)粒度交互關(guān)系，以得到手部增強(qiáng)特征和物體增強(qiáng)特征；

10、利用正負(fù)樣本的對(duì)比學(xué)習(xí)，增強(qiáng)所述手部增強(qiáng)特征中的手部頂點(diǎn)間的相似性，以及增強(qiáng)所述手部增強(qiáng)特征中的手部頂點(diǎn)與環(huán)境體素的差異性，得到手部空間優(yōu)化特征；

11、對(duì)所述物體增強(qiáng)特征和所述手部空間優(yōu)化特征解碼，得到手-物估計(jì)結(jié)果。

12、作為本技術(shù)第一方面的一種可選實(shí)施方式，對(duì)所述手-物交互圖像進(jìn)行特征提取，分別得到手部深層特征圖和物體深層特征圖的步驟包括：使用restnet50-fpn單雙分支混合網(wǎng)絡(luò)對(duì)所述手-物交互圖像進(jìn)行淺層特征提取，得到手部淺層特征和物體淺層特征；使用多尺度主干分別對(duì)所述手部淺層特征和所述物體淺層特征進(jìn)行多尺度特征提取，得到手部深層特征圖和物體深層特征圖。

13、作為本技術(shù)第一方面的一種可選實(shí)施方式，對(duì)所述手部深層特征圖進(jìn)行手部關(guān)節(jié)點(diǎn)預(yù)測(cè)，得到手部頂點(diǎn)2d坐標(biāo)的步驟包括：將手部深層特征圖通過(guò)沙漏模塊進(jìn)行手部特征提取、通過(guò)殘差連接引入殘差學(xué)習(xí)以及通過(guò)基礎(chǔ)塊處理手部特征，得到三個(gè)不同的特征向量，所述三個(gè)不同的特征向量分別為二維熱圖、2d關(guān)節(jié)點(diǎn)坐標(biāo)以及潛層特征圖。

14、作為本技術(shù)第一方面的一種可選實(shí)施方式，對(duì)所述物體深層特征圖進(jìn)行物體熱圖編碼，得到物體2d坐標(biāo)的步驟包括：將物體深層特征圖通過(guò)卷積塊和激活函數(shù)，得到物體的二維熱圖表示，所述物體的二維熱圖表示包括維度高h(yuǎn)和維度寬w；在所述維度高h(yuǎn)和所述維度寬w上求均值，以量化二維熱圖坐標(biāo)，分別轉(zhuǎn)化為對(duì)應(yīng)的一維向量；設(shè)w和h維的張量分別代表維度寬w和維度高h(yuǎn)上的熱圖索引；將歸一化的所述一維向量與對(duì)應(yīng)的所述熱圖索引相乘，得到物體2d坐標(biāo)。

15、作為本技術(shù)第一方面的一種可選實(shí)施方式，將所述手部姿勢(shì)對(duì)齊特征和所述物體姿勢(shì)對(duì)齊特征進(jìn)行3d特征映射的步驟之前還包括：對(duì)手部姿勢(shì)對(duì)齊特征和物體姿勢(shì)對(duì)齊特征進(jìn)行預(yù)處理，所述預(yù)處理包括：對(duì)所述手部姿勢(shì)對(duì)齊特征進(jìn)行四倍的下采樣，以及將手部頂點(diǎn)數(shù)量精簡(jiǎn)化；對(duì)所述物體姿勢(shì)對(duì)齊特征的物體頂點(diǎn)數(shù)量精簡(jiǎn)化。

16、作為本技術(shù)第一方面的一種可選實(shí)施方式，根據(jù)交叉注意力機(jī)制，捕捉所述手部3d空間特征和所述物體3d空間特征之間的細(xì)粒度交互關(guān)系，以得到手部增強(qiáng)特征和物體增強(qiáng)特征的步驟包括：使用一維卷積層分別提取手部3d空間特征和物體3d空間特征的查詢(xún)值和特征值；根據(jù)所述查詢(xún)值、所述特征值和特征維度總和得到對(duì)應(yīng)的注意力加權(quán)特征；采用一維卷積層，將所述手部3d空間特征和所述物體3d空間特征分別與對(duì)應(yīng)的注意力加權(quán)特征進(jìn)行融合，分別得到手部增強(qiáng)特征和物體增強(qiáng)特征。

17、作為本技術(shù)第一方面的一種可選實(shí)施方式，利用正負(fù)樣本的對(duì)比學(xué)習(xí)，增強(qiáng)所述手部增強(qiáng)特征中的手部頂點(diǎn)間的相似性，以及增強(qiáng)所述手部增強(qiáng)特征中的手部頂點(diǎn)與環(huán)境體素的差異性，得到手部空間優(yōu)化特征的步驟包括：使用環(huán)境體素來(lái)形成有關(guān)頂點(diǎn)坐標(biāo)的嵌入表示，其中每個(gè)環(huán)境體素代表手部增強(qiáng)特征中一個(gè)局部區(qū)域的特征信息，以捕捉數(shù)據(jù)之間的相似性和差異性，對(duì)于每個(gè)手部頂點(diǎn)，正樣本是預(yù)測(cè)的手部頂點(diǎn)坐標(biāo)值，而負(fù)樣本是環(huán)境體素；基于所述手部頂點(diǎn)和所述環(huán)境體素，使用手部infonce損失函數(shù)，得到手部空間優(yōu)化特征，所述手部infonce損失函數(shù)包括手部頂點(diǎn)間的第一對(duì)比損失函數(shù)以及手部頂點(diǎn)與環(huán)境體素之間的第二對(duì)比損失函數(shù)。

18、第二方面，本技術(shù)實(shí)施例提供了一種手-物估計(jì)系統(tǒng)，所述系統(tǒng)包括：

19、獲取圖像模塊，用于獲取手-物交互圖像；

20、三維密集建模模塊，用于對(duì)所述手-物交互圖像進(jìn)行特征提取，分別得到手部深層特征圖和物體深層特征圖；對(duì)所述手部深層特征圖進(jìn)行手部關(guān)節(jié)點(diǎn)預(yù)測(cè)，得到手部頂點(diǎn)2d坐標(biāo)；對(duì)所述物體深層特征圖進(jìn)行物體熱圖編碼，得到物體2d坐標(biāo)；將所述手部頂點(diǎn)2d坐標(biāo)和所述手部深層特征圖進(jìn)行姿勢(shì)對(duì)齊，得到手部姿勢(shì)對(duì)齊特征；將所述物體2d坐標(biāo)和所述物體深層特征圖進(jìn)行姿勢(shì)對(duì)齊，得到物體姿勢(shì)對(duì)齊特征；將所述手部姿勢(shì)對(duì)齊特征和所述物體姿勢(shì)對(duì)齊特征進(jìn)行3d特征映射，分別得到手部3d空間特征和物體3d空間特征；根據(jù)交叉注意力機(jī)制，捕捉所述手部3d空間特征和所述物體3d空間特征之間的細(xì)粒度交互關(guān)系，以得到手部增強(qiáng)特征和物體增強(qiáng)特征；

21、頂點(diǎn)對(duì)比學(xué)習(xí)模塊，用于利用正負(fù)樣本的對(duì)比學(xué)習(xí)，增強(qiáng)所述手部增強(qiáng)特征中的手部頂點(diǎn)間的相似性，以及增強(qiáng)所述手部增強(qiáng)特征中的手部頂點(diǎn)與環(huán)境體素的差異性，得到手部空間優(yōu)化特征；

22、輸出圖像模塊，用于對(duì)所述物體增強(qiáng)特征和所述手部空間優(yōu)化特征解碼，得到手-物估計(jì)結(jié)果。

23、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，所述電子設(shè)備包括處理器、存儲(chǔ)器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序或指令，程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

24、第四方面，本技術(shù)實(shí)施例提供了一種可讀存儲(chǔ)介質(zhì)，可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

25、與現(xiàn)有技術(shù)相比，本發(fā)明提出一種手-物估計(jì)方法：通過(guò)獲取手-物交互圖像并分別提取手部和物體的深層特征圖，能夠捕捉手與物體的關(guān)鍵視覺(jué)信息，為后續(xù)處理提供數(shù)據(jù)基礎(chǔ)；對(duì)手部深層特征圖進(jìn)行手部關(guān)節(jié)點(diǎn)預(yù)測(cè)得到手部頂點(diǎn)2d坐標(biāo)，以及對(duì)物體深層特征圖進(jìn)行物體熱圖編碼得到物體2d坐標(biāo)，能夠精確表征手部和物體的空間位置信息；將手部頂點(diǎn)2d坐標(biāo)與手部深層特征圖進(jìn)行姿勢(shì)對(duì)齊得到手部姿勢(shì)對(duì)齊特征，同時(shí)將物體2d坐標(biāo)與物體深層特征圖進(jìn)行姿勢(shì)對(duì)齊得到物體姿勢(shì)對(duì)齊特征，確保手部和物體在空間位置上的一致性，減少估計(jì)誤差；將手部和物體的姿勢(shì)對(duì)齊特征進(jìn)行3d特征映射，分別得到手部3d空間特征和物體3d空間特征，為捕捉手部與物體之間的交互關(guān)系提供三維空間信息；通過(guò)交叉注意力機(jī)制捕捉手部3d空間特征和物體3d空間特征之間的細(xì)粒度交互關(guān)系，得到手部增強(qiáng)特征和物體增強(qiáng)特征，能夠更準(zhǔn)確地表征手部與物體的交互細(xì)節(jié)；利用正負(fù)樣本的對(duì)比學(xué)習(xí)，增強(qiáng)手部增強(qiáng)特征中手部頂點(diǎn)間的相似性以及手部頂點(diǎn)與環(huán)境體素的差異性，得到手部空間優(yōu)化特征，進(jìn)一步提升手部特征的表示能力，增強(qiáng)估計(jì)的魯棒性；最后，對(duì)物體增強(qiáng)特征和手部空間優(yōu)化特征進(jìn)行解碼，實(shí)現(xiàn)了手-物交互的精確估計(jì)。