本發(fā)明屬于計(jì)算機(jī)圖像智能識(shí)別領(lǐng)域，具體涉及一種類別級(jí)位姿估計(jì)模型的建立方法、位姿估計(jì)方法、計(jì)算機(jī)系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、類別級(jí)6d對(duì)象姿態(tài)和大小估計(jì)任務(wù)是在混亂的rgb-d場景中估計(jì)某些類別的未見對(duì)象實(shí)例的旋轉(zhuǎn)、平移和大小。該任務(wù)在增強(qiáng)現(xiàn)實(shí)、機(jī)器人操作和場景理解等許多應(yīng)用中發(fā)揮了重要作用。傳統(tǒng)的實(shí)例級(jí)位姿估計(jì)通常假設(shè)每個(gè)感興趣的對(duì)象都有一個(gè)3d?cad模型，通過實(shí)例分割、與標(biāo)準(zhǔn)cad模型進(jìn)行模版匹配的方式回歸出位姿信息；但實(shí)際情況下往往存在缺少實(shí)例目標(biāo)的cad模型的情況；與之相比，類別級(jí)任務(wù)不需要實(shí)例的cad模型，因此在這方面占有優(yōu)勢。

2、類別級(jí)位姿估計(jì)對(duì)每個(gè)類別內(nèi)的各種形狀和紋理的適應(yīng)性提出了更高的要求；為了明確地解決類內(nèi)形狀變化，現(xiàn)有技術(shù)中的一種方法是利用shape?prior(形狀先驗(yàn))，即采用pointnet自編碼器提取每個(gè)類別的先驗(yàn)點(diǎn)云作為該類別內(nèi)所有形狀的平均值，即得到shape?prior；該shape?prior在擬合觀測實(shí)例之前進(jìn)一步變形形狀，并將觀測到的點(diǎn)云分配給變形后的形狀模型，然后通過與觀測到的實(shí)例點(diǎn)云對(duì)齊，求解umeyama算法獲得目標(biāo)的姿態(tài)和大小。該方法主要是把規(guī)范空間內(nèi)的shape?prior變形后，通過關(guān)系矩陣a得到觀測到的實(shí)例點(diǎn)云在規(guī)范空間的表示，但是，由于觀測到的點(diǎn)云通常難以完整包含實(shí)例的形狀特征，因此采用這種不完整的觀測點(diǎn)云進(jìn)行位姿估計(jì)實(shí)際上會(huì)產(chǎn)生缺乏信息的缺陷，且學(xué)習(xí)的關(guān)系矩陣的誤差會(huì)對(duì)位姿估計(jì)產(chǎn)生較大的影響。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種類別級(jí)位姿估計(jì)模型的建立方法、位姿估計(jì)方法、計(jì)算機(jī)系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)中采用觀測點(diǎn)云來進(jìn)行位姿估計(jì)實(shí)際上會(huì)產(chǎn)生缺乏信息的缺陷且學(xué)習(xí)的關(guān)系矩陣的誤差會(huì)對(duì)位姿估計(jì)產(chǎn)生較大影響的問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種類別級(jí)位姿估計(jì)模型的建立方法，包括：

3、1)根據(jù)從訓(xùn)練集的目標(biāo)對(duì)象實(shí)例的圖像和觀測點(diǎn)云中分別提取的特征，分別得到圖像和觀測點(diǎn)云的全局特征并與從目標(biāo)對(duì)象實(shí)例的類別級(jí)形狀先驗(yàn)點(diǎn)云中提取的特征一起輸入所述模型的變形模塊進(jìn)行特征融合，得到規(guī)范空間的實(shí)例完整點(diǎn)云及其點(diǎn)云特征；

4、將從訓(xùn)練集的目標(biāo)對(duì)象實(shí)例的圖像和觀測點(diǎn)云中分別提取的特征進(jìn)行融合得到的融合特征輸入所述模型的重建模塊得到重建的點(diǎn)云及其點(diǎn)云特征；所述重建模塊中包含預(yù)訓(xùn)練的重建網(wǎng)絡(luò)；

5、將所述實(shí)例完整點(diǎn)云及其點(diǎn)云特征與重建的點(diǎn)云及其點(diǎn)云特征按照所述實(shí)例完整點(diǎn)云的點(diǎn)和重建的點(diǎn)云中的點(diǎn)之間的一一對(duì)應(yīng)關(guān)系，分別進(jìn)行融合，得到各點(diǎn)關(guān)系特征；將各點(diǎn)關(guān)系特征與根據(jù)各點(diǎn)關(guān)系特征得到的平均特征進(jìn)行融合，得到姿態(tài)特征；通過所述模型的回歸模塊對(duì)姿態(tài)特征進(jìn)行回歸得到估計(jì)的位姿；

6、2)分別對(duì)變形模塊、重建模塊、回歸模塊的參數(shù)進(jìn)行調(diào)整；重復(fù)1)-2)直至停止迭代以完成類別級(jí)位姿估計(jì)模型的建立。

7、進(jìn)一步地，所述重建網(wǎng)絡(luò)為編碼器，重建網(wǎng)絡(luò)的預(yù)訓(xùn)練方式包括：

8、a)將預(yù)訓(xùn)練樣本中的數(shù)據(jù)輸入預(yù)訓(xùn)練網(wǎng)絡(luò)，所述預(yù)訓(xùn)練樣本中的數(shù)據(jù)包含來自某類別的實(shí)例的點(diǎn)云對(duì)應(yīng)的點(diǎn)嵌入；通過預(yù)訓(xùn)練網(wǎng)絡(luò)中的標(biāo)記掩碼模塊處理得到掩碼后的點(diǎn)嵌入，再通過需預(yù)訓(xùn)練的編碼器進(jìn)行重建，重建后的點(diǎn)通過預(yù)訓(xùn)練網(wǎng)絡(luò)中的掩碼點(diǎn)建模模塊處理得到點(diǎn)標(biāo)記；

9、b)通過標(biāo)記化器模塊根據(jù)該點(diǎn)標(biāo)記與輸入預(yù)訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)對(duì)應(yīng)的真實(shí)標(biāo)簽，對(duì)所述編碼器的預(yù)訓(xùn)練進(jìn)行監(jiān)督，重復(fù)a)-b)直至停止迭代以完成編碼器的預(yù)訓(xùn)練。

10、進(jìn)一步地，將所述得到的融合特征輸入所述模型的重建模塊，得到重建的點(diǎn)云及其點(diǎn)云特征的方式包括：

11、通過重建模塊中的一個(gè)多層感知機(jī)子網(wǎng)絡(luò)對(duì)所述得到的融合特征進(jìn)行處理后，再通過重建模塊中的預(yù)訓(xùn)練的重建網(wǎng)絡(luò)進(jìn)行重建，得到重建的點(diǎn)云的點(diǎn)云特征；再通過重建模塊中的另一多層感知機(jī)子網(wǎng)絡(luò)對(duì)重建的點(diǎn)云的點(diǎn)云特征進(jìn)行處理，得到重建的點(diǎn)云。

12、進(jìn)一步地，得到圖像和觀測點(diǎn)云的全局特征并與從目標(biāo)對(duì)象實(shí)例的形狀先驗(yàn)點(diǎn)云中提取的特征一起輸入變形模塊進(jìn)行特征融合，得到規(guī)范空間的實(shí)例完整點(diǎn)云及其點(diǎn)云特征的方式包括：

13、對(duì)輸入變形模塊的圖像和觀測點(diǎn)云的全局特征以及從目標(biāo)對(duì)象實(shí)例的形狀先驗(yàn)點(diǎn)云中提取的特征進(jìn)行拼接后，通過變形模塊中的一個(gè)多層感知機(jī)子網(wǎng)絡(luò)對(duì)拼接結(jié)果進(jìn)行處理，得到變形域特征；將變形域特征與從目標(biāo)對(duì)象實(shí)例的形狀先驗(yàn)點(diǎn)云中提取的特征逐元素相加，得到規(guī)范空間的實(shí)例完整點(diǎn)云的點(diǎn)云特征；通過變形模塊中的另一多層感知機(jī)子網(wǎng)絡(luò)對(duì)規(guī)范空間的實(shí)例完整點(diǎn)云的點(diǎn)云特征進(jìn)行處理，得到規(guī)范空間的實(shí)例完整點(diǎn)云。

14、進(jìn)一步地，根據(jù)從訓(xùn)練集的目標(biāo)對(duì)象實(shí)例的圖像和觀測點(diǎn)云中分別提取的特征，分別得到圖像和觀測點(diǎn)云的全局特征的方式包括：

15、對(duì)從訓(xùn)練集的目標(biāo)對(duì)象實(shí)例的圖像中提取的特征以及從該目標(biāo)對(duì)象實(shí)例的觀測點(diǎn)云中提取的特征分別進(jìn)行平均池化操作，分別得到圖像的全局特征和觀測點(diǎn)云的全局特征。

16、進(jìn)一步地，將所述實(shí)例完整點(diǎn)云及其點(diǎn)云特征與重建的點(diǎn)云及其點(diǎn)云特征按照所述實(shí)例完整點(diǎn)云的點(diǎn)和重建的點(diǎn)云中的點(diǎn)之間的一一對(duì)應(yīng)關(guān)系，分別進(jìn)行融合，得到各點(diǎn)關(guān)系特征的方式包括：

17、根據(jù)所述實(shí)例完整點(diǎn)云與重建的點(diǎn)云之間進(jìn)行匹配得到的所述實(shí)例完整點(diǎn)云的點(diǎn)和重建的點(diǎn)云中的點(diǎn)之間的一一對(duì)應(yīng)關(guān)系，將每組具有對(duì)應(yīng)關(guān)系的所述實(shí)例完整點(diǎn)云中的點(diǎn)與重建的點(diǎn)云中的點(diǎn)以及這兩點(diǎn)分別的點(diǎn)云特征進(jìn)行拼接融合后，再通過一個(gè)多層感知機(jī)子網(wǎng)絡(luò)對(duì)拼接融合結(jié)果進(jìn)行處理，得到各點(diǎn)關(guān)系特征。

18、進(jìn)一步地，分別對(duì)變形模塊、重建模塊、回歸模塊的參數(shù)進(jìn)行調(diào)整的方式包括：

19、分別根據(jù)所述實(shí)例完整點(diǎn)云與對(duì)應(yīng)的真實(shí)標(biāo)簽之間的差異、重建的點(diǎn)云與對(duì)應(yīng)的真實(shí)標(biāo)簽之間的差異、估計(jì)的位姿與對(duì)應(yīng)的真實(shí)標(biāo)簽之間的差異，對(duì)變形模塊、重建模塊、回歸模塊的參數(shù)進(jìn)行調(diào)整。

20、本發(fā)明上述的技術(shù)方案提供了一種全新的類別級(jí)位姿估計(jì)模型的建立方法，其有益效果包括：在構(gòu)建類別級(jí)位姿估計(jì)模型時(shí)，不僅利用了類別級(jí)形狀先驗(yàn)點(diǎn)云，還融合了目標(biāo)對(duì)象實(shí)例的圖像和觀測點(diǎn)云對(duì)應(yīng)的全局特征，因此得到的規(guī)范空間內(nèi)的實(shí)例完整點(diǎn)云能夠同時(shí)包含目標(biāo)對(duì)象實(shí)例的實(shí)際特征以及類別級(jí)形狀先驗(yàn)特征；在此基礎(chǔ)上，還利用了預(yù)訓(xùn)練的重建網(wǎng)絡(luò)根據(jù)目標(biāo)對(duì)象實(shí)例的實(shí)際特征進(jìn)行了點(diǎn)云重建；最終用于回歸得到估計(jì)位姿的姿態(tài)特征中即包含了各點(diǎn)對(duì)應(yīng)的規(guī)范空間的完整點(diǎn)云表示與實(shí)際特征對(duì)應(yīng)的點(diǎn)云重建結(jié)果融合的點(diǎn)關(guān)系特征(相當(dāng)于包含點(diǎn)云中各點(diǎn)自身與其他點(diǎn)之間的關(guān)系對(duì)應(yīng)的特征)，又包含了各點(diǎn)關(guān)系特征的平均特征(相當(dāng)于包含點(diǎn)云中所有點(diǎn)的全局關(guān)系對(duì)應(yīng)的特征)，因此用于進(jìn)行回歸的特征更豐富，尤其是能夠通過預(yù)訓(xùn)練的重建網(wǎng)絡(luò)所重建的點(diǎn)云來彌補(bǔ)觀測點(diǎn)云在描述實(shí)例的形狀特征時(shí)缺失的信息，從而提高構(gòu)建的模型輸出的位姿估計(jì)結(jié)果的準(zhǔn)確性。

21、本發(fā)明還提供了一種位姿估計(jì)方法，包括：將待估計(jì)位姿的目標(biāo)對(duì)象實(shí)例的圖像、觀測點(diǎn)云和類別級(jí)形狀先驗(yàn)點(diǎn)云輸入位姿估計(jì)模型，得到位姿估計(jì)結(jié)果；

22、所述位姿估計(jì)模型通過如上述的類別級(jí)位姿估計(jì)模型的建立方法構(gòu)建得到。

23、該位姿估計(jì)方法能夠?qū)崿F(xiàn)與上述的類別級(jí)位姿估計(jì)模型的建立方法一致的有益效果。

24、本發(fā)明還提供了一種計(jì)算機(jī)系統(tǒng)，包括處理器，所述處理器用于執(zhí)行可執(zhí)行程序指令，所述可執(zhí)行程序指令用于被執(zhí)行以實(shí)現(xiàn)上述的位姿估計(jì)方法。

25、該計(jì)算機(jī)系統(tǒng)能夠?qū)崿F(xiàn)與上述的位姿估計(jì)方法一致的有益效果。

26、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令用于被執(zhí)行時(shí)實(shí)現(xiàn)上述的位姿估計(jì)方法。

27、該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)能夠?qū)崿F(xiàn)與上述的位姿估計(jì)方法一致的有益效果。