本發(fā)明屬于機器人，尤其涉及一種機器人抓取控制方法和裝置。

背景技術(shù)：

1、在環(huán)境艱苦的偏遠(yuǎn)山區(qū)或高原，工作環(huán)境相對多變，這就使得如何實現(xiàn)對機器人的抓取識別控制，實現(xiàn)機器人設(shè)備能夠代替邊防人員防守成為亟待解決的技術(shù)問題，具體的在發(fā)明專利申請cn202410692264.1《一種基于2d相機的3d定位抓取方法及系統(tǒng)》中采用高精度測距傳感器結(jié)合2d相機，并通過算法實現(xiàn)姿態(tài)糾正，實現(xiàn)對不規(guī)則表面的工件的穩(wěn)定抓取操作，但是現(xiàn)有技術(shù)方案存在以下技術(shù)問題：

2、僅基于目標(biāo)檢測算法做抓取點位的規(guī)劃，若目標(biāo)物的位置非正對相機原點位置，會導(dǎo)致抓取點位的規(guī)劃不在目標(biāo)物本體上，規(guī)劃到了目標(biāo)物外部，抓取不到目標(biāo)物；若目標(biāo)物的中心點在目標(biāo)物的上表面，并非正對攝像頭的一面時，雙目相機獲取目標(biāo)物的深度信息會存在較大誤差，出現(xiàn)測距不準(zhǔn)的問題；當(dāng)目標(biāo)物正對著攝像頭的一面出現(xiàn)遮擋嚴(yán)重的情況，會導(dǎo)致目標(biāo)物的中心位置不準(zhǔn)確，進而影響目標(biāo)物的深度信息準(zhǔn)確性。

3、綜上，現(xiàn)有技術(shù)缺點概括為：目標(biāo)抓取點位規(guī)劃不對、目標(biāo)中心點位深度信息不準(zhǔn)確、目標(biāo)遮擋嚴(yán)重深度信息誤差大。

4、針對上述技術(shù)問題，本發(fā)明提供了一種機器人抓取控制方法和裝置。

技術(shù)實現(xiàn)思路

1、為實現(xiàn)本發(fā)明目的，本發(fā)明采用如下技術(shù)方案：

2、根據(jù)本發(fā)明的一個方面，提供了一種機器人抓取控制方法和裝置。

3、一種機器人抓取控制方法，具體包括：

4、將目標(biāo)物放入工作區(qū)域，將雙目相機的左圖送入目標(biāo)檢測網(wǎng)絡(luò)中提取左圖的roi；

5、將左圖的roi進行處理得到左圖中的灰度roi區(qū)域，對右圖中的灰度roi區(qū)域所對應(yīng)的區(qū)域進行截取得到截取區(qū)域；

6、將截取區(qū)域進行特征提取得到右圖中的roi區(qū)域，并進行圖像處理后與左圖的特征進行比較生成右圖中的roi，以左圖中的roi和右圖中的roi為基礎(chǔ)計算得到左圖和右圖的像素視差；

7、以左圖和右圖的像素視差為基礎(chǔ)得到以左圖為基準(zhǔn)的目標(biāo)物的深度信息位置，確定左圖中的目標(biāo)物的像素中心位置，以所述深度信息位置和像素中心位置為基礎(chǔ)，得出目標(biāo)的空間坐標(biāo)，根據(jù)空間坐標(biāo)和目標(biāo)外輪廓得到目標(biāo)的左右抓取點，利用所述左右抓取點控制機器人對目標(biāo)物實施抓取任務(wù)。

8、進一步的技術(shù)方案在于，在將雙目相機的左圖送入目標(biāo)檢測網(wǎng)絡(luò)之前，還需要對所述左圖進行去畸變處理。

9、進一步的技術(shù)方案在于，對所述左圖進行去畸變處理，具體包括：

10、建立雙目相機的單一相機的世界坐標(biāo)系與像素平面坐標(biāo)系之間的轉(zhuǎn)換關(guān)系構(gòu)建像元尺寸和相機焦距為基礎(chǔ)的轉(zhuǎn)換函數(shù)；

11、利用轉(zhuǎn)換函數(shù)對所述左圖進行去畸變處理。

12、進一步的技術(shù)方案在于，將左圖的roi進行處理得到左圖中灰度roi區(qū)域，具體包括：

13、將左圖送入目標(biāo)檢測網(wǎng)絡(luò)中，初步提取待檢測物體的矩形roi；

14、將矩形roi送入圖像分割模型中進一步提取roi區(qū)域，并將roi區(qū)域進行灰度轉(zhuǎn)換得到所述左圖中的灰度roi區(qū)域。

15、所述深度信息位置的確定的方法為：

16、將雙目相機的左右兩相機圖像極線需處于同一水平線上，使得右圖中與左圖中的待測像素處于同一水平線上，完成最優(yōu)匹配；

17、以左圖和右圖的像素視差進行待測圖像與所述待測像素在水平方向之間的差值的確定，并利用所述差值由極線矯正部分推導(dǎo)出公式可算出深度信息，可以得出一個與左圖的roi的尺寸相同的視差圖；

18、以所述視差圖為基礎(chǔ)，利用相似三角形反推出以左圖為基準(zhǔn)的目標(biāo)物的深度信息位置。

19、另一方面，本申請?zhí)峁┮环N機器人抓取控制裝置，采用上述的一種機器人抓取控制方法，具體包括：

20、roi提取模塊，截取區(qū)域獲取模塊，像素時差評估模塊，抓取控制模塊；

21、其中所述roi提取模塊負(fù)責(zé)將目標(biāo)物放入工作區(qū)域，將雙目相機的左圖送入目標(biāo)檢測網(wǎng)絡(luò)中提取左圖的roi；

22、所述截取區(qū)域獲取模塊負(fù)責(zé)將左圖的roi進行處理得到左圖中的灰度roi區(qū)域，對右圖中的灰度roi區(qū)域所對應(yīng)的區(qū)域進行截取得到截取區(qū)域；

23、所述像素時差評估模塊負(fù)責(zé)將截取區(qū)域進行特征提取得到右圖中的roi區(qū)域，并進行圖像處理后與左圖的特征進行比較生成右圖中的roi，以左圖中的roi和右圖中的roi為基礎(chǔ)計算得到左圖和右圖的像素視差；

24、所述抓取控制模塊負(fù)責(zé)以左圖和右圖的像素視差為基礎(chǔ)得到以左圖為基準(zhǔn)的目標(biāo)物的深度信息位置，確定左圖中的目標(biāo)物的像素中心位置，以所述深度信息位置和像素中心位置為基礎(chǔ)，得出目標(biāo)的空間坐標(biāo)，根據(jù)空間坐標(biāo)和目標(biāo)外輪廓得到目標(biāo)的左右抓取點，利用所述左右抓取點控制機器人對目標(biāo)物實施抓取任務(wù)。

25、本發(fā)明的有益效果在于：

26、本方案通過深度學(xué)習(xí)與硬件設(shè)備的有機結(jié)合，一方面可以將三維抓取任務(wù)降低維度，為后續(xù)算法成功部署在硬件平臺上降低門檻，另一方面，通過上述方案可以進一步提高圖像像素的精度，為后續(xù)基于像素點的雙目測距計算出物體的深度信息打下堅實的基礎(chǔ)，提高雙目測距的精度，為成功抓取目標(biāo)物提供有利保障。

27、其他特征和優(yōu)點將在隨后的說明書中闡述，本發(fā)明的目的和其他優(yōu)點在說明書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

28、為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細(xì)說明如下。

技術(shù)特征：

1.一種機器人抓取控制方法，其特征在于，具體包括：

2.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，在將雙目相機的左圖送入目標(biāo)檢測網(wǎng)絡(luò)之前，還需要對所述左圖進行去畸變處理。

3.如權(quán)利要求2所述的機器人抓取控制方法，其特征在于，對所述左圖進行去畸變處理，具體包括：

4.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，將左圖的roi進行處理得到左圖中灰度roi區(qū)域，具體包括：

5.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，所述圖像分割模型構(gòu)建的具體步驟為：

6.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，所述截取區(qū)域的生成的具體步驟為：

7.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，所述模板匹配的具體步驟為：

8.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，所述右圖中的roi區(qū)域的確定的方法為：

9.如權(quán)利要求1所述的機器人抓取控制方法，其特征在于，所述深度信息位置的確定的方法為：

10.一種機器人抓取控制裝置，采用權(quán)利要求1-9任一項所述的一種機器人抓取控制方法，其特征在于，具體包括：

技術(shù)總結(jié)
本發(fā)明提供一種機器人抓取控制方法和裝置，屬于機器人技術(shù)領(lǐng)域，具體包括：將目標(biāo)物放入工作區(qū)域，將截取區(qū)域進行特征提取得到右圖中的ROI區(qū)域，并進行圖像處理后與左圖的特征進行比較生成右圖中的ROI，以左圖中的ROI和右圖中的ROI為基礎(chǔ)計算得到左圖和右圖的像素視差，以左圖和右圖的像素視差為基礎(chǔ)得到以左圖為基準(zhǔn)的目標(biāo)物的深度信息位置，確定左圖中的目標(biāo)物的像素中心位置，以所述深度信息位置和像素中心位置為基礎(chǔ)，得出目標(biāo)的空間坐標(biāo)，根據(jù)空間坐標(biāo)和目標(biāo)外輪廓得到目標(biāo)的左右抓取點，利用所述左右抓取點控制機器人對目標(biāo)物實施抓取任務(wù)，提高雙目測距的精度，為成功抓取目標(biāo)物提供有利保障。

技術(shù)研發(fā)人員：李結(jié),姜峰,查長海,黃志勇
受保護的技術(shù)使用者：五八智能科技（杭州）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8