本發(fā)明屬于機(jī)械手操作技術(shù)領(lǐng)域，具體涉及一種基于視覺和碼盤數(shù)據(jù)融合定位的流水線物體定位方法。

背景技術(shù)：

目前，流水線作業(yè)在工業(yè)生產(chǎn)中扮演著越來越重要的角色，優(yōu)化流水線直接關(guān)系著產(chǎn)品的質(zhì)量和效率。在人工分揀不能滿足大機(jī)械化生產(chǎn)的背景下，為提高生產(chǎn)技術(shù)和效率，迫切需要一種自動(dòng)分揀技術(shù)替代傳統(tǒng)的人力操作。其中自動(dòng)分揀技術(shù)的核心問題就是物體定位。

在流水線上使用機(jī)械手對零件等進(jìn)行抓取和裝配時(shí)，常用視覺識(shí)別軟件對零件進(jìn)行識(shí)別，同時(shí)判斷其方位和位姿?？紤]到流水線設(shè)備運(yùn)動(dòng)誤差以及視覺系統(tǒng)的范圍限定，我們提出一種新的基于視覺和碼盤數(shù)據(jù)融合的流水線物體定位的裝置和方法。

專利CN201210111296.5中提出了利用預(yù)定空間布置多個(gè)攝像機(jī)對預(yù)定空間中的物體進(jìn)行定位的方法，但此種方法需通過復(fù)雜的算法確定最優(yōu)攝像機(jī)，并且只針對預(yù)定空間范圍內(nèi)的物體。專利201420703458.9中采用了一種基于光電傳感器的物體定位和抓取平臺(tái)，該平臺(tái)只能完成定量高度物品的抓取，不具備普適性，實(shí)際工廠操作價(jià)格昂貴。并且以上兩種方法在利用機(jī)械臂實(shí)現(xiàn)物體抓取時(shí)容易出現(xiàn)機(jī)械臂遮擋從而造成盲點(diǎn)的缺陷，可靠性不高。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供了一種基于視覺和碼盤數(shù)據(jù)融合定位的流水線物體定位方法，其中被分揀的物體在流水線上往復(fù)運(yùn)動(dòng)，采用多目攝像機(jī)獲取物體的圖像信息，采用增量式碼盤采集物體的位移信息，并通過融合算法計(jì)算物體具體的位置，從而實(shí)現(xiàn)了流水線上物體的實(shí)時(shí)定位。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案為：一種基于視覺和碼盤數(shù)據(jù)融合定位的流水線物體定位方法，包括如下步驟：

步驟1、針對預(yù)定空間內(nèi)的流水線上物體，在橫跨于流水線傳送帶的支架上橫向布置三個(gè)攝像機(jī)，分別為在中間的主攝像機(jī)以及分布在左右兩側(cè)的左、右輔助攝像機(jī)，三個(gè)攝像機(jī)根據(jù)外部觸發(fā)信號(hào)采集圖像，三幅圖像作為一組三目圖像，利用外部觸發(fā)信號(hào)的觸發(fā)時(shí)刻為三目圖像加上時(shí)間戳。

外部觸發(fā)信號(hào)為外部輸入，當(dāng)物體放置到流水線上時(shí)輸入該外部觸發(fā)信號(hào)，時(shí)間戳為物體放置到流水線上的時(shí)間。

步驟2、將左、右輔助攝像機(jī)采集的圖像投影到主攝像機(jī)圖像，然后依據(jù)投影后的圖像，計(jì)算物體在圖像坐標(biāo)系中各邊角點(diǎn)位置坐標(biāo)。

步驟3、通過反投影法將各邊角點(diǎn)坐標(biāo)從圖像坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，此時(shí)計(jì)算的各邊角點(diǎn)的世界坐標(biāo)對應(yīng)時(shí)間戳?xí)r刻。

步驟4、將碼盤固定設(shè)置于傳送帶的軸上，讀取當(dāng)前時(shí)刻碼盤數(shù)據(jù)獲取傳送帶位移值，利用傳送帶位移值計(jì)算由時(shí)間戳?xí)r刻至當(dāng)前時(shí)刻各邊角點(diǎn)的移動(dòng)向量，將時(shí)間戳?xí)r刻各邊角點(diǎn)的世界坐標(biāo)與對應(yīng)移動(dòng)向量相加，獲得各邊角點(diǎn)在任意時(shí)刻的世界坐標(biāo)。

進(jìn)一步地，針對物體對應(yīng)時(shí)間戳?xí)r刻t_v時(shí)刻，步驟三中得到的物體的其中一個(gè)角點(diǎn)世界坐標(biāo)為其中x、y和z為該角點(diǎn)的世界坐標(biāo)系的齊次坐標(biāo)值。

由時(shí)間戳?xí)r刻t_v開始，按照設(shè)定的時(shí)間周期讀取碼盤數(shù)據(jù)，其中時(shí)間戳?xí)r刻t_v的碼盤數(shù)據(jù)為即為t_v時(shí)刻的傳送帶位移值。

針對任一時(shí)刻t，傳送帶位移值為碼盤數(shù)據(jù)S_t，即為任一時(shí)刻t的傳送帶位移，找到t在碼盤數(shù)據(jù)的讀取時(shí)間周期中所處位置，即t在碼盤數(shù)據(jù)讀取時(shí)間t_k和t_k+1之間，此時(shí)t時(shí)刻的傳送帶位移值為S_t：

則由時(shí)間戳?xí)r刻t_v至當(dāng)前時(shí)刻t當(dāng)前角點(diǎn)的移動(dòng)向量為

則當(dāng)前角點(diǎn)在任意時(shí)刻在空間的三維坐標(biāo)為

有益效果：

本發(fā)明中采用多目攝像機(jī)獲取分揀物體的圖像數(shù)據(jù)，采用多目攝像機(jī)獲取物體的圖像信息，采用增量式碼盤采集物體的位移信息，并通過融合算法計(jì)算物體具體的位置，從而實(shí)現(xiàn)了流水線上物體的實(shí)時(shí)定位，由于融合了圖像和位移兩種數(shù)據(jù)，因此該方法能夠適應(yīng)流水線傳送帶速度的變化，在速度變化的情況下依然具有較高的計(jì)算精度，而且因?yàn)椴杉宋矬w的圖像信息，能夠更加直觀體現(xiàn)物體位姿，通過三目攝像機(jī)拍攝物體的圖像，能夠?qū)ξ矬w進(jìn)行全方位的展示，將左右攝像機(jī)拍攝的圖像投影到中間攝像機(jī)中，能夠融合三目攝像機(jī)拍攝的位置，獲取物體各個(gè)角點(diǎn)的圖像坐標(biāo)，因此即便是任意姿態(tài)平躺物體均能夠?qū)崿F(xiàn)定位，且能夠適應(yīng)物體大小的變化和一定程度的偏心。

附圖說明

圖1為流水線物體定位裝置系統(tǒng)示意圖；

圖2為流水線物體定位方法流程圖；

圖3為視覺系統(tǒng)絕對位姿計(jì)算示意圖；

圖4為碼盤數(shù)據(jù)計(jì)算示意圖。

具體實(shí)施方式

下面結(jié)合附圖并舉實(shí)施例，對本發(fā)明進(jìn)行詳細(xì)描述。

實(shí)施例1、本實(shí)施例提供了一種基于視覺和碼盤數(shù)據(jù)融合的流水線物體定位方法，采用多目攝像機(jī)和增量式碼盤，擴(kuò)展了控制系統(tǒng)的可操作空間，可處理傳送帶速度變化的流水線上的物體；使用時(shí)可以獲取物體在流水線傳送帶上的具體位姿，增強(qiáng)了系統(tǒng)的可操作性。

的定位裝置如圖1所示，包括流水線運(yùn)動(dòng)部件、視覺感知部件、增量式碼盤部件，其中視覺感知部件采用三目攝像機(jī)，攝像機(jī)1、3為輔助攝像機(jī)，攝像機(jī)2為主攝像機(jī)。圖2是本發(fā)明實(shí)施例的物體的定位方法流程示意圖。如圖2所示，該定位方法包括：

步驟一：安裝于流水線上方的攝像機(jī)內(nèi)在外部觸發(fā)信號(hào)到達(dá)時(shí)拍攝到物體在傳送帶上的圖像，并給圖像打上時(shí)間戳。外部觸發(fā)信號(hào)為外部輸入，當(dāng)物體放置到流水線上時(shí)輸入該外部觸發(fā)信號(hào)，時(shí)間戳為物體放置到流水線上的時(shí)間。

步驟二、將左、右輔助攝像機(jī)采集的圖像投影到主攝像機(jī)圖像平面得到融合圖像，計(jì)算融合圖像中物體在圖像坐標(biāo)系中四個(gè)邊角點(diǎn)位置坐標(biāo)，即圖像坐標(biāo)；本實(shí)施例中通過圖像處理獲取到物體的角點(diǎn)在圖像坐標(biāo)系下的位置坐標(biāo)m＝[u v 1]^T。

步驟三：通過反投影法將各邊角點(diǎn)坐標(biāo)從圖像坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，此時(shí)計(jì)算的各邊角點(diǎn)的世界坐標(biāo)對應(yīng)時(shí)間戳?xí)r刻。如圖3所示，通過反投影法將圖像坐標(biāo)轉(zhuǎn)換得到物體的世界坐標(biāo)系三維坐標(biāo)；世界坐標(biāo)系下坐標(biāo)P＝[x y z 1]^T為，并通過坐標(biāo)變換將圖像坐標(biāo)系下的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系中的坐標(biāo)，其具體處理公式如下：

其中m為圖像齊次坐標(biāo)，K和[R,t]分別為攝像機(jī)的內(nèi)、外參數(shù)，并且對于檢測到的某一固定物體，其高度坐標(biāo)z為恒定值。通過對以上矩陣求逆即可得出物體關(guān)鍵圖像點(diǎn)在世界坐標(biāo)系下的具體值。

步驟四：在通過視覺感知系統(tǒng)獲取圖像信息得到物體在流水線上絕對位姿后，利用安裝在傳送帶軸上的增量式編碼器實(shí)時(shí)讀取碼盤數(shù)據(jù)，通過計(jì)算可獲取物體在傳送帶上沿傳送帶運(yùn)動(dòng)方向的任意時(shí)刻的位移。如圖4所示。

將碼盤固定設(shè)置于傳送帶的軸上，讀取當(dāng)前時(shí)刻碼盤數(shù)據(jù)獲取傳送帶位移值，利用傳送帶位移值計(jì)算由時(shí)間戳?xí)r刻至當(dāng)前時(shí)刻各邊角點(diǎn)的移動(dòng)向量，將時(shí)間戳?xí)r刻各邊角點(diǎn)的世界坐標(biāo)與對應(yīng)移動(dòng)向量相加，獲得各邊角點(diǎn)在任意時(shí)刻的世界坐標(biāo)。

針對物體對應(yīng)時(shí)間戳?xí)r刻t_v時(shí)刻，步驟三中得到的物體的其中一個(gè)角點(diǎn)世界坐標(biāo)為其中x、y和z為該角點(diǎn)的世界坐標(biāo)系的齊次坐標(biāo)值。

由時(shí)間戳?xí)r刻t_v開始，按照設(shè)定的時(shí)間周期讀取碼盤數(shù)據(jù)，其中時(shí)間戳?xí)r刻t_v的碼盤數(shù)據(jù)為即為t_v時(shí)刻的傳送帶位移值。

針對任一時(shí)刻t，傳送帶位移值為碼盤數(shù)據(jù)S_t，即為任一時(shí)刻t的傳送帶位移，找到t在碼盤數(shù)據(jù)的讀取時(shí)間周期中所處位置，即t在碼盤數(shù)據(jù)讀取時(shí)間t_k和t_k+1之間，此時(shí)t時(shí)刻的傳送帶位移值為S_t：

則由時(shí)間戳?xí)r刻t_v至當(dāng)前時(shí)刻t當(dāng)前角點(diǎn)的移動(dòng)向量為

則當(dāng)前角點(diǎn)在任意時(shí)刻在空間的三維坐標(biāo)為

結(jié)合目標(biāo)位置的視覺數(shù)據(jù)更新目標(biāo)位姿的實(shí)時(shí)數(shù)據(jù)和目標(biāo)數(shù)據(jù)各項(xiàng)狀態(tài)，通過視覺信息與碼盤信息的融合從而確定物體任意時(shí)刻在空間的三維坐標(biāo)；

物體在任意時(shí)刻在空間的三維坐標(biāo)為(P_t.y、P_t.x、P_t.z)。

綜上，以上僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。