噴涂流水線工件自動檢測與識別方法
【專利摘要】一種噴涂流水線工件自動檢測與識別方法，包括如下步驟：A、攝像頭對流水線上的工件采集原始圖像；B、對于采集到的原始圖像進行預處理，過程如下：B11：對于原始圖像進行閾值處理；B12：對于閾值處理后的圖像進行低通濾波處理，平滑邊緣信息；B13：移除邊界連通區(qū)域；B14：去除雜質分割出工件圖像；B15：對于分割好的工件圖像進行邊緣信息提取用作分類信息，按照尺寸分類；C、協(xié)調器將數(shù)據(jù)包經(jīng)RS232/485發(fā)送至無線模塊在通過無線模塊送至上位機；D、上位機根據(jù)數(shù)據(jù)庫中的特征信息進行分類匹配。本發(fā)明提供了一種有效降低計算量、實時性良好的噴涂流水線工件自動檢測與識別方法。
【專利說明】
噴涂流水線工件自動檢測與識別方法
技術領域
[0001] 本發(fā)明屬于流水線領域，涉及一種噴涂流水線工件自動檢測與識別方法。
【背景技術】
[0002] 噴涂流水線適用于手工作業(yè)及業(yè)自動化生產(chǎn)，應用范圍廣主要有五金、塑膠、家 私、軍工、船舶等領域，是現(xiàn)今應用最普遍的一種涂裝方式;噴涂作業(yè)需要環(huán)境要求有百萬 級到百級的無塵車間，噴涂設備有噴槍，噴漆室，供漆室，固化爐/烘干爐，噴涂工件輸送作 業(yè)設備，消霧及廢水，廢氣處理設備等。近年來隨著噴涂機器人應用領域的不斷擴大，對于 工件的自動檢測與識別的要求也不斷提高。
[0003] 在噴涂的過程中要求對于不同的工件使用不同的噴涂工藝。由于工件的差異性給 檢測帶來了許多困難。而且噴涂作業(yè)在流水線上工作，對于檢測與識別裝置的實時性要求 很高。傳統(tǒng)的傳感器檢測很難對于工件的紋理進行檢測。而且由于噴涂的時候會產(chǎn)生大量 的粉塵顆粒會大大影響傳感器的壽命。
[0004] 近年來，隨著圖像處理技術飛速發(fā)展，特別計算機處理速度的顯著提高，大規(guī)模存 儲器的出現(xiàn)，自動檢測與識別系統(tǒng)被大量引入噴涂中，通過CCD視頻圖像的動態(tài)采集，借助 計算機數(shù)字圖像處理技術，對于噴涂中不同的工件進行檢測識別。傳統(tǒng)的閾值法目標提取 對于光源的要求很高，背景差分法雖然對于光源的要求不高但是依賴于不變的背景。而上 述的方法都無法對于紋理進行準確的提取。最小均方delta規(guī)則的感知機法用定量描述子 來描繪不同工件，比如工件的面積、橢圓度、各向異性和表面紋理等。但是對于紋理的提取 并不理想。SIFT特征是基于物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。 對于光線、噪聲、微視角改變的容忍度也相當高?；谶@些特性，它們是高度顯著而且相對 容易擷取。使用SIFT特征描述對于部分物體遮蔽的偵測率也相當高。但是在噴涂作業(yè)上由 于工件的種類多樣，紋理差異較大。如果使用SIFT特征匹配需要匹配的樣本過多，計算量過 大會影響實時性。

【發(fā)明內容】

[0005] 為了克服已有噴涂流水線工件自動檢測與識別方式的計算量過大、實時性較差的 不足，本發(fā)明提供了一種有效降低計算量、實時性良好的噴涂流水線工件自動檢測與識別 方法。
[0006] 本發(fā)明解決其技術問題所采用的技術方案是：
[0007] -種噴涂流水線工件自動檢測與識別方法，所述自動檢測與識別方法包括如下步 驟：
[0008] A:攝像頭對流水線上的工件采集原始圖像；
[0009] B:對于采集到的原始圖像進行預處理，過程如下：
[0010] B11:對于原始圖像進行閾值處理；
[0011] B12:對于閾值處理后的圖像進行低通濾波處理，平滑邊緣信息；
[0012] B13:移除邊界連通區(qū)域；
[0013] B14:去除雜質分割出工件圖像；
[0014] B15:對于分割好的工件圖像進行邊緣信息提取用作分類信息，按照尺寸分類；
[0015] C:協(xié)調器將數(shù)據(jù)包經(jīng)RS232/485發(fā)送至無線模塊在通過無線模塊送至上位機。
[0016] D:上位機根據(jù)數(shù)據(jù)庫中的特征信息進行分類匹配，過程如下：
[0017] 用定量描述子來描繪不同工件^=(11^2，一011)1'，式中：11為第：[個描述子;11為 與該工件有關的描述子的總數(shù);那么一類工件用列向量X表不，T表不轉置；
[0018] 在訓練時，提取圖像的外形特征和SIFT紋理，采用感知機訓練的最小均方delta規(guī) 貝1J，此規(guī)則在有限步的學習后使得感知機的實際響應逼近期望響應，使兩者的誤差最小，準
式中:r是感知機的期望響應，在r=wTy時該準則函數(shù)取得最小 .， 值，故用梯度下降法逐步修正權值向量w，當J(w)取得最小值時，感知機可以正確分類；
[0019] 提取待分類圖像的外形特征和SIFT紋理，輸入感知機進行分類。
[0020] 進一步，所述步驟D中，SIFT特征提取過程如下：
[0021] D1、尺度空間極值檢測:搜索所有尺度上的圖像位置，通過高斯微分函數(shù)來識別潛 在的對于尺度和旋轉不變的興趣點；
[0022] D2、關鍵點定位:在每個候選的位置上，通過一個擬合精細的模型來確定位置和尺 度，關鍵點的選擇依據(jù)于它們的穩(wěn)定程度；
[0023] D3、方向確定：基于圖像局部的梯度方向，分配給每個關鍵點位置一個或多個方 向，所有后面的對圖像數(shù)據(jù)的操作都相對于關鍵點的方向、尺度和位置進行變換，從而提供 對于這些變換的不變性，
[0024] D4、關鍵點描述:在每個關鍵點周圍的鄰域內，在選定的尺度上測量圖像局部的梯 度，這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。 [0025] 再進一步，所述步驟B中還包括如下步驟：
[0026] B16:對于分類錯誤的工件則是壞件；
[0027] B17:對分割好的圖像做SIFT特征提取用于對不同種類的工件紋理的匹配；
[0028] B18:對于分類好的工件進行紋理匹配，匹配成功則進行不同的噴涂處理，對于分 類正確但是紋理匹配失敗的工件當作壞件處理。
[0029]本發(fā)明的有益效果主要表現(xiàn)在：由于采用了嵌入式處理器作為控制核心，該處理 器是TI公司的高速數(shù)字信號處理芯片，處理速度快。使用先分類后匹配的方法，單獨使用分 類可以把不同尺寸的工件分離出來但是對于相同尺寸不同紋理的工件無法做到準確識別。 單獨做SIFT匹配可以做到尺寸與紋理的準確性但是工件的種類多，需要匹配多次。影響系 統(tǒng)的實時性能。所以先使用最小均方delta規(guī)則的感知機對于工件進行尺寸種類上進行快 速的分類。再通過SIFT對分類好的工件進行紋理匹配。找到標準的樣本模型。從而保證了系 統(tǒng)處理圖像數(shù)據(jù)的實時性。
【附圖說明】
[0030]圖1是本發(fā)明的系統(tǒng)原理框圖。
[0031]圖2是ZigBee網(wǎng)絡中協(xié)調器節(jié)點的硬件結構示意圖。
[0032]圖3是預處理的流程不意圖。
[0033]圖4是分類器結構示意圖。
[0034]圖5是本發(fā)明的工序流程圖。
【具體實施方式】
[0035] 下面結合附圖對本發(fā)明作進一步描述。
[0036] 參照圖1~圖5,一種噴涂流水線工件自動檢測與識別方法，所述自動檢測與識別 方法包括如下步驟：
[0037] E:攝像頭對流水線上的工件采集原始圖像；
[0038] F:對于采集到的原始圖像進行預處理，過程如下：
[0039] B11:對于原始圖像進行閾值處理；
[0040] B12:對于閾值處理后的圖像進行低通濾波處理，平滑邊緣信息；
[0041 ] B13:移除邊界連通區(qū)域；
[0042] B14:去除雜質分割出工件圖像；
[0043] B15:對于分割好的工件圖像進行邊緣信息提取用作分類信息，按照尺寸分類；
[0044] G:協(xié)調器將數(shù)據(jù)包經(jīng)RS232/485發(fā)送至無線模塊在通過無線模塊送至上位機。
[0045] H:上位機根據(jù)數(shù)據(jù)庫中的特征信息進行分類匹配，過程如下：
[0046] 用定量描述子來描繪不同工件，X=(X1，X2，···，Xn)T，式中：Xi為第i個描述子;η為 與該工件有關的描述子的總數(shù);那么一類工件用列向量X表不，Τ表不轉置；
[0047]在訓練時，提取圖像的外形特征和SIFT紋理，采用感知機訓練的最小均方delta規(guī) 貝1J，此規(guī)則在有限步的學習后使得感知機的實際響應逼近期望響應，使兩者的誤差最小，準
式中:r是感知機的期望響應，在r=wTy時該準則函數(shù)取得最小 值，故用梯度下降法逐步修正權值向量w，當J(w)取得最小值時，感知機可以正確分類； [0048]提取待分類圖像的外形特征和SIFT紋理，輸入感知機進行分類。
[0049] 進一步，所述步驟D中，SIFT特征提取過程如下：
[0050] D1、尺度空間極值檢測:搜索所有尺度上的圖像位置，通過高斯微分函數(shù)來識別潛 在的對于尺度和旋轉不變的興趣點；
[0051] D2、關鍵點定位:在每個候選的位置上，通過一個擬合精細的模型來確定位置和尺 度，關鍵點的選擇依據(jù)于它們的穩(wěn)定程度；
[0052] D3、方向確定：基于圖像局部的梯度方向，分配給每個關鍵點位置一個或多個方 向，所有后面的對圖像數(shù)據(jù)的操作都相對于關鍵點的方向、尺度和位置進行變換，從而提供 對于這些變換的不變性，
[0053] D4、關鍵點描述:在每個關鍵點周圍的鄰域內，在選定的尺度上測量圖像局部的梯 度，這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。 [0054] 再進一步，所述步驟B中還包括如下步驟：
[0055] B16:對于分類錯誤的工件則是壞件；
[0056] B17:對分割好的圖像做SIFT特征提取用于對不同種類的工件紋理的匹配；
[0057] B18:對于分類好的工件進行紋理匹配，匹配成功則進行不同的噴涂處理，對于分 類正確但是紋理匹配失敗的工件當作壞件處理。
[0058]本實施例以高速DSP芯片為檢測器的硬件平臺核心，基于上述描述，一種基于最小 均方delta規(guī)則的感知機與SIFT特征提取的自動檢測與識別系統(tǒng)至少包括了四個部分，分 別為：1、圖像采集模塊主要通過攝像頭采集工件的原始圖像。2、圖像預處理模塊以高速DSP 芯片為硬件平臺核心主要是以TI公司的高速數(shù)字信號處理芯片為核心的主控板，用以進行 圖像數(shù)據(jù)算法處理；。3、數(shù)據(jù)無線收發(fā)模塊，用以實現(xiàn)狀態(tài)信息的無線收發(fā)功能。4、上位機 (人機界面包括液晶顯示器和電容式觸摸板)主要是delta規(guī)則的感知機與SIFT特征庫用于 分類與進一步的紋理匹配。
[0059]所述的無線傳感網(wǎng)絡以開源的ZigBee協(xié)議為基礎。
[0060] 所述的傳感器節(jié)點中電源模塊采用可選的干電池和外部電源兩種供電方式。
[0061] 所述的無線傳感網(wǎng)絡中的數(shù)據(jù)無線收發(fā)模塊由MSP430微處理器、射頻收發(fā)器 CC2520以及節(jié)點收發(fā)功率放大器CC2591組成。
[0062]所述的數(shù)據(jù)處理模塊的主芯片采用TI公司達芬奇系列芯片DM6446。
[0063]所述的人機界面模塊包括液晶顯示屏和電容式觸摸板兩部分，分別通過VGA接口 和232串口與主控板相連。
[0064]傳統(tǒng)的工件檢測使用閾值分割由于閾值法處理直觀、實現(xiàn)起來較簡單且計算速度 快，因此圖像閾值處理在圖像分割應用中占核心地位。當周圍的環(huán)境變化較微弱時，基于閾 值法的目標提取方法具有不錯的效果。它處理直觀、實現(xiàn)簡單且計算速度快，與基于模板匹 配的一些方法相比，該方法更加穩(wěn)定，不容易丟失目標。在工業(yè)應用中，一般會采用補光燈 等措施來保證工作平面上光照條件的穩(wěn)定。所以閾值處理對于光源的要求比較高。其次的 是背景差分法提取目標，背景差分法是把圖像序列中的當前幀與背景參考模型進行比較， 用來檢測圖像中運動區(qū)域的一種方法，其性能優(yōu)劣直接取決于所采用的背景建模技術。因 此，在基于背景差分法的目標提取中，背景模型的選擇尤為重要。使用背景差分法來檢測運 動目標速度較快，檢測較準確，而且容易實現(xiàn)。在實際應用中，很難直接獲得當前幀的靜止 背景，必須通過圖像序列的信息來估計和重建背景，對背景實時地更新。
[0065]本發(fā)明使用的是先使用最小均方delta規(guī)則的感知機進行工件的外形分類。在使 用SIFI方法提取紋理細節(jié)進行相同外形工件的不同紋理的匹配。如圖1.攝像頭采集原始圖 像，在采集圖像的時候。采集好的圖像交給預處理模塊進行圖像信息的處理，預處理模塊使 用的TI公司達芬奇系列芯片DM6446。對于原始圖像進行一系列的預處理。把外形特征提取 出來，再把圖像進行SIFT紋理提取。通過RS232/485傳送給無線發(fā)送模塊。無線發(fā)送模塊把 外形特征與SIFT紋理特征傳給上位機。在上位機的最小均方del ta規(guī)則的感知機進行分類。 如果分類成功在把SIFT紋理特征加入在其中匹配到符合紋理的工件。如果分類錯誤則是壞 件，分類正確但是無法匹配到其相對應的紋理也是壞件。
[0066]本系統(tǒng)中協(xié)調器的無線核心模塊由MSP430微處理器、射頻收發(fā)器CC2520以及節(jié)點 收發(fā)功率放大器CC2591組成。無線接收器通過RS232/485接口與上位機進行通信，由無線核 心模塊負責數(shù)據(jù)的無線傳輸與處理，利用LED指示燈和LCD屏實時地顯示網(wǎng)絡狀態(tài)和部分監(jiān) 測數(shù)據(jù)，為方便調試網(wǎng)絡，使用按鍵實現(xiàn)手動控制功能。其硬件結構框圖如圖2所示。路由器 的大部分硬件與協(xié)調器相同，只是硬件接口更加簡單而已。而終端節(jié)點的硬件結構圖也類 似于協(xié)調器，只是將232/485接口換成了I 2C。需要注意的是，由于工作環(huán)境的特殊性，區(qū)別 于傳統(tǒng)意義上的無線傳感器節(jié)點，本系統(tǒng)中的節(jié)點電源被設計成了外部電源供電和干電池 供電兩種供電方式，因此系統(tǒng)設計時可及不考慮節(jié)點的能耗問題，簡化了軟件算法的設計 如圖2。
[0067] 分類與匹配需要一系列的預處理，如圖3。
[0068]步驟1、通過攝像頭掃描出一份原始圖像；
[0069]步驟2、對于掃描好的圖像先進行閾值分割。但是一般的閾值分割是從背景中提取 目標的一種明顯方法是選擇一個閾值T將圖像點分成兩類。但是不同工件的顏色與灰度不 同如果每次都要確定一個閾值太過繁瑣，不利于流水線。所以這里使用的是Otsu最優(yōu)全局 閾值處理。
[0070] 該方法的目標是確定閾值T，使類間方差最大化。采集一幅圖像，計算其歸一化直 方圖，設有L個灰度級。使用pi，i = 0，1，2，…，L-1表不直方圖各分量。計算由閾值T分開的兩
[0071] 步驟3、對于二值化后的圖像進行平滑濾波。去除不必要的邊緣噪聲。中值濾波法 對消除椒鹽噪聲非常有效，在光學測量條紋圖象的相位分析處理方法中有特殊作用采用的 是中值濾波，常用于保護邊緣信息，是經(jīng)典的平滑噪聲的方法。這里要保留邊緣信息用于分 類選擇中值濾波是最理想的。
[0072] 步驟4、去除邊緣連通，通過遍歷圖像將小于給定閾值的小塊圖像刪除，這些小塊 圖像是無用的圖像信息。
[0073]步驟5、去除雜質割出工件圖像。
[0074]以上圖像的預處理就是完成了，把處理好的圖像信息通過ZigBee傳給上位機的感 知器。
[0075]感知器的原理結構如圖4最小均方delta規(guī)則神經(jīng)網(wǎng)絡的目標識別。
[0076] 用定量描述子來描繪不同工件，比如工件的面積、橢圓度、各向異性和表面紋理 等。每個工件類別都是幾個描述子的集合，每個描述子對應地描繪工件的某項特征，用這些 特征組成的向量來描述各類工件。X = ( XI，X2，…，Χη) Τ
[0077] 式中：Xl為第i個描述子;η為與該工件有關的描述子的總數(shù)。那么一類工件就可以 用列向量X表示，Τ表示轉置。
[0078] 在訓練時，采用感知機訓練的最小均方delta規(guī)則，此規(guī)則可以在有限步的學習后 使得感知機的實際響應逼近期望響應，使兩者的誤差最小。準則函數(shù)為
[0080]式中是感知機的期望響應，易知在r = wTy時該準則函數(shù)取得最小值。故可以用 梯度下降法逐步修正權值向量w，當J(w)取得最小值時，感知機可以正確分類。
[0081 ] SIFT紋理特征提取即尺度不變特征變換（Scale-invariant feature transform， SIFT)，是用于圖像處理領域的一種描述。這種描述具有尺度不變性，可在圖像中檢測出關 鍵點，是一種局部特征描述子。SIFT特征提取分為4個基本步驟：
[0082] D1、尺度空間極值檢測:搜索所有尺度上的圖像位置。通過高斯微分函數(shù)來識別潛 在的對于尺度和旋轉不變的興趣點。
[0083] D2、關鍵點定位在每個候選的位置上，通過一個擬合精細的模型來確定位置和尺 度。關鍵點的選擇依據(jù)于它們的穩(wěn)定程度。
[0084] D3、方向確定基于圖像局部的梯度方向，分配給每個關鍵點位置一個或多個方向。 所有后面的對圖像數(shù)據(jù)的操作都相對于關鍵點的方向、尺度和位置進行變換，從而提供對 于這些變換的不變性。
[0085] D4、關鍵點描述在每個關鍵點周圍的鄰域內，在選定的尺度上測量圖像局部的梯 度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。
【主權項】
1. 一種噴涂流水線工件自動檢測與識別方法，其特征在于:所述自動檢測與識別方法 包括如下步驟： A:攝像頭對流水線上的工件采集原始圖像； B:對于采集到的原始圖像進行預處理，過程如下： B11:對于原始圖像進行閾值處理； B12:對于閾值處理后的圖像進行低通濾波處理，平滑邊緣信息； B13:移除邊界連通區(qū)域； B14:去除雜質分割出工件圖像； B15:對于分割好的工件圖像進行邊緣信息提取用作分類信息，按照尺寸分類； C:協(xié)調器將數(shù)據(jù)包經(jīng)RS232/485發(fā)送至無線模塊在通過無線模塊送至上位機。 D:上位機根據(jù)數(shù)據(jù)庫中的特征信息進行分類匹配，過程如下： 用定量描述子來描繪不同工件，Χ=(Χ1，Χ2，···，χη)τ，式中：Xi為第i個描述子;η為與該工 件有關的描述子的總數(shù);那么一類工件用列向量X表不，Τ表不轉置； 在訓練時，提取圖像的外形特征和SIFT紋理，采用感知機訓練的最小均方delta規(guī)則， 此規(guī)則在有限步的學習后使得感知機的實際響應逼近期望響應，使兩者的誤差最小，準則 函數(shù)為A = j w 1 .V):式中：r是感知機的期望響應，在r = wTy時該準則函數(shù)取得最小 乂 .，： 值，故用梯度下降法逐步修正權值向量w，當J(w)取得最小值時，感知機可以正確分類； 提取待分類圖像的外形特征和SIFT紋理，輸入感知機進行分類。2. 如權利要求1所述的噴涂流水線工件自動檢測與識別方法，其特征在于:所述步驟D 中，SIFT特征提取過程如下： D1、尺度空間極值檢測:搜索所有尺度上的圖像位置，通過高斯微分函數(shù)來識別潛在的 對于尺度和旋轉不變的興趣點； D2、關鍵點定位:在每個候選的位置上，通過一個擬合精細的模型來確定位置和尺度， 關鍵點的選擇依據(jù)于它們的穩(wěn)定程度； D3、方向確定:基于圖像局部的梯度方向，分配給每個關鍵點位置一個或多個方向，所 有后面的對圖像數(shù)據(jù)的操作都相對于關鍵點的方向、尺度和位置進行變換，從而提供對于 這些變換的不變性， D4、關鍵點描述:在每個關鍵點周圍的鄰域內，在選定的尺度上測量圖像局部的梯度， 這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。3. 如權利要求1或2所述的噴涂流水線工件自動檢測與識別方法，其特征在于:所述步 驟B中還包括如下步驟： B16:對于分類錯誤的工件則是壞件； B17:對分割好的圖像做SIFT特征提取用于對不同種類的工件紋理的匹配； B18:對于分類好的工件進行紋理匹配，匹配成功則進行不同的噴涂處理，對于分類正 確但是紋理匹配失敗的工件當作壞件處理。
【文檔編號】G06K9/62GK105868766SQ201610183826
【公開日】2016年8月17日
【申請日】2016年3月28日
【發(fā)明人】邢科新, 張文安, 倪洪杰, 梁先鵬, 林葉貴
【申請人】浙江工業(yè)大學