一種符號陣列面結(jié)構(gòu)光的深度感知方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種符號陣列面結(jié)構(gòu)光的深度感知方法、裝置及系統(tǒng)，由激光圖形投射器向目標物體或投射空間投射由符合陣列構(gòu)成的編碼圖形Pattern，圖像傳感器采集獲得連續(xù)的輸入符號編碼圖像序列，先對輸入符號編碼圖像進行解碼，解碼過程包括預(yù)處理、符號定位、符號識別、符號校正，完成符號識別的輸入符號解碼圖像與已知距離的參考符號解碼圖像進行符號匹配計算，得到視差值，再結(jié)合深度計算公式生成網(wǎng)格形式表示的目標物體或投射空間的深度點云信息。本
【發(fā)明內(nèi)容】
可快速獲得動態(tài)場景下目標物體或投射空間的高分辨率、高精度的深度信息，便于模塊方式移植入或嵌入智能設(shè)備中用于3D建模、3D地圖生成等。
【專利說明】一種符號陣列面結(jié)構(gòu)光的深度感知方法、裝置及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識別、人機交互、三維重建及機器視覺【技術(shù)領(lǐng)域】，具體涉及一種符 號陣列面結(jié)構(gòu)光的深度感知方法、裝置及系統(tǒng)。

【背景技術(shù)】
[0002] 在消費電子領(lǐng)域，深度感知技術(shù)有助于提高電子產(chǎn)品的智能水平和交互能力，幫 助智能終端理解人類動作，成為"現(xiàn)實物理世界"與"虛擬網(wǎng)絡(luò)世界"交互手段之一，不僅可 以在智能電視、智能手機、家電、平板PC等領(lǐng)域?qū)崿F(xiàn)創(chuàng)新應(yīng)用，也可用于智能視頻監(jiān)控、面 部識別系統(tǒng)、三維動畫制作、動態(tài)場景檢測、3D地圖實時生成等三維重建場合。在工業(yè)領(lǐng)域， 高分辨率、高精度的三維深度信息在汽車輔助安全駕駛、高速機床加工、工業(yè)3D建模、3D打 印、醫(yī)療成像、物聯(lián)網(wǎng)3D視覺感知、機器人操控等領(lǐng)域有著廣泛的應(yīng)用需求。
[0003] 基于結(jié)構(gòu)光主動視覺模式的深度感知技術(shù)（激光圖形投射器主動投射圖形 Pattern、圖像傳感器采集連續(xù)圖像）可以較為準確地獲取目標物體或投射空間的深度信 息，該模式相比雙目立體攝像頭，通過編碼結(jié)構(gòu)光主動對投射物或投射空間進行特征標定， 所獲取的深度圖信息更穩(wěn)定可靠、受環(huán)境光影響小、匹配過程不受物體紋理信息的影響等 優(yōu)勢。如微軟Kinect，其通過主動投射紅外激光散斑圖像進行特征標定，由紅外攝像頭采集 紅外圖像序列，再由深度感知專用芯片計算獲取深度信息。但Kinect通過DoE衍射生成激 光散斑圖像來獲取深度信息的方式難以獲得高分辨率、高精度的深度信息，難以滿足工業(yè) 建模等領(lǐng)域的應(yīng)用需求，且不具備自我深度校正的能力。同時現(xiàn)有的結(jié)構(gòu)光編碼深度感知 和三維測量技術(shù)，難以實時獲得動態(tài)場景下目標物體高分辨率、高精度的深度信息。


【發(fā)明內(nèi)容】

[0004] 鑒于此，本發(fā)明的目的在于提供一種符號陣列面結(jié)構(gòu)光的深度感知方法、裝置及 系統(tǒng)，基于結(jié)構(gòu)光編碼的主動視覺模式，由激光圖形投射器向目標物體或投射空間投射由 符合陣列構(gòu)成的編碼圖形Pattern，圖像傳感器采集獲得連續(xù)的輸入符號編碼圖像序列，先 對輸入符號編碼圖像進行解碼，解碼過程包括預(yù)處理、符號定位、符號識別、符號校正，完成 符號識別的輸入符號解碼圖像與已知距離的參考符號解碼圖像進行符號匹配計算，得到視 差值，再結(jié)合深度計算公式生成網(wǎng)格形式表示的目標物體或投射空間的深度點云信息。
[0005] 本發(fā)明的一種符號陣列面結(jié)構(gòu)光的深度感知方法，包括：
[0006] 獲取所述符號陣列面結(jié)構(gòu)光的輸入符號編碼圖像；
[0007] 對所述輸入符號編碼圖像進行自適應(yīng)預(yù)處理；
[0008] 對預(yù)處理之后的輸入符號編碼圖像進行符號定位，識別所述輸入符號編碼圖像中 所有符號中心點的位置；
[0009] 對預(yù)處理之后的輸入符號編碼圖像進行符號識別，映射為對應(yīng)的數(shù)字；
[0010] 根據(jù)所述對應(yīng)的數(shù)字對識別后的符號進行校正，完成輸入符號編碼圖像的解碼；
[0011] 將校正后的輸入符號解碼圖像與已知距離的參考符號解碼圖像進行符號匹配，生 成符號對應(yīng)的視差值；
[0012] 根據(jù)所述參考符號解碼圖像的已知距離和所述視差值，確定所述輸入符號編碼圖 像中符號中心點的深度值。
[0013] 優(yōu)選地，所述對預(yù)處理之后的輸入符號編碼圖像進行符號定位，識別所述輸入符 號編碼圖像中所有符號中心點的位置，包括：根據(jù)設(shè)計參數(shù)逐個計算所述符號中心點的位 置或根據(jù)符號特征信息，利用模式識別確定所述符號中心點的位置。
[0014] 優(yōu)選地，所述符號識別，包括：模板匹配方法，將編碼符號作為標準匹配符號模板， 標準匹配符號模板可圍繞符號中心點進行小角度的旋轉(zhuǎn)或?qū)Ψ栠M行線性、非線性變換后 識別輸入符號編碼圖像中的編碼符號。
[0015] 優(yōu)選地，所述符號識別，包括：基于樣本訓練進行SVM模式識別方法。
[0016] 優(yōu)選地，所述映射為對應(yīng)的數(shù)字，包括：將識別出的正確的符號映射到具體的數(shù)字 N上，未能正確識別的符號用特定數(shù)字M表示。
[0017] 優(yōu)選地，所述根據(jù)所述對應(yīng)的數(shù)字對識別后的符號進行校正，包括：對識別出的符 號，結(jié)合其周圍符號，利用符號編碼規(guī)則進行驗證。
[0018] 優(yōu)選地，符合所述符號編碼規(guī)則的符號識別為正確，不符合所述符號編碼規(guī)則的 符號用特定數(shù)字M表示為未能正確識別的符號并進行進一步校正，通過循環(huán)校正填補，生 成校正后的輸入符號解碼圖像。
[0019] 優(yōu)選地，所述將校正后的輸入符號解碼圖像與已知距離的參考符號解碼圖像進行 符號匹配，包括通過輸入符號在參考符號解碼圖像中對應(yīng)位置的符號為中心、一定大小范 圍內(nèi)搜索與所述輸入符號最接近的匹配符號。
[0020] 優(yōu)選地，所述將校正后的輸入符號解碼圖像與已知距離的參考符號解碼圖像進行 符號匹配，包括：輸入符號結(jié)合其周圍符號組成輸入符號模板，以模板形式在參考符號解碼 圖象的搜索窗搜尋最優(yōu)匹配模板，得到輸入符號的匹配符號，從而得到輸入符號與匹配符 號之間的視差值（Ax，Ay)。
[0021] 優(yōu)選地，所述輸入符號編碼圖像中符號中心點的深度值，包括：利用X或Y方向的 視差值A(chǔ)m(AX或Ay)結(jié)合參考符號解碼圖像的已知距離參數(shù)d、激光圖形投射器與圖像 傳感器之間的基線距離S、圖像傳感器焦距f?和點距參數(shù)y，根據(jù)以下深度計算公式計算得 到輸入符號中心點〇的深度信息d':

【權(quán)利要求】
1. 一種符號陣列面結(jié)構(gòu)光的深度感知方法，其特征在于，包括： 獲取所述符號陣列面結(jié)構(gòu)光的輸入符號編碼圖像； 對所述輸入符號編碼圖像進行自適應(yīng)預(yù)處理； 對預(yù)處理之后的輸入符號編碼圖像進行符號定位，識別所述輸入符號編碼圖像中所有 符號中心點的位置； 對預(yù)處理之后的輸入符號編碼圖像進行符號識別，映射為對應(yīng)的數(shù)字； 根據(jù)所述對應(yīng)的數(shù)字對識別后的符號進行校正，完成輸入符號編碼圖像的解碼； 將校正后的輸入符號解碼圖像與已知距離的參考符號解碼圖像進行符號匹配，生成符 號對應(yīng)的視差值； 根據(jù)所述參考符號解碼圖像的已知距離和所述視差值，確定所述輸入符號編碼圖像中 的符號中心點的深度值。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于：優(yōu)選的，所述對預(yù)處理之后的輸入符號編 碼圖像進行符號定位，識別所述輸入符號編碼圖像中所有符號中心點的位置，包括：根據(jù)設(shè) 計參數(shù)逐個計算所述符號中心點的位置或根據(jù)符號特征信息，利用模式識別確定所述符號 中心點的位置。
3. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于：所述符號識別，包括：模板匹配方法， 將編碼符號作為標準匹配符號模板，標準匹配符號模板圍繞符號中心點進行小角度的旋轉(zhuǎn) 或?qū)Ψ栠M行線性、非線性變換后識別輸入符號編碼圖像中的編碼符號。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述映射為對應(yīng)的數(shù)字，包括：將識別出 的正確的符號映射到具體的數(shù)字N上，未能正確識別的符號用特定數(shù)字M表示。
5. 根據(jù)權(quán)利要求1或4所述的方法，其特征在于：所述根據(jù)所述對應(yīng)的數(shù)字對識別后 的符號進行校正，包括：對識別出的符號，結(jié)合其周圍符號，利用所述符號的符號編碼規(guī)則 進行驗證。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于：符合所述符號編碼規(guī)則的符號識別為正 確，不符合所述符號編碼規(guī)則的符號用特定數(shù)字M表示為未能正確識別的符號并進行進一 步校正，通過循環(huán)校正填補，生成校正后的輸入符號解碼圖像。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于：所述將校正后的輸入符號解碼圖像與已 知距離的參考符號解碼圖像進行符號匹配，包括通過輸入符號在參考符號解碼圖像中對應(yīng) 位置的符號為中心、一定大小范圍內(nèi)搜索與所述輸入符號最接近的匹配符號。
8. 根據(jù)權(quán)利要求1或7所述的方法，其特征在于：所述將校正后的輸入符號解碼圖像 與已知距離的參考符號解碼圖像進行符號匹配，生成符號對應(yīng)的視差值，根據(jù)所述已知距 離和所述視差值，確定所述輸入符號編碼圖像的符號中心點的深度包括： 輸入符號結(jié)合其周圍符號組成輸入符號模板，以模板形式在參考符號解碼圖象的搜索 窗搜尋最優(yōu)匹配模板，得到輸入符號的匹配符號，從而得到輸入符號與匹配符號之間的視 差值（Ax，Ay); 利用X或Y方向的視差值A(chǔ)m(Ax或Ay)結(jié)合參考符號解碼圖像的已知距離參數(shù)d、 激光圖形投射器與圖像傳感器之間的基線距離S、圖像傳感器焦距f?和點距參數(shù)U，根據(jù)以 下深度計算公式計算得到輸入符號中心點〇的深度信息d':
9. 一種符號陣列面結(jié)構(gòu)光的深度感知裝置，其特征在于，包括： 獲取模塊，用于獲取所述符號陣列面結(jié)構(gòu)光的輸入符號編碼圖像； 預(yù)處理模塊，用于對所述輸入符號編碼圖像進行自適應(yīng)預(yù)處理； 定位模塊，用于對預(yù)處理之后的輸入符號編碼圖像進行符號定位，識別所述輸入符號 編碼圖像中所有符號中心點的位置； 識別模塊，用于對預(yù)處理之后的輸入符號編碼圖像進行符號識別，映射為對應(yīng)的數(shù) 字； 校正模塊，用于根據(jù)所述對應(yīng)的數(shù)字對識別后的符號進行校正，完成輸入符號編碼圖 像的解碼； 匹配模塊，用于將校正后的輸入符解碼圖像與已知距離的參考符號解碼圖像進行符號 匹配，生成符號對應(yīng)的視差值； 確定模塊，用于根據(jù)所述參考符號解碼圖像的已知距離和所述視差值，確定所述輸入 符號編碼圖像中的符號中心點的深度值。
10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于：所述定位模塊用于根據(jù)設(shè)計參數(shù)逐個 計算所述符號中心點的位置或根據(jù)符號特征信息，利用模式識別確定所述符號中心點的位 置。
11. 根據(jù)權(quán)利要求9或10所述的裝置，其特征在于：所述識別模塊通過模板匹配將編 碼符號作為標準匹配符號模板，標準匹配符號模板圍繞符號中心點進行小角度的旋轉(zhuǎn)或?qū)?符號進行線性、非線性變換后識別輸入符號編碼圖像中的編碼符號。
12. 根據(jù)權(quán)利要求9或11所述的裝置，其特征在于：所述識別模塊用于將識別出的正 確的符號映射到具體的數(shù)字N上，未能正確識別的符號用特定數(shù)字M表示。
13.根據(jù)權(quán)利要求9或12所述的裝置，其特征在于：所述校正模塊用于對識別出的符 號，結(jié)合其周圍符號，利用所述符號的符號編碼規(guī)則進行驗證，符合所述符號編碼規(guī)則的符 號識別為正確，不符合所述符號編碼規(guī)則的符號用特定數(shù)字M表示為未能正確識別的符號 并進行進一步校正，通過循環(huán)校正填補，生成校正后的輸入符號解碼圖像。
14.根據(jù)權(quán)利要求9所述的裝置，其特征在于：所述匹配模塊用于通過輸入符號在參考 符號解碼圖像中對應(yīng)位置的符號為中心、一定大小范圍內(nèi)搜索與所述輸入符號最接近的匹 配符號。
15.根據(jù)權(quán)利要求9所述的裝置，其特征在于：所述確定模塊利用X或Y方向的視差值 Am(Ax或Ay)結(jié)合參考符號解碼圖像的已知距離參數(shù)d、激光圖形投射器與圖像傳感器 之間的基線距離S、圖像傳感器焦距f?和點距參數(shù)y，根據(jù)以下深度計算公式計算得到輸入 符號中心點〇的深度信息d':
16. -種符號陣列面結(jié)構(gòu)光的深度感知系統(tǒng)，包括激光圖形投射器和如權(quán)利要求9-15 任一所述的深度感知裝置，所述激光圖形投射器向目標物體或投射空間投射編碼圖形后由 所述深度感知裝置接收到輸入符號編碼圖像。
【文檔編號】H04N13/00GK104506838SQ201410810399
【公開日】2015年4月8日 申請日期:2014年12月23日 優(yōu)先權(quán)日:2014年12月23日
【發(fā)明者】葛晨陽, 周艷輝 申請人:寧波盈芯信息科技有限公司