作業(yè)機(jī)械的周圍監(jiān)視裝置的制造方法
【專利摘要】提供一種作業(yè)機(jī)械的周圍監(jiān)視裝置，即使在對(duì)作業(yè)機(jī)械的周圍進(jìn)行拍攝所得的圖像內(nèi)存在復(fù)雜形狀的本車影，也能夠防止該本車影的存在影響對(duì)作業(yè)機(jī)械周圍存在的物體的檢測(cè)。具備：對(duì)作業(yè)機(jī)械周圍的圖像進(jìn)行拍攝的單鏡頭攝像機(jī)(6)；基于該圖像的特征量抽出該圖像中的特征圖形的特征圖形抽出部(170)；基于所述圖像的特征量抽出在該圖像中能夠視為作業(yè)機(jī)械的影的區(qū)域的輪廓的影輪廓抽出部(40)；以及物體檢測(cè)部(180)，其基于從由特征圖形抽出部抽出的特征圖形排除位于由影輪廓抽出部抽出的輪廓上的影輪廓特征圖形而剩余的特征圖形，來檢測(cè)在作業(yè)機(jī)械周圍存在的障礙物。
【專利說明】
作業(yè)機(jī)械的周圍監(jiān)視裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及利用單鏡頭攝像機(jī)圖像對(duì)作業(yè)機(jī)械周圍存在的障礙物進(jìn)行監(jiān)視的作業(yè)機(jī)械的周圍監(jiān)視裝置。
【背景技術(shù)】
[0002]作為本技術(shù)領(lǐng)域的【背景技術(shù)】，有日本特開2007— 272292號(hào)公報(bào)(專利文獻(xiàn)I)。在該文獻(xiàn)中記載了一種影邊界抽出方法，算出表示由攝像裝置拍攝所得的圖像中的屬于被攝物邊緣的邊緣像素、與該邊緣像素近旁存在的多個(gè)像素的像素值關(guān)系的圖形，并參照對(duì)所述圖像中的屬于影區(qū)域和非影區(qū)域的影邊界的影邊界像素、與該影邊界像素近旁存在的多個(gè)像素的像素值的關(guān)系預(yù)先進(jìn)行了設(shè)定的影邊界圖形，對(duì)該影邊界圖形和所述算出圖形進(jìn)行比對(duì)，將屬于與該影邊界圖形一致的所述算出圖形的所述邊緣像素判定為存在于所述影邊界的像素。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2007 — 272292號(hào)公報(bào)
[0006]發(fā)明要解決的課題
[0007]成為本發(fā)明的適用對(duì)象的包含自卸車及液壓挖掘機(jī)等的作業(yè)機(jī)械的輪廓形狀與乘用車的輪廓形狀相比較為復(fù)雜，因此投影于地面的作業(yè)機(jī)械的影(以下有時(shí)稱為本車影)自然地成為復(fù)雜的形狀。另外，作業(yè)機(jī)械以在卸載中行駛為前提，因此其本車影與多在鋪裝路上投射本車影的乘用車的情況相比是更復(fù)雜的形狀。此外還可以指出，當(dāng)作業(yè)機(jī)械卸載行駛時(shí)，本車影的形狀會(huì)與地表的凹凸對(duì)應(yīng)地動(dòng)態(tài)變化，因此本車影的形狀會(huì)隨著時(shí)間變化。
[0008]為此，當(dāng)如上述文獻(xiàn)的技術(shù)那樣采用預(yù)先準(zhǔn)備有顯現(xiàn)于地面的多個(gè)影的邊界圖形(影邊界圖形)的方法時(shí)，則需要配合作業(yè)機(jī)械的輪廓、路面形狀來準(zhǔn)備無數(shù)的影邊界圖形，并將其存儲(chǔ)于存儲(chǔ)器等存儲(chǔ)裝置。但是，事實(shí)上不可能生成符合所有路面形狀的影邊界圖形，即便假設(shè)能夠生成，也會(huì)由于需要準(zhǔn)備能夠?qū)ζ潺嫶蟮臄?shù)據(jù)量進(jìn)行存儲(chǔ)的存儲(chǔ)器等存儲(chǔ)裝置而就初始成本來看不現(xiàn)實(shí)。另外，可以預(yù)料的是無數(shù)的影邊界圖形與算出圖形的比對(duì)會(huì)需要龐大的處理，因此就處理內(nèi)容來看也不現(xiàn)實(shí)。
[0009]如上所述，在上述文獻(xiàn)的技術(shù)中難以識(shí)別攝影圖像中的作業(yè)機(jī)械的本車影。如果無法準(zhǔn)確地識(shí)別本車影，例如將本車影誤識(shí)別為作業(yè)機(jī)械周圍存在的物體(障礙物)，則有可能發(fā)出不必要的警報(bào)而導(dǎo)致作業(yè)效率降低。
[0010]另外，在作業(yè)機(jī)械的周圍監(jiān)視裝置的開發(fā)中還需要考慮如下特殊情況。即，作業(yè)機(jī)械與一般的乘用車相比車型巨大且車高較高，因此具有周圍監(jiān)視用的攝像機(jī)(攝像裝置)的設(shè)置位置較高的傾向。另外，如要對(duì)該作業(yè)機(jī)械的周圍進(jìn)行拍攝，則需要攝像機(jī)處于適當(dāng)?shù)爻蛟撟鳂I(yè)機(jī)械的大致正下方的姿態(tài)(即，該攝像機(jī)的俯角增大)，因此當(dāng)然也會(huì)依存于太陽的位置，但是在攝影圖像中很少顯著地表現(xiàn)本車影。因此，為了使周圍監(jiān)視裝置發(fā)揮功能，必須進(jìn)行本車影中的物體檢測(cè)。另外，當(dāng)本車影的輪廓上存在黑色物體時(shí)，有可能該物體被視為本車影的一部分而導(dǎo)致對(duì)該物體的檢測(cè)延遲。這種作業(yè)機(jī)械特有的本車影的問題在用于礦山的巨大的自卸車(礦山載重車)等尺度較大的作業(yè)機(jī)械中特別顯著。

【發(fā)明內(nèi)容】

[0011 ]本發(fā)明的目的是提供一種作業(yè)機(jī)械的周圍監(jiān)視裝置，即使在對(duì)作業(yè)機(jī)械的周圍進(jìn)行拍攝所得圖像內(nèi)存在復(fù)雜形狀的本車影，也能夠防止該本車影的存在影響對(duì)作業(yè)機(jī)械周圍存在的物體的檢測(cè)。
[0012]解決課題的手段
[0013]為了解決上述技術(shù)問題，本發(fā)明具備:搭載于作業(yè)機(jī)械而對(duì)該作業(yè)機(jī)械周圍的圖像進(jìn)行拍攝的單鏡頭攝像機(jī);基于該圖像的特征量抽出該圖像中的特征圖形的特征圖形抽出部;基于所述圖像的特征量抽出在該圖像中能夠視為所述作業(yè)機(jī)械的影的區(qū)域的輪廓的影輪廓抽出部；以及物體檢測(cè)部，其基于從由所述特征圖形抽出部抽出的所述特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而剩余的特征圖形，來檢測(cè)所述作業(yè)機(jī)械周圍存在的障礙物。
[0014]發(fā)明的效果
[0015]根據(jù)本發(fā)明，即使在對(duì)作業(yè)機(jī)械的周圍進(jìn)行拍攝所得的圖像內(nèi)存在隨時(shí)間變化的復(fù)雜形狀的本車影，也能夠適當(dāng)?shù)貙⒁暈樵摫拒囉拜喞牟糠謴恼系K物檢測(cè)對(duì)象排除，從而防止本車影的誤識(shí)別并提高障礙物檢測(cè)精度。
【附圖說明】
[0016]圖1是本實(shí)施方式的自卸車的俯視圖。
[0017]圖2是圖1所示自卸車I的側(cè)視圖。
[0018]圖3是圖像處理裝置的整體結(jié)構(gòu)圖。
[0019]圖4是由圖像合成部執(zhí)行的處理步驟的一例。
[0020]圖5是將4臺(tái)攝像機(jī)的輸入圖像在圖像合成部中合成的圖像的一例。
[0021]圖6是在利用基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部進(jìn)行區(qū)域特定前預(yù)先進(jìn)行的處理對(duì)象區(qū)域的設(shè)定步驟。
[0022]圖7是影輪廓抽出部40的功能框圖。
[0023]圖8是由影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的流程圖。
[0024]圖9是圖8中的步驟42b的亮度分布圖。
[0025]圖10是表示由外廓圖像生成部生成的本車影外廓的圖。
[0026]圖11是從圖3抽出特征圖形抽出部及影輪廓特征圖形抽出部的周邊的圖。
[0027]圖12是角點(diǎn)抽出部及特征圖形抽出部的處理的說明圖。
[0028]圖13是角點(diǎn)抽出部及特征圖形抽出部的處理的說明圖。
[0029]圖14是由影輪廓特征圖形抽出部執(zhí)行的處理的流程圖。
[0030]圖15是表示由圖14的步驟53f抽出的特征圖形的一例的圖。
[0031]圖16是表示由圖14的步驟53f抽出的特征圖形的另一例的圖。
[0032 ]圖17是表示由圖14的步驟53f抽出的特征圖形的此外另一例的圖。
[0033]圖18是由影輪廓特征圖形遮蔽部60執(zhí)行的處理的流程圖。
[0034]圖19是表示影輪廓特征圖形遮蔽部在步驟60b中使圖15的角點(diǎn)51a及角點(diǎn)51b膨脹規(guī)定次數(shù)的圖像例的圖。
[0035]圖20是表示影輪廓特征圖形遮蔽部在步驟60b中使圖16的角點(diǎn)51e及角點(diǎn)51f及角點(diǎn)51 g及角點(diǎn)51h膨脹規(guī)定次數(shù)的圖像例的圖。
[0036]圖21是表示影輪廓特征圖形遮蔽部在步驟60b中使圖17的角點(diǎn)51e、角點(diǎn)51A、51B、51C、51D、51E、51F、51G、51H、51P膨脹規(guī)定次數(shù)的圖像例的圖。
[0037]圖22是表示將影輪廓特征圖形遮蔽部在由圖像合成部合成的場(chǎng)景中遮蔽的區(qū)域顯示于顯示裝置的畫面例的圖。
[0038]圖23是表示將被影輪廓特征圖形遮蔽部遮蔽的區(qū)域以俯瞰圖像顯示于顯示裝置的畫面的一例的圖。
[0039]圖24是表示將被影輪廓特征圖形遮蔽部遮蔽的區(qū)域以俯瞰圖像顯示于顯示裝置的畫面的一例的圖。
[°04°]圖25是表示顯示裝置的顯示畫面的一例的圖。
[0041]圖26是表示顯示裝置的顯示畫面的一例的圖。
[0042I圖27是表示顯示裝置的顯示畫面的一例的圖。
[0043I圖28是表示顯示裝置的顯示畫面的一例的圖。
[0044]圖29是表示顯示裝置的顯示畫面的一例的圖。
[0(Μ5]圖30是表示顯示裝置的顯示畫面的一例的圖。
[0046]圖31是表示本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的整體結(jié)構(gòu)的其它例子的圖。
[0047]圖32是由本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的其它流程圖。
[0048]圖33是作為本發(fā)明適用對(duì)象的作業(yè)機(jī)械之一的大型液壓挖掘機(jī)的側(cè)視圖。
【具體實(shí)施方式】
[0049]在對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明之前，首先對(duì)本發(fā)明實(shí)施方式的作業(yè)機(jī)械的周圍監(jiān)視裝置所含的主要特征進(jìn)行說明。
[0050]后述的本實(shí)施方式的作業(yè)機(jī)械的周圍監(jiān)視裝置，其特征在于，具備:搭載于作業(yè)機(jī)械而對(duì)該作業(yè)機(jī)械周圍的圖像進(jìn)行拍攝的單鏡頭攝像機(jī)(例如后述的攝像機(jī)6);基于該圖像的特征量抽出該圖像中的特征圖形(例如該圖像中的角部、邊緣)的特征圖形抽出部(例如后述的特征圖形抽出部170);基于所述圖像的特征量抽出在該圖像中能夠視為所述作業(yè)機(jī)械的影的區(qū)域的輪廓的影輪廓抽出部(例如后述的影輪廓抽出部40);以及物體檢測(cè)部(例如后述的物體檢測(cè)部180)，其基于從由所述特征圖形抽出部抽出的所述特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而剩余的特征圖形，來檢測(cè)所述作業(yè)機(jī)械周圍存在的障礙物。
[0051]在如上所述構(gòu)成的周圍監(jiān)視裝置中，與所述作業(yè)機(jī)械的影(本車影)的形狀的復(fù)雜度無關(guān)地按照采樣間隔抽出該影的輪廓(影輪廓)，將位于該影輪廓上的特征圖形從障礙物檢測(cè)對(duì)象排除，因此能夠防止該本車影被誤識(shí)別為障礙物。另外，該影輪廓上不存在的特征圖形依然是所述物體檢測(cè)部的障礙物檢測(cè)對(duì)象，因此例如在所述影輪廓上存在著汽車等障礙物，即使將該障礙物的特征圖形中存在于該影輪廓上的特征圖像除去，剩余的特征圖形(例如本車影內(nèi)部存在的特征圖形)依然作為障礙物檢測(cè)對(duì)象剩余，因此只要基于該剩余的特征圖形進(jìn)行障礙物檢測(cè)即可立即檢測(cè)該障礙物。
[0052]此外，在上述的周圍監(jiān)視裝置中，當(dāng)在作業(yè)機(jī)械的本車影的輪廓上跨該本車影的內(nèi)外存在黑色障礙物(例如黑色的乘用車)時(shí)，則雖然有時(shí)會(huì)將該黑色障礙物的輪廓視為影輪廓，但是此時(shí)也會(huì)由于該障礙物的特征圖形在該本車影的外部及內(nèi)部留存，而能夠基于該留存的特征圖形來檢測(cè)該障礙物。即，如果是上述的周圍監(jiān)視裝置的結(jié)構(gòu)，則無需準(zhǔn)確地識(shí)別所述作業(yè)機(jī)械的影邊界，即使在誤識(shí)別影邊界的情況下也能夠迅速地檢測(cè)障礙物。
[0053]因此，根據(jù)本實(shí)施方式，即使在對(duì)作業(yè)機(jī)械的周圍進(jìn)行拍攝所得的圖像內(nèi)存在隨時(shí)間變化的復(fù)雜形狀的本車影，也能夠適當(dāng)?shù)貙⒁暈樵摫拒囉拜喞牟糠謴恼系K物檢測(cè)對(duì)象排除，從而防止本車影的誤識(shí)別并提高障礙物檢測(cè)精度。
[0054]然而，一般地，在礦山利用作業(yè)機(jī)械時(shí)，來自礦物的顏色(例如在鐵礦石采掘現(xiàn)場(chǎng)是鐵礦石特有的紅褐色)會(huì)顯現(xiàn)于地表。因此，作為從所述單鏡頭攝像機(jī)的攝影圖像中抽出本車影時(shí)的特征量，如果選擇圖像中的顏色，則導(dǎo)致本車影及影輪廓的抽出性能降低的可能性升高。另外，顏色也會(huì)因光的變化而變化，就此觀點(diǎn)來看選擇顏色作為特征量也不適當(dāng)。對(duì)此，在本發(fā)明中，不會(huì)將圖像的顏色用作抽出本車影時(shí)的特征量，因此即使在礦山等地面顯現(xiàn)不規(guī)則的顏色變化的場(chǎng)所利用，也不會(huì)妨礙對(duì)作業(yè)機(jī)械周圍的障礙物的檢測(cè)。另夕卜，本發(fā)明還具有能夠從由單鏡頭攝像機(jī)拍攝的I張圖像(靜止畫面)中檢測(cè)作業(yè)機(jī)械周圍存在的物體的優(yōu)點(diǎn)。
[0055]此外，上述的“特征圖形”是指通過基于特征量抽出圖像的特征而檢出的該特征的形狀，例如相當(dāng)于點(diǎn)(角部)、線/輪廓線(邊緣)、區(qū)域等。
[0056]下面，參照附圖對(duì)使用本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的例子進(jìn)行說明。雖然這里是對(duì)作為作業(yè)機(jī)械適用自卸車的例子進(jìn)行說明，但是作業(yè)機(jī)械不僅限于自卸車。即，本發(fā)明可適用于包含液壓挖掘機(jī)在內(nèi)的進(jìn)行規(guī)定的作業(yè)(搬運(yùn)、挖掘等)的任意的作業(yè)機(jī)械。
[0057]圖1示出了本實(shí)施方式的自卸車的俯視圖。該圖示的自卸車I具備:車體框架2;相對(duì)于車體框架2上可旋轉(zhuǎn)地安裝于其上的前輪3(3L及3R)和后輪4(4L及4R);在車體框架2的上方可起伏地安裝的車斗5;在底盤或車體框架2等上固定的單鏡頭攝像機(jī)6(6&，613，6(3，6d);在車體框架2的前方上部設(shè)置的駕駛室7;在車體框架2上的任意場(chǎng)所(例如駕駛室7的內(nèi)部)搭載的圖像處理裝置10;以及，在駕駛室7內(nèi)部設(shè)置的顯示裝置100。車體框架2形成自卸車I的本體，在車體框架2的前方設(shè)有前輪3、后方設(shè)有后輪4。此外，前輪3R是車輛右側(cè)的前輪，前輪3L是車輛左側(cè)的前輪。另外，后輪4R是車輛右側(cè)的2個(gè)后輪，后輪4L是車輛左側(cè)的2個(gè)后輪。車斗5是所謂的載臺(tái)，用于裝載砂土、礦物等。此外，圖示的前輪3及后輪4的配置及數(shù)量?jī)H為一例。
[0058]攝像裝置即單鏡頭攝像機(jī)6可設(shè)于自卸車I的任意位置。在本實(shí)施方式中搭載有合計(jì)4臺(tái)的攝像機(jī)6a，6b，6c，6d，攝像機(jī)6a在自卸車I的前方上部以俯瞰斜下方的姿態(tài)設(shè)置而在其視野范圍11(圖1的虛線11的范圍)中包含車輛前方15a。與該攝像機(jī)6a同樣地，攝像機(jī)6b在車輛右側(cè)方上部設(shè)置而在視野范圍12中包含車輛右側(cè)方15b，攝像機(jī)6c在車輛后方上部設(shè)置而在視野范圍13中包含車輛后方15c，攝像機(jī)6d在車輛左側(cè)方上部設(shè)置而在視野范圍14中包含車輛左側(cè)方15d。
[0059]在圖1例中，太陽O位于自卸車I的左側(cè)后方上空，因此自卸車I的影(本車影)在前方90a和右側(cè)方90b發(fā)生。此外，雖然在圖1中示意地分割為自卸車I的前方和右側(cè)方表示的影90a，90b進(jìn)行了顯示，然而實(shí)際上2個(gè)影90a，90b相連(后圖也同樣)。
[0060]圖2示出了圖1所示自卸車I的側(cè)視圖。
[0061]具有前方視野范圍11(圖2的虛線11的范圍)的攝像機(jī)6a從駕駛室7看是安裝于右斜前方的位置，具有右側(cè)方視野范圍12(圖2的虛線12的范圍)的攝像機(jī)6b從駕駛室7看是安裝于右斜后方的位置，具有后方視野范圍13(圖2的虛線13的范圍)的攝像機(jī)6c安裝于車體框架2的后方。右側(cè)方視野范圍12(在圖2中未示出)攝像機(jī)6d從駕駛室7看是安裝于左斜后方的位置，但是在圖2中未示出。攝像機(jī)6a、攝像機(jī)6b、攝像機(jī)6c及攝像機(jī)6d拍攝的影像被作為圖像數(shù)據(jù)向圖像處理裝置1輸出。
[0062]駕駛室7搭乘操作員而設(shè)有用于操作自卸車I的包含轉(zhuǎn)向手柄、加速踏板及制動(dòng)踏板的各種操作裝置。作為其它的操作裝置，例如還有使自卸車I前進(jìn)或后退的變速桿。在駕駛室7中設(shè)有圖像處理裝置10和顯示裝置100，由攝像機(jī)6a、攝像機(jī)6b、攝像機(jī)6c及攝像機(jī)6d拍攝、生成的圖像數(shù)據(jù)在圖像處理裝置10中進(jìn)行規(guī)定的圖像處理。經(jīng)過圖像處理的圖像數(shù)據(jù)顯示于顯示裝置100。基本地是在顯示裝置100上顯示攝像機(jī)6a、攝像機(jī)6b、攝像機(jī)6c及攝像機(jī)6d拍攝的影像。
[0063]這里，在圖2中，前方視野范圍11是自卸車I前方的斜下方區(qū)域。有時(shí)在前方視野范圍11中也包含作業(yè)員、其它作業(yè)機(jī)械、服務(wù)車等。右側(cè)方視野范圍12、后方視野范圍13、左側(cè)方視野范圍14也同樣。
[0064]圖3是本發(fā)明第I實(shí)施方式的圖像處理裝置10的整體結(jié)構(gòu)圖。該圖示的圖像處理裝置10具備:圖像輸入部20、圖像存儲(chǔ)部30、圖像合成部35、基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80、特征圖形抽出部170、影輪廓抽出部40、影輪廓特征圖形抽出部50、影輪廓特征圖形遮蔽部60、物體檢測(cè)部180。
[0065 ]由4臺(tái)攝像機(jī)6a，6b，6 c，6d拍攝的攝像機(jī)圖像，分別以規(guī)定的采樣間隔輸入圖像輸入部20并存儲(chǔ)于圖像存儲(chǔ)部30。
[0066]圖像存儲(chǔ)部30對(duì)來自圖像輸入部20的輸入圖像以不同的間隔進(jìn)行采樣并存儲(chǔ)，例如在停止時(shí)加長(zhǎng)采樣間隔而在移動(dòng)時(shí)則縮短采樣間隔并進(jìn)行存儲(chǔ)，因此可以利用必要的最低限度的輸入圖像進(jìn)行圖像處理，能夠縮短時(shí)間并使處理適當(dāng)。
[0067]圖像合成部35將從4臺(tái)攝像機(jī)6a，6b，6c，6d輸出并存儲(chǔ)于圖像存儲(chǔ)部30的多個(gè)攝像機(jī)圖像合成為I個(gè)圖像。
[0068]圖4示出由本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的圖像合成部35執(zhí)行的處理步驟的一例。首先，圖像合成部35在步驟35a中判定是4臺(tái)攝像機(jī)6a，6b，6c，6d中的哪一臺(tái)攝像機(jī)的圖像。并且，在前方攝像機(jī)6a的情況下，進(jìn)行在圖像處理畫面的左上配置的處理(步驟35b);在右側(cè)方攝像機(jī)6b的情況下，進(jìn)行在圖像處理畫面的右上配置的處理(步驟35c);在后方攝像機(jī)6c的情況下，進(jìn)行在圖像處理畫面的右下配置的處理(步驟35d);在左側(cè)方攝像機(jī)6d的情況下，進(jìn)行在圖像處理畫面的左下配置的處理(步驟35e)。通過該步驟生成使4臺(tái)攝像機(jī)6a、6b、6c、6d的圖像成為I幀的合成圖像(步驟35f)。
[0069]圖5示出將本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的攝像機(jī)6a的輸入圖像20a、攝像機(jī)6b的輸入圖像20b、攝像機(jī)6 c的輸入圖像20 c、攝像機(jī)6d的輸入圖像20d在圖像合成部35中合成的圖像的一例。圖5中，在輸入圖像20a中產(chǎn)生本車影90a，在輸入圖像20b中產(chǎn)生本車影90b。另外，在輸入圖像20a中作為與本車影90a同樣暗區(qū)域存在有黑色車110及非本車影111(例如當(dāng)黑色車鉆入作業(yè)機(jī)械下方時(shí)則該黑色車不會(huì)成為該作業(yè)機(jī)械的影(本車影))。
[0070]在本實(shí)施方式中，當(dāng)存在與作業(yè)機(jī)械本體的一部分15a，15b接觸的暗區(qū)域，并且該暗區(qū)域的面積在規(guī)定值(該規(guī)定值是依存于作業(yè)機(jī)械的大小和太陽O的位置的值)以上時(shí)，則將該暗區(qū)域判定為本車影(本車影90a，90b)。另一方面，對(duì)于面積小于規(guī)定值的暗區(qū)域，即使與作業(yè)機(jī)本體的一部分15a，15b接觸也是非本車影111。
[0071]如上所述對(duì)本車影和非本車影進(jìn)行區(qū)別的理由是:在由后述的影輪廓圖像生成部46生成影的輪廓圖像時(shí)，影輪廓特征圖形遮蔽部60將非本車影的輪廓圖像從處理對(duì)象區(qū)域排除并作為遮蔽區(qū)域，因此防止因遮蔽區(qū)域擴(kuò)大而導(dǎo)致障礙物檢測(cè)性能降低。另外，雖然面積小于規(guī)定值的暗區(qū)域被判定為非本車影111，但是通常作業(yè)機(jī)械由于車體較大，因此本車影的面積也比檢測(cè)對(duì)象物體(例如服務(wù)車等)大，本車影的面積小于非本車影的情況很少。
[0072]此外，雖然作為使4臺(tái)攝像機(jī)6a、6b、6c、6d的圖像成為I張圖像的例子以圖5進(jìn)行了說明，但是其僅為一例，該I張圖像中的各圖像的配置也可以是圖5所示以外的情形。另外，雖然在這里說明的例子中是利用4臺(tái)攝像機(jī)的圖像進(jìn)行障礙物檢測(cè)，但是在障礙物檢測(cè)中利用的攝像機(jī)的臺(tái)數(shù)(即在障礙物檢測(cè)中利用的圖像的張數(shù))只要有若干即可。
[0073]返回圖3，基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80是基于預(yù)定的處理對(duì)象區(qū)域來特定在由圖像合成部35合成的各圖像20a，20b，20c，20d上進(jìn)行后續(xù)的各種處理(例如包含物體檢測(cè)部180的障礙物檢測(cè))的區(qū)域的部分。
[0074]圖6示出在利用基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80進(jìn)行區(qū)域特定前預(yù)先進(jìn)行的處理對(duì)象區(qū)域的設(shè)定步驟。這里說明對(duì)由攝像機(jī)6a拍攝的輸入圖像20a設(shè)定處理對(duì)象區(qū)域的情況。當(dāng)操作員預(yù)先通過手動(dòng)利用鼠標(biāo)等對(duì)輸入圖像20a順次指示基準(zhǔn)點(diǎn)而指定閉區(qū)域81a時(shí)，則可基于該閉區(qū)域81a生成處理對(duì)象區(qū)域82a。
[0075]此外，雖然在圖6中對(duì)通過手動(dòng)設(shè)定基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80的情況進(jìn)行了說明，但是也可以利用輪廓信息等通過圖像處理自動(dòng)地設(shè)定處理對(duì)象區(qū)域，或者利用其它工具(例如將從圖像自動(dòng)地抽出的路面等設(shè)定為處理對(duì)象區(qū)域的工具等)進(jìn)行設(shè)定，只要能夠生成處理對(duì)象區(qū)域82a則無需特別地限定方法。另外，處理對(duì)象區(qū)域的設(shè)定例如也可以是以包含整個(gè)地面的方式圍成的閉區(qū)域、或者圍繞部分地面的閉區(qū)域。此外，雖然這里僅對(duì)圖像20a設(shè)定了處理對(duì)象區(qū)域，但是當(dāng)然也可以對(duì)其它的圖像20b，20c，20d進(jìn)行設(shè)定。
[0076]影輪廓抽出部40是將在由基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80決定設(shè)定的處理對(duì)象區(qū)域內(nèi)可視為自卸車I的影的區(qū)域的輪廓(影輪廓)基于該圖像的特征量抽出的部分。此外，這里所謂“可視為自卸車I的影的區(qū)域”不必與自卸車I的實(shí)際的影區(qū)域一致，也包含在圖像處理的關(guān)系上被識(shí)別為自卸車I的影的區(qū)域，例如當(dāng)在自卸車I的影的輪廓上存在黑色車輛時(shí)，有時(shí)也將該黑色車輛的輪廓視為自卸車I的影。影輪廓抽出部40將由圖像合成部35合成的I個(gè)圖像作為I個(gè)幀進(jìn)行影輪廓抽出。
[0077]這里在圖7中示出了本實(shí)施方式的影輪廓抽出部40具備的具體功能。如該圖所示，影輪廓抽出部40作為處理對(duì)象區(qū)域圖像生成部41、影有無判定部42、影區(qū)域抽出部43、影區(qū)域的外廓圖像生成部44、膨脹圖像生成部45、影輪廓圖像生成部46發(fā)揮功能。
[0078]首先，處理對(duì)象區(qū)域圖像生成部41a在圖像存儲(chǔ)部30所存儲(chǔ)的圖像中生成由基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80作為處理對(duì)象區(qū)域設(shè)定的閉區(qū)域。由此以后的處理限定在該閉區(qū)域內(nèi)進(jìn)行。
[0079]影有無判定部42判定處理對(duì)象區(qū)域內(nèi)的影的有無，當(dāng)判定為有影時(shí)，則由影區(qū)域抽出部43將影的區(qū)域抽出。這里使用圖8對(duì)影有無判定部42進(jìn)行詳述。
[0080]圖8是由本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的流程圖。首先，在步驟42a中，影有無判定部42通過對(duì)各圖像20a，20b，20c，20d的處理對(duì)象區(qū)域內(nèi)進(jìn)行平滑化處理來降低噪聲，在步驟42b中，在各圖像20a，20b，20c，20d的處理對(duì)象區(qū)域內(nèi)生成亮度分布圖。接下來，在步驟42c中，影有無判定部42對(duì)在步驟42b中生成的亮度分布圖進(jìn)行檢查，算出亮度分布在規(guī)定的閾值以上的部分的面積。在步驟42d中判定該算出面積是否小于規(guī)定值，當(dāng)小于該規(guī)定值時(shí)(也包含面積為零時(shí))，則在步驟42e中判定為有影候補(bǔ)。另一方面，當(dāng)在步驟42d中判定為算出面積在規(guī)定值以上時(shí)，則在步驟42k中判定為無本車影而結(jié)束處理。
[0081 ]在步驟42f中，影區(qū)域抽出部43決定用于抽出影候補(bǔ)區(qū)域的2值化閾值而生成2值圖像，在步驟42g中對(duì)該2值圖像進(jìn)行膨脹及收縮等整形處理。在步驟42h中，將該2值圖像中的暗部分的面積在規(guī)定值以上的區(qū)域作為影候補(bǔ)區(qū)域。最后，在步驟42i中，影區(qū)域抽出部43判定該影候補(bǔ)區(qū)域是否在本車區(qū)域附近，當(dāng)在本車區(qū)域附近時(shí)則在步驟42j中判定為有本車影，將該影候補(bǔ)區(qū)域作為影區(qū)域抽出而結(jié)束處理。
[0082]另一方面，當(dāng)在步驟42i中影候補(bǔ)區(qū)域?yàn)椴辉诒拒噮^(qū)域附近時(shí)，則在步驟42k中判定為無本車影而結(jié)束處理。
[0083]此外，當(dāng)在步驟42i中所謂影候補(bǔ)區(qū)域位于本車區(qū)域附近是指，如圖5的說明所述，成為本車影的暗區(qū)域90a與作業(yè)機(jī)械本體的一部分15a接觸。
[0084]圖9是說明圖8中的步驟42b的亮度分布圖的說明圖。在圖9中，度數(shù)75表示存在亮度的像素?cái)?shù)。在該圖例中，對(duì)各攝像機(jī)6a，6b，6c，6d的圖像20a，20b，20c，20d生成了亮度分布圖 70a，70b，70c，70d。
[0085]在步驟42c中，例如關(guān)于攝像機(jī)6a的輸入圖像20a的亮度分布圖70a，算出用于在基準(zhǔn)處理對(duì)象區(qū)域內(nèi)中抽出影的規(guī)定的2值化閾值71以上的部分的面積，但是由于在該閾值以上的部分不存在面積，因此在步驟42e中判定為“有影候補(bǔ)”。當(dāng)如上所述存在影候補(bǔ)時(shí)，則分散為明亮地面的亮度和暗影的亮度，因此獲得不使2值化閾值71突出的亮度分布圖70ao
[0086]另外，關(guān)于攝像機(jī)6b的輸入圖像20b的亮度分布圖70b也同樣地，由于在基準(zhǔn)處理對(duì)象區(qū)域內(nèi)的2值化閾值71以上的部分不存在面積，因此判定為“有影候補(bǔ)”。
[0087]另一方面，攝像機(jī)6c的輸入圖像20c的亮度分布圖70c，由于在基準(zhǔn)處理對(duì)象區(qū)域內(nèi)的2值化閾值71以上的部分72c存在面積，且該部分72c的面積在閾值以上，因此判定為“無本車影”。當(dāng)如上所述不存在影候補(bǔ)時(shí)，則地面的亮度是大部分，由此獲得不使2值化閾值71突出的亮度分布圖70c。
[0088]另外，關(guān)于攝像機(jī)6d的輸入圖像20d的亮度分布圖70d也同樣地，由于基準(zhǔn)處理對(duì)象區(qū)域內(nèi)的2值化閾值71以上的部分72d的面積為閾值以上而判定為“無本車影”。
[0089]圖10是表示由外廓圖像生成部44(參照?qǐng)D7)生成的本車影90a及本車影90b的外廓的圖。如該圖所示，外廓圖像生成部44將由圖8的一系列的處理抽出的本車影90a的區(qū)域中的外郭線(輪廓線)作為本車影90a的外廓73a。同樣地，將本車影90b的區(qū)域中的外郭線(輪廓線)作為本車影90b的外廓73b。影區(qū)域的外廓圖像的膨脹圖像生成部45，對(duì)由外廓圖像生成部44生成的外廓圖像的外廓(影輪廓)進(jìn)行膨脹處理。該膨脹圖像生成部45的膨脹處理，是對(duì)外廓圖像中的外廓賦予規(guī)定的寬度的處理，例如可以通過指定膨脹次數(shù)而間接地指定寬度。膨脹次數(shù)可以是必要的最低限度即I?3次左右。
[0090]影輪廓圖像生成部46將由膨脹圖像生成部45施加了膨脹處理的外廓圖像作為影的輪廓圖像。由此在圖像存儲(chǔ)部30的圖像中產(chǎn)生影時(shí)，則由影輪廓抽出部40將該影的輪廓抽出。
[0091]返回圖3，特征圖形抽出部170是基于圖像20&，2013，20(3，20(1中的特征量將該各圖像20a，20b，20c，20d中的特征圖形抽出的部分。在本實(shí)施方式中利用基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部80的功能僅抽出處理對(duì)象區(qū)域內(nèi)的特征圖形。
[0092]圖11示出了從圖3將特征圖形抽出部170及影輪廓特征圖形抽出部50的周邊抽出的圖，這里例舉作為由特征圖形抽出部170抽出的特征圖形利用角點(diǎn)的情況進(jìn)行說明。在圖11中，特征圖形抽出部170作為角點(diǎn)抽出部51、角點(diǎn)群的特征圖形抽出部52發(fā)揮功能。此外，作為由特征圖形抽出部170抽出的特征圖形，是要是表示通過基于特征量抽出圖像的特征而檢出的該特征的形狀的特征圖形即可，例如可以取代角點(diǎn)或在其基礎(chǔ)上利用線/輪廓線(邊緣)或區(qū)域。
[0093]角點(diǎn)抽出部51利用哈里斯的角點(diǎn)檢測(cè)等抽出圖像中的角點(diǎn)。角點(diǎn)群的特征圖形抽出部52將由多個(gè)角點(diǎn)構(gòu)成的角點(diǎn)群的特征圖形抽出。圖12及圖13是角點(diǎn)抽出部51及特征圖形抽出部52的處理的說明圖。在圖12所示的本車影的外廓73a的例中，在外廓73a的角部上存在的角點(diǎn)51a及角點(diǎn)51b(角點(diǎn)群)被作為特征圖形抽出。另外，在圖13的車?yán)?，由于角點(diǎn)在該車的輪廓上的角部存在，因此將多個(gè)角點(diǎn)51六，518，51(:，510，5^，51?，516，51!1，511，51J，51K，51L，51M，51N、51P抽出。即，這些角點(diǎn)群51A?51P被作為車的特征圖形生成。
[0094]影輪廓特征圖形抽出部50將疊加于影輪廓的特征圖形(例如角點(diǎn))抽出。具體而言，影輪廓特征圖形抽出部50將由影輪廓抽出部40抽出的影輪廓圖像(使影的外廓膨脹而成的圖像)上疊加的特征圖形抽出而獲得影輪廓特征圖形。在本實(shí)施方式中作為特征圖形使用角點(diǎn)的理由之一是因?yàn)?影上存在的角點(diǎn)的個(gè)數(shù)具有與檢測(cè)對(duì)象物體上存在的角點(diǎn)的個(gè)數(shù)相比較少的傾向而影輪廓特征圖形容易抽出。
[0095]圖14是由影輪廓特征圖形抽出部50執(zhí)行的處理的流程圖。首先，在步驟53e中，影輪廓特征圖形抽出部50判定是否存在疊加于由影輪廓抽出部40生成的影輪廓圖像的特征圖形(角點(diǎn)(特征點(diǎn)))。當(dāng)在步驟53e中判定為存在疊加于影輪廓的特征圖形時(shí)，則在步驟53f中將該疊加的特征圖形抽出并將其決定為影輪廓特征圖形(步驟53g)。
[0096]另一方面，當(dāng)在步驟53e中不存在疊加于影輪廓的特征圖形時(shí)，則決定為不存在影輪廓特征圖形(步驟53h)。
[0097]圖15是表示由圖14的步驟53f抽出的特征圖形的一例的圖。該圖的影輪廓圖像53aa是對(duì)本車影90a進(jìn)行膨脹處理而成的。由于角點(diǎn)51a及角點(diǎn)51b疊加于影輪廓圖像53aa，因此角點(diǎn)5 Ia及角點(diǎn)5 Ib在步驟53g中被決定為影輪廓特征圖形。
[0098]圖16是表示由圖14的步驟53f抽出的特征圖形的另一例的圖。該圖的影輪廓圖像53bb是使本車影90b膨脹而成的。由于角點(diǎn)51e、角點(diǎn)51f、角點(diǎn)51g及角點(diǎn)51h重疊于影輪廓圖像53bb，因此角點(diǎn)51 e、角點(diǎn)51 f、角點(diǎn)51 g及角點(diǎn)5 Ih被決定為影輪廓特征圖形。
[0099]圖17是表示由圖14的步驟53f抽出的特征圖形的此外另一例的圖。在該圖例中，對(duì)黑色車進(jìn)入本車影90b的情況進(jìn)行說明。在黑色車的情況下車也被視為影，對(duì)由影區(qū)域的外廓圖像生成部44(參照?qǐng)D7)生成的影區(qū)域的外廓圖像S53a，膨脹圖像生成部45(參照?qǐng)D7)生成進(jìn)行設(shè)定次數(shù)的膨脹處理而成的圖像53dd。并且，作為疊加于圖像53dd的角點(diǎn)(特征圖形)，除了影的輪廓上的角點(diǎn)51e之外，還將車的輪廓上的角點(diǎn)51A、51B、51C、51D、51E、51F、51G、51H、51P抽出，這些角點(diǎn)被作為影輪廓特征圖形抽出。
[0100]影輪廓特征圖形遮蔽部60生成使疊加于影輪廓的特征圖形(影輪廓特征圖形)膨脹而成的區(qū)域，并將該區(qū)域(遮蔽區(qū)域)從處理對(duì)象區(qū)域排除。另外，由于將影輪廓特征圖形抽出并排除，因此不僅能夠降低影的誤報(bào)，而且能夠使圖像處理中的處理區(qū)域適當(dāng)。在將影輪廓特征圖形遮蔽部60的遮蔽區(qū)域顯示于顯示裝置100時(shí)，則作業(yè)機(jī)械的駕駛者無論在作業(yè)機(jī)械的停止時(shí)及移動(dòng)時(shí)，都能夠不受影的誤報(bào)影響地監(jiān)視作業(yè)機(jī)械的周圍。
[0101]圖18是由影輪廓特征圖形遮蔽部60執(zhí)行的處理的流程圖。首先，影輪廓特征圖形遮蔽部60在步驟60a中判定是否存在疊加于影輪廓上的特征圖形。
[0102]在步驟60a中判定為存在疊加于影輪廓上的特征圖形時(shí)，則在步驟60b中進(jìn)行使抽出的特征圖形膨脹規(guī)定次數(shù)(數(shù)次左右)的處理。膨脹處理使特征圖形膨脹數(shù)次左右，但是如果使用哈里斯角點(diǎn)檢測(cè)則僅以I個(gè)像素抽出特征圖形，因此只要膨脹為直徑為5?10個(gè)像素左右的塊即可。
[0103]接下來，在步驟60c中將膨脹的區(qū)域決定為遮蔽區(qū)域，在步驟60d中將遮蔽區(qū)域作為遮蔽部，并進(jìn)行從處理對(duì)象區(qū)域排除的處理。
[0104]另一方面，在步驟60a中判定為不存在疊加于影輪廓上的特征圖形時(shí)，則在步驟60e中判定為無遮蔽區(qū)域。
[0105]由此，將特征圖形抽出并僅將影輪廓的特征圖形區(qū)域部排除，因此能夠使圖像處理中的處理區(qū)域適當(dāng)。
[0106]圖19是表示影輪廓特征圖形遮蔽部60使圖15的角點(diǎn)51a及角點(diǎn)51b在步驟60b中膨脹規(guī)定次數(shù)(數(shù)次左右)而成的圖像例的圖。在對(duì)影輪廓上的特征圖形即角點(diǎn)51a及角點(diǎn)51b朝8個(gè)方向或4個(gè)方向?qū)嵤┝藬?shù)次左右的膨脹處理之后，則會(huì)生成角點(diǎn)51a膨脹而成的點(diǎn)51aa，并生成角點(diǎn)51b膨脹而成的點(diǎn)51bb。該區(qū)域51aa及51bb在步驟60d中作為遮蔽部被從處理對(duì)象區(qū)域(由物體檢測(cè)部180進(jìn)行障礙物檢測(cè)的區(qū)域)排除。根據(jù)如上所述構(gòu)成的周圍監(jiān)視裝置，能夠與本車影的形狀的復(fù)雜度無關(guān)地按照采樣間隔抽出該影的輪廓(影輪廓)，位于該影輪廓上的特征圖形(區(qū)域51aa及51bb)被影輪廓特征圖形遮蔽部60從障礙物檢測(cè)對(duì)象排除，因此能夠防止該本車影被誤識(shí)別為障礙物(影的誤報(bào))。
[0107]圖20是表示影輪廓特征圖形遮蔽部60在步驟60b中使圖16的角點(diǎn)51e、角點(diǎn)51f、角點(diǎn)51g及角點(diǎn)51h膨脹規(guī)定次數(shù)(數(shù)次左右)而成的圖像例的圖。在對(duì)影輪廓上的特征圖形即角點(diǎn)51e朝8個(gè)方向或4個(gè)方向?qū)嵤?shù)次左右的膨脹處理之后，則會(huì)生成膨脹而成的點(diǎn)51ee。角點(diǎn)51€15188及51汕也同樣地進(jìn)行膨脹處理，將該角點(diǎn)51的，51€15188，511111作為遮蔽部并從處理對(duì)象區(qū)域排除。
[0108]圖21是表示影輪廓特征圖形遮蔽部60在步驟60b中使圖17的角點(diǎn)5Ie、角點(diǎn)51A、51B、51C、51D、51E、51F、51G、51H、51P膨脹規(guī)定次數(shù)(數(shù)次左右)而成的圖像例的圖。在對(duì)影輪廓上的特征圖形即角點(diǎn)51a朝8個(gè)方向或4個(gè)方向?qū)嵤?shù)次左右的膨脹處理之后，則會(huì)生成膨脹而成的點(diǎn)51AA。角點(diǎn)51e、角點(diǎn)51B、51C、51D、51E、51F、51G、51H、51P也同樣地進(jìn)行膨脹處理，將該角點(diǎn) 51ee、51AA、角點(diǎn) 51BB、51CC、51DD、51EE、51FF、51GG、51HH、51PP 作為遮蔽部并從處理對(duì)象區(qū)域排除。
[0109]由此，當(dāng)如圖17所示在本車影中存在車時(shí)，則圖17的角點(diǎn)511、角點(diǎn)51J、角點(diǎn)51K、角點(diǎn)51L、角點(diǎn)51M、角點(diǎn)51N不被作為遮蔽部，因此不會(huì)從處理對(duì)象區(qū)域排除而留存。因此，物體檢測(cè)部180能夠使用角點(diǎn)511、角點(diǎn)51八角點(diǎn)511(、角點(diǎn)511^、角點(diǎn)511、角點(diǎn)5謂立即檢測(cè)本車影內(nèi)的障礙物(在圖17例中為車)。此外，圖示物體僅為例示，當(dāng)然對(duì)于車以外的其它障礙物(例如人)也能夠同樣地進(jìn)行檢測(cè)。
[0110]因此，根據(jù)本實(shí)施方式，即使對(duì)自卸車I自身周圍進(jìn)行拍攝得到的圖像復(fù)雜或者在該圖像中存在顏色成分，也不必像現(xiàn)有技術(shù)那樣對(duì)預(yù)先存儲(chǔ)的影邊界圖形進(jìn)行參照，也不必使用顏色成分，而能夠從由攝像機(jī)6拍攝的至少I張圖像中抽出拍攝于該圖像中的本車影，因此本車影的誤識(shí)別會(huì)降低而處理速度和作業(yè)效率會(huì)提高。
[0111]圖22是表示將在由圖像合成部35合成的場(chǎng)景中影輪廓特征圖形遮蔽部60遮蔽的區(qū)域顯示于顯示裝置100的畫面例的圖。在該圖中，由圖像合成部35對(duì)攝像機(jī)6a的輸入圖像20a、攝像機(jī)6b的輸入圖像20b、攝像機(jī)6c的輸入圖像20c、及攝像機(jī)6d的輸入圖像20d進(jìn)行合成所得場(chǎng)景被顯示于顯示裝置100，在輸入圖像20a上作為被從處理對(duì)象排除的特征圖形顯示了角點(diǎn)51&&，511*，在輸入圖像2013上顯示了角點(diǎn)5166、51€廠5188、511111。當(dāng)如上所述從處理對(duì)象區(qū)域排除的區(qū)域(影輪廓特征圖形)被顯示于顯示裝置100時(shí)，則將影輪廓特征圖形排除的處理對(duì)象區(qū)域(障礙物檢測(cè)對(duì)象區(qū)域)可一目了然，駕駛員可實(shí)時(shí)地確認(rèn)處理對(duì)象區(qū)域。
[0112]另外，如圖23及圖24所示，在自卸車I的周圍以俯瞰顯示進(jìn)行顯示時(shí)，則駕駛員能夠以來自駕駛室7的方向感覺和無不協(xié)調(diào)感的感覺把握前后左右的狀況，并能夠物瞬時(shí)地判斷從體檢測(cè)對(duì)象排除的區(qū)域(特征圖形)。這里，圖23及圖24是將自卸車I的前部顯示于上側(cè)的例子，駕駛室7顯示于自卸車I的左上位置。
[0113]圖23是表示將被影輪廓特征圖形遮蔽部60遮蔽的區(qū)域在顯示裝置100上以俯瞰圖像110顯示的畫面的一例的圖。在該圖例中，對(duì)顯示區(qū)域從自卸車I的周圍擴(kuò)展到遠(yuǎn)方的距離(約12m左右)在顯示裝置100上顯示。在該圖中，輸入圖像20a的俯瞰圖像20aa、輸入圖像20b的俯瞰圖像20bb、輸入圖像20c的俯瞰圖像20cc及輸入圖像20d的俯瞰圖像20dd是處理對(duì)象區(qū)域，顯示了被從俯瞰圖像20aa的處理對(duì)象排除的角點(diǎn)51aa、51bb，并且顯示了被從俯瞰圖像20仙的處理對(duì)象排除的角點(diǎn)5166、51€匕5188、511111。此外，在顯示裝置100的中央部上顯示的圖形示出了自卸車I，除了圖示圖形以外只要示出了自卸車I即可顯示其它圖形。
[0114]圖24是表示將被影輪廓特征圖形遮蔽部60遮蔽的區(qū)域在顯示裝置100上以俯瞰圖像110顯示的畫面的一例的圖。在該圖例中，將顯示區(qū)域限定于聰自卸車I周圍起比較近的距離(約5m左右)的范圍內(nèi)在顯示裝置100上進(jìn)行顯示。在該圖中，黑色車進(jìn)入到輸入圖像6bb的俯瞰圖像20bb內(nèi)的本車影90b中，顯示了從被從俯瞰圖像20bb的處理對(duì)象排除的角點(diǎn)51ee、51AA、51BB、51CC、51DD、51EE、51FF、51GG、51HH。由此，物體檢測(cè)部 180 基于黑色車的留存的特征圖形將該黑色車作為障礙物檢出，將表示障礙物接近自卸車I的警告顯示190在顯示畫面110上進(jìn)行顯示。
[0115]圖示的警告顯示190是規(guī)定為與障礙物的特征圖形的外形大致接近的矩形，通過在顯示裝置100的畫面上顯示的警告顯示190，駕駛員容易認(rèn)知障礙物的接近。警告顯示190的形狀也可以是矩形以外的圖形，也可以對(duì)圖形上色，或者使形狀、顏色隨著時(shí)間變化。此夕卜，雖然在本實(shí)施方式中，顯示裝置100發(fā)揮了報(bào)告物體檢測(cè)部180檢測(cè)到障礙物的報(bào)告裝置的作用，但是作為障礙物報(bào)告的方法，也可以利用發(fā)出聲音的音聲裝置或警告燈。
[0116]圖25是表示顯示裝置100的顯示畫面的一例的圖。該圖例是將由圖像合成部35合成的俯瞰圖像110、由后方攝像機(jī)6c拍攝的原始狀態(tài)的圖像(貫穿圖像)111并列顯示的例子，在俯瞰圖像110中將自卸車I的前部顯示于上側(cè)，并將駕駛室7顯示于自卸車I的左上。通過顯示后方攝像機(jī)6c的貫穿圖像211，駕駛員能夠基于慣看的攝像機(jī)圖像無不協(xié)調(diào)感地判別后方的障礙物(車輛105)。在圖示例中，是在俯瞰圖像110和貫穿圖像211雙方上顯示警告顯示190，駕駛員能夠容易地把握車輛105的接近。
[0117]圖26是表示顯示裝置100的顯示畫面的一例的圖。該圖例關(guān)于由圖像合成部35合成的俯瞰圖像112在顯示裝置100上顯示了從自卸車I周圍起比較近的距離(約5m左右)的范圍。表示自卸車I的圖形Ia追隨顯示范圍與圖25時(shí)相比較大地進(jìn)行了顯示，自卸車Ia的前部顯示于圖像中的右側(cè)，駕駛室7顯示于顯示畫面的右上。將顯示范圍限定于自卸車I附近，較大地顯示了存在于自卸車I附近的障礙物(車輛105)，因此駕駛員能夠清楚滴判定表存在于自卸車I附近的最危險(xiǎn)的障礙物。
[0118]圖27是表示顯示裝置100的顯示畫面的一例的圖。該圖例關(guān)于由圖像合成部35合成的俯瞰圖像113在顯示裝置100上顯示了從自卸車I周圍起中距離(約8m左右)的范圍。表示自卸車I的圖形Ib追隨顯示范圍與圖26時(shí)相比較小地進(jìn)行了顯示。若將顯示范圍設(shè)定為中距離，則駕駛員能夠識(shí)別到存在于從自卸車I起中距離的位置的障礙物(車輛105)。
[0119]圖28是表示顯示裝置100的顯示畫面的一例的圖。在該圖例關(guān)于由圖像合成部35合成的俯瞰圖像114在顯示裝置100上顯示了從自卸車I周圍起遠(yuǎn)距離(約12m左右)的范圍。表示自卸車I的圖形Ic追隨顯示范圍與圖27時(shí)相比較小地進(jìn)行了顯示。若將顯示范圍設(shè)定為遠(yuǎn)距離，則駕駛員能夠判別到存在于從自卸車I起遠(yuǎn)距離的位置的障礙物(車輛105)。
[0120]圖29是表示顯示裝置100的顯示畫面的一例的圖。該圖例將右側(cè)方攝像機(jī)6b的貫穿圖像116和左側(cè)方攝像機(jī)6d的貫穿圖像115并列地進(jìn)行了顯示。如上所述顯示左右的貫穿圖像116，115時(shí)，則容易判別存在于自卸車I左右的障礙物，因此容易發(fā)現(xiàn)自卸車I左右旋轉(zhuǎn)時(shí)等的障礙物。
[0121]圖30是表示顯示裝置100的顯示畫面的一例的圖。該圖例顯示了后方攝像機(jī)6c的貫穿圖像117。如上所述顯示后方的貫穿圖像117時(shí)，則容易發(fā)現(xiàn)存在于自卸車I后方的最難發(fā)現(xiàn)的障礙物。
[0122]圖31是本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的整體結(jié)構(gòu)的其它例子。對(duì)于和圖3相同的部分標(biāo)記相同的符號(hào)而省略說明。在圖31中，作業(yè)機(jī)械形狀數(shù)據(jù)定義部201是基于作業(yè)機(jī)械的規(guī)格來定義該作業(yè)機(jī)械的形狀數(shù)據(jù)的部分。特征圖形存儲(chǔ)部200將由作業(yè)機(jī)械形狀數(shù)據(jù)定義部201定義的形狀數(shù)據(jù)(外觀形狀)基于該作業(yè)機(jī)械的規(guī)格抽出，并將該抽出的形狀數(shù)據(jù)作為標(biāo)識(shí)該作業(yè)機(jī)械的外形的特征圖形存儲(chǔ)。這里的外觀形狀(形狀數(shù)據(jù))包含作業(yè)機(jī)械的全長(zhǎng)、全寬、全高、外觀凹凸?fàn)顟B(tài)等，只要是與本車影的形狀有關(guān)的信息則也可以是除此以外的其它信息。
[0123]影輪廓特征圖形抽出部50，參照由影輪廓抽出部40得到的影輪廓圖像、和存儲(chǔ)于特征圖形存儲(chǔ)部200的形狀數(shù)據(jù)，將疊加于影輪廓圖像的特征圖形決定為影輪廓特征圖形。此外，在影輪廓特征圖形抽出部50中，進(jìn)行由特征圖形抽出部170抽出的角點(diǎn)群、和存儲(chǔ)于特征圖形存儲(chǔ)部200的形狀數(shù)據(jù)的圖形匹配，當(dāng)兩者的匹配率在規(guī)定值以上而兩者類似時(shí)，則可以將該角點(diǎn)群作為影輪廓的特征圖形抽出。
[0124]另外，圖像存儲(chǔ)部30—旦在作業(yè)機(jī)械起動(dòng)時(shí)從圖像輸入部20輸入圖像，則在此以后對(duì)基于作業(yè)機(jī)械運(yùn)轉(zhuǎn)數(shù)據(jù)202得到作業(yè)機(jī)械的運(yùn)轉(zhuǎn)狀況，當(dāng)作業(yè)機(jī)械非停止?fàn)顟B(tài)時(shí)(處于運(yùn)轉(zhuǎn)中時(shí))則從圖像輸入部20輸入圖像，當(dāng)作業(yè)機(jī)械處于停止?fàn)顟B(tài)時(shí)則中斷從圖像輸入部20輸入圖像。由此，能夠按照作業(yè)機(jī)械的運(yùn)轉(zhuǎn)狀況以不同的采樣間隔從圖像輸入部20對(duì)圖像進(jìn)行采樣。由此，只要給予必要的最低限度的輸入圖像進(jìn)行圖像處理即可，縮短時(shí)間并使處理適當(dāng)。
[0125]此外，在不進(jìn)行基于圖像存儲(chǔ)部30的作業(yè)機(jī)械運(yùn)轉(zhuǎn)數(shù)據(jù)202的上述處理時(shí)，則只要以恒定的采樣間隔對(duì)來自圖像輸入部20的圖像進(jìn)行采樣即可。
[0126]圖32是由本發(fā)明的作業(yè)機(jī)械的周圍監(jiān)視裝置的影有無判定部42及影區(qū)域抽出部43執(zhí)行的處理的其它的流程圖。對(duì)于和圖8所示流程圖相同的處理標(biāo)記相同符號(hào)而省略說明。在該圖的流程圖的步驟42bb中，對(duì)在步驟42a中進(jìn)行了平滑化處理的圖像的基準(zhǔn)處理對(duì)象區(qū)域內(nèi)進(jìn)行抽出顏色成分的處理。然后，在步驟42cc中判定基準(zhǔn)處理對(duì)象區(qū)域是否僅由存在顏色成分的區(qū)域構(gòu)成。
[0127]當(dāng)在步驟42cc中判定為具有不存在顏色成分的區(qū)域時(shí)，則進(jìn)入步驟42dd將該不存在顏色成分的區(qū)域抽出。然后，在步驟42ee中，決定用于將影候補(bǔ)區(qū)域抽出的2值化閾值而生成2值圖像，進(jìn)行步驟42g以后的處理。
[0128]另一方面，當(dāng)在步驟42cc中判定為僅存在顏色成分的區(qū)域時(shí)，則進(jìn)行步驟42k的處理。能夠如上所述在影的判定中使用顏色成分時(shí)，則能夠使判定是否為影的精度提高。
[0129]但是，如上所述本發(fā)明的適用對(duì)象不限于自卸車，也可以適用于其它作業(yè)機(jī)械。圖33是本發(fā)明適用對(duì)象的作業(yè)機(jī)械之一，即所謂回轉(zhuǎn)型大型液壓挖掘機(jī)的側(cè)視圖。該液壓挖掘機(jī)具備:下部行駛體155;介由旋轉(zhuǎn)臺(tái)軸承157可旋轉(zhuǎn)地設(shè)于該下部行駛體155上部的上部旋轉(zhuǎn)體156;在該上部旋轉(zhuǎn)體156上可俯仰動(dòng)作地連結(jié)的多關(guān)節(jié)型的前作業(yè)機(jī)158。多關(guān)節(jié)型的前作業(yè)機(jī)158上的前鏟斗152配置為在接地狀態(tài)下開口部可朝向前方側(cè)，前鏟斗開閉缸164則如圖示裝設(shè)于前鏟斗152。并且，旋臂動(dòng)作缸161、鏟斗動(dòng)作缸162、前臂動(dòng)作缸163、及前鏟斗開閉缸164分別通過伸縮動(dòng)作來實(shí)現(xiàn)旋臂上升/下降、前臂前擺/內(nèi)收、前鏟斗滿裝(crowd)/清空、前鏟斗鎖定/釋放。這樣構(gòu)成的液壓挖掘機(jī)只要搭載以多臺(tái)攝像機(jī)(例如圖中的攝像機(jī)6a，6c，6d)及圖像處理裝置10為代表的上述各結(jié)構(gòu)，即可與上述自卸車I同樣地構(gòu)成周圍監(jiān)視裝置。
[0130]另外，本發(fā)明不限于上述各實(shí)施方式，也包含在不脫離其要旨的范圍內(nèi)的各種變形例。例如本發(fā)明不限于具備在上述各實(shí)施方式中說明的全部結(jié)構(gòu)，也可以對(duì)其部分結(jié)構(gòu)進(jìn)行刪除。另外，也可以講某個(gè)實(shí)施方式的部分結(jié)構(gòu)向另一實(shí)施方式的結(jié)構(gòu)追加或進(jìn)行置換。
[0131]另外，上述圖像處理裝置的各結(jié)構(gòu)、該各結(jié)構(gòu)功能及執(zhí)行處理等，可以由硬件(例如以集成電路設(shè)計(jì)執(zhí)行各功能的邏輯等)實(shí)現(xiàn)其部分或全部。另外，上述圖像處理裝置的結(jié)構(gòu)可以是由運(yùn)算處理裝置(例如CPU)讀出/執(zhí)行而實(shí)現(xiàn)該圖像處理裝置的結(jié)構(gòu)的各功能的程序(軟件)。該程序的信息例如可以在半導(dǎo)體存儲(chǔ)器(閃存、SSD等)、磁性存儲(chǔ)裝置(硬盤驅(qū)動(dòng)器等)及存儲(chǔ)介質(zhì)(磁盤、光盤等)等中存儲(chǔ)。
[0132]符號(hào)說明
[0133]6a，6b，6c，6d...攝像機(jī)、30...圖像存儲(chǔ)部、35...圖像合成部、40...影輪廓抽出部、50…影輪廓特征圖形抽出部、60...影輪廓特征圖形遮蔽部、80...基準(zhǔn)處理對(duì)象區(qū)域設(shè)定部、100…顯示裝置、170…特征圖形抽出部、180…物體檢測(cè)。
【主權(quán)項(xiàng)】
1.一種作業(yè)機(jī)械的周圍監(jiān)視裝置，其特征在于，具備: 搭載于作業(yè)機(jī)械而對(duì)該作業(yè)機(jī)械周圍的圖像進(jìn)行拍攝的單鏡頭攝像機(jī)； 基于該圖像的特征量抽出該圖像中的特征圖形的特征圖形抽出部； 基于所述圖像的特征量抽出在該圖像中能夠視為所述作業(yè)機(jī)械的影的區(qū)域的輪廓的影輪廓抽出部；以及 物體檢測(cè)部，其基于從由所述特征圖形抽出部抽出的所述特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而剩余的特征圖形，來檢測(cè)所述作業(yè)機(jī)械周圍存在的障礙物。2.根據(jù)權(quán)利要求1所述的作業(yè)機(jī)械的周圍監(jiān)視裝置，其特征在于，還具備: 對(duì)利用所述物體檢測(cè)部檢測(cè)到障礙物的情況進(jìn)行報(bào)告的報(bào)告部。3.根據(jù)權(quán)利要求2所述的作業(yè)機(jī)械的周圍監(jiān)視裝置，其特征在于，還具備: 利用所述圖像生成包含所述作業(yè)機(jī)械的俯瞰圖像的圖像合成部；以及 顯示該俯瞰圖像的顯示部。4.根據(jù)權(quán)利要求1至3中任一所述的作業(yè)機(jī)械的周圍監(jiān)視裝置，其特征在于， 還具備處理對(duì)象區(qū)域設(shè)定部，該處理對(duì)象區(qū)域設(shè)定部用于在所述圖像中設(shè)定利用所述物體檢測(cè)部進(jìn)行障礙物檢測(cè)的處理對(duì)象區(qū)域， 所述影輪廓抽出部抽出在所述處理對(duì)象區(qū)域內(nèi)能夠視為所述作業(yè)機(jī)械的影的區(qū)域的輪廓， 所述物體檢測(cè)部，基于從由所述特征圖形抽出部抽出的所述特征圖形中的存在于所述處理對(duì)象區(qū)域內(nèi)的特征圖形排除位于由所述影輪廓抽出部抽出的輪廓上的特征圖形而得到的圖形，來檢測(cè)障礙物。5.根據(jù)權(quán)利要求1所述的作業(yè)機(jī)械的周圍監(jiān)視裝置，其特征在于， 所述特征圖形抽出部抽出角部和/或邊緣作為所述圖像中的所述特征圖形。
【文檔編號(hào)】H04N7/18GK106062823SQ201580011783
【公開日】2016年10月26日
【申請(qǐng)日】2015年3月4日 公開號(hào)201580011783.6, CN 106062823 A, CN 106062823A, CN 201580011783, CN-A-106062823, CN106062823 A, CN106062823A, CN201580011783, CN201580011783.6, PCT/2015/56432, PCT/JP/15/056432, PCT/JP/15/56432, PCT/JP/2015/056432, PCT/JP/2015/56432, PCT/JP15/056432, PCT/JP15/56432, PCT/JP15056432, PCT/JP1556432, PCT/JP2015/056432, PCT/JP2015/56432, PCT/JP2015056432, PCT/JP201556432
【發(fā)明人】小沼知惠子, 弓場(chǎng)龍, 福田善文, 川股幸博, 古渡陽一, 太田守飛
【申請(qǐng)人】日立建機(jī)株式會(huì)社