特征模型生成方法和特征模型生成裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，更具體地，本發(fā)明涉及一種特征模型生成方法和 特征模型生成裝置。
【背景技術(shù)】
[0002] 視覺(jué)詞典模型（或稱(chēng)之為視覺(jué)詞袋模型BoF)是當(dāng)前目標(biāo)分類(lèi)或目標(biāo)識(shí)別領(lǐng)域的 最好的方法之一。該模型能夠很好地表達(dá)目標(biāo)的特征，以力求獲得更高的識(shí)別率。
[0003] 視覺(jué)詞典模型的構(gòu)建是基于特征點(diǎn)的特征來(lái)實(shí)現(xiàn)的，因此該模型對(duì)于位置、光照、 旋轉(zhuǎn)以及仿射變換有著不變性。同時(shí)，該模型對(duì)于部分遮擋和偏移也有較好的魯棒性。
[0004] 然而，傳統(tǒng)的視覺(jué)詞典模型由于直接將目標(biāo)中的所有特征點(diǎn)生成直方圖特征，而 沒(méi)有考慮目標(biāo)中的特征點(diǎn)的空間信息，因此，不能獲得良好的識(shí)別率。
[0005] 為此，提出了一種改進(jìn)的空間視覺(jué)詞典匹配方法，其使用空間金字塔匹配（SPM) 作為考慮空間信息的補(bǔ)充?？臻g金字塔匹配是一種能夠給原始的視覺(jué)詞典模型增加空間信 息的簡(jiǎn)單方法。該匹配算法與視覺(jué)詞典模型結(jié)合起來(lái)，能夠?qū)τ谀繕?biāo)對(duì)應(yīng)的空間金字塔中 的每一塊子區(qū)域都獲得一個(gè)特征向量，而不是獲得基于目標(biāo)整體的單一特征向量。其中，各 特征向量是目標(biāo)的一塊子區(qū)域所對(duì)應(yīng)的基于視覺(jué)詞典模型的特征信息。當(dāng)?shù)玫剿凶訁^(qū)域 的特征向量后，可以將它們結(jié)合成一個(gè)維數(shù)更大的特征向量，該特征向量暗含著粗略的空 間信息。因此，該空間金字塔匹配可以獲得更好的識(shí)別率。然而，因?yàn)榭臻g金字塔匹配算法 對(duì)圖像的各子區(qū)域中的特征點(diǎn)進(jìn)行視覺(jué)詞典匹配時(shí)存在大量的重復(fù)計(jì)算，占用了大量的處 理資源，并且僅僅考慮了剛性變化，所以該算法太過(guò)于嚴(yán)格且耗時(shí)。此外，在空間金字塔匹 配方法中，由于各特征點(diǎn)只能夠?qū)ζ渌鶎僮訁^(qū)域產(chǎn)生影響，所以在這種情況下幾乎無(wú)法表 達(dá)各個(gè)子區(qū)域之間的相互關(guān)系。
[0006] 另一種改進(jìn)的空間視覺(jué)詞典匹配方法在視覺(jué)詞典匹配過(guò)程中也考慮了空間信息。 它將樣本劃分成不同的子塊，通過(guò)距離模板獲得不同子塊間的空間關(guān)系影響。然而，該方法 所考慮的空間關(guān)系仍然是剛性的，并沒(méi)有考慮到目標(biāo)物體的內(nèi)部結(jié)構(gòu)。也就是說(shuō)，視覺(jué)詞典 中的每個(gè)視覺(jué)詞條（單詞類(lèi)別）都是獨(dú)立的，并沒(méi)有考慮它們之間的相互關(guān)系。
[0007] 綜上所述，現(xiàn)有的視覺(jué)詞典模型不能夠很好地表達(dá)目標(biāo)的空間信息，而且在視頻 相關(guān)的應(yīng)用中也會(huì)受到很多限制。

【發(fā)明內(nèi)容】

[0008] 所謂詞袋，就是包含一組數(shù)據(jù)的打包或封裝。在一個(gè)視覺(jué)詞袋中往往包含了若干 幅圖的基本特征元素，例如若干幅圖的特征，包括形狀、結(jié)構(gòu)、顏色、紋理等的特征。由于視 覺(jué)詞袋具有一類(lèi)或多類(lèi)圖像的一些特征，故而當(dāng)提取出視覺(jué)詞袋中的元素時(shí)，就可以對(duì)相 近類(lèi)圖像進(jìn)行描述，同時(shí)也可以用作不同類(lèi)別圖像的分類(lèi)。視覺(jué)詞袋運(yùn)用在某一個(gè)圖像中， 也可形象地稱(chēng)為視覺(jué)詞典，其于包括一系列視覺(jué)詞條，使得該圖像的各種特征可以用視覺(jué) 詞典中的各個(gè)視覺(jué)詞條來(lái)表示。
[0009] 本發(fā)明的目的在于提供一種能夠生成具有空間信息的目標(biāo)圖像的特征模型。
[0010] 為此，本發(fā)明在建立特征模型時(shí)，除了考慮視覺(jué)詞典模型，還考慮到圖像上的各個(gè) 點(diǎn)之間的空間位置關(guān)系，以便更準(zhǔn)確地構(gòu)造用于分類(lèi)圖像的分類(lèi)模型，從而更準(zhǔn)確地對(duì)圖 像進(jìn)行分類(lèi)。
[0011] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種特征模型生成方法，所述方法包括：在目標(biāo)圖 像中獲得至少一個(gè)特征點(diǎn)并且獲得各特征點(diǎn)的位置信息和描述信息；針對(duì)各特征點(diǎn)，基于 所述特征點(diǎn)的描述信息來(lái)在視覺(jué)詞典模型中查找與所述特征點(diǎn)匹配的至少一個(gè)匹配視覺(jué) 詞條，其中，所述視覺(jué)詞典模型包括第一類(lèi)視覺(jué)詞條和第二類(lèi)視覺(jué)詞條，在所述第一類(lèi)視覺(jué) 詞條中，一個(gè)視覺(jué)詞條與至少一個(gè)其他視覺(jué)詞條在空間關(guān)系中具有關(guān)聯(lián)性；針對(duì)與所述特 征點(diǎn)匹配的各匹配視覺(jué)詞條，根據(jù)所述匹配視覺(jué)詞條的類(lèi)別來(lái)確定至少一個(gè)映射目標(biāo)視覺(jué) 詞條，并且至少基于所述特征點(diǎn)的描述信息和所述匹配視覺(jué)詞條的描述信息來(lái)計(jì)算所述特 征點(diǎn)映射到各映射目標(biāo)視覺(jué)詞條上的特征權(quán)重；以及基于所述視覺(jué)詞典模型中的各視覺(jué)詞 條上所映射的特征權(quán)重來(lái)生成具有空間信息的所述目標(biāo)圖像的特征模型。
[0012] 此外，根據(jù)本發(fā)明的另一方面，提供了一種特征模型生成裝置，所述裝置包括：特 征提取單元，用于在目標(biāo)圖像中獲得至少一個(gè)特征點(diǎn)并且獲得各特征點(diǎn)的位置信息和描述 信息；以及視覺(jué)詞典匹配單元，用于針對(duì)各特征點(diǎn)，基于所述特征點(diǎn)的描述信息來(lái)在視覺(jué)詞 典模型中查找與所述特征點(diǎn)匹配的至少一個(gè)匹配視覺(jué)詞條，其中，所述視覺(jué)詞典模型包括 第一類(lèi)視覺(jué)詞條和第二類(lèi)視覺(jué)詞條，在所述第一類(lèi)視覺(jué)詞條中，一個(gè)視覺(jué)詞條與至少一個(gè) 其他視覺(jué)詞條在空間關(guān)系中具有關(guān)聯(lián)性；針對(duì)與所述特征點(diǎn)匹配的各匹配視覺(jué)詞條，根據(jù) 所述匹配視覺(jué)詞條的類(lèi)別來(lái)確定至少一個(gè)映射目標(biāo)視覺(jué)詞條，并且至少基于所述特征點(diǎn)的 描述信息和所述匹配視覺(jué)詞條的描述信息來(lái)計(jì)算所述特征點(diǎn)映射到各映射目標(biāo)視覺(jué)詞條 上的特征權(quán)重；以及基于所述視覺(jué)詞典模型中的各視覺(jué)詞條上所映射的特征權(quán)重來(lái)生成具 有空間信息的所述目標(biāo)圖像的特征模型。
[0013] 與現(xiàn)有技術(shù)相比，采用根據(jù)本發(fā)明實(shí)施例的特征模型生成方法和裝置，其能夠從 建立視覺(jué)詞典模型的第一步開(kāi)始，就利用目標(biāo)物體各個(gè)部分（即特征點(diǎn)）之間的內(nèi)在結(jié)構(gòu) 關(guān)系來(lái)建立該目標(biāo)物體內(nèi)部的空間關(guān)聯(lián)性，并且基于這種空間關(guān)聯(lián)性來(lái)執(zhí)行目標(biāo)圖像中各 特征點(diǎn)與視覺(jué)詞典模型中各視覺(jué)詞條之間的特征權(quán)重映射，從而能夠生成具有空間信息 的、基于視覺(jué)詞條的權(quán)重的目標(biāo)圖像的特征模型。
[0014] 本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變 得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利 要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
【附圖說(shuō)明】
[0015] 附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本發(fā)明的實(shí) 施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中：
[0016] 圖1是圖示了根據(jù)本發(fā)明實(shí)施例的特征模型生成方法的總體流程圖。
[0017] 圖2是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的特征模型生成方法的總體流程圖。
[0018] 圖3是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的特征模型生成方法中的總體數(shù)據(jù)流 圖。
[0019] 圖4是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的特征提取與描述步驟的具體流程圖。
[0020] 圖5A和圖5B是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的SIFT特征描述的原理圖。
[0021] 圖6是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的標(biāo)記了身體部件的行人和采樣點(diǎn)的 示意圖。
[0022] 圖7是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的視覺(jué)詞典模型生成步驟的具體流程 圖。
[0023] 圖8A到圖8D是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的K近鄰算法的原理圖。
[0024] 圖9A到圖9D是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的顯著類(lèi)別生成子步驟的示意 圖。
[0025] 圖10A和圖10B是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的顯著類(lèi)別關(guān)聯(lián)建立子步驟 的示意圖。
[0026] 圖11是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的視覺(jué)詞典匹配步驟的具體流程圖。
[0027] 圖12A和圖12B是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的匹配視覺(jué)詞條查找子步驟 的示意圖。
[0028] 圖13A和圖13B是圖7K了根據(jù)本發(fā)明實(shí)施例具體7K例的特征權(quán)重映射子步驟的7K 意圖。
[0029] 圖14A和圖14B是圖示了根據(jù)本發(fā)明實(shí)施例具體示例的特征模型生成子步驟的示 意圖。
[0030] 圖15是圖示了根據(jù)本發(fā)明實(shí)施例的特征模型生成裝置的功能配置框圖。
[0031] 圖16是圖示了根據(jù)本發(fā)明實(shí)施例的車(chē)輛控制系統(tǒng)的功能結(jié)構(gòu)圖。
[0032] 圖17是圖示了基于車(chē)載相機(jī)圖像上用改進(jìn)的視覺(jué)詞典模型進(jìn)行物體檢測(cè)的物體 檢測(cè)子系統(tǒng)的內(nèi)部構(gòu)造。
【具體實(shí)施方式】
[0033] 將參照附圖詳細(xì)描述根據(jù)本發(fā)明的各個(gè)實(shí)施例。這里，需要注意的是，在附圖中， 將相同的附圖標(biāo)記賦予基本上具有相同或類(lèi)似結(jié)構(gòu)和功能的組成部分，并且將省略關(guān)于它 們的重復(fù)描述。
[0034] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，將按下列順序來(lái)對(duì)本發(fā)明作進(jìn)一步詳 細(xì)說(shuō)明。
[0035]1、本發(fā)明的思想概述
[0036]2、特征模型生成方法
[0037]2. 1、具體示例
[0038] 3、特征模型生成裝置
[0039] 4、車(chē)輛控制系統(tǒng)
[0040] 5、物體檢測(cè)子系統(tǒng)
[0041] 1、本發(fā)明的思想概述
[0042] 在對(duì)現(xiàn)有技術(shù)中的技術(shù)問(wèn)題進(jìn)行研究的過(guò)程中，本發(fā)明人認(rèn)識(shí)到：一個(gè)目標(biāo)物體 通常是一個(gè)有機(jī)的整體，在其內(nèi)部往往包括有不同的結(jié)構(gòu)部件，在各個(gè)結(jié)構(gòu)部件之間往往 存在特定的內(nèi)在結(jié)構(gòu)關(guān)系。利用這種思路，我們可以對(duì)視覺(jué)詞典模型進(jìn)行改進(jìn)，使其充分考 慮到目標(biāo)物體的內(nèi)部結(jié)構(gòu)關(guān)系，以生成具有空間信息的所述目標(biāo)圖像的特征模型。
[0043]2、特征模型生成方法
[0044]在下文中，將參考圖1來(lái)描述根據(jù)本發(fā)明實(shí)施例的特征模型生成方法的總體流程 示例。
[0045]圖1是圖示了根據(jù)本發(fā)明實(shí)施例的特征模型生成方法的總體流程圖。
[0046] 如圖1所示，該特征模型生成方法可以包括：
[0047] 在步驟S110中，在目標(biāo)圖像中獲得至少一個(gè)特征點(diǎn)并且獲得各特征點(diǎn)的位置信 息和描述信息。
[0048]取決于特征模型生成方法的應(yīng)用場(chǎng)景，所述目標(biāo)圖像可以包括已知其類(lèi)別的至少 一個(gè)樣本圖像，或者所述目標(biāo)圖像也可以是未知其類(lèi)別的至少一個(gè)待檢測(cè)圖像等。
[0049]例如，各特征點(diǎn)的位置信息可以是該特征點(diǎn)在樣本圖像中的位置坐標(biāo)，并且該特 征點(diǎn)的描述信息可以是該特征點(diǎn)的特征描述子，或稱(chēng)之為特征描述符或特征描述向量，或 直接簡(jiǎn)稱(chēng)為特征描述。
[0050]在一個(gè)實(shí)施例中，當(dāng)所述目標(biāo)圖像是所述樣本圖像時(shí)，除了上述的位置信息和描 述信息之外，還可以進(jìn)一步獲得所述特征點(diǎn)的最近部件信息，以用于標(biāo)記該特征點(diǎn)在所述 目標(biāo)物體中的內(nèi)在結(jié)構(gòu)位置。例如，該最近部件信息可以用于描述與所述特征點(diǎn)距離最近 的所述目標(biāo)物體的內(nèi)部結(jié)構(gòu)部件。
[0051]為此，在獲得至少一個(gè)特征點(diǎn)之后，所述方法還可以包括：在所述樣本圖像中獲取 預(yù)先標(biāo)記出的目標(biāo)物體的至少一個(gè)結(jié)構(gòu)部件的位置信息；以及根據(jù)各特征點(diǎn)的位置信息和 各結(jié)構(gòu)部件的位置信息來(lái)確定所述特征點(diǎn)的最近部件信息，所述最近部件信息表示與所述 特征點(diǎn)距離最近的所述目標(biāo)物體的結(jié)構(gòu)部件。
[0052]在一個(gè)實(shí)施例中，在獲得了樣本圖像中的各特征點(diǎn)的位置信息、描述信息、