擴展物理平面的數(shù)字表示的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體設(shè)及擴增現(xiàn)實環(huán)境，且更確切地說設(shè)及現(xiàn)實世界周圍環(huán)境的基于機器 的辨識。
【背景技術(shù)】
[0002] 在擴增現(xiàn)實(AR)環(huán)境中，用戶可查看人工或虛擬圖形與用戶的自然周圍環(huán)境的集 成。在AR的一些較早實施方案中，用戶可經(jīng)由（例如)擴增現(xiàn)實護目鏡觀看任意在用戶的自 然周圍環(huán)境中或內(nèi)顯示的圖形。舉例來說，隨機蝴蝶的圖形可沿著AR護目鏡的視線飛行，同 時用戶繼續(xù)查看他的自然周圍環(huán)境，而不管所述蝴蝶與用戶正自然地看到的任何事物是否 具有任何相關(guān)性。在AR的較復(fù)雜實施方案中，用戶可能夠?qū)R特征或圖形直接應(yīng)用到用戶 的自然周圍環(huán)境的對象或結(jié)構(gòu)。舉例來說，用戶可能想要引導蝴蝶的圖形在墻壁或臺子上 著陸，運首先需要AR環(huán)境辨識事實上所述墻壁或臺子實際上在用戶的視野中駐留在何處。
[0003] 在其它情況下，機器人或其它自動機器可在嘗試在自然周圍環(huán)境中將機器人定向 時應(yīng)用AR領(lǐng)域中的類似概念和技術(shù)。例如，機器人可需要理解在機器人的自然周圍環(huán)境中 墻壁及臺子在哪里，使得機器人不撞到墻壁及臺子。在其它情況下，機器人可通過(例如)識 別臺子上的杯子且拿起所述杯子而與自然周圍環(huán)境交互。執(zhí)行此任務(wù)可首先需要機器人成 功地識別杯子，且在一些情況下需要成功地識別上面有杯子的臺子。然而，實時實現(xiàn)自然周 圍環(huán)境的基于機器的辨識已證明是難W解決的問題，因為(例如)現(xiàn)有技術(shù)不能足夠快速或 足夠高效節(jié)能W用于實時目的。因此，在此項技術(shù)中需要在實時設(shè)定中對自然周圍環(huán)境的 基于機器的辨識的改進的方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明大體設(shè)及擴增現(xiàn)實環(huán)境，且更確切地說，設(shè)及對現(xiàn)實世界周圍環(huán)境的基于 機器的辨識。
[0005] 本發(fā)明呈現(xiàn)用于擴展來自物理場景的物理平面的數(shù)字表示的系統(tǒng)、方法及裝置。 一種方法可包含:確定所述場景中的物理平面的定向及初始部分;及將所述場景的矯正圖 像再分為多個網(wǎng)格單元。對于所述網(wǎng)格單元，可產(chǎn)生圖像簽名?？纱_定鄰接所述平面的所述 所獲得的初始部分的網(wǎng)格單元包含所述物理平面的部分。可針對來自鄰接所述所獲得的初 始部分的至少部分的網(wǎng)格單元的每一相鄰的網(wǎng)格單元執(zhí)行迭代過程，如果所述相鄰網(wǎng)格單 元的所述圖像簽名類似于已經(jīng)確定被包含為所述平面的部分的網(wǎng)格單元的圖像簽名，那么 確定所述相鄰網(wǎng)格單元是否將被包含為所述平面的部分。
[0006] -種用于建構(gòu)來自物理場景的物理平面的數(shù)字表示的實例方法可包含:在=維空 間中確定物理場景的圖像中的物理平面的定向及初始部分;產(chǎn)生矯正圖像，其中所述矯正 圖像含有所述物理平面的至少部分的前平行視圖；將所述矯正圖像再分為多個網(wǎng)格單元； 對于所述多個網(wǎng)格單元中的每一者，基于與所述網(wǎng)格單元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn) 生圖像簽名;選擇鄰接所述物理平面的所述所獲得的初始部分的至少部分的一或多個初始 網(wǎng)格單元W包含為所述物理平面的所述數(shù)字表示的部分;將鄰接所述一或多個初始網(wǎng)格單 元的每一相鄰網(wǎng)格單元的圖像簽名與當前包含在所述物理平面的所述數(shù)字表示中的一或 多個網(wǎng)格單元的圖像簽名進行比較;及將滿足預(yù)定闊值的每一網(wǎng)格單元添加到所述物理平 面的所述數(shù)字表示。
[0007] 用于建構(gòu)來自物理場景的物理平面的數(shù)字表示的另一實例方法可包含:在=維空 間中確定所述物理場景中的物理平面的定向及初始部分;產(chǎn)生矯正圖像，其中所述矯正圖 像含有所述物理平面的至少部分的前平行視圖；及將所述物理平面的所述前平行視圖再分 為多個網(wǎng)格單元。
[0008] 對于所述多個網(wǎng)格單元中的每一者，所述方法可進一步包含:基于與所述網(wǎng)格單 元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn)生圖像簽名;確定鄰接所述物理平面的所述所獲得的初 始部分的至少部分的網(wǎng)格單元W包含為所述物理平面的所述數(shù)字表示的部分;及對于來自 鄰接所述所獲得的初始部分的至少部分的所述網(wǎng)格單元的每一相鄰網(wǎng)格單元：（a)如果所 述相鄰網(wǎng)格單元的圖像簽名類似于已經(jīng)確定將被包含為所述物理平面的所述數(shù)字表示的 部分的網(wǎng)格單元的圖像簽名，那么確定所述相鄰網(wǎng)格單元是否將另外被包含為所述物理平 面的所述數(shù)字表示的部分，其中所述類似性是基于至少一個預(yù)定闊值準則，且對于鄰接已 經(jīng)被包含為所述物理平面的所述數(shù)字表示的部分的網(wǎng)格單元的每一相鄰網(wǎng)格單元，繼續(xù) (a)中的過程，直到不存在基于(a)中的過程確定另外被包含為所述平面的部分的相鄰網(wǎng)格 單元。
[0009] 在一個方面中，所述物理平面的所述初始部分是基于定位在所述物理平面上的已 知對象。在另一方面中，所述物理平面的所述初始部分是基于使所述物理平面配合于點云 模型。
[0010] 在某些方面，所述圖像簽名包括指示與所述網(wǎng)格單元相關(guān)聯(lián)的圖像信息的至少一 個直方圖。在一些實施方案中，所述至少一個直方圖可包含存在于所述網(wǎng)格單元中的色彩 的量及類型的統(tǒng)計表示、所述網(wǎng)格單元的梯度定向及表示存在于所述網(wǎng)格單元中的色彩的 灰度陰影的量及類型。
[0011] 在一些實施方案中，與所述網(wǎng)格單元相關(guān)聯(lián)的所述至少一個圖像特性包括=維信 息。在一個方面中，對于確定不被包含為所述物理平面的所述數(shù)字表示的部分的每一相鄰 網(wǎng)格單元，所述方法可進一步包含:產(chǎn)生多個輔助網(wǎng)格單元，其中所述多個輔助網(wǎng)格單元中 的每一者的位置是基于與所述相鄰網(wǎng)格單元的位置的偏移，其中所述偏移在所述相鄰網(wǎng)格 單元的寬度及長度內(nèi)；及對于所述多個輔助網(wǎng)格單元中的每一者，基于與所述輔助網(wǎng)格單 元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn)生圖像簽名;及如果所述輔助網(wǎng)格單元的圖像簽名類似 于已經(jīng)確定將被包含為所述物理平面的所述數(shù)字表示的部分的網(wǎng)格單元的圖像簽名，那么 確定所述輔助網(wǎng)格單元是否將另外被包含為所述物理平面的所述數(shù)字表示的部分，其中所 述類似性是基于至少一個預(yù)定闊值準則。
[0012] 一種用于建構(gòu)來自物理場景的物理平面的數(shù)字表示的設(shè)備可包含存儲器及一或 多個處理器。所述一或多個處理器可經(jīng)配置W:在=維空間中確定所述物理場景中的物理 平面的定向及初始部分;接收所述物理場景的一或多個圖像;產(chǎn)生矯正圖像，其中所述矯正 圖像含有所述物理平面的至少部分的前平行視圖；將所述矯正圖像再分為多個網(wǎng)格單元； 對于所述多個網(wǎng)格單元中的每一者，基于與所述網(wǎng)格單元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn) 生圖像簽名;選擇鄰接所述物理平面的所述所獲得的初始部分的至少部分的一或多個初始 網(wǎng)格單元W包含為所述物理平面的所述數(shù)字表示的部分;將鄰接所述一或多個初始網(wǎng)格單 元的每一相鄰網(wǎng)格單元的圖像簽名與當前包含在所述物理平面的所述數(shù)字表示中的一或 多個網(wǎng)格單元的圖像簽名進行比較;及將滿足預(yù)定闊值的每一網(wǎng)格單元添加到所述物理平 面的所述數(shù)字表示。
[0013] 一種用于建構(gòu)來自物理場景的物理平面的數(shù)字表示的實例設(shè)備可包含存儲器、用 于接收圖像數(shù)據(jù)的相機、一或多個處理器。所述處理器可經(jīng)配置W用于:在=維空間中確定 所述物理場景中的物理平面的定向及初始部分;產(chǎn)生矯正圖像，其中所述矯正圖像含有所 述物理平面的至少部分的前平行視圖；及將所述物理平面的所述前平行視圖再分為多個網(wǎng) 格單元。
[0014] 對于所述多個網(wǎng)格單元中的每一者，所述一或多個處理器可進一步經(jīng)配置W用 于:基于與所述網(wǎng)格單元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn)生圖像簽名；確定鄰接所述物理 平面的所述所獲得的初始部分的至少部分的網(wǎng)格單元W包含為所述物理平面的所述數(shù)字 表示的部分;及對于來自鄰接所述所獲得的初始部分的至少部分的所述網(wǎng)格單元的每一相 鄰網(wǎng)格單元：（a)如果所述相鄰網(wǎng)格單元的圖像簽名類似于已經(jīng)確定將被包含為所述物理 平面的所述數(shù)字表示的部分的網(wǎng)格單元的圖像簽名，那么確定所述相鄰網(wǎng)格單元是否將另 外被包含為所述物理平面的所述數(shù)字表示的部分，其中所述類似性是基于至少一個預(yù)定闊 值準則，且對于鄰接已經(jīng)被包含為所述物理平面的所述數(shù)字表示的部分的網(wǎng)格單元的每一 相鄰網(wǎng)格單元，繼續(xù)(a)中的過程，直到不存在基于(a)中的過程確定另外被包含為所述平 面的部分的相鄰網(wǎng)格單元。
[0015] 在一個方面中，所述物理平面的所述初始部分是基于定位在所述物理平面上的已 知對象。在另一方面中，所述物理平面的所述初始部分是基于使所述物理平面配合于點云 模型。
[0016] 在某些方面，所述圖像簽名包括指示與所述網(wǎng)格單元相關(guān)聯(lián)的圖像信息的至少一 個直方圖。在一些實施方案中，所述至少一個直方圖可包含存在于所述網(wǎng)格單元中的色彩 的量及類型的統(tǒng)計表示、所述網(wǎng)格單元的梯度定向及表示存在于所述網(wǎng)格單元中的色彩的 灰度陰影的量及類型。
[0017] 在一些實施方案中，與所述網(wǎng)格單元相關(guān)聯(lián)的所述至少一個圖像特性包括=維信 息。在一個方面中，所述至少一個預(yù)定闊值準則是基于將已經(jīng)被包含為所述平面的部分的 所述網(wǎng)格單元的所述至少一個直方圖與相鄰網(wǎng)格單元的直方圖進行比較。
[0018] 在一個方面中，對于由所述一或多個處理器確定不被包含為所述物理平面的所述 數(shù)字表示的部分的每一相鄰網(wǎng)格單元，所述設(shè)備可進一步經(jīng)配置W用于:產(chǎn)生多個輔助網(wǎng) 格單元，其中所述多個輔助網(wǎng)格單元中的每一者的位置是基于與所述相鄰網(wǎng)格單元的位置 的偏移，其中所述偏移在所述相鄰網(wǎng)格單元的寬度及長度內(nèi)；及對于所述多個輔助網(wǎng)格單 元中的每一者，基于與所述輔助網(wǎng)格單元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn)生圖像簽名；及 如果所述輔助網(wǎng)格單元的圖像簽名類似于已經(jīng)確定將被包含為所述物理平面的所述數(shù)字 表示的部分的網(wǎng)格單元的圖像簽名，那么確定所述輔助網(wǎng)格單元是否將另外被包含為所述 物理平面的所述數(shù)字表示的部分，其中所述類似性是基于至少一個預(yù)定闊值準則。
[0019] -種實例非暫時性計算機可讀存儲媒體，其中所述非暫時性計算機可讀存儲媒體 包括可由處理器執(zhí)行的指令，所述指令包括用W進行W下操作的指令:在=維空間中確定 所述物理場景中的物理平面的定向及初始部分;接收所述物理場景的一或多個圖像;產(chǎn)生 矯正圖像，其中所述矯正圖像含有所述物理平面的至少部分的前平行視圖；將所述矯正圖 像再分為多個網(wǎng)格單元;對于所述多個網(wǎng)格單元中的每一者，基于與所述網(wǎng)格單元相關(guān)聯(lián) 的至少一個圖像特性而產(chǎn)生圖像簽名;選擇鄰接所述物理平面的所述所獲得的初始部分的 至少部分的一或多個初始網(wǎng)格單元W包含為所述物理平面的所述數(shù)字表示的部分;將鄰接 所述一或多個初始網(wǎng)格單元的每一相鄰網(wǎng)格單元的圖像簽名與當前包含在所述物理平面 的所述數(shù)字表示中的一或多個網(wǎng)格單元的圖像簽名進行比較;及將滿足預(yù)定闊值的每一網(wǎng) 格單元添加到所述物理平面的所述數(shù)字表示。
[0020] 另一實例非暫時性計算機可讀存儲媒體，其中所述非暫時性計算機可讀存儲媒體 可包含可由處理器執(zhí)行W用于進行W下操作的指令:在=維空間中確定所述物理場景中的 物理平面的定向及初始部分;產(chǎn)生矯正圖像，其中所述矯正圖像含有所述物理平面的至少 部分的前平行視圖；及將所述物理平面的所述前平行視圖再分為多個網(wǎng)格單元。
[0021] 對于所述多個網(wǎng)格單元中的每一者，所述指令可經(jīng)配置W用于：基于與所述網(wǎng)格 單元相關(guān)聯(lián)的至少一個圖像特性而產(chǎn)生圖像簽名；確定鄰接所述物理平面的所述所獲得的 初始部分的至少部分的網(wǎng)格單元W包含為所述物理平面的所述數(shù)字表示的部分;及對于來 自鄰接所述所獲得的初始部分的至少部分的所述網(wǎng)格單元的每一相鄰網(wǎng)格單元：（a)如果 所述相鄰網(wǎng)格單元的圖像簽名類似于已經(jīng)確定將被包含為所述物理平面的所述數(shù)字表示 的部分的網(wǎng)格單元的圖像簽名，那么確定所述相鄰網(wǎng)格單元是否將另外被包含為所述物理 平面的所述數(shù)字表示的部分，其中所述類似性是基于至少一個預(yù)定闊值準則，且對于鄰接 已經(jīng)被包含為所述物理平面的所述數(shù)字表示的部分的網(wǎng)格單元的每一相鄰網(wǎng)格單元，繼續(xù) (a)中的過程，直到不存在基于(a)中的過程確定另外被包含為所述平面的部分的相鄰網(wǎng)格 單元。
[0022] 在一個方面中，所述物理平面的所述初始部分是基于定位在所述