背景技術：

真實世界對象的三維計算機模型在諸如加工原型化之類的許多應用中被使用或需要。三維(3d)重構是確定處于考慮之下的真實世界對象的形狀或外觀的過程。使用異構傳感器(例如不同類型的相機)取得的對象的數(shù)據(jù)或圖像可以用于執(zhí)行重構過程。然而，可靠性、可重復性、分辨率、精確度和速度考慮一般對用于生成所檢驗的真實世界對象的模型的掃描儀或數(shù)字化器的構造和操作是關鍵的。本文中的公開內容描述了一種異構傳感器的集群和轉盤，該異構傳感器的集群和轉變可以被高效且魯棒地使用在真實世界對象的3d重構的過程中。

附圖說明

附圖圖示了本文所描述的原理的各種示例，并且是說明書的一部分。所圖示的示例僅僅是示例，并且不限制權利要求的范圍。

圖1是操作在本發(fā)明的原理之下的掃描系統(tǒng)的透視圖，其包括異構傳感器集群和轉盤。

圖2是類似于關于圖1所描述的系統(tǒng)的3d掃描系統(tǒng)的示意圖。

圖3圖示了要掃描或數(shù)字化的對象，該對象被放置在轉盤上并且在傳感器集群的視野中被旋轉第一增量，所述傳感器集群具有類似于圖1和圖2中所描述和圖示的深度相機和高分辨率相機的深度相機和高分辨率相機。

圖4圖示了表示深度相機和高分辨率相機圖像平面的坐標空間之間的各種映射。

圖5圖示了使用3d單應性運算符h的3d點云的映射。

圖6是使用本文所討論的原理的一個示例中的掃描或數(shù)字化過程的操作步驟的流程圖。

圖7a和圖7b是使用本文所討論的原理的另外的示例中的掃描或數(shù)字化過程的操作步驟的流程圖。

遍及各圖，相同的參考標號指代類似但不必相同的元件。在圖中示出并且在下文描述的示例說明但不限制本發(fā)明，本發(fā)明在以下具體實施方式之后的權利要求中加以限定。

具體實施方式

參照圖1，圖示了合并本發(fā)明的原理的3d掃描系統(tǒng)(100)。掃描系統(tǒng)包括轉盤(102)和異構傳感器集群(104)。3d掃描系統(tǒng)(100)還可以例如包括屏幕和輸入設備或可操作連接到具有屏幕和鍵盤的計算設備。異構傳感器集群(104)包括不同類型的視覺傳感器，并且使得能夠實現(xiàn)比可以從單個相機或傳感器獲取的更豐富且更魯棒的信息的捕獲。在一些示例中，如圖1中所示，集群(104)的視覺傳感器可以包括深度相機(106)和高分辨率相機(108)。還可以包括投影儀(110)以用于照明和校準目的?？梢圆捎靡曈X傳感器的其它組合。

在一些示例中，深度相機(106)可以捕獲物理目標的視覺數(shù)據(jù)，其中所捕獲到的視覺數(shù)據(jù)可以包括以下內容：三維(3d)深度信息(還稱為“深度圖”)、紅外(ir)圖像幀和rgb圖像幀(其為rgb顏色空間中的圖像幀)。在其它示例中，深度相機(106)可以產生另一顏色空間中的圖像幀。“圖像幀”是指構成圖像的視覺數(shù)據(jù)點的集合。深度信息是指物理目標關于深度相機(106)的深度；該深度信息表示物理目標(或物理目標的部分)與深度相機(106)之間的距離。

在一些示例中，深度相機(106)可以包括ir視覺傳感器、rgb視覺傳感器和(一個或多個)附加傳感器，以允許深度相機捕獲深度信息以及rgb圖像幀和ir圖像幀。由深度相機捕獲的rgb圖像幀可以是相對低分辨率的圖像幀。在其它示例中，深度相機(106)可以包括視覺傳感器的其它組合，該其它組合允許深度相機(106)在可見顏色空間中捕獲物理目標的深度信息和視覺數(shù)據(jù)。

集群(104)的高分辨率顏色空間相機(108)可以捕獲較高分辨率rgb圖像幀(或其它顏色空間中的圖像幀)。在以下討論中，對“低分辨率”和“高分辨率”的引用是在不同視覺傳感器之間的相對分辨率的上下文中。換言之，“高分辨率”視覺傳感器能夠以比“低分辨率”視覺傳感器更高的分辨率捕獲視覺數(shù)據(jù)。在基于本文所描述的原理的系統(tǒng)的一些示例中，高分辨率相機具有近似4,000乘3,000像素的像素尺寸，而深度相機具有近似640乘480像素的像素尺寸。

參照圖2，圖示了類似于關于圖1所描述的系統(tǒng)的3d掃描系統(tǒng)(200)的示意圖。3d掃描系統(tǒng)(200)包括具有深度相機(206)、高分辨率相機(208)和投影儀(210)的集群(204)。本文所描述的3d掃描系統(tǒng)受益于在使用之前傳感器集群中的相機的校準。相應地，圖2還圖示了校準系統(tǒng)(212)，該校準系統(tǒng)能夠通過鏈路(214)與集群(204)的各種視覺傳感器通信。校準系統(tǒng)(212)包括校準模塊(216)，該校準模塊能夠根據(jù)用于校準集群(204)的視覺傳感器的一些實現(xiàn)方式執(zhí)行校準過程。在一些示例中，校準模塊(216)可以實現(xiàn)為可在一個或多個處理器(218)上執(zhí)行的機器可讀指令。在其它示例中，校準系統(tǒng)(212)可以實現(xiàn)為硬件。

校準系統(tǒng)(212)還包括網(wǎng)絡接口(220)以允許校準系統(tǒng)(212)通過諸如鏈路(214)之類的網(wǎng)絡進行通信。而且，校準系統(tǒng)(212)包括用于存儲數(shù)據(jù)和指令的存儲介質(222)。存儲介質(222)可以存儲映射信息(224)，其中映射信息(224)——例如已知棋盤格圖案——涉及集群(204)的不同對視覺傳感器之間的映射。映射信息(224)用于執(zhí)行集群(204)的視覺傳感器之中的校準并且同時生成3d掃描信息。一旦校準了集群(204)的視覺傳感器，則由相應視覺傳感器捕獲的視覺數(shù)據(jù)可以適當?shù)亟M合以執(zhí)行各種任務，諸如與3d掃描或數(shù)字化相關聯(lián)的任務。

系統(tǒng)校準

在使用本文所描述的3d掃描系統(tǒng)執(zhí)行掃描操作之前，校準相機或視覺傳感器的異構集合。系統(tǒng)的校準導致從3d點云到2d圖像的投影映射以及2d圖像集合之間和3d點云集合之間的單應性。在一個示例中，投影映射使由深度相機(106)捕獲的3d點云和點的2d圖像相關。另一方面，單應性將2-空間和3-空間中的2d和3d數(shù)據(jù)分別映射到不同的2d和3d坐標系上。

3d坐標和2d平面或圖像之間的投影映射可以通過以下的等式1定義：

x＝px，(等式1)

其中x表示2d坐標并且x表示3d坐標。更具體地，等式1可以寫為

其中x＝[uv1]^t表示2d坐標，x＝[xwywzw1]^t表示3d坐標，zc是任意標度(具有預定義的值)，k表示固有參數(shù)，r表示外來旋轉參數(shù)，并且t表示外來平移參數(shù)。固有參數(shù)k被定義如下：

其中fx，fy表示視覺傳感器的透鏡的焦距，u0，v0表示沿視覺傳感器的光軸的光學中心，并且s是表示視覺傳感器的偏斜失真的偏斜系數(shù)。

外來旋轉參數(shù)(r)和外來平移參數(shù)(t)是視覺傳感器的幾何參數(shù)的部分。旋轉參數(shù)可以定義視覺傳感器在幾何空間中的搖攝、傾斜和偏轉。平移參數(shù)可以定義視覺傳感器在幾何空間中的平移位置。

導出投影矩陣(p)牽涉計算視覺傳感器的固有參數(shù)(k)和幾何參數(shù)(r，t)。一旦被獲取，固有參數(shù)(k)和外來旋轉參數(shù)(r)就可以用于產生單應性運算符，該單應性運算符用于在以下之間映射數(shù)據(jù)：由傳感器獲取的2d圖像與不同的2d空間和由傳感器獲取的3d點云與不同3d空間。

更具體地，一對視覺傳感器之間的直接2d到2d映射可以通過2d單應性表示，使得x’＝hx，其中x’和x是兩個平面中的2d位置矢量。單應性使兩個圖像(對應于兩個視覺傳感器)中的像素坐標相關。2d單應性(h)可以通過3-x-3矩陣表示，其一般具有以下形式：

3d對應部分是4x4矩陣，其中x’和x是3-空間中的3d位置矢量。針對計算單應性矩陣的分量(其依賴于以上提到的固有和外來參數(shù))的進一步細節(jié)可以在共同所有的申請序列號13/713,036(題為“calibratingvisualsensorsusinghomographyoperators”)中找到，其公開內容通過引用并入本文。

系統(tǒng)操作

參照圖3，將要掃描或數(shù)字化的對象(310)放置在3d掃描系統(tǒng)(300)上，所述3d掃描系統(tǒng)(300)具有轉盤(302)和具有類似于以上描述的深度相機和高分辨率相機的深度相機和高分辨率相機的傳感器集群(304)。轉盤(302)旋轉到第一位置并且使用深度相機獲取第一3d點云，并且使用高分辨率相機獲取第一2d高分辨率圖像。3d點云包括具有與每一個2d點相關聯(lián)的深度或距離(例如z坐標)的2d點(例如x和y坐標)的集合。轉盤(302)然后旋轉預定增量(306)(例如10度)而到第二位置，并且分別使用深度相機和高分辨率相機獲取第二3d點云和2d高分辨率圖像。包括第一和第二點云和圖像的數(shù)據(jù)可以存儲在存儲器中。

3d掃描(或數(shù)字化)采用以下方式使用點云和圖像的對來生成。開始，針對對應點或特征而分析第一和第二2d高分辨率圖像以獲取2d高分辨率對應點x的第一集合。在一個示例中，高分辨率對應點的數(shù)目在數(shù)目方面為至少18個。然后采用多步2d單應性以將2d高分辨率對應點x的第一集合從高分辨率相機的圖像平面映射到深度相機的圖像平面x″。更具體地，參照圖4，示意性地圖示了表示高分辨率相機的圖像平面的2d坐標空間(402)和表示深度相機的圖像平面的2d坐標空間(404)。還圖示了感應平面2d坐標空間(406)。如圖4中所描繪的，單應性運算符hp提供表示高分辨率相機的圖像平面的2d坐標空間(402)與感應平面的坐標空間(406)之間的映射。另一單應性運算符hf可以用于提供感應平面的2d坐標空間(406)與表示深度相機的圖像平面的2d坐標空間(404)之間的映射。

更一般地，提供兩個視覺傳感器——即深度和高分辨率相機——的坐標空間之間的2d到2d映射的單應性是多步單應性，該多步單應性可以包括多個單應性運算符。使用根據(jù)一些實現(xiàn)方式的多步單應性(包括hp和hf)的映射可以表示如下：

其中x′對應于基于hp的中間經映射的坐標空間(并且更具體地，圖4的虛擬坐標空間(406))，并且x″對應于基于hf的最終經映射的坐標空間。通過使用等式5和等式6，將2d高分辨率對應點x的第一集合映射到感應平面(406)上以產生坐標點的感應集合x′。然后將坐標點的感應集合x′映射到表示深度相機的圖像平面的2d坐標空間(404)上，從而產生坐標點的第二集合x″。

然后將坐標點的第二集合x″用于從3d點云提取深度信息。具體地，由于3d點云中的深度信息關聯(lián)到與深度相機相關聯(lián)的2d坐標系，因此存在深度數(shù)據(jù)與坐標點的第二集合x″之間的已知像素到像素映射。以此方式，可以獲取來自第一和第二3d點云的對應點。然后將對應3d點用于計算3d單應性運算符，該3d單應性運算符允許將第二3d點云映射到第一3d點云。因而可以對準3d點的兩個集合。參照圖5，例如，3d單應性運算符h在3d矢量[u’，v’，z’]^t和[u，v，z]^t之間進行映射。在一個示例中，3d單應性運算符可以使用標準ransac算法來計算，盡管可以使用其它算法。

3d單應性步驟提供3d點云對的粗略對準。使用捆束調節(jié)步驟來獲取更加精確的對準。捆束調節(jié)最小化所觀察到的圖像位置與所預測的點之間的重投影誤差。在一個示例中，調節(jié)被用公式表示為非線性最小平方問題，其中誤差是所觀察到的特征位置與對應3d點在相機圖像上的投影之間的差異的經平方的l2范數(shù)。在另外的示例中，可以使用標準或經修改的levenberg-marquardt算法以迭代地求解最小化問題。

在3d點云的對準之后，刪改和清理結果得到的3d網(wǎng)格——例如以移除假的或不想要的點或者填充孔或間隙。網(wǎng)格然后可以按需改進，這取決于例如被掃描的對象的所期望的分辨率或復雜度。在網(wǎng)格刪改和改進之后，深度數(shù)據(jù)和深度相機的圖像平面的坐標之間的已知像素到像素映射可以用于生成坐標點的經修改的集合x″。通過使用單應性運算符hp和hf的逆，然后將坐標點的經修改的集合映射回到表示高分辨率相機的圖像平面的坐標系。

在以上步驟完成之后，轉盤然后旋轉預定增量并且過程重復。更具體地，轉盤(302)旋轉預定增量(306)(例如10度)而到第三位置，并且分別使用深度相機和高分辨率相機獲取第三3d點云和2d高分辨率圖像。第三3d點云和2d高分辨率圖像然后使用以上描述的相同步驟與經刪改和改進的網(wǎng)格以及坐標點的經修改的集合x″組合。過程重復直到轉盤已旋轉完整的360度為止或者直到期望數(shù)字化的對象已經被完全掃描為止。

現(xiàn)在參照圖6，提供了根據(jù)本文所描述的原理的用于重構三維對象的表面幾何形狀的方法。在各種示例中，方法包括以下步驟。提供具有異構傳感器的集群的系統(tǒng)，包括二維高分辨率相機和三維深度相機以及可操作成遞增旋轉的轉盤(602)。將轉盤旋轉到第一位置并且使用二維高分辨率相機采集第一二維數(shù)據(jù)集并且使用三維深度相機采集第一三維數(shù)據(jù)集(604)。然后將轉盤旋轉到第二位置并且使用二維高分辨率相機采集第二二維數(shù)據(jù)集并且使用三維深度相機采集第二三維數(shù)據(jù)集(606)。然后確定第一和第二二維數(shù)據(jù)集之間的對應特征以獲取高分辨率對應點的第一集合(608)。然后將高分辨率對應點的第一集合映射到深度相機的圖像平面上并且確定深度數(shù)據(jù)的第一集合和第二集合之間的對應點(610)。然后使用從深度數(shù)據(jù)的第一集合和第二集合之間的對應點獲取的三維單應性來對準深度數(shù)據(jù)的第一集合和第二集合并且然后使用經對準的數(shù)據(jù)生成對象的三維網(wǎng)格(612)。

現(xiàn)在參照圖7a和圖7b，提供了一種根據(jù)本文所描述的原理的用于重構三維對象的表面幾何形狀的方法。在各種示例中，方法包括以下步驟。提供具有異構傳感器的集群的系統(tǒng)，包括二維高分辨率相機和三維深度相機以及可操作成遞增旋轉的轉盤(702)。將轉盤旋轉到第一位置并且使用二維高分辨率相機采集第一二維數(shù)據(jù)集并且使用三維深度相機采集第一三維數(shù)據(jù)集(704)。然后將轉盤旋轉到第二位置并且使用二維高分辨率相機采集第二二維數(shù)據(jù)集并且使用三維深度相機采集第二三維數(shù)據(jù)集(706)。然后確定第一和第二二維數(shù)據(jù)集之間的對應特征以獲取高分辨率對應點的第一集合(708)。然后將高分辨率對應點的第一集合映射到深度相機的圖像平面上并且確定深度數(shù)據(jù)的第一集合和第二集合之間的對應點(710)。然后使用從深度數(shù)據(jù)的第一集合和第二集合之間的對應點獲取的三維單應性來對準深度數(shù)據(jù)的第一集合和第二集合并且然后使用經對準的數(shù)據(jù)生成對象的三維網(wǎng)格(712)。

仍舊參照圖7a和圖7b，本公開內容的原理可以包括以下附加步驟。使用深度相機的圖像平面和對應于深度相機的圖像平面的像素位置的深度數(shù)據(jù)之間的像素到像素映射從三維網(wǎng)格確定二維坐標點的經修改的集合(714)。然后將二維坐標點的經修改的集合映射到表示高分辨率相機的圖像平面的坐標系以獲取高分辨率數(shù)據(jù)的經映射的集合(716)。然后將轉盤旋轉到第三位置并且使用二維高分辨率相機采集第三二維數(shù)據(jù)集并且使用三維深度相機采集第三三維數(shù)據(jù)集(718)。然后確定高分辨率數(shù)據(jù)的經映射的集合與第三二維數(shù)據(jù)集之間的對應特征以獲取高分辨率對應點的第二集合(720)。然后將高分辨率對應點的第二集合映射到深度相機的圖像平面并且確定三維網(wǎng)格與深度數(shù)據(jù)的第三集合之間的對應點(722)。然后使用從三維網(wǎng)格與深度數(shù)據(jù)的第三集合之間的對應點獲取的三維單應性對準三維網(wǎng)格和深度數(shù)據(jù)的第三集合(724)。然后使用經對準的三維網(wǎng)格和深度數(shù)據(jù)的第三集合生成經更新的三維網(wǎng)格(726)。過程重復直到獲得所期望的掃描或數(shù)字化為止。

以上描述的原理和示例提供用于重構真實世界對象的形狀或外觀的系統(tǒng)和方法。該系統(tǒng)和方法受益于將3d掃描問題精簡成簡化的2d到2d對應性問題，其中將對準建模為3d單應性，從而導致快速且魯棒的閉環(huán)3d掃描過程。

已經呈現(xiàn)的前述描述僅用以說明和描述所描述的原理的示例。該描述不旨在是窮舉的或者將這些原理限制到所公開的任何確切形式。鑒于以上教導，許多修改和變化是可能的。