本發(fā)明涉及一種用于獲取嘴中的對(duì)象(并且具體地牙科對(duì)象，特別是使用者的牙弓)的一組圖像的方法。本發(fā)明也涉及用于一種實(shí)現(xiàn)此類方法的設(shè)備。

背景技術(shù)：

1、為了分析使用者的牙科狀況，特別是在確立正畸治療之前，通常獲取覆蓋位于使用者的口腔中的目標(biāo)(并且具體地使用者的牙弓)的一組圖像。當(dāng)圖像至少部分地表示目標(biāo)時(shí)，圖像“覆蓋”此目標(biāo)。當(dāng)該組圖像包含從不同查看方向覆蓋目標(biāo)的圖像時(shí)，該組圖像“覆蓋”目標(biāo)，特別是為了提供關(guān)于目標(biāo)的精確三維信息。

2、在牙科診所中或更一般地來自牙科護(hù)理專業(yè)人員的獲取可能涉及對(duì)使用者的顯著成本和壓力。

3、另選地，使用者可例如使用他的移動(dòng)電話自己獲取牙科圖像。為了獲取圖像，使用者通?？粗R子，這使得難以精確地定位電話。更重要的是，在使用者已經(jīng)查詢存儲(chǔ)圖像的圖庫之前，他不知道圖像是否具有良好的質(zhì)量，或者它們是否正確地覆蓋預(yù)期目標(biāo)。即使在查詢圖庫時(shí)，他也不能準(zhǔn)確地評(píng)估由獲取的一組圖像對(duì)目標(biāo)的覆蓋率是否足夠。最后，如果使用者需要重復(fù)獲取，則獲取可能是耗費(fèi)人力的。由于這些困難令人沮喪，使用者可能過早地結(jié)束獲取操作。

4、需要便于對(duì)覆蓋目標(biāo)(具體地牙弓的全部或部分)的嘴的一組圖像的獲取，同時(shí)限制獲取不完全或質(zhì)量不良的風(fēng)險(xiǎn)。

5、本發(fā)明的一個(gè)目的是滿足這種需要。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種用于獲取覆蓋屬于使用者的嘴中的對(duì)象的目標(biāo)的一組圖像(例如覆蓋使用者的牙弓(嘴中的對(duì)象)的門牙或牙齒(目標(biāo))的一組圖像)的方法，該組圖像優(yōu)選地具有大于或等于覆蓋閾值的覆蓋率。

2、根據(jù)本發(fā)明的第一主要方面，該方法包括以下步驟：

3、1)在屏幕上并且使用相對(duì)于由圖像獲取裝置(優(yōu)選地由使用者操控的圖像獲取裝置)觀察到的嘴中的對(duì)象的空間增強(qiáng)現(xiàn)實(shí)向使用者呈現(xiàn)一個(gè)多維符號(hào)或一組多維符號(hào)，確定每個(gè)符號(hào)的形狀和/或位置以便向該使用者指示適于獲取此類圖像的至少一個(gè)預(yù)先確定的獲取條件；

4、2)針對(duì)每個(gè)符號(hào)，當(dāng)滿足與所述符號(hào)相關(guān)聯(lián)的所述至少一個(gè)預(yù)先確定的獲取條件時(shí)，優(yōu)選地當(dāng)滿足與所述符號(hào)相關(guān)聯(lián)的所有預(yù)先確定的獲取條件時(shí)，使用該獲取裝置來獲取此類圖像。

5、如稍后將在描述中更詳細(xì)地看到的，當(dāng)使用者看向屏幕時(shí)，由獲取裝置觀察到的真實(shí)場景的空間中的多維符號(hào)的形狀使得可能通知和引導(dǎo)他朝向與所述符號(hào)相關(guān)聯(lián)并且適于獲取期望的圖像的一個(gè)或多個(gè)獲取條件。因此，在增強(qiáng)現(xiàn)實(shí)中呈現(xiàn)的符號(hào)提供特別有效的引導(dǎo)信息。

6、根據(jù)本發(fā)明的第一主要方面的方法也可特別地包括以下任選的特征中的一個(gè)或多個(gè)特征：

7、-在步驟2)中，僅在滿足與至少一個(gè)符號(hào)相關(guān)聯(lián)的所述至少一個(gè)預(yù)先確定的獲取條件的情況下，優(yōu)選地僅在滿足與所述符號(hào)相關(guān)聯(lián)的所有預(yù)先確定的獲取條件的情況下，由所述獲取裝置獲取圖像；

8、-至少一個(gè)符號(hào)限定

9、-符號(hào)軸線，優(yōu)選地旋轉(zhuǎn)軸線，獲取條件是獲取裝置的光學(xué)軸線與所述符號(hào)軸線之間的小于20°(優(yōu)選地小于10°，優(yōu)選地小于5°，優(yōu)選地基本上為零)的角度偏差，即獲取裝置的光學(xué)軸線與所述符號(hào)軸線基本上完美地對(duì)準(zhǔn)，和/或

10、-尺寸，該尺寸在該屏幕上的對(duì)該符號(hào)的表示上作為該獲取裝置與增強(qiáng)現(xiàn)實(shí)中的該符號(hào)之間的距離的函數(shù)是可變的，該獲取條件是針對(duì)所述尺寸的預(yù)先確定的特定值或者所述尺寸屬于預(yù)先確定的特定值范圍，例如所述尺寸小于1mm；

11、-在步驟1)之前，針對(duì)每個(gè)符號(hào)，向使用者教導(dǎo)與所述符號(hào)相關(guān)聯(lián)的所述至少一個(gè)預(yù)先確定的獲取條件；例如，告知使用者為了獲取該組圖像，他必須針對(duì)每個(gè)符號(hào)將符號(hào)的軸線盡可能接近地與獲取裝置的光學(xué)軸線對(duì)準(zhǔn)，以及/或者嘗試在屏幕上查看符號(hào)，使得所述尺寸盡可能接近所述特定值；

12、-所述教導(dǎo)借助于輔導(dǎo)程序來實(shí)施，該輔導(dǎo)程序優(yōu)選地使得可能漸進(jìn)地教導(dǎo)被執(zhí)行以實(shí)現(xiàn)該方法的計(jì)算機(jī)程序的所有功能，該輔導(dǎo)程序基于更新是能夠升級(jí)的；

13、-在步驟2)中，如果限定該獲取裝置圍繞其光學(xué)軸線的空間位置和/或取向并且包括由該符號(hào)指示的所述至少一個(gè)獲取條件的預(yù)先確定的獲取條件被滿足，則利用該獲取裝置自動(dòng)地獲取所述圖像；

14、-在步驟2)中，如果利用該獲取裝置獲取此類圖像，則

15、-修改所述符號(hào)的外觀或者使所述符號(hào)消失，并且/或者

16、-發(fā)射聽覺信號(hào)，并且/或者

17、-修改分?jǐn)?shù)，該分?jǐn)?shù)顯示在該屏幕上并且與由已經(jīng)獲取的該圖像對(duì)該目標(biāo)的覆蓋率相關(guān)和/或與已經(jīng)獲取的該圖像的獲取的持續(xù)時(shí)間相關(guān)和/或與已經(jīng)獲取的該圖像的質(zhì)量相關(guān)和/或與已經(jīng)獲取的該圖像的有用性相關(guān)；

18、-當(dāng)已經(jīng)獲取該組圖像時(shí)，在該屏幕上向該使用者呈現(xiàn)根據(jù)所述分?jǐn)?shù)確定的排序；

19、-該屏幕在表示由該獲取裝置觀察到的真實(shí)場景的預(yù)覽圖像上或者在像所述預(yù)覽圖像那樣至少表示該嘴中的所述對(duì)象或所述目標(biāo)的模型的視圖上顯示這些符號(hào)；

20、-該屏幕在該屏幕上的固定位置中顯示參考標(biāo)記，該參考標(biāo)記優(yōu)選地具有恒定形狀，當(dāng)滿足與所述符號(hào)相關(guān)聯(lián)的預(yù)先確定的獲取條件時(shí)，此類符號(hào)優(yōu)選地具有與該參考標(biāo)記互補(bǔ)的形狀；

21、-該目標(biāo)包括多于2顆、優(yōu)選地多于5顆和/或少于32顆牙齒，并且/或者該組圖像包括在不同的相應(yīng)獲取條件下拍攝的多于2個(gè)、多于5個(gè)、多于10個(gè)和/或少于1,000個(gè)圖像，并且/或者該組符號(hào)包括多于2個(gè)、多于5個(gè)和/或少于100個(gè)符號(hào)；

22、-這些符號(hào)優(yōu)選地各自具有朝向使用者的嘴的中心取向的軸線；

23、-這些符號(hào)優(yōu)選地分布在一個(gè)平面中，優(yōu)選地分布在兩個(gè)平面中，優(yōu)選地分布在三個(gè)平面中，優(yōu)選地以便獲得具有在咬合平面中、在以便獲得相對(duì)于咬合平面的頂視圖的傾斜于咬合平面的平面中以及在以便獲得相對(duì)于咬合平面的底視圖的傾斜于咬合平面的平面中的觀察軸線的圖像；

24、-在用于增強(qiáng)現(xiàn)實(shí)表示的嘴中的對(duì)象的空間中，這些符號(hào)在使用者的嘴外部，使得獲取的圖像是口腔外的。

25、在一個(gè)實(shí)施方案中，符號(hào)是目標(biāo)的表面的一部分，并且預(yù)覽圖像或等效圖像顯示用于使獲取裝置的角度可視化的瞄準(zhǔn)點(diǎn)。以與當(dāng)對(duì)象由將激光束投射到對(duì)象上的槍械瞄準(zhǔn)時(shí)瞄準(zhǔn)點(diǎn)根據(jù)擊發(fā)方向出現(xiàn)在對(duì)象上的方式相同的方式，在目標(biāo)的表面上顯示在光學(xué)軸線的延長線上的瞄準(zhǔn)點(diǎn)。

26、為了正確地對(duì)獲取裝置進(jìn)行取向，使用者因此必須將瞄準(zhǔn)點(diǎn)瞄準(zhǔn)在目標(biāo)的表面上表示的符號(hào)處。

27、在該實(shí)施方案中，符號(hào)可以是點(diǎn)或表面。如果該符號(hào)是表面，則其輪廓根據(jù)其被投影到的目標(biāo)的表面的形狀和距離而變形。該符號(hào)可有利地用于指示獲取裝置距目標(biāo)的距離和/或獲取裝置圍繞其光學(xué)軸線的取向。

28、瞄準(zhǔn)點(diǎn)的形狀不受限制。

29、具體地，符號(hào)可以是附著到牙齒的縮略圖，即小圖像，諸如視頻游戲中的星星。

30、該組符號(hào)優(yōu)選地限定用于以下項(xiàng)的獲取的獲取條件

31、-面向使用者拍攝的至少一個(gè)圖像和/或朝向使用者的右側(cè)拍攝的至少一個(gè)圖像和/或朝向使用者的左側(cè)拍攝的至少一個(gè)圖像，優(yōu)選地面向使用者拍攝的至少一個(gè)圖像和朝向使用者的右側(cè)拍攝的至少一個(gè)圖像和朝向使用者的左側(cè)拍攝的至少一個(gè)圖像；以及/或者

32、-一方面，面向使用者拍攝的至少一個(gè)圖像，和另一方面，從使用者上方拍攝的至少一個(gè)圖像和/或從使用者下方拍攝的至少一個(gè)圖像；優(yōu)選地，面向使用者拍攝的至少一個(gè)圖像和從使用者上方拍攝的至少一個(gè)圖像和從使用者下方拍攝的至少一個(gè)圖像；以及/或者

33、-在嘴張開時(shí)拍攝的至少一個(gè)圖像和/或在嘴閉合時(shí)拍攝的至少一個(gè)圖像。

34、本發(fā)明還涉及一種用于實(shí)現(xiàn)根據(jù)本發(fā)明的第一主要方面的方法的設(shè)備，該設(shè)備包括

35、-圖像獲取裝置，該圖像獲取裝置優(yōu)選地為移動(dòng)電話的形式；

36、-計(jì)算機(jī)，該計(jì)算機(jī)優(yōu)選地集成到該獲取裝置中或與該獲取裝置通信，該計(jì)算機(jī)具有包括程序代碼指令的計(jì)算機(jī)程序，所述程序代碼指令用于

37、-在步驟1)中，在嘴中的對(duì)象的空間增強(qiáng)現(xiàn)實(shí)中布置并且在屏幕上、優(yōu)選地在獲取裝置的屏幕上向使用者呈現(xiàn)一個(gè)或多個(gè)多維符號(hào)，確定符號(hào)的形狀和/或位置以便向使用者指示適于獲取此類圖像的至少一個(gè)預(yù)先確定的獲取條件；

38、-優(yōu)選地，在步驟2)中，僅在滿足與符號(hào)相關(guān)聯(lián)的所述至少一個(gè)預(yù)先確定的獲取條件的情況下授權(quán)利用該獲取裝置對(duì)此類圖像的獲取，以及/或者僅在滿足所述至少一個(gè)預(yù)先確定的獲取條件的情況下命令該獲取裝置獲取此類圖像，以及/或者更新所獲取的圖像對(duì)該目標(biāo)的覆蓋水平，并且優(yōu)選地將該覆蓋水平與覆蓋閾值進(jìn)行比較，并且優(yōu)選地在該屏幕上呈現(xiàn)關(guān)于該覆蓋水平和/

39、或關(guān)于該覆蓋閾值與該覆蓋水平之間的差異的信息。

40、該獲取裝置優(yōu)選地是

41、-移動(dòng)電話，并且所述屏幕被集成到該移動(dòng)電話中，或者

42、-包括保持器的設(shè)備，該保持器配備有相機(jī)并且被設(shè)計(jì)成在圖像獲取期間抵靠使用者，具體地抵靠使用者的牙齒和/或牙齦，該屏幕被集成到該保持器中或者與該保持器相距一定距離。

43、根據(jù)本發(fā)明的第二主要方面，該方法旨在以大于或等于覆蓋閾值的覆蓋率來快速覆蓋目標(biāo)，并且該方法包括以下步驟：

44、a)優(yōu)選地由使用者使用圖像獲取裝置(優(yōu)選地為移動(dòng)電話)獲取至少一個(gè)圖像；

45、b)根據(jù)在步驟a)中獲取的所述至少一個(gè)圖像來更新目標(biāo)覆蓋水平；

46、c)如果覆蓋水平低于覆蓋閾值，

47、-確定引導(dǎo)信息，該引導(dǎo)信息引導(dǎo)人們朝向合適的獲取條件，以用于利用該圖像獲取裝置來獲取增加覆蓋水平的附加圖像；

48、-向使用者呈現(xiàn)引導(dǎo)信息，并且優(yōu)選地呈現(xiàn)關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息，即使得使用者能夠知道所述一組圖像的獲取的進(jìn)展的信息，以及，

49、-由使用者根據(jù)引導(dǎo)信息修改獲取裝置的位置和/或取向，并且優(yōu)選地實(shí)時(shí)地重復(fù)步驟a)，獲取的圖像優(yōu)選地從使用者在獲取裝置的屏幕上觀看的視頻中提取。

50、如稍后在描述中將更詳細(xì)地看到的，根據(jù)實(shí)時(shí)地更新的覆蓋率對(duì)引導(dǎo)信息的確定有利地便于對(duì)使用者的嘴的圖像的獲取，并且具體地對(duì)牙科圖像的獲取。具體地，使用者接收實(shí)時(shí)引導(dǎo)信息，這使得獲取更高效，尤其是當(dāng)選擇引導(dǎo)信息以引導(dǎo)人們朝向最佳獲取條件時(shí)，該最佳獲取條件使得能夠獲取使覆蓋水平的增加最大化的附加圖像。

51、在指導(dǎo)下，使用者不需要訪問牙科護(hù)理專業(yè)人員，或者使用者不需要由牙科護(hù)理專業(yè)人員監(jiān)督來獲取圖像?？捎欣卦诰_獲取條件下獲取圖像，而無需任何特殊訓(xùn)練。具體地，這些圖像可由使用者自己或由其親屬中的一個(gè)親屬獲取。值得注意的是，該方法便于由父母獲取孩子的牙弓的圖像。

52、對(duì)關(guān)于覆蓋水平的信息的呈現(xiàn)也是特別有利的，因?yàn)槠溆行У貏褡枋褂谜咴讷@取完成之前中斷獲取。這使得獲取特別令人愉快，因?yàn)槭褂谜呖偸侵浪讷@取整組圖像之前還必須做些什么。獲取甚至可以是有趣的。

53、根據(jù)本發(fā)明的第二主要方面的方法也可特別地包括以下任選的特征中的一個(gè)或多個(gè)特征：

54、-顯示在屏幕上，優(yōu)選地顯示在獲取裝置的屏幕上，該獲取裝置優(yōu)選地為移動(dòng)電話：

55、-對(duì)目標(biāo)的表示，

56、-對(duì)由在步驟a)或更早的步驟a)中獲取的一個(gè)或多個(gè)圖像覆蓋的目標(biāo)的部分的表示，以及

57、-優(yōu)選地，對(duì)當(dāng)嘴中的對(duì)象包括除目標(biāo)之外的使用者的嘴的部分時(shí)嘴中的對(duì)象的表示；

58、-引導(dǎo)信息和/或關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息在增強(qiáng)現(xiàn)實(shí)中呈現(xiàn)在預(yù)覽圖像中和/或等效于預(yù)覽圖像的圖像中，該預(yù)覽圖像顯示在獲取裝置的屏幕上并且表示由獲取裝置觀察到的真實(shí)場景，該等效于預(yù)覽圖像的圖像表示理論場景，該理論場景以與所述真實(shí)場景中相同的布置象征性地或真實(shí)地表示所述真實(shí)場景的所有或一些元素；

59、-等效圖像優(yōu)選地包括所述真實(shí)場景的至少一部分的模型的視圖，模型是數(shù)字三維模型；

60、-在空間參考幀中呈現(xiàn)關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息，以便構(gòu)成所謂的引導(dǎo)信息；

61、-在對(duì)目標(biāo)的表示上呈現(xiàn)關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息，

62、-對(duì)所述表示的區(qū)域應(yīng)用外觀，優(yōu)選地顏色或紋理，該外觀根據(jù)所述區(qū)域是否被至少一個(gè)獲取的圖像覆蓋而不同，或者

63、-對(duì)表示所述目標(biāo)的預(yù)先確定的部分(例如牙齒)的符號(hào)應(yīng)用外觀，所述外觀根據(jù)所述部分是否被覆蓋而不同，優(yōu)選地通過使符號(hào)在獲取裝置的屏幕上出現(xiàn)或消失，或者

64、-通過對(duì)指示至少一個(gè)獲取條件的符號(hào)應(yīng)用外觀，所述外觀根據(jù)是否已經(jīng)利用所述至少一個(gè)獲取條件獲取圖像而不同；

65、-目標(biāo)包括一組牙齒和/或軟組織，優(yōu)選地在使用者的移動(dòng)電話屏幕上實(shí)時(shí)地更新預(yù)覽圖像或等效圖像，通過符號(hào)或通過應(yīng)用使得被覆蓋的牙齒能夠與未被覆蓋的牙齒區(qū)分開的外觀來特別地標(biāo)記被覆蓋的牙齒，當(dāng)牙齒的待覆蓋的初始表面被覆蓋時(shí)牙齒被“覆蓋”；

66、-在增強(qiáng)現(xiàn)實(shí)中，多個(gè)符號(hào)被錨定在由獲取裝置觀察到的真實(shí)場景中，以便出現(xiàn)在預(yù)覽圖像上或等效圖像上，每個(gè)符號(hào)例如能夠被錨定在使用者的相應(yīng)牙齒上或被錨定以便向使用者指示用于獲取附加圖像的合適的獲取條件；

67、-這些符號(hào)是根據(jù)本發(fā)明的第一主要方面的三維符號(hào)；

68、-在步驟a)中，使用者利用獲取裝置瞄準(zhǔn)此類符號(hào)，優(yōu)選地是二維或三維符號(hào)，并且

69、當(dāng)?shù)竭_(dá)目標(biāo)符號(hào)時(shí)，優(yōu)選地當(dāng)其至少部分地疊加在顯示在獲取裝置的屏幕上的固定參考標(biāo)記上時(shí)，優(yōu)選地自動(dòng)地獲取至少一個(gè)圖像，即沒有特定的使用者干預(yù)；

70、-在增強(qiáng)現(xiàn)實(shí)中，符號(hào)被錨定在預(yù)覽圖像上或在等效圖像上的相鄰或非相鄰牙齒上，例如符號(hào)可沿著牙弓規(guī)則地錨定，例如每2顆或3顆牙齒錨定；

71、-符號(hào)被錨定和/或成形，以便任選地與此類參考標(biāo)記協(xié)作地限定預(yù)先確定的獲取條件，優(yōu)選地限定獲取裝置距目標(biāo)的距離和/或獲取裝置圍繞其光學(xué)軸線的取向和/或所述光學(xué)軸線相對(duì)于目標(biāo)的角度；

72、-在步驟b)中，分析在步驟a)中獲取的所述至少一個(gè)圖像以便優(yōu)選地借助于神經(jīng)網(wǎng)絡(luò)來標(biāo)識(shí)所述圖像上的對(duì)目標(biāo)的表示，然后優(yōu)選地通過利用與所述目標(biāo)相關(guān)聯(lián)的顏色對(duì)其進(jìn)行著色來標(biāo)記預(yù)覽圖像中的對(duì)應(yīng)區(qū)域；

73、-在步驟a)中，在圖像獲取之前或之后，評(píng)估獲取或預(yù)覽的圖像的質(zhì)量，該獲取或預(yù)覽的圖像分別顯示在獲取裝置的屏幕上，優(yōu)選地評(píng)估至少圖像的清晰度和/或?qū)Ρ榷群?或顏色平衡，以及/或者獲取裝置距目標(biāo)的距離和/或獲取裝置圍繞其光學(xué)軸線的取向和/或所述光學(xué)軸線相對(duì)于目標(biāo)的角度，并且僅在該質(zhì)量超過預(yù)先確定的質(zhì)量閾值的情況下獲取圖像和/或更新覆蓋率；

74、-在步驟c)中，

75、測試多個(gè)合適的獲取條件，以用于利用圖像獲取裝置來獲取增加覆蓋水平的附加圖像，然后以使得引導(dǎo)信息引導(dǎo)人們朝向最佳獲取條件的方式確定引導(dǎo)信息，該最佳獲取條件是適于利用圖像獲取裝置來獲取最大程度地增加覆蓋水平的附加圖像的那些條件；

76、-在步驟b)中，

77、-每個(gè)獲取的圖像被提交到

78、被訓(xùn)練成檢測圖像中的目標(biāo)表示的至少一個(gè)第一神經(jīng)網(wǎng)絡(luò)和/或適于檢測圖像中的目標(biāo)表示的圖像處理算法，以及

79、第二神經(jīng)網(wǎng)絡(luò)，該第二神經(jīng)網(wǎng)絡(luò)被訓(xùn)練成在圖像獲取期間確定獲取裝置的位置和取向，并且因此確定獲取裝置的光學(xué)軸線(即獲取裝置的相機(jī))相對(duì)于目標(biāo)的方向以及獲取裝置距目標(biāo)的距離，然后

80、-所述目標(biāo)表示沿著投影方向被投影到嘴中的目標(biāo)或?qū)ο蟮哪Ｐ突颉皡⒖寄Ｐ汀鄙?，該投影方向相?duì)于所述模型被取向?yàn)楣鈱W(xué)軸線相對(duì)于目標(biāo)的方向，當(dāng)獲取裝置相對(duì)于目標(biāo)時(shí)，所述目標(biāo)表示相對(duì)于參考模型虛擬地(即理論地)定位，然后

81、-根據(jù)由所述投影覆蓋的參考模型的面積以及由在任何先前步驟b)中產(chǎn)生的所述投影來確定覆蓋率；

82、-在步驟b)中，

83、-每個(gè)獲取的圖像被提交到

84、第一神經(jīng)網(wǎng)絡(luò)，該第一神經(jīng)網(wǎng)絡(luò)被訓(xùn)練以檢測對(duì)圖像中的目標(biāo)的或所述目標(biāo)的顯著點(diǎn)的表示，以及

85、第二神經(jīng)網(wǎng)絡(luò)，該第二神經(jīng)網(wǎng)絡(luò)被訓(xùn)練以從對(duì)圖像中的目標(biāo)的或所述顯著點(diǎn)的表示中識(shí)別參考圖像的對(duì)應(yīng)區(qū)域，然后-根據(jù)由所述對(duì)應(yīng)區(qū)域和在任何先前步驟b)中確定的所述對(duì)應(yīng)區(qū)域覆蓋的參考圖像的面積來確定覆蓋率；

86、-獲取裝置是

87、-具有屏幕的移動(dòng)電話，優(yōu)選地是使用者自己的移動(dòng)電話，或者

88、-一種設(shè)備，該設(shè)備包括

89、-保持器，該保持器配備有相機(jī)并且在一組圖像的獲取期間抵靠使用者，優(yōu)選地允許嘴被打開和閉合，優(yōu)選地被部分地引入到使用者的嘴中，優(yōu)選地抵靠牙齦和/或牙齒，和

90、-屏幕，該屏幕顯示由相機(jī)觀察到的場景，所述屏幕被集成在保持器中或與保持器相距一定距離；

91、-在步驟a)中，使用者在所述移動(dòng)電話的屏幕上實(shí)時(shí)地可視化由移動(dòng)電話觀察到的實(shí)際場景或?qū)?yīng)的理論場景，當(dāng)移動(dòng)電話在預(yù)先確定的獲取條件下、優(yōu)選地在步驟a)至c)的前一循環(huán)的步驟c)中確定的獲取條件下觀察目標(biāo)時(shí)，優(yōu)選地自動(dòng)地獲取圖像；

92、-在步驟c)中，優(yōu)選地在獲取裝置的屏幕上向使用者呈現(xiàn)計(jì)數(shù)器或計(jì)量器，優(yōu)選地為進(jìn)度條的形式，提供關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息，并且/或者

93、-當(dāng)達(dá)到覆蓋閾值時(shí)，優(yōu)選地在獲取裝置的屏幕上向使用者呈現(xiàn)作為根據(jù)達(dá)到覆蓋閾值所花費(fèi)的時(shí)間和/或獲取的圖像的質(zhì)量和/或獲取的圖像的有用性計(jì)算的分?jǐn)?shù)，并且/或者優(yōu)選地在獲取裝置的屏幕上向使用者呈現(xiàn)根據(jù)所述分?jǐn)?shù)確定的排序。

94、在第一主要實(shí)施方案中，引導(dǎo)信息包括在增強(qiáng)現(xiàn)實(shí)中根據(jù)待獲取的相應(yīng)圖像而定位的一組符號(hào)。待獲取的一組圖像包括針對(duì)每個(gè)符號(hào)的一個(gè)圖像。在步驟a)中，使用者必須在其移動(dòng)電話指向符號(hào)并選擇它們，如在視頻游戲中那樣。例如，在增強(qiáng)現(xiàn)實(shí)中，每個(gè)符號(hào)可被錨定在相應(yīng)牙齒上，目標(biāo)由所述牙齒和/或軟組織構(gòu)成。

95、根據(jù)期望的獲取條件，這些符號(hào)可被錨定在例如非相鄰牙齒上，例如每兩顆或三顆牙齒。

96、參考標(biāo)記可被描繪在使用者的移動(dòng)電話的屏幕上。當(dāng)參考標(biāo)記與符號(hào)重疊時(shí)，選擇后者；然后獲取圖像，優(yōu)選地自動(dòng)地獲取圖像，并且標(biāo)記符號(hào)或使符號(hào)消失。符號(hào)的標(biāo)記或消失提供關(guān)于覆蓋率的信息。其也提供引導(dǎo)信息，因?yàn)槭褂谜呖扇菀椎匕l(fā)現(xiàn)在移動(dòng)電話屏幕上顯示的預(yù)覽圖像上還沒有選擇的符號(hào)。他可相應(yīng)地布置移動(dòng)電話。一旦已經(jīng)選擇所有符號(hào)，該組圖像就覆蓋所有目標(biāo)牙齒和/或軟組織。例如，覆蓋水平可以是達(dá)到的符號(hào)數(shù)量與開始捕獲之前的初始符號(hào)數(shù)量的比率。

97、在該第一主要實(shí)施方案的一個(gè)變型中，符號(hào)被錨定和/或成形以便與參考標(biāo)記協(xié)作地限定預(yù)先確定的獲取條件，優(yōu)選地限定獲取裝置距目標(biāo)的距離和/或獲取裝置圍繞其光學(xué)軸線的取向和/或所述光學(xué)軸線相對(duì)于目標(biāo)的角度。

98、在一個(gè)實(shí)施方案中，任選的參考標(biāo)記被成形為同時(shí)疊加在多個(gè)符號(hào)(例如兩個(gè)或三個(gè)符號(hào))上。例如，其包括多個(gè)基本參考標(biāo)記，諸如圓圈，該多個(gè)基本參考標(biāo)記必須同時(shí)疊加在多個(gè)相應(yīng)符號(hào)上。有利地，該疊加對(duì)應(yīng)于獲取裝置與目標(biāo)的預(yù)先確定的角度和距離。優(yōu)選地，所述多個(gè)符號(hào)中的符號(hào)具有特定于多個(gè)符號(hào)的外觀，例如顏色。例如，使用者首先旨在將三個(gè)綠色符號(hào)放置在參考標(biāo)記的圓圈中，然后將三個(gè)紅色符號(hào)放置在參考標(biāo)記的圓圈中，等等。

99、同樣，為了設(shè)定獲取裝置與目標(biāo)的預(yù)先確定的距離，參考標(biāo)記和符號(hào)可具有兼容的尺寸，使得當(dāng)使用者精確地疊加參考標(biāo)記和符號(hào)時(shí)，獲取裝置和目標(biāo)分開所述距離。

100、多個(gè)符號(hào)中的符號(hào)和基本參考標(biāo)記優(yōu)選地彼此不同，例如它們具有不同的數(shù)字。例如，使用者旨在將編號(hào)為1、2和3的三個(gè)符號(hào)分別放置在參考標(biāo)記上的編號(hào)為1、2和3的圓圈中。有利地，如果基本參考標(biāo)記未對(duì)準(zhǔn)，則這種疊加可設(shè)定獲取裝置圍繞其光學(xué)軸線的預(yù)先確定的取向。

101、等效地，為了設(shè)定取向，參考標(biāo)記和符號(hào)可具有非旋轉(zhuǎn)性的形狀，例如矩形形狀，優(yōu)選地沒有對(duì)稱性的形狀，使得如果獲取裝置圍繞光學(xué)軸線以一個(gè)或多個(gè)預(yù)先確定的取向進(jìn)行取向，則使用者可僅以相同的取向疊加參考標(biāo)記和符號(hào)。

102、具體地，當(dāng)符號(hào)用于在獲取裝置上設(shè)定角度、距離或取向時(shí)，它們不一定與特定牙齒相關(guān)聯(lián)，特別是與待覆蓋的牙齒相關(guān)聯(lián)。

103、在第二主要實(shí)施方案中，目標(biāo)(例如一組牙齒)的三維模型的視圖被顯示在移動(dòng)電話屏幕上。在一個(gè)實(shí)施方案中，使用者可使用常規(guī)模型操縱軟件來修改該視圖，即改變模型的觀察點(diǎn)。在優(yōu)選的實(shí)施方案中，根據(jù)由移動(dòng)電話對(duì)目標(biāo)的觀察條件、優(yōu)選地遵循增強(qiáng)現(xiàn)實(shí)的原理來修改視圖。然后，該模板可被顯示、可能是透明地顯示，疊加在預(yù)覽圖像上，或者代替預(yù)覽圖像。當(dāng)預(yù)覽圖像覆蓋目標(biāo)時(shí)，優(yōu)選地自動(dòng)地獲取圖像。在獲取的圖像上示出的目標(biāo)的區(qū)域被標(biāo)記在模型上，優(yōu)選地被著色，例如綠色。仍待覆蓋的目標(biāo)的區(qū)域被不同地示出，例如著紅色。使用者因此可立即看到覆蓋率，例如綠色區(qū)域與總的紅色和綠色區(qū)域之間的比率。未標(biāo)記的區(qū)域引導(dǎo)他朝向?qū)⒃黾痈采w速率的獲取條件。

104、在第二主要實(shí)施方案的變型中，參考模型視圖由參考圖像(例如照片，例如全景照片)代替。

105、優(yōu)選地，實(shí)現(xiàn)根據(jù)本發(fā)明的方法以獲取

106、-面向使用者拍攝的至少一個(gè)圖像和/或朝向使用者的右側(cè)拍攝的至少一個(gè)圖像和/或朝向使用者的左側(cè)拍攝的至少一個(gè)圖像，優(yōu)選地面向使用者拍攝的至少一個(gè)圖像和朝向使用者的右側(cè)拍攝的至少一個(gè)圖像和朝向使用者的左側(cè)拍攝的至少一個(gè)圖像；以及/或者

107、-一方面，面向使用者拍攝的至少一個(gè)圖像，和另一方面，從使用者上方拍攝的至少一個(gè)圖像和/或從使用者下方拍攝的至少一個(gè)圖像；優(yōu)選地，面向使用者拍攝的至少一個(gè)圖像和從使用者上方拍攝的至少一個(gè)圖像和從使用者下方拍攝的至少一個(gè)圖像；以及/或者

108、-在嘴張開時(shí)拍攝的至少一個(gè)圖像和/或在嘴閉合時(shí)拍攝的至少一個(gè)圖像。

109、本發(fā)明還涉及用于一種實(shí)現(xiàn)根據(jù)本發(fā)明的方法的設(shè)備，該設(shè)備包括：

110、-用于獲取一組圖像、具體地用于實(shí)施步驟a)的圖像獲取裝置、配備相機(jī)的計(jì)算機(jī)，具體地移動(dòng)電話或平板電腦，優(yōu)選地移動(dòng)電話、或配備相機(jī)的鏡子；

111、-計(jì)算機(jī)，該計(jì)算機(jī)可以是獲取裝置，優(yōu)選地集成在移動(dòng)電話中或與移動(dòng)電話通信，該計(jì)算機(jī)具有包括程序代碼指令的計(jì)算機(jī)程序，該程序代碼指令用于

112、根據(jù)本發(fā)明的第一主要方面，呈現(xiàn)在增強(qiáng)現(xiàn)實(shí)中提供引導(dǎo)信息的三維符號(hào)，以及/或者

113、根據(jù)本發(fā)明的第二主要方面

114、-在步驟b)中更新覆蓋水平，

115、-將覆蓋水平與覆蓋閾值進(jìn)行比較，以及

116、-如果覆蓋水平小于覆蓋閾值，則在步驟c)中確定引導(dǎo)信息并且向使用者呈現(xiàn)該引導(dǎo)信息以及優(yōu)選地關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息；

117、-優(yōu)選地用于顯示引導(dǎo)信息以及根據(jù)本發(fā)明的第二主要方面，關(guān)于覆蓋水平和/或關(guān)于覆蓋閾值與覆蓋水平之間的差異的信息的屏幕，優(yōu)選地計(jì)算機(jī)屏幕。

118、在優(yōu)選的實(shí)施方案中，計(jì)算機(jī)程序由圖像獲取裝置執(zhí)行，由此計(jì)算機(jī)程序可被集成到專用軟件、具體地用于移動(dòng)電話或平板電腦的專用軟件中。

119、屏幕可被集成到圖像獲取裝置中。優(yōu)選地，屏幕是移動(dòng)電話或平板電腦的屏幕。

120、優(yōu)選地，屏幕和計(jì)算機(jī)程序被集成到圖像獲取裝置中。

121、然后，在沒有第三方的介入的情況下，并且具體地在沒有牙科護(hù)理專業(yè)人員的介入的情況下，使用者可容易地借助于簡單的移動(dòng)電話或平板電腦以良好的質(zhì)量并將整個(gè)目標(biāo)覆蓋在一起獲取目標(biāo)的圖像。

122、該設(shè)備還可包括通信構(gòu)件，具體地用于發(fā)送獲取的圖像和/或接收模型或參考圖像的通信構(gòu)件。

123、當(dāng)然，只要它們不是技術(shù)上不兼容的，本發(fā)明的各個(gè)主要方面的必要或任選特征可被組合。

124、定義

125、“使用者”是針對(duì)其實(shí)現(xiàn)根據(jù)本發(fā)明的方法的人。

126、術(shù)語“牙科護(hù)理專業(yè)人員”是指有資格提供牙科護(hù)理的任何人，包括正牙醫(yī)生和牙醫(yī)。

127、“牙弓”(arch或dental?arch)是指牙弓的全部或部分，優(yōu)選地包括至少2顆、優(yōu)選地至少3顆、更優(yōu)選地至少4顆牙齒。根據(jù)fdi世界牙科聯(lián)盟的國際慣例，牙弓中的每個(gè)牙齒具有預(yù)先確定的編號(hào)。

128、“軟組織”是嘴的那些被皮膚覆蓋的部分，諸如牙齦、腭或舌頭，與牙齒或牙箍相對(duì)。

129、軟組織是骨骼外支撐組織，諸如脂肪組織、肌腱、韌帶、筋膜、皮膚等(軟結(jié)締組織)和肌肉、血管和神經(jīng)組織(非結(jié)締組織)。

130、“牽開器”是用于卷起嘴唇或更一般地用于將嘴唇移動(dòng)遠(yuǎn)離牙齒的設(shè)備。該牽開器優(yōu)選地包括圍繞牽開器開口延伸并且旨在插入牙齒與嘴唇之間的上凸緣和下凸緣以及/或者右凸緣和左凸緣。在操作位置中，使用者的嘴唇擱置在這些邊緣上，使得牙齒通過牽開器開口可見。因此，牽開器使得可在不受嘴唇阻礙的情況下觀察牙齒。然而，牙齒并不擱置在牽開器上，使得通過相對(duì)于牽開器轉(zhuǎn)動(dòng)頭部，使用者可改變通過牽開器開口可見的牙齒。使用者還可改變他們的牙弓之間的間距。特別地，牽開器不壓在牙齒上以使上下頜擴(kuò)張分開，而是壓在嘴唇上。在一個(gè)實(shí)施方案中，牽開器被構(gòu)造成將上唇和下唇彈性地?cái)U(kuò)張分開，以暴露通過牽開器開口可見的牙齒。在一個(gè)實(shí)施方案中，牽開器被構(gòu)造成使得頂部邊緣與底部邊緣之間和/或右邊緣與左邊緣之間的距離是恒定的。牽開器描述于例如pct/ep2015/074896、us?6,923,761或us2004/0209225中。

131、“計(jì)算機(jī)”是指計(jì)算機(jī)處理單元，其包括一組具有計(jì)算機(jī)處理能力的若干機(jī)器。具體地，該單元可被集成到移動(dòng)電話中、具體地使用者的移動(dòng)電話中，或者可以是pc類型的計(jì)算機(jī)或服務(wù)器，例如距離使用者較遠(yuǎn)的服務(wù)器，例如是“云”或位于牙齒護(hù)理專業(yè)人員的場所的計(jì)算機(jī)。然后，移動(dòng)電話和計(jì)算機(jī)具有用以相互通信的構(gòu)件。

132、通常，計(jì)算機(jī)包括處理器、存儲(chǔ)器、人機(jī)界面(通常包括屏幕)以及經(jīng)由互聯(lián)網(wǎng)、wifi、或電話網(wǎng)絡(luò)的通信模塊。被配置為實(shí)現(xiàn)本發(fā)明的方法的軟件被加載到計(jì)算機(jī)的存儲(chǔ)器中。計(jì)算機(jī)還可連接到打印機(jī)。

133、根據(jù)本發(fā)明的方法(除了由圖像獲取裝置實(shí)施的獲取操作和由使用者實(shí)施的移動(dòng)圖像獲取裝置的操作之外)由計(jì)算機(jī)實(shí)現(xiàn)，優(yōu)選地僅由計(jì)算機(jī)實(shí)現(xiàn)。

134、“真實(shí)場景”由獲取裝置同時(shí)觀察到的一組元素組成。由獲取裝置觀察到的實(shí)際場景的視圖通常以“預(yù)覽圖像”的形式顯示在獲取裝置的屏幕上，該“預(yù)覽圖像”實(shí)時(shí)地連續(xù)地更新，如電影。

135、預(yù)覽圖像可由象征性地或真實(shí)地表示理論場景的等效圖像代替或補(bǔ)充，該理論場景以與真實(shí)場景中相同的布置表示真實(shí)場景的所有或一些元素，即以使得表示的元素相對(duì)于彼此如真實(shí)場景中那樣布置的方式。等效圖像是在與由獲取裝置用于觀察真實(shí)場景并獲得預(yù)覽圖像的觀察條件相同的觀察條件下的理論場景的視圖。因此，等效圖像上的物理元素表示的輪廓能夠疊加在預(yù)覽圖像上的所述物理元素的輪廓上。選擇等效圖像以盡可能接近地匹配預(yù)覽圖像。

136、預(yù)覽圖像優(yōu)選地顯示在獲取裝置的屏幕上，但是在一個(gè)實(shí)施方案中，等效圖像代替屏幕上的預(yù)覽圖像。然而，在給定時(shí)間利用獲取裝置獲取圖像包括在預(yù)覽圖像被顯示時(shí)記錄預(yù)覽圖像，或者在當(dāng)預(yù)覽圖像被等效圖像代替時(shí)將被顯示時(shí)記錄預(yù)覽圖像。

137、增強(qiáng)現(xiàn)實(shí)是一種通信形式，其中視覺元素被添加到圖像以真實(shí)地或象征性地表示場景。

138、具體地，視覺元素可被添加到表示由獲取裝置觀察到的實(shí)際場景的預(yù)覽圖像，或者添加到等效圖像。

139、在優(yōu)選的實(shí)施方案中，使用增強(qiáng)現(xiàn)實(shí)，使得當(dāng)在步驟a)中獲取表示目標(biāo)的圖像時(shí)，屏幕實(shí)時(shí)地、真實(shí)地或象征性地表示如由圖像獲取裝置觀察到的目標(biāo)。

140、在增強(qiáng)現(xiàn)實(shí)中，當(dāng)獲取裝置相對(duì)于真實(shí)場景移動(dòng)(并且因此修改由獲取裝置顯示的圖像)時(shí)，在符號(hào)在真實(shí)或理論場景中表現(xiàn)為固定的情況下，符號(hào)被“錨定”。

141、在增強(qiáng)現(xiàn)實(shí)中出現(xiàn)的符號(hào)可以是點(diǎn)、是二維的，即在嘴中的對(duì)象的空間中的平面中延伸、或者優(yōu)選地是三維的，即虛擬地在嘴中的對(duì)象的空間的所有三個(gè)維度中延伸。如何表示二維或三維符號(hào)取決于在其下該二維或三維符號(hào)被虛擬觀察的條件。例如，該符號(hào)的大小取決于觀察距離。優(yōu)選地，符號(hào)不是球形的，使得其表示也提供關(guān)于獲取裝置圍繞其光學(xué)軸線的角度和/或取向的信息。提供引導(dǎo)信息的符號(hào)優(yōu)選地顯示在預(yù)覽圖像上或等效物上。

142、術(shù)語“模型”是指三維數(shù)字模型。模型由一組體素構(gòu)成。

143、“牙齒模型”是牙齒的三維數(shù)字模型。牙弓模型可被切割以定義在牙弓模型中表示的牙齒中的至少一些(優(yōu)選地全部)的牙齒模型。因此，牙齒模型是牙弓模型內(nèi)的模型。

144、“圖像”是指二維圖像，諸如照片或視頻幀。圖像由像素構(gòu)成?！耙曨l”被認(rèn)為是照片的集合。圖像中的像素?cái)?shù)量優(yōu)選地大于100、1,000、10,000或100,000或1,000,000以及/或者小于1,000,000,000。

145、圖像真實(shí)地或以其他方式表示場景。

146、具體地，圖像可表示由原始掩模的投影(優(yōu)選地由獲取裝置)產(chǎn)生的變形的掩模。原始掩?？梢允抢缤ǔ＞鶆蚍植嫉木W(wǎng)格或一組點(diǎn)。投影可以是可見光或不可見光的形式，優(yōu)選地是紅外光的形式。由原始掩模的投影產(chǎn)生的原始掩模的一部分(例如點(diǎn))的變形攜帶關(guān)于原始掩模的該部分被投影到其上的場景的區(qū)域與圖像獲取裝置之間的距離的信息。其也可提供關(guān)于所述區(qū)域在空間中的取向的信息。由蘋果公司的face?id軟件使用的圖像是此類圖像的示例，也稱為“3d圖像”。

147、根據(jù)本發(fā)明獲取的圖像優(yōu)選地是照片，該照片可能從視頻中提取，真實(shí)地表示觀察到的場景，即如人眼所感知的那樣。該照片可表示失真的掩模，具體地疊加在真實(shí)地描繪場景的圖像上。該照片可僅表示失真的掩模。當(dāng)原始掩模被投影到由獲取裝置觀察到的真實(shí)場景上時(shí)，表示變形的掩模的圖像也被認(rèn)為是等效于預(yù)覽圖像的圖像。

148、兩個(gè)對(duì)象之間(例如牙弓的兩個(gè)圖像之間)的“匹配”或“擬合”是它們之間的差異或“距離”的量度。當(dāng)該差異最小時(shí)，具體地當(dāng)兩個(gè)圖像以基本上相同的方式(即以使得這兩個(gè)圖像上的元素表示在對(duì)準(zhǔn)中基本上能夠疊加的方式)表示相同元素時(shí)，實(shí)現(xiàn)“最佳擬合”。

149、圖像的“獲取條件”指定該圖像的圖像獲取裝置相對(duì)于目標(biāo)的空間位置和/或取向，并且優(yōu)選地指定該圖像獲取裝置的校準(zhǔn)(具體地孔徑、曝光時(shí)間、焦距和靈敏度)。符號(hào)可指示適于獲取裝置的單個(gè)位置和取向的獲取條件。符號(hào)可另選地指示與獲取裝置的多個(gè)位置和/或取向?qū)?yīng)的獲取條件，以引導(dǎo)朝向若干可能的圖像。例如，該符號(hào)引導(dǎo)可朝向預(yù)先確定的觀察軸線，而不沿著該軸線引導(dǎo)朝向特定位置，從而使得使用者能夠在沿著該軸線的各個(gè)位置處自由地獲取沿著該軸線的一個(gè)或多個(gè)圖像，例如如圖3的實(shí)施方案中那樣。該符號(hào)可引導(dǎo)到空間中的預(yù)先確定的位置，而不引導(dǎo)到獲取裝置圍繞其光學(xué)軸線的特定取向，例如如圖5所示的實(shí)施方案中那樣。

150、圖像獲取裝置包括用于獲取圖像(諸如照片或影片)的相機(jī)。當(dāng)參考由獲取裝置對(duì)場景的觀察時(shí)，參考由獲取裝置的相機(jī)對(duì)場景的觀察。在參考獲取裝置的光學(xué)軸線的情況下，參考獲取裝置的相機(jī)的光學(xué)軸線，等等。

151、“角度”是獲取裝置的光學(xué)軸線相對(duì)于目標(biāo)的取向。

152、兩條直線之間的角度是分別在垂直于這兩條直線的兩個(gè)平面之間形成的角度。

153、除非另有指示，否則“包括(including)”或“包括(comprising)”或“具有”應(yīng)以非限制性方式解釋。