用于hmd的最優(yōu)眼部擬合的系統(tǒng)的制作方法
【專(zhuān)利說(shuō)明】用于HM叫勺最優(yōu)眼部擬合的系統(tǒng)
[000。 背景
[0002] 混合現(xiàn)實(shí)是允許全息的或虛擬的圖像與現(xiàn)實(shí)世界物理環(huán)境混合的技術(shù)。用戶(hù)可W 佩戴透光的、頭戴式的、混合現(xiàn)實(shí)顯示設(shè)備來(lái)查看在用戶(hù)的視場(chǎng)里顯示的現(xiàn)實(shí)對(duì)象和虛擬 對(duì)象的混合圖像。為了促進(jìn)有Ξ維深度的幻象，虛擬對(duì)象的圖像被頭戴式顯示設(shè)備獨(dú)立地 顯示到左眼和右眼，其中在各圖像間有小的雙目差異。該雙目差異被大腦解釋為指示虛擬 對(duì)象在混合現(xiàn)實(shí)環(huán)境中的深度。
[0003] 期望精確地控制頭戴式顯示設(shè)備在用戶(hù)頭部上的位置、W及所顯示圖像的雙目差 異。即使位置或雙目差異中的小偏移也會(huì)產(chǎn)生模糊的圖像、不舒適、W及Ξ維效應(yīng)的損失。
[0004] 概述
[0005] 本技術(shù)的各實(shí)施例設(shè)及用于傳感頭戴式顯示設(shè)備相對(duì)于佩戴者雙眼的位置，W及 提供反饋來(lái)調(diào)節(jié)頭戴式顯示設(shè)備的位置W便相對(duì)于佩戴者雙眼最優(yōu)居中的系統(tǒng)和方法。在 各實(shí)施例中，頭戴式顯示設(shè)備包括多個(gè)顯示單元W及眼部定位和跟蹤組件。顯示單元W適 當(dāng)?shù)哪跨R差異在左眼和右眼上向光學(xué)元件顯示圖像，W便在距用戶(hù)的給定距離處創(chuàng)建虛擬 對(duì)象的幻象。眼部定位和跟蹤組件可W包括一個(gè)或多個(gè)光源W及一個(gè)或多個(gè)傳感器，用于 標(biāo)識(shí)用戶(hù)眼部相對(duì)于眼部定位和跟蹤組件的位置。眼部定位和跟蹤組件相對(duì)于顯示單元的 幾何形狀是已知的，W使可W為每只眼睛確定顯示單元的最優(yōu)的、中央位置。
[0006] 當(dāng)檢測(cè)到顯示單元相對(duì)于用戶(hù)眼部的失準(zhǔn)時(shí)，頭戴式顯示設(shè)備可W向用戶(hù)提供視 覺(jué)和/或聽(tīng)覺(jué)反饋。該反饋可W指示用戶(hù)關(guān)于如何調(diào)節(jié)頭戴式顯示器W便將該頭戴式顯示 設(shè)備最優(yōu)地對(duì)準(zhǔn)和適配于用戶(hù)雙眼上。除了提供關(guān)于調(diào)節(jié)頭戴式顯示器的位置的反饋W 夕h當(dāng)前技術(shù)可W針對(duì)頭戴式顯示設(shè)備具有可調(diào)節(jié)iro的實(shí)施例，提供關(guān)于頭戴式顯示設(shè)備 中的調(diào)節(jié)瞳孔間距（IPD)的反饋。
[0007] 在一替代實(shí)施例中，頭戴式顯示設(shè)備位置和/或WD的調(diào)節(jié)可W自動(dòng)發(fā)生。在一種 運(yùn)樣的自動(dòng)示例中，在檢測(cè)到失準(zhǔn)之際，失準(zhǔn)可W用軟件來(lái)校正W調(diào)節(jié)虛擬對(duì)象如何W及 在哪里被一個(gè)或兩個(gè)顯示單元顯示。在另一自動(dòng)示例中，可W在頭戴式顯示設(shè)備上設(shè)置馬 達(dá)W調(diào)節(jié)頭戴式顯示設(shè)備的特定位置和/或IPD。
[000引在一示例中，本技術(shù)設(shè)及頭戴式顯示設(shè)備，包括:包括光學(xué)元件的顯示單元;定位 和跟蹤組件，用于傳感定位和跟蹤組件相對(duì)于佩戴者雙眼的位置和角度方向；處理器，與顯 示單元W及定位和跟蹤組件禪合，用于確定光學(xué)元件相對(duì)于雙眼的位置和角度方向；W及 由處理器執(zhí)行的反饋例程，用于基于來(lái)自處理器的失準(zhǔn)確定向佩戴者提供反饋，W調(diào)節(jié)頭 戴式顯示設(shè)備相對(duì)于雙眼的位置和方向中的至少一者。
[0009]在一進(jìn)一步示例中，本技術(shù)設(shè)及用于在一空間中提供混合現(xiàn)實(shí)體驗(yàn)的頭戴式顯示 設(shè)備，所述空間具有X軸、垂直于X軸的y軸、W及垂直于X軸和y軸的Z軸，該頭戴式顯示器包 括:包括光學(xué)元件的顯示單元，用于向佩戴者的雙眼顯示虛擬圖像;定位和跟蹤組件，用于 傳感關(guān)于該定位和跟蹤組件到雙眼的X軸、y軸和Z軸的位置，W及關(guān)于該定位和跟蹤組件到 雙眼的X軸繞X軸、y軸和Z軸的旋轉(zhuǎn)的角度旋轉(zhuǎn);處理器，與顯示單元W及該定位和跟蹤組件 禪合，用于確定光學(xué)元件相對(duì)于雙眼的位置和角度方向；W及由處理器實(shí)現(xiàn)的反饋例程，用 于基于來(lái)自處理器的確定向用戶(hù)提供反饋w調(diào)節(jié)頭戴式顯示器相對(duì)于雙眼的位置和方向 中的至少一者。
[0010] 在另一示例中，本技術(shù)設(shè)及一種用于指示頭戴式顯示設(shè)備的一個(gè)或多個(gè)光學(xué)元件 與佩戴者雙眼的失準(zhǔn)的方法，所述方法包括：（a)確定光學(xué)元件與佩戴者雙眼的失準(zhǔn)，所述 失準(zhǔn)由處理設(shè)備W及眼部定位和跟蹤組件確定；W及(b)生成向佩戴者提供關(guān)于如何調(diào)節(jié) 光學(xué)元件的一個(gè)或多個(gè)的信息的反饋，所述反饋被顯示為向光學(xué)元件顯示的一個(gè)或多個(gè)虛 擬圖像。
[0011] 提供該概述W便W簡(jiǎn)化形式介紹概念的選集，所述概念在W下詳細(xì)描述中被進(jìn)一 步描述。該概述不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也不意圖被用來(lái)幫 助確定所要求保護(hù)的主題的范圍。
[0012] 附圖簡(jiǎn)述
[0013] 圖1是一種用于向一個(gè)或多個(gè)用戶(hù)呈現(xiàn)混合現(xiàn)實(shí)環(huán)境的系統(tǒng)的一實(shí)施例的示例組 件的圖示。
[0014] 圖2是頭戴式顯示單元的一實(shí)施例的透視圖。
[0015] 圖3是頭戴式顯示單元的一實(shí)施例的一部分的側(cè)視圖。
[0016] 圖4是頭戴式顯示單元的組件的一實(shí)施例的框圖。
[0017] 圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一實(shí)施例的框圖。
[0018] 圖6是解說(shuō)本技術(shù)的一實(shí)施例的操作的流程圖。
[0019] 圖7-9解說(shuō)頭戴式顯示設(shè)備的光學(xué)元件與佩戴者雙眼的失準(zhǔn)。
[0020] 圖10-12解說(shuō)包括虛擬對(duì)象的頭戴式顯示設(shè)備的透視圖，其提供關(guān)于如何校正頭 戴式顯示設(shè)備的光學(xué)元件與佩戴者雙眼的失準(zhǔn)的反饋。
[0021] 圖13是可用于實(shí)現(xiàn)此處描述的計(jì)算系統(tǒng)的計(jì)算系統(tǒng)的一實(shí)施例的框圖。
[0022] 詳細(xì)描述
[0023] 現(xiàn)在將參照?qǐng)D1-13描述本技術(shù)的各實(shí)施例，本技術(shù)的各實(shí)施例一般設(shè)及用于傳感 頭戴式顯示設(shè)備相對(duì)于佩戴者雙眼的位置和/或角度方向，W及提供反饋來(lái)調(diào)節(jié)頭戴式顯 示設(shè)備的位置和/或角度方向W便相對(duì)于佩戴者雙眼最優(yōu)居中和定向的系統(tǒng)和方法。頭戴 式顯示設(shè)備可用于實(shí)現(xiàn)包括現(xiàn)實(shí)對(duì)象和虛擬對(duì)象的混合現(xiàn)實(shí)環(huán)境。頭戴式顯示設(shè)備可包括 顯示元件。顯示元件在某種程度上是透明的，W使用戶(hù)可W在該用戶(hù)的視場(chǎng)(F0V)內(nèi)透過(guò)顯 示元件看向現(xiàn)實(shí)世界對(duì)象。顯示元件也提供將虛擬圖像投射至用戶(hù)的F0V中W使虛擬圖像 也顯現(xiàn)在現(xiàn)實(shí)世界對(duì)象旁邊的能力。系統(tǒng)自動(dòng)地跟蹤用戶(hù)查看之處，W使系統(tǒng)可W確定在 用戶(hù)F0V的何處插入虛擬圖像。一旦系統(tǒng)得知在哪里投射虛擬圖像，圖像就使用顯示元件來(lái) 投射。
[0024] 圖1解說(shuō)通過(guò)將虛擬對(duì)象21與用戶(hù)F0V內(nèi)的現(xiàn)實(shí)內(nèi)容融合來(lái)提供混合現(xiàn)實(shí)體驗(yàn)的 系統(tǒng)10。圖1示出多個(gè)用戶(hù)18曰、186、18(3，每個(gè)用戶(hù)佩戴一頭戴式顯示設(shè)備2，用于從自己的 角度查看諸如虛擬對(duì)象21運(yùn)樣的虛擬對(duì)象。在進(jìn)一步的示例中可W有多于或少于Ξ個(gè)用 戶(hù)。如圖2和3可見(jiàn)，頭戴式顯示設(shè)備2可W包括集成處理單元4。在其他實(shí)施例中，處理單元4 可W與頭戴式顯示設(shè)備2分開(kāi)，并且可W經(jīng)由有線(xiàn)或無(wú)線(xiàn)通信與頭戴式顯示設(shè)備2通信。
[0025] 頭戴式顯示設(shè)備2在一實(shí)施例中是眼鏡形狀，該頭戴式顯示設(shè)備2被佩戴于用戶(hù)頭 部上，W使用戶(hù)可W透過(guò)顯示器查看從而具有用戶(hù)前方空間的實(shí)際直接視圖。術(shù)語(yǔ)"實(shí)際直 接視圖"的使用是指用人眼直接看到現(xiàn)實(shí)世界對(duì)象的能力，而不是看見(jiàn)對(duì)象的所創(chuàng)建的圖 像表示。例如，透過(guò)玻璃看房間允許用戶(hù)具有該房間的實(shí)際直接視圖，而在電視機(jī)上觀(guān)看房 間的視頻不是該房間的實(shí)際直接視圖。W下提供了頭戴式顯示設(shè)備2的更多細(xì)節(jié)。
[0026] 處理單元4可包括用于操作頭戴式顯示設(shè)備2的許多計(jì)算能力。在各實(shí)施例中，處 理單元4無(wú)線(xiàn)地(例如，WiFi、藍(lán)牙、紅外或其他無(wú)線(xiàn)通信手段)通信至一個(gè)或多個(gè)中樞計(jì)算 系統(tǒng)12。如W下說(shuō)明，中樞計(jì)算系統(tǒng)12可設(shè)置于處理單元4遠(yuǎn)程，W使中樞計(jì)算系統(tǒng)12和處 理單元4經(jīng)由諸如LA或WAN的無(wú)線(xiàn)網(wǎng)絡(luò)通信。在進(jìn)一步的實(shí)施例中，可省略中樞計(jì)算系統(tǒng)12 W便使用頭戴式顯示設(shè)備2和處理單元4提供移動(dòng)混合現(xiàn)實(shí)體驗(yàn)。
[0027] 頭戴式顯示設(shè)備2,或自身或與中樞計(jì)算系統(tǒng)12結(jié)合，可W提供混合現(xiàn)實(shí)體驗(yàn)，其 中一個(gè)或多個(gè)虛擬圖像(諸如圖1中的虛擬對(duì)象21)可W與一場(chǎng)景中的現(xiàn)實(shí)世界對(duì)象混合。 圖1解說(shuō)在現(xiàn)實(shí)世界對(duì)象出現(xiàn)在用戶(hù)的F0V中時(shí)的植物23或用戶(hù)的手23的示例。
[0028] 圖2和3示出頭戴式顯示設(shè)備2的透視圖和側(cè)視圖。圖3示出頭戴式顯示設(shè)備2的右 偵U，包括具有鏡腿102和鼻中104的設(shè)備的一部分。麥克風(fēng)110構(gòu)建于鼻中104中，麥克風(fēng)110 用于記錄聲音并將該音頻數(shù)據(jù)發(fā)送至處理單元4,如下所述。頭戴式顯示設(shè)備2前方是面向 房間的攝像機(jī)112,攝像機(jī)112可W捕捉視頻和靜止圖像。那些圖像被發(fā)送至處理單元4,如 下所述。
[0029] 頭戴式顯示設(shè)備2的框架的一部分將圍繞顯示器(包括一個(gè)或多個(gè)透鏡）。為了顯 示頭戴式顯示設(shè)備2的組件，圍繞顯示器的框架的一部分未示出。顯示器包括導(dǎo)光光學(xué)元件 115、不透明濾光器114、透光透鏡116和透光透鏡118。在一實(shí)施例中，不透明濾光器114在透 光透鏡116后方并且與其對(duì)齊，導(dǎo)光光學(xué)元件115在不透明濾光器114后方并且與其對(duì)齊，透 光透鏡118在導(dǎo)光光學(xué)元件115后方并且與其對(duì)齊。透光透鏡116和118是眼鏡中使用的標(biāo)準(zhǔn) 透鏡，并且可W對(duì)于任何處方（包括無(wú)處方）而作出。導(dǎo)光光學(xué)元件115將人工光導(dǎo)向至眼 睛。不透明濾光器114和導(dǎo)光光學(xué)元件115的更多細(xì)節(jié)在2012年5月24日公開(kāi)的美國(guó)公開(kāi)專(zhuān) 利申請(qǐng)No.2012/0127284中提供，該專(zhuān)利申請(qǐng)題為巧ead-Mounted Display Device Which Provides Surround Video(提供環(huán)繞視頻的頭戴式顯示設(shè)備Γ。
[0030] 控制電路136提供支持頭戴式顯示設(shè)備2的其他組件的各種電子設(shè)備。W下參照?qǐng)D 4提供了控制電路136的更多細(xì)節(jié)。耳機(jī)130、慣性測(cè)量單元132和溫度傳感器138在鏡腿102 內(nèi)或安裝至鏡腿102。在圖4所示的一實(shí)施例中，慣