本公開一般涉及計算機(jī)技術(shù)領(lǐng)域，具體涉及虛擬現(xiàn)實和增強(qiáng)現(xiàn)實技術(shù)領(lǐng)域，尤其涉及一種手勢識別方法及系統(tǒng)。

背景技術(shù)：

手勢交互能在不同場景下為用戶提供自然交互的可能，其廣泛應(yīng)用于游戲、房地產(chǎn)、教育、旅游、影視等眾多領(lǐng)域，用戶無需穿戴任何設(shè)備，便可以實現(xiàn)如同人手跟自然世界一樣的交互動作。同時，該技術(shù)是虛擬現(xiàn)實和增強(qiáng)現(xiàn)實應(yīng)用領(lǐng)域中最為關(guān)鍵的人機(jī)交互技術(shù)之一，是實現(xiàn)更好的交互體驗或更為復(fù)雜功能的基礎(chǔ)。通過手勢交互技術(shù)，可以極大地增強(qiáng)用戶在使用虛擬現(xiàn)實(VR)/增強(qiáng)現(xiàn)實(AR)設(shè)備時的真實感和沉浸感。當(dāng)前，精準(zhǔn)捕捉、低延時、低功耗、便于攜帶、低成本的手勢交互系統(tǒng)是該領(lǐng)域研究發(fā)展的重點方向。

從交互上看，手勢作為是一種輸入模式，其通過相關(guān)的外部設(shè)備獲取模擬手部動作的輸出。人機(jī)交互是指人與機(jī)器之間的互動方式，這種互動方式經(jīng)歷了鼠標(biāo)、物理硬件、屏幕觸控、遠(yuǎn)距離的體感操作的逐步發(fā)展的過程。傳統(tǒng)的手勢交互方式具體如下：

1)利用鼠標(biāo)、光標(biāo)的軌跡模擬手勢交互。通過手部握住鼠標(biāo)在顯示屏上下左右滑動，來近似模擬手部方位運(yùn)動。該方案缺點為，鼠標(biāo)的動作非常單一，只有二維而沒有信息，無法模擬手部的真實動作。

2)使用觸摸板進(jìn)行單指或多指等多種手勢交互。例如，使用筆記本外置的觸摸板設(shè)備，通過單指或多指的滑動，近似模擬手部的方位運(yùn)動。這類方法與鼠標(biāo)光標(biāo)的手勢交互相同，無法模擬手部的真實動作。

3)觸摸屏上的手勢交互。移動端(平板、手機(jī))使用觸摸屏的手勢交互，主要有長按、輕觸、滑動、拖動、旋轉(zhuǎn)、縮放、搖動這八種手勢，其優(yōu)點是增加了可便攜性，簡單模擬了手勢交互動作，其缺點是手勢交互動作過于單一，無法模擬手部的真實動作。

由此可見，目前的手勢交互方式大部分無法完全模擬手部的真實動作，而且無法應(yīng)用在虛擬現(xiàn)實和增強(qiáng)現(xiàn)實領(lǐng)域中。然而，針對此問題，現(xiàn)有技術(shù)并沒有提供一種有效的解決方案。

技術(shù)實現(xiàn)要素：

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種應(yīng)用在虛擬現(xiàn)實和增強(qiáng)現(xiàn)實領(lǐng)域中，完成這些場景下的手勢動作的交互的技術(shù)方案，從而可以提供用戶使用VR/AR等設(shè)備時的用戶體驗。

第一方面，本發(fā)明提供了一種手勢識別方法，包括：獲取用戶手部的輪廓特征信息；根據(jù)所述輪廓特征信息生成用于描述手部的特征描述因子；以及從預(yù)先構(gòu)建的手部模型集合中確定與所述特征描述因子匹配的手部模型，并輸出對應(yīng)于所述手部模型的手勢操作信息。

第二方面，本發(fā)明還提供了一種手勢識別系統(tǒng)，包括穿戴式設(shè)備和終端設(shè)備，其中，所述穿戴式設(shè)備包括：用于置于用戶頭部的頭部顯示結(jié)構(gòu)，所述頭部顯示結(jié)構(gòu)能夠根據(jù)所述終端設(shè)備提供的二維圖像向用戶呈現(xiàn)三維全景圖像；所述終端設(shè)備包括：獲取模塊，用于獲取用戶手部的輪廓特征信息；生成模塊，用于根據(jù)所述輪廓特征信息生成用于描述手部的特征描述因子；以及處理模塊，用于從預(yù)先構(gòu)建的手部模型集合中確定與所述特征描述因子匹配的手部模型，并輸出對應(yīng)于所述手部模型的手勢操作信息。

根據(jù)本申請實施例提供的技術(shù)方案，整個交互過程對硬件性能大大降低，只需要在頭戴式設(shè)備上增設(shè)處理芯片或者采用智能移動設(shè)備自帶的處理芯片，即可完成整個手勢交互過程，解決了手勢交互方式大部分無法完全模擬手部的真實動作的缺陷，從而可以在虛擬現(xiàn)實和增強(qiáng)現(xiàn)實領(lǐng)域中實現(xiàn)手勢交互。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細(xì)描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯：

圖1是根據(jù)本申請的手勢識別方法流程圖；

圖2A是根據(jù)本申請的手勢識別系統(tǒng)的結(jié)構(gòu)示意圖；

圖2B是根據(jù)本申請的手勢識別系統(tǒng)中終端設(shè)備的結(jié)構(gòu)框圖；

圖3是根據(jù)本申請的手勢交互過程示意圖；以及

圖4是根據(jù)本申請的使用VR/AR設(shè)備與終端設(shè)備進(jìn)行手勢交互的效果示意圖。

具體實施方式

下面結(jié)合附圖和實施例對本申請作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖牵颂幩枋龅木唧w實施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與發(fā)明相關(guān)的部分。

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細(xì)說明本申請。

相較于傳統(tǒng)的幾種手勢交互方式，現(xiàn)有技術(shù)中也存在可以實現(xiàn)真實模擬手部動作的手勢交互方式，例如：方式1，通過在手部固定至少一個傳感器設(shè)備，從而對手部的動作進(jìn)行捕捉，這種手勢交互方式能夠真實模擬手部的動作，但是其嚴(yán)重依賴外部的傳感器設(shè)備，成本高、體積大，便攜性差，更為關(guān)鍵的是，還需要在用戶手部上固定傳感器，這給用戶操作帶來不好的體驗。方式2，通過使用雙目攝像頭或者深度攝像頭獲取手部的三維信息，將手部的三維姿態(tài)重建出來，從而模擬真實的手部動作，雖然這種手勢交互方式無需在手部增加額外的傳感器設(shè)備，但是這種方式需要結(jié)合PC才能完成，這是由于模擬過程的算法過于復(fù)雜對處理芯片的要求過高，因此嚴(yán)重依賴于PC的硬件性能，導(dǎo)致其無法集成在注重便攜性的智能移動設(shè)備上來實現(xiàn)。

可以看出，這兩種方式雖然可以模擬用戶手部的動作，但是其由于各自的缺陷導(dǎo)致無法應(yīng)用在日漸成熟的虛擬現(xiàn)實和增強(qiáng)現(xiàn)實技術(shù)領(lǐng)域，從而無法為用戶提供一種較好用戶體驗的手勢交互方案。

而本申請?zhí)峁┑膶嵤├峁┑募夹g(shù)方案著重從虛擬現(xiàn)實和增強(qiáng)現(xiàn)實領(lǐng)域，提出一種可以實現(xiàn)虛擬現(xiàn)實/增強(qiáng)現(xiàn)實等頭戴式設(shè)備與智能移動設(shè)備之間的手勢交互方案，整個交互過程對硬件性能大大降低，只需要在頭戴式設(shè)備上增設(shè)處理芯片或者采用智能移動設(shè)備自帶的處理芯片，即可完成整個手勢交互過程。

請參考圖1，圖1是根據(jù)本申請的手勢識別方法流程圖，如圖1所示，該流程包括以下步驟(步驟S102-步驟S106)：

步驟S102、獲取用戶手部的輪廓特征信息；

步驟S104、根據(jù)所述輪廓特征信息生成用于描述手部的特征描述因子；以及

步驟S106、從預(yù)先構(gòu)建的手部模型集合中確定與所述特征描述因子匹配的手部模型，并輸出對應(yīng)于所述手部模型的手勢操作信息。

通過上述步驟，在較低的硬件條件下，即可以實現(xiàn)虛擬現(xiàn)實/增強(qiáng)現(xiàn)實等頭戴式設(shè)備與智能移動設(shè)備之間的手勢交互。

在上述步驟S102中，對于獲取用戶手部的輪廓特征信息的過程，可以通過這樣的方式來實施：先通過圖像傳感器獲取用戶手部及周圍環(huán)境的圖像信息，再根據(jù)預(yù)置的手部形狀和顏色紋理特征，從所述圖像信息中提取出所述輪廓特征信息。

在本申請實施例中，所述圖像傳感器為移動設(shè)備的自帶攝像頭，進(jìn)一步地，提取操作也可以采用移動設(shè)備的處理芯片來完成。

當(dāng)然，在實際應(yīng)用中，可以將圖像傳感器設(shè)置在其它設(shè)備上，例如與移動設(shè)備配合使用的AR/VR設(shè)備，這樣當(dāng)AR/VR設(shè)備通過攝像頭采集到用戶手部及周圍環(huán)境的圖像信息之后，再由移動設(shè)備的處理芯片對圖像信息進(jìn)行提取操作。

本申請實施例中，所述手部模型集合中的每個手部模型均是根據(jù)預(yù)先定義的模型分類算法對多個手部訓(xùn)練數(shù)據(jù)進(jìn)行離線學(xué)習(xí)后得到的。

本申請實施例中，所述手勢操作信息可以包括：抓握操作、拿捏操作、或點擊操作。

在實際應(yīng)用中，隨著VR/AR技術(shù)的不斷發(fā)展，用戶與VR/AR設(shè)備之間交互時采用的手部操作的方式會越來越多。對此，本申請實施例并不作出限制。

也就是說，對于上述手勢識別方法的實施過程，可以首先借助智能移動設(shè)備等終端設(shè)備的圖像傳感器，采集包含用戶手部的圖像信息，再根據(jù)手部的形狀、顏色紋理特征(都是預(yù)先設(shè)置好的)，將手從圖像中分割出來(從所述圖像信息中提取出所述輪廓特征信息)，并生成手部的特征描述子。

需要說明的是，如果為了提高從所述圖像信息中提取出所述輪廓特征信息的效率，在連續(xù)采集到的幾幀圖像中，如果發(fā)現(xiàn)輪廓特征信息變化不大(意味著用戶手部的動作變化不大)，可以不采集當(dāng)前圖像，而仍然使用從上一幀圖像中提取到的輪廓特征信息和特征描述因子。

然后，再根據(jù)當(dāng)前的手部特征描述因子從預(yù)先訓(xùn)練好的不同類型手部模型找到相對應(yīng)的手部模型，進(jìn)而獲得此手部類型的手勢操作信息(例如，手的位置信息對應(yīng)著不同的操作指令)。

通過手勢類型和位置的變化，輸出相應(yīng)的抓握、拿捏、點擊等動作。最后，由智能移動設(shè)備接入虛擬現(xiàn)實(VR)或增強(qiáng)現(xiàn)實(AR)等設(shè)備中，生成全景的實時視頻內(nèi)容，使用前面獲取的手勢動作，完成在虛擬現(xiàn)實應(yīng)用場景中的交互。

對應(yīng)于上述手勢識別方法，本申請實施例還提供了一種手勢識別系統(tǒng)，如圖2A(圖2A是根據(jù)本申請的手勢識別系統(tǒng)的結(jié)構(gòu)示意圖)所示，該手勢識別系統(tǒng)包括穿戴式設(shè)備1和終端設(shè)備2，其中：

所述穿戴式設(shè)備1包括：

用于置于用戶頭部的頭部顯示結(jié)構(gòu)11，所述頭部顯示結(jié)構(gòu)11能夠根據(jù)所述終端設(shè)備2提供的二維圖像向用戶呈現(xiàn)三維全景圖像。

請同時參考圖2B，圖2B是根據(jù)本申請的手勢識別系統(tǒng)中終端設(shè)備的結(jié)構(gòu)框圖，如圖2B所示，所述終端設(shè)備2可以進(jìn)一步包括：

獲取模塊21，用于獲取用戶手部的輪廓特征信息；

生成模塊22，用于根據(jù)所述輪廓特征信息生成用于描述手部的特征描述因子；以及

處理模塊23，用于從預(yù)先構(gòu)建的手部模型集合中確定與所述特征描述因子匹配的手部模型，并輸出對應(yīng)于所述手部模型的手勢操作信息。

本申請實施例中，所述獲取模塊21可以進(jìn)一步包括：

獲取單元211，用于通過圖像傳感器獲取用戶手部及周圍環(huán)境的圖像信息；以及

提取單元212，用于根據(jù)預(yù)置的手部形狀和顏色紋理特征，從所述圖像信息中提取出所述輪廓特征信息。

在本申請實施例中，所述圖像傳感器為移動設(shè)備的自帶攝像頭，進(jìn)一步地，提取操作也可以采用移動設(shè)備的處理芯片來完成。

當(dāng)然，在實際應(yīng)用中，可以將圖像傳感器設(shè)置在其它設(shè)備上，例如與移動設(shè)備配合使用的AR/VR設(shè)備，這樣當(dāng)AR/VR設(shè)備通過攝像頭采集到用戶手部及周圍環(huán)境的圖像信息之后，再由移動設(shè)備的處理芯片對圖像信息進(jìn)行提取操作。

本申請實施例中，所述手部模型集合中的每個手部模型均是根據(jù)預(yù)先定義的模型分類算法對多個手部訓(xùn)練數(shù)據(jù)進(jìn)行離線學(xué)習(xí)后得到的。

本申請實施例中，所述手勢操作信息可以包括：抓握操作、拿捏操作、或點擊操作。

在實際應(yīng)用中，隨著VR/AR技術(shù)的不斷發(fā)展，用戶與VR/AR設(shè)備之間交互時采用的手部操作的方式會越來越多。對此，本申請實施例并不做出限制。

為進(jìn)一步理解手勢識別系統(tǒng)中各部部分的工作過程，可以參考附圖3(圖3是根據(jù)本申請的手勢交互過程示意圖)，此處結(jié)合圖3對各部分的功能進(jìn)行進(jìn)一步的說明。

智能移動設(shè)備(即移動設(shè)備2)，此部分主要作為輸入源，產(chǎn)生圖像數(shù)據(jù)、虛擬現(xiàn)實3D場景內(nèi)容，同時為手的分類識別算法和3D虛擬場景構(gòu)建提供CPU/GPU計算支持。

手勢識別算法，其可以由人工獲取大量不同手部類型的不同視角不同姿態(tài)的訓(xùn)練數(shù)據(jù)，然后按照模型分類算法，利用機(jī)器學(xué)習(xí)的方法離線訓(xùn)練數(shù)據(jù)，獲取分類后的多種手部模型，最后根據(jù)輸入的真實數(shù)據(jù)(所述特征描述因子)得到用戶手部的手類型及位置，進(jìn)而在虛擬現(xiàn)實應(yīng)用場景中呈現(xiàn)出手勢操作信息。

虛擬現(xiàn)實頭盔(即上述穿戴式設(shè)備1)，此部分主要生成全景的視頻，增強(qiáng)了虛擬現(xiàn)實應(yīng)用全屏體驗，從而增強(qiáng)應(yīng)用的沉浸感體驗。

虛擬現(xiàn)實應(yīng)用場景部分，此部分將交互技術(shù)與全景視頻相結(jié)合，進(jìn)一步增強(qiáng)了虛擬現(xiàn)實應(yīng)用的沉浸感體驗。

為便于理解手勢識別系統(tǒng)中穿戴式設(shè)備與終端設(shè)備之間進(jìn)行交互的過程，以及呈現(xiàn)在用戶眼前的虛擬現(xiàn)實效果，可以參考圖4(圖4是根據(jù)本申請的使用VR/AR設(shè)備與終端設(shè)備進(jìn)行手勢交互的效果示意圖)，以下對用戶使用手勢識別系統(tǒng)的過程進(jìn)行簡單介紹：

首先，將智能移動設(shè)備固定在VR/AR設(shè)備(例如，目前常見的VR)里面，打開智能移動設(shè)備外置圖像傳感器，從圖像傳感器接入實時數(shù)據(jù)；用戶伸出手在外置圖像傳感器視野內(nèi)上下左右晃動，從而獲取到手的運(yùn)動圖像信息，通過使用手勢識別算法，定位不同手勢的類型及位置等變化信息，從而觸發(fā)光標(biāo)對特定圖像或圖標(biāo)的點擊操作，最終實現(xiàn)虛擬現(xiàn)實場景的交互。

本申請實施例，利用智能移動設(shè)備的外接攝像頭，獲取視野內(nèi)手部的彩色圖，再通過手部分類識別算法，準(zhǔn)確檢測圖像中不同手型的二維位置信息。然后，根據(jù)手的位置變化，實現(xiàn)點擊、抓握、翻頁、瀏覽等交互動作。該手勢交互方法簡單、可靠，在對硬件條件比較低的情況，仍然可以滿足虛擬現(xiàn)實應(yīng)用場景中大部分的交互要求。

以上描述僅為本申請的較佳實施例以及對所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本申請中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。