一種可同時采集捕捉對象面部表情的慣性動作捕捉系統(tǒng)及其運行方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明提出一種可同時采集捕捉對象面部表情的慣性動作捕捉系統(tǒng)及其運行方法，屬于動作捕捉及圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]慣性運動捕捉系統(tǒng)(Inertial Mot1n Capture System)也稱為微機電式運動捕捉系統(tǒng)(MEMS Mot1n Capture System)。慣性運動捕捉系統(tǒng)自出現(xiàn)以來，不斷朝著微型化、集成化的方向發(fā)展，克服了被大量使用的光學(xué)式運動捕捉系統(tǒng)設(shè)備昂貴、安裝復(fù)雜、易受周圍環(huán)境光照影響、遮擋等問題。慣性運動捕捉系統(tǒng)是運動捕捉系統(tǒng)的一種實現(xiàn)形式。運動捕捉系統(tǒng)自從19世紀80年代出現(xiàn)雛形，到20世紀80年代美國幾個大學(xué)和實驗室開始對其涉及的技術(shù)進行理論研宄，隨著時代的技術(shù)進步，主要出現(xiàn)了下面幾類運動捕捉系統(tǒng):機械式、電磁式、聲學(xué)式、光學(xué)式、慣性式。這些運動捕捉系統(tǒng)主要被用在:虛擬現(xiàn)實開發(fā)、影視制作、空間導(dǎo)航研宄、步態(tài)分析、在虛擬環(huán)境下對有運動或?qū)W習(xí)障礙的人提供訓(xùn)練、手勢識別、頭部追蹤、眼球追蹤及注意力研宄等方面。這些應(yīng)用場景包括日常生活、國防、工業(yè)生產(chǎn)的方方面面，某些領(lǐng)域已經(jīng)有成熟的產(chǎn)品和應(yīng)用。
[0003]深度相機利用的原理是TOF，TOF是Time of flight的簡寫，直譯為飛行時間。所謂飛行時間法3D成像，是通過給目標連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行(往返)時間來得到目標物距離。這種技術(shù)跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而TOF相機則是同時得到整幅圖像的深度信息。TOF相機與普通機器視覺成像過程也有類似之處，都是由光源、光學(xué)部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬于非侵入式三維探測、適用領(lǐng)域非常類似的雙目測量系統(tǒng)相比，TOF相機具有根本不同3D成像機理。雙目立體測量通過左右立體像對匹配后，再經(jīng)過三角測量法來進行立體探測，而TOF相機是通過入、反射光探測來獲取的目標距離獲取。
[0004]在傳統(tǒng)影視動作捕捉中，分為動作捕捉和表情配準兩部分，首先通過動作捕捉設(shè)備捕捉人物的肢體動作，人物面部表情配準需要后期另外加入。表演者通過觀看捕捉到的動作，回憶當(dāng)時應(yīng)該做出的表情，通過攝像機采集表情而后與肢體動作進行同步。這種方式不但浪費了大量時間而且還會造成一定程度的失真。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)的不足，本發(fā)明公開了一種可同時采集捕捉對象面部表情的慣性動作捕捉系統(tǒng)；
[0006]本發(fā)明還公開了上述系統(tǒng)的運行方法；
[0007]本發(fā)明結(jié)合了慣性運動捕捉系統(tǒng)與深度相機，克服了傳統(tǒng)影視動作捕捉中人物面部表情需要后期另外加入的問題，同時進行動作和表情捕捉，最大程度的保存表演者的原始動作表情。
[0008]本發(fā)明的技術(shù)方案為:
[0009]一種可同時采集捕捉對象面部表情的慣性動作捕捉系統(tǒng)，包括至少一個深度相機、若干個慣性動作采集節(jié)點、一個發(fā)射節(jié)點、匯聚節(jié)點及終端機，所述深度相機連接所述發(fā)射節(jié)點，所述發(fā)射節(jié)點連接若干個慣性動作采集節(jié)點，所述發(fā)射節(jié)點連接所述匯聚節(jié)點，所述匯聚節(jié)點連接所述終端機；
[0010]所述深度相機用于采集捕捉對象面部區(qū)域的信息，為捕捉對象面部區(qū)域建立三維豐旲型；
[0011]所述慣性動作采集節(jié)點用于采集捕捉對象自身局部位置加速度、角速度、磁力強度；
[0012]所述發(fā)射節(jié)點用于收集所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息，并將收集到的信息發(fā)送至所述匯聚節(jié)點，所述發(fā)射節(jié)點還包括時間同步單元，時間同步單元用于同步所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息;
[0013]所述匯聚節(jié)點用于實現(xiàn)所述發(fā)射節(jié)點與所述終端機的無線或有線連接；
[0014]所述終端機用于處理并顯示所述慣性動作采集節(jié)點及所述深度相機采集到的信息。
[0015]上述系統(tǒng)使用時，深度相機固定在捕捉對象頭部并面向捕捉對象臉部，動作捕捉節(jié)點佩戴在捕捉對象關(guān)節(jié)點之間的骨骼上，發(fā)射節(jié)點設(shè)置在捕捉對象骨盤部位上。
[0016]根據(jù)本發(fā)明優(yōu)選的，所述慣性動作捕捉系統(tǒng)包括一個深度相機及十七個慣性動作采集節(jié)點。
[0017]此處設(shè)計的優(yōu)勢在于，采用十七個慣性動作采集節(jié)點是根據(jù)人體特殊結(jié)構(gòu)得出的，多于十七慣性動作采集節(jié)點個會造成浪費，少于十七個慣性動作采集節(jié)點則不能完全捕捉到人體的動作。
[0018]根據(jù)本發(fā)明優(yōu)選的，所述深度相機通過有線方式連接所述發(fā)射節(jié)點。
[0019]此處設(shè)計的優(yōu)勢在于，所述深度相機通過有線方式連接所述發(fā)射節(jié)點，比無線的方案提供更高的數(shù)據(jù)傳輸速率，而且由于無線發(fā)射節(jié)點的減少，減輕了無線信道當(dāng)中數(shù)據(jù)的碰撞，提高了總體的數(shù)據(jù)傳輸速率，使匯聚節(jié)點能夠得到更高頻率的人體姿態(tài)數(shù)據(jù)更新。
[0020]根據(jù)本發(fā)明優(yōu)選的，所述發(fā)射節(jié)點通過USB或串行總線UART連接若干個慣性動作采集節(jié)點。
[0021]根據(jù)本發(fā)明優(yōu)選的，所述深度相機的型號為Real Sense?、SR4000、SR4500、PrimeSense、Kinect、Camcube3.0 中的任一種。
[0022]根據(jù)本發(fā)明優(yōu)選的，所述慣性動作采集節(jié)點包括:三軸加速度計、三軸陀螺儀、三軸磁力計及慣性動作采集節(jié)點的微處理器，所述三軸加速度計及所述三軸陀螺儀的型號為MPU6050，三軸磁力計的型號為MAG3110，所述慣性動作采集節(jié)點的微處理器的型號為STM32L152。
[0023]根據(jù)本發(fā)明優(yōu)選的，所述發(fā)射節(jié)點包括:發(fā)射節(jié)點的微處理器、發(fā)射節(jié)點的無線收發(fā)模塊、通信接口、電池模塊，所述發(fā)射節(jié)點的微處理器分別連接所述發(fā)射節(jié)點的無線收發(fā)模塊、所述通信接口、所述電池模塊，所述發(fā)射節(jié)點的無線收發(fā)模塊連接所述匯聚節(jié)點，所述發(fā)射節(jié)點的微處理器的型號為STM32F407，所述發(fā)射節(jié)點的無線收發(fā)模塊中的射頻芯片的型號為nRF24L01P，所述發(fā)射節(jié)點的無線收發(fā)模塊所使用的頻段為2.4?2.5GHz全球免申請ISM工作頻段。
[0024]根據(jù)本發(fā)明優(yōu)選的，所述電池模塊為可充電鋰電池模塊。
[0025]根據(jù)本發(fā)明優(yōu)選的，所述匯聚節(jié)點包括:匯聚節(jié)點的微處理器、匯聚節(jié)點的無線收發(fā)模塊，所述匯聚節(jié)點的微處理器的型號為STM32F407，所述匯聚節(jié)點的無線收發(fā)模塊中的射頻芯片的型號為HRF24L01P，所述匯聚節(jié)點的無線收發(fā)模塊所使用的頻段為2.4?2.5GHz全球免申請ISM工作頻段。
[0026]上述系統(tǒng)的運行方法，具體步驟包括:
[0027](I)所述發(fā)射節(jié)點對所述系統(tǒng)上電，所述慣性動作采集節(jié)點及所述發(fā)射節(jié)點進入上電復(fù)位狀態(tài)；
[0028](2)上電復(fù)位完成后，發(fā)射節(jié)點發(fā)送探測指令依次探測所述慣性動作采集節(jié)點及所述深度相機是否存在；
[0029](3)探測所述慣性動作采集節(jié)點及所述深度相機存在后，所述發(fā)射節(jié)點對所述深度相機進行設(shè)置，包括采集區(qū)域大小、照明頻率；
[0030](4)所述發(fā)射節(jié)點對所述深度相機及所述慣性動作采集節(jié)點發(fā)出工作請求；
[0031](5)深度相機接收到工作請求后，所述深度相機實時采集捕捉對象面部區(qū)域的信息，建立捕捉對象面部區(qū)域三維模型；所述慣性動作采集節(jié)點接收到工作請求后，所述慣性動作采集節(jié)點實時采集捕捉對象自身局部位置加速度、角速度、磁力強度；
[0032](6)無線收發(fā)模塊無線連接匯聚節(jié)點；
[0033](7)發(fā)射節(jié)點收集所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息，并將收集到的信息發(fā)送至所述匯聚節(jié)點；
[0034](8)所述匯聚節(jié)點連接所述終端機，并將接收到的所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息發(fā)送至所述終端機；
[0035](9)所述終端機處理所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息，利用現(xiàn)有技術(shù)將所述深度相機采集到的信息恢復(fù)捕捉對象面部區(qū)域三維模型并應(yīng)用在虛擬對象的面部，利用現(xiàn)有技術(shù)將所述慣性動作采集節(jié)點采集到的信息應(yīng)用在虛擬對象的肢體動作。
[0036]所述發(fā)射節(jié)點對所述深度相機進行設(shè)置，包括采集區(qū)域大小、照明頻率；以便適應(yīng)面部顏色和反射率的影響
[0037]本發(fā)明的有益效果為:
[0038]與現(xiàn)有的技術(shù)相比，本發(fā)明能有效地同時捕捉人體的肢體動作與面部表情。同時由于單人慣性動作捕捉設(shè)備只需一套無線收發(fā)模塊，與傳統(tǒng)的使用15?17個無線收發(fā)模塊方案相比，減少了系統(tǒng)復(fù)雜度，減少了數(shù)據(jù)延遲，增加了數(shù)據(jù)傳輸速率。
【附圖說明】
[0039]圖1為本發(fā)明所述系統(tǒng)框架圖；
[0040]圖2為本發(fā)明所述十七個慣性動作采集節(jié)點、一個深度相機以及一個發(fā)射節(jié)點應(yīng)用于捕捉對象的示意圖。
【具體實施方式】
[0041]實施例1
[0042]一種可同時采集捕捉對象面部表情的慣性動作捕捉系統(tǒng)，包括至少一個深度相機、若干個慣性動作采集節(jié)點、一個發(fā)射節(jié)點、匯聚節(jié)點及終端機，所述深度相機連接所述發(fā)射節(jié)點，所述發(fā)射節(jié)點連接若干個慣性動作采集節(jié)點，所述發(fā)射節(jié)點連接所述匯聚節(jié)點，所述匯聚節(jié)點連接所述終端機；
[0043]所述深度相機用于采集捕捉對象面部區(qū)域的信息，為捕捉對象面部區(qū)域建立三維豐旲型；
[0044]所述慣性動作采集節(jié)點用于采集捕捉對象自身局部位置加速度、角速度、磁力強度；
[0045]所述發(fā)射節(jié)點用于收集所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息，并將收集到的信息發(fā)送至所述匯聚節(jié)點，所述發(fā)射節(jié)點還包括時間同步單元，時間同步單元用于同步所述深度相機采集到的信息及所述慣性動作采集節(jié)點采集到的信息;
[0046]所述匯聚節(jié)點用于實現(xiàn)所述發(fā)射節(jié)點與所述終端機的無線或有線連接；
[0047]所述終端機用于處理并顯示所述慣性動作采集節(jié)點及所述深度相機采集到的信息。
[0048]上述系統(tǒng)使用時，深度相機固定在捕捉對象頭部并面向捕捉對象臉部，動作捕捉節(jié)點佩戴在捕捉對象關(guān)節(jié)點之間的骨骼上，發(fā)射節(jié)點設(shè)置在捕捉對象骨盤部位上。
[0049]所述慣性動作捕捉系統(tǒng)包括一個深度相機及十七個慣性動作采集節(jié)點。
[0050]此處設(shè)計的優(yōu)勢在于，采用十七個慣性動作采集節(jié)點是根據(jù)人體特殊結(jié)構(gòu)得出的，多于十七慣性動作采集節(jié)點個會造成浪費，少于十七個慣性動作采集節(jié)點則不能完全捕捉到人體的動作。
[0051]實施例2
[0052]根據(jù)實施例1所述慣性動作捕捉系統(tǒng)，其區(qū)別在于，所述深