一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)的制作方法
【專利摘要】本發(fā)明一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，涉及控制系統(tǒng)領(lǐng)域，包括移動(dòng)平臺(tái)控制部分、遠(yuǎn)程控制部分和手勢(shì)控制操作方案；移動(dòng)平臺(tái)控制部分包括移動(dòng)平臺(tái)和移動(dòng)平臺(tái)控制器，移動(dòng)平臺(tái)控制器為工控機(jī)，工控機(jī)平臺(tái)上運(yùn)行移動(dòng)平臺(tái)控制程序；遠(yuǎn)程控制部分包括Leap Motion體感控制器和筆記本電腦，筆記本電腦運(yùn)行遠(yuǎn)程控制程序；手勢(shì)控制操作方案是：遠(yuǎn)程控制部分讀Leap Motion體感控制器檢測(cè)到人手的個(gè)數(shù)和Leap Motion體感控制器檢測(cè)到的控制者手的手勢(shì)信息，通過wifi向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令；本發(fā)明克服了現(xiàn)有技術(shù)所存在的無法直接表達(dá)控制人員的意圖、人機(jī)交互手段生硬不自然和上手難度比較大的缺陷。
【專利說明】
一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明的技術(shù)方案涉及控制系統(tǒng)，具體地說是一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)。
【背景技術(shù)】
[0002]隨著社會(huì)自動(dòng)化程度的不斷提高，移動(dòng)平臺(tái)廣泛應(yīng)用于工業(yè)生產(chǎn)，家居服務(wù)和科學(xué)研究等領(lǐng)域。傳統(tǒng)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)對(duì)移動(dòng)平臺(tái)的控制主要分為以下三類:一是，利用按鈕對(duì)移動(dòng)平臺(tái)進(jìn)行控制，這種控制方法需要控制人員按下控制裝置上面相應(yīng)的按鈕，每個(gè)按鈕對(duì)應(yīng)控制移動(dòng)平臺(tái)的相應(yīng)動(dòng)作；二是，利用操作桿對(duì)移動(dòng)平臺(tái)進(jìn)行控制，控制人員撥動(dòng)操作桿，操作桿的位置對(duì)應(yīng)移動(dòng)平臺(tái)的運(yùn)動(dòng)方式;三是，利用觸摸屏對(duì)移動(dòng)平臺(tái)進(jìn)行控制，觸摸屏可以檢測(cè)控制人員手指在觸摸屏上面的點(diǎn)擊和滑動(dòng)，利用這些信息控制移動(dòng)平臺(tái)的運(yùn)動(dòng)。以上三類控制系統(tǒng)都需要控制人員用手接觸到控制設(shè)備，控制人員利用利用按鈕、操作桿或觸摸屏等設(shè)備控制移動(dòng)平臺(tái)的運(yùn)動(dòng)，無法直接表達(dá)控制人員的意圖，人機(jī)交互手段生硬不自然，上手難度比較大。
[0003]目前現(xiàn)有技術(shù)中:CN102789327A公開了一種基于手勢(shì)的移動(dòng)機(jī)器人控制方法，是利用具有觸摸功能的計(jì)算機(jī)顯示設(shè)備作為控制終端設(shè)備，控制對(duì)象為搭載兩自由度云臺(tái)和變焦攝像機(jī)的移動(dòng)機(jī)器人，機(jī)器人控制人員通過手指在觸摸屏上劃動(dòng)來控制機(jī)器人和云臺(tái)的運(yùn)動(dòng);CN103576861A提出了一種非接觸式手勢(shì)控制系統(tǒng)的硬件實(shí)現(xiàn)，但是并沒有提出手勢(shì)控制的實(shí)現(xiàn)方法;CN104731052A披露了一種移動(dòng)平臺(tái)的控制系統(tǒng)、方法及移動(dòng)平臺(tái)控制裝置。上述現(xiàn)有技術(shù)均存在無法直接表達(dá)控制人員的意圖、人機(jī)交互手段生硬不自然和上手難度比較大的缺陷。
【發(fā)明內(nèi)容】
[0004]本發(fā)明所要解決的技術(shù)問題是:提供一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，利用移動(dòng)平臺(tái)的手勢(shì)控制操作方案，實(shí)現(xiàn)對(duì)移動(dòng)平臺(tái)的操作，克服了現(xiàn)有技術(shù)所存在的無法直接表達(dá)控制人員的意圖、人機(jī)交互手段生硬不自然和上手難度比較大的缺陷。
[0005]本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是:一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，包括移動(dòng)平臺(tái)控制部分、遠(yuǎn)程控制部分和手勢(shì)控制操作方案;其中，移動(dòng)平臺(tái)控制部分包括移動(dòng)平臺(tái)和移動(dòng)平臺(tái)控制器，該移動(dòng)平臺(tái)控制器為工控機(jī)，該工控機(jī)被安置在一個(gè)加有攝像頭和動(dòng)力源的移動(dòng)平臺(tái)上，并通過串口向移動(dòng)平臺(tái)發(fā)送運(yùn)動(dòng)控制指令，該工控機(jī)連接到wifi，通過線路與動(dòng)力源連接，又通過USB接口與攝像頭相連，工控機(jī)平臺(tái)上運(yùn)行移動(dòng)平臺(tái)控制程序;遠(yuǎn)程控制部分包括Leap Mot 1n體感控制器和筆記本電腦，Leap Mot1n體感控制器放置在筆記本電腦的正前方，通過USB線與筆記本電腦相連，筆記本電腦連接到wifi，筆記本電腦運(yùn)行遠(yuǎn)程控制程序，循環(huán)讀取Leap Mot 1n體感控制器采集到的手勢(shì)信息，并對(duì)提取到的手勢(shì)特征進(jìn)行分類和量化，通過wifi向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令，同時(shí)，遠(yuǎn)程控制程序通過wifi接收移動(dòng)平臺(tái)上的攝像頭采集到的圖像信息，并將移動(dòng)平臺(tái)攝像頭采集到的圖像信息全屏顯示在筆記本電腦屏幕上，筆記本電腦上運(yùn)行遠(yuǎn)程控制程序；手勢(shì)控制操作方案如下:
[000?] 第一步，遠(yuǎn)程控制部分讀Leap Mot 1n體感控制器檢測(cè)到人手的個(gè)數(shù)，通過wifi向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令:
[0007](1.1)0個(gè)人手，移動(dòng)平臺(tái)保持上一時(shí)刻運(yùn)動(dòng)狀態(tài)不變；
[0008](1.2) I個(gè)人手，進(jìn)入下面第二步進(jìn)行判斷；
[0009 ] (1.3) 2個(gè)人手，向移動(dòng)平臺(tái)發(fā)出停止運(yùn)動(dòng)命令；
[0010]第二步，遠(yuǎn)程控制部分讀LeapMot1n體感控制器檢測(cè)到的控制者手的手勢(shì)信息，通過wif i向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令:
[0011](2.1)當(dāng)檢測(cè)到控制者連續(xù)兩次向左擺手，向移動(dòng)平臺(tái)發(fā)出原地逆時(shí)針運(yùn)動(dòng)命令；
[0012](2.2)當(dāng)檢測(cè)到控制者連續(xù)兩次向右擺手，向移動(dòng)平臺(tái)發(fā)出原地順時(shí)針運(yùn)動(dòng)命令；
[0013](2.3)當(dāng)檢測(cè)到控制者的手指有隔空點(diǎn)擊電腦屏幕的動(dòng)作，利用向量ScreenType.Direct1n，該向量包含三個(gè)坐標(biāo)(x，y，z)，求& = &1"(^&11(2八):若x>0且ζ>0，Α=&;若1〈0且2>0，厶=&+31;若1>0且2〈0，厶=-&;若1〈0且2〈0，厶=31-3;變量1 = 50/^，變量『2 =50/A，計(jì)算r3= [r2/20的整數(shù)部分]，計(jì)算R = 20 X r3，R的單位為厘米；當(dāng)x>0且z>0時(shí)，移動(dòng)平臺(tái)以R為半徑向右后方轉(zhuǎn)彎；當(dāng)x〈0且z>0時(shí)，移動(dòng)平臺(tái)以R為半徑向左后方轉(zhuǎn)彎；當(dāng)x>0且z〈O時(shí)，移動(dòng)平臺(tái)以R為半徑向左前方轉(zhuǎn)彎；當(dāng)x〈0且z〈0時(shí)，移動(dòng)平臺(tái)以R為半徑向右后方轉(zhuǎn)彎;
[0014](2.4)當(dāng)檢測(cè)到控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，再到張開狀態(tài)，向移動(dòng)平臺(tái)發(fā)出停止運(yùn)動(dòng)命令；
[0015](2.5)當(dāng)檢測(cè)到控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，再到張開狀態(tài)，再到握拳狀態(tài)，再到張開狀態(tài)，向移動(dòng)平臺(tái)發(fā)出后退運(yùn)動(dòng)命令；
[0016](2.6)當(dāng)控制者手的手勢(shì)不符合以上五種狀態(tài)，則移動(dòng)平臺(tái)保持上一時(shí)刻運(yùn)動(dòng)狀態(tài)不變。
[0017]第三步，返回第一步，再次進(jìn)行判斷。
[0018]上述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，所述工控機(jī)平臺(tái)上運(yùn)行移動(dòng)平臺(tái)控制程序是:利用socket套接字，將工控機(jī)設(shè)置為虛擬服端，創(chuàng)建服務(wù)端socket，登記接口，監(jiān)聽來自客戶端的連接請(qǐng)求，等待遠(yuǎn)程控制部分發(fā)來連接請(qǐng)求，接收來自遠(yuǎn)程控制部分的運(yùn)動(dòng)控制命令，處理命令，并發(fā)送給移動(dòng)平臺(tái)；該程序的流程順序是:啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:創(chuàng)建服務(wù)器socket，服務(wù)器socket登記接口，監(jiān)聽連接請(qǐng)求，是否有連接請(qǐng)求？當(dāng)答案為否時(shí)返回監(jiān)聽連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行接收數(shù)據(jù)，處理數(shù)據(jù)，通知遠(yuǎn)程客戶端完成了一次發(fā)送，同時(shí)發(fā)送運(yùn)動(dòng)控制指令;另一個(gè)線程是:采集移動(dòng)平臺(tái)傳感器信息，檢測(cè)是否存在有效的socket連接？當(dāng)答案為否時(shí)返回采集移動(dòng)平臺(tái)傳感器信息；當(dāng)答案為是時(shí)則發(fā)送移動(dòng)平臺(tái)傳感器信息到遠(yuǎn)程控制部分。
[0019]上述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，所述筆記本電腦運(yùn)行遠(yuǎn)程控制程序是:利用socket套接字，將筆記本電腦設(shè)置為虛擬服務(wù)端，創(chuàng)建服務(wù)端socket，通過服務(wù)器端的地址和端口向服務(wù)器端發(fā)送連接請(qǐng)求，創(chuàng)建服務(wù)端socket的數(shù)據(jù)傳輸;該程序的流程順序是:啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:創(chuàng)建客戶端socket，通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求，是否成功建立連接關(guān)系？當(dāng)答案為否時(shí)返回通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行創(chuàng)建用于發(fā)送數(shù)據(jù)的服務(wù)器socket，創(chuàng)建用于接收數(shù)據(jù)的服務(wù)器socket;另一個(gè)線程是:啟動(dòng)Leap Mot1n體感控制器，判斷手勢(shì)信息并生成控制指令，檢測(cè)是否存在有效的socket連接？當(dāng)答案為否時(shí)返回判斷手勢(shì)信息并生成控制指令;當(dāng)答案為是時(shí)順序下行發(fā)送運(yùn)動(dòng)控制指令到移動(dòng)平臺(tái)控制部分。
[0020]上述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，所述移動(dòng)平臺(tái)具有前進(jìn)、后退、原地旋轉(zhuǎn)和以設(shè)定轉(zhuǎn)彎半徑轉(zhuǎn)彎的運(yùn)動(dòng)能力。
[0021]上述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，所述攝像頭能夠同時(shí)采集彩色圖像和深度圖像。
[0022]上述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，所涉及的硬件設(shè)備均通過公知途徑獲得，其安裝、連接方法和操作方法是本技術(shù)領(lǐng)域的技術(shù)人員能夠掌握的。
[0023]本發(fā)明的有益效果是:與現(xiàn)有技術(shù)相比，本發(fā)明的突出的實(shí)質(zhì)性特點(diǎn)和顯著進(jìn)步如下:
[0024](I)本發(fā)明設(shè)計(jì)了一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，利用Leap Mot1n體感控制器采集控制人員的手勢(shì)信息，結(jié)合手勢(shì)信息與手勢(shì)控制操作方案，向移動(dòng)平臺(tái)發(fā)出運(yùn)動(dòng)控制指令。實(shí)現(xiàn)移動(dòng)平臺(tái)遠(yuǎn)程控制人員對(duì)移動(dòng)平臺(tái)的非接觸式手勢(shì)控制。
[0025](2)本發(fā)明設(shè)計(jì)了一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，包括移動(dòng)平臺(tái)控制程序，移動(dòng)平臺(tái)控制程序運(yùn)行在工控機(jī)上，并為工控機(jī)配備輸出移動(dòng)平臺(tái)控制信號(hào)的接口，只需做簡(jiǎn)單的配置就能夠控制任意移動(dòng)平臺(tái)的移動(dòng)方式，適用性很強(qiáng)。
[0026](3)本發(fā)明設(shè)計(jì)了一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，包括遠(yuǎn)程控制部分程序，運(yùn)行在筆記本電腦上的遠(yuǎn)程控制部分程序能夠運(yùn)行在任何版本的windows7操作系統(tǒng)上，適應(yīng)性很強(qiáng)。
【附圖說明】
[0027]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說明。
[0028]圖1是本發(fā)明一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)的硬件整體構(gòu)成示意圖。
[0029]圖2是本發(fā)明中的移動(dòng)平臺(tái)控制程序的流程示意圖。
[0030]圖3是本發(fā)明中的遠(yuǎn)程控制程序的流程示意圖。
[0031]圖4是本發(fā)明中的手勢(shì)控制操作方案中的擺手手勢(shì)示意圖。
[0032]圖5是本發(fā)明中的手勢(shì)控制操作方案中的點(diǎn)擊屏幕的手勢(shì)示意圖。
[0033]圖6是本發(fā)明中的Leap Mot1n體感控制器坐標(biāo)示意圖。
[0034]圖中，1.遠(yuǎn)程控制部分，2.移動(dòng)平臺(tái)控制部分，2-1.移動(dòng)平臺(tái)控制器，2-2.移動(dòng)平臺(tái)
【具體實(shí)施方式】
[0035]圖1所示實(shí)施例表明，本發(fā)明一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)的硬件整體包括移動(dòng)平臺(tái)控制部分2和遠(yuǎn)程控制部分1，移動(dòng)平臺(tái)控制部分2包括移動(dòng)平臺(tái)2-2和移動(dòng)平臺(tái)控制器2-1，在移動(dòng)平臺(tái)控制部分2和遠(yuǎn)程控制部分I之間通過wifi實(shí)現(xiàn)通信連接。
[0036]圖2所示實(shí)施例表明，本發(fā)明中的移動(dòng)平臺(tái)控制程序的流程是:啟動(dòng)移動(dòng)平臺(tái)控制程序，啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:—?jiǎng)?chuàng)建服務(wù)器socket—服務(wù)器socket登記接口 —監(jiān)聽連接請(qǐng)求4是否有連接請(qǐng)求?4當(dāng)答案為否時(shí)返回監(jiān)聽連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行4接收數(shù)據(jù)—處理數(shù)據(jù)4通知遠(yuǎn)程客戶端完成了一次發(fā)送，同時(shí)發(fā)送運(yùn)動(dòng)控制指令；另一個(gè)線程是采集移動(dòng)平臺(tái)傳感器信息—檢測(cè)是否存在有效的socket連接?—當(dāng)答案為否時(shí)返回采集移動(dòng)平臺(tái)傳感器信息；當(dāng)答案為是時(shí)則—發(fā)送移動(dòng)平臺(tái)傳感器信息到遠(yuǎn)程控制部分。
[0037]圖3所示實(shí)施例表明，本發(fā)明中的遠(yuǎn)程控制程序的流程是:啟動(dòng)遠(yuǎn)程控制程序，啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:—?jiǎng)?chuàng)建客戶端socket—通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求—是否成功建立連接關(guān)系?—當(dāng)答案為否時(shí)返回通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行—?jiǎng)?chuàng)建用于發(fā)送數(shù)據(jù)的服務(wù)器socket—?jiǎng)?chuàng)建用于接收數(shù)據(jù)的服務(wù)器socket;另一個(gè)線程是啟動(dòng)Leap Mot1n體感控制器—判斷手勢(shì)?目息并生成控制指令—檢測(cè)是否存在有效的socket連接?—當(dāng)答案為否時(shí)返回判斷手勢(shì)信息并生成控制指令;當(dāng)答案為是時(shí)順序下行—發(fā)送運(yùn)動(dòng)控制指令到移動(dòng)平臺(tái)控制部分。
[0038]圖4所示實(shí)施例顯示本發(fā)明中的手勢(shì)控制操作方案中的擺手手勢(shì)為:將手掌自然張開，手掌垂直于Leap Mot 1n體感控制器，做連續(xù)兩次向左擺手或做連續(xù)兩次向右擺手。
[0039]圖5所示實(shí)施例顯示本發(fā)明中的手勢(shì)控制操作方案中的手指有隔空點(diǎn)擊電腦屏幕的動(dòng)作，點(diǎn)擊屏幕的手勢(shì)為:控制者的大拇指、中指、無名指和小拇指為握拳狀態(tài)，食指伸出做點(diǎn)擊動(dòng)作。
[0040]圖6所示實(shí)施例顯示本發(fā)明中的Leap Mot1n體感控制器坐標(biāo)方向，Leap Mot1n體感控制器檢測(cè)到的手勢(shì)位置信息和向量的坐標(biāo)都是在這個(gè)坐標(biāo)系下的坐標(biāo)。
[0041 ] 實(shí)施例
[0042]本實(shí)施例的一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，包括移動(dòng)平臺(tái)控制部分2、遠(yuǎn)程控制部分I和手勢(shì)控制操作方案；
[0043]其中，移動(dòng)平臺(tái)控制部分2包括移動(dòng)平臺(tái)2-2和移動(dòng)平臺(tái)控制器2-1，該移動(dòng)平臺(tái)控制器2-1為工控機(jī)，該工控機(jī)被安置在一個(gè)加有攝像頭和動(dòng)力源的移動(dòng)平臺(tái)2-2上，并通過串口向移動(dòng)平臺(tái)發(fā)送運(yùn)動(dòng)控制指令，該工控機(jī)連接到wifi，通過線路與動(dòng)力源連接，又通過USB接口與攝像頭相連，工控機(jī)平臺(tái)上運(yùn)行移動(dòng)平臺(tái)控制程序;本實(shí)施例的移動(dòng)平臺(tái)2-2選擇MobileRobots ActivMedia公司的P1neer 3AT作為移動(dòng)平臺(tái)2-2，具有前進(jìn)、后退、原地旋轉(zhuǎn)和以設(shè)定轉(zhuǎn)彎半徑轉(zhuǎn)彎的運(yùn)動(dòng)能力。P1neer 3AT重9kg，負(fù)重能力23kg，具有4個(gè)聲納環(huán)，提供360度無死角障礙物探測(cè)，采用兩個(gè)帶光電編碼器的驅(qū)動(dòng)輪。本實(shí)施例的工控機(jī)為P1neer 3AT配備的車載工控機(jī)，具有四個(gè)串口和兩個(gè)USB口，配備無線網(wǎng)卡和視頻采集設(shè)備。車載工控機(jī)通過串口COMl向P1neer 3AT發(fā)送運(yùn)動(dòng)控制指令，其控制指令采用ARIA函數(shù)庫(kù)進(jìn)行封裝。所用攝像頭能夠同時(shí)采集彩色圖像和深度圖像。上述運(yùn)行在該工控機(jī)平臺(tái)上的移動(dòng)平臺(tái)控制程序是:利用socket套接字，將工控機(jī)設(shè)置為虛擬服端，創(chuàng)建服務(wù)端socket，登記接口，監(jiān)聽來自客戶端的連接請(qǐng)求，等待遠(yuǎn)程控制部分發(fā)來連接請(qǐng)求，接收來自遠(yuǎn)程控制部分的運(yùn)動(dòng)控制命令，處理命令，并發(fā)送給移動(dòng)平臺(tái)；該程序的流程順序是:啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:創(chuàng)建服務(wù)器socket，詳細(xì)地說是，進(jìn)行socket網(wǎng)絡(luò)連接，首先加載winsock函數(shù)庫(kù)，構(gòu)造服務(wù)器socket，網(wǎng)絡(luò)協(xié)議選擇TCP/IP協(xié)議，socket類型選擇流式socket,服務(wù)器socket登記接口 ；監(jiān)聽連接請(qǐng)求，詳細(xì)地說是，配置監(jiān)聽地址和端口，監(jiān)聽地址與移動(dòng)平臺(tái)工控機(jī)的IP地址一致，選擇監(jiān)聽端口 8885，利用bind()函數(shù)綁定監(jiān)聽socket，利用accept ()函數(shù)等待連接請(qǐng)求;是否有連接請(qǐng)求？當(dāng)答案為否時(shí)返回監(jiān)聽連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行接收數(shù)據(jù)，處理數(shù)據(jù)，通知遠(yuǎn)程客戶端完成了一次發(fā)送，同時(shí)發(fā)送運(yùn)動(dòng)控制指令，詳細(xì)地說是，當(dāng)檢測(cè)到存在有效的連接請(qǐng)求時(shí)，用recv()函數(shù)接收socket發(fā)送來的數(shù)據(jù)，將接收到的數(shù)據(jù)轉(zhuǎn)換為移動(dòng)平臺(tái)的運(yùn)動(dòng)控制命令，發(fā)送給移動(dòng)平臺(tái)，向遠(yuǎn)程控制部分發(fā)送已接收數(shù)據(jù)的報(bào)告；另一個(gè)線程是:采集移動(dòng)平臺(tái)傳感器的信息，將它們進(jìn)行壓縮打包，檢測(cè)是否存在有效的socket連接?當(dāng)答案為否時(shí)返回采集移動(dòng)平臺(tái)傳感器信息；當(dāng)答案為是時(shí)則發(fā)送移動(dòng)平臺(tái)傳感器信息到遠(yuǎn)程控制部分。
[0044]遠(yuǎn)程控制部分I包括Leap Mot1n體感控制器和筆記本電腦，Leap Mot1n體感控制器放置在筆記本電腦的正前方，通過USB線與筆記本電腦相連，筆記本電腦連接到wifi，筆記本電腦運(yùn)行遠(yuǎn)程控制程序，循環(huán)讀取Leap Mot1n體感控制器采集到的手勢(shì)信息，并對(duì)提取到的手勢(shì)特征進(jìn)行分類和量化，通過wifi向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令，同時(shí)，遠(yuǎn)程控制程序通過wifi接收移動(dòng)平臺(tái)2-2上的攝像頭采集到的圖像信息，并將移動(dòng)平臺(tái)2-2上的攝像頭采集到的圖像信息全屏顯示在筆記本電腦屏幕上，筆記本電腦上運(yùn)行的遠(yuǎn)程控制程序是利用socket套接字，將筆記本電腦設(shè)置為虛擬服務(wù)端，創(chuàng)建服務(wù)端socket，通過服務(wù)器端的地址和端口向服務(wù)器端發(fā)送連接請(qǐng)求，創(chuàng)建服務(wù)端socket的數(shù)據(jù)傳輸;該程序的流程順序是:啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:創(chuàng)建客戶端socket，詳細(xì)地說是，進(jìn)行socket網(wǎng)絡(luò)連接，首先加載winsock函數(shù)庫(kù)，構(gòu)造客戶端socket，網(wǎng)絡(luò)協(xié)議選擇，TCP/IP協(xié)議，socket類型選擇流式socket;通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求，即利用connect ()函數(shù)向移動(dòng)平臺(tái)控制程序發(fā)起連接請(qǐng)求;是否成功建立連接關(guān)系？當(dāng)答案為否時(shí)返回通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求;當(dāng)答案為是時(shí)順序下行創(chuàng)建用于發(fā)送數(shù)據(jù)的服務(wù)器socket，利用send()函數(shù)發(fā)送數(shù)據(jù)，創(chuàng)建用于接收數(shù)據(jù)的服務(wù)器socket，利用reCV()函數(shù)接收數(shù)據(jù)；另一個(gè)線程是:啟動(dòng)Leap Mot1n體感控制器即利用Leap Mot1n體感控制器進(jìn)行手勢(shì)檢測(cè)，判斷手勢(shì)信息并生成控制指令，詳細(xì)地說是利用Leap Mot1n體感控制器的hand屬性檢測(cè)手的個(gè)數(shù)，利用swipe屬性檢測(cè)手的左右滑動(dòng)，用finger屬性檢測(cè)手指的個(gè)數(shù)，用1^11(1.8作&81:代1^丨11()屬性來判斷是否為握拳狀態(tài)，檢測(cè)是否存在有效的socket連接？當(dāng)答案為否時(shí)返回判斷手勢(shì)信息并生成控制指令；當(dāng)答案為是時(shí)順序下行發(fā)送運(yùn)動(dòng)控制指令到移動(dòng)平臺(tái)控制部分2;
[0045]手勢(shì)控制操作方案如下:
[0046]第一步，遠(yuǎn)程控制部分讀Leap Mot1n體感控制器檢測(cè)到人手的個(gè)數(shù)，即LeapMot 1n體感控制器hand屬性，通過wif i向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令:
[0047](1.1)0個(gè)人手即hand = 0，移動(dòng)平臺(tái)2-2保持上一時(shí)刻運(yùn)動(dòng)狀態(tài)不變；
[0048](1.2) I個(gè)人手即hand = I，進(jìn)入下面第二步進(jìn)行判斷；
[0049 ] (1.3) 2個(gè)人手即hand = 2，向移動(dòng)平臺(tái)2_2發(fā)出停止運(yùn)動(dòng)命令；
[0050]第二步，遠(yuǎn)程控制部分讀Leap Mot1n體感控制器檢測(cè)到的控制者手的手勢(shì)信息，通過wif i向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令:
[0051 ] (2.1)當(dāng)在Leap Mot1n體感控制器在90幀內(nèi)連續(xù)兩次檢測(cè)到Gesture.Type =Gesture.GestureType.TYPE_SWIP，且Swip.Direct1n向量的x值小于零(如圖6所不),則確定控制者連續(xù)兩次向左擺手，向移動(dòng)平臺(tái)2-2發(fā)出原地逆時(shí)針運(yùn)動(dòng)命令；
[0052](2.2)當(dāng)在Leap Mot 1n體感控制器在90幀內(nèi)連續(xù)兩次檢測(cè)到Gesture.Type =Gesture.GestureType.TYPE_SWIP，且Swip.Direct1n向量的x值大于零(如圖6所不),則確定控制者連續(xù)兩次向右擺手，向移動(dòng)平臺(tái)2-2發(fā)出原地順時(shí)針運(yùn)動(dòng)命令；
[0053](2.3)當(dāng)檢測(cè)到控制者的手指有隔空點(diǎn)擊電腦屏幕的動(dòng)作，利用向量ScreenType.Direct1n，該向量包含三個(gè)坐標(biāo)(x，y，z)，求& = &1"(^&11(2八):若x>0且ζ>0，Α=&;若1〈0且2>0，厶=&+31;若1>0且2〈0，厶=-&;若1〈0且2〈0，厶=31-3;變量1 = 50/^，變量『2 =50/A，計(jì)算r3 = [r2/20的整數(shù)部分]，計(jì)算R = 20*r3，R的單位為厘米；當(dāng)x>0且z>0時(shí)，移動(dòng)平臺(tái)以R為半徑向右后方轉(zhuǎn)彎；當(dāng)x〈0且z>0時(shí)，移動(dòng)平臺(tái)以R為半徑向左后方轉(zhuǎn)彎；當(dāng)x>0且z〈0時(shí)，移動(dòng)平臺(tái)以R為半徑向左前方轉(zhuǎn)彎；當(dāng)x〈0且z〈0時(shí)，移動(dòng)平臺(tái)以R為半徑向右后方轉(zhuǎn)彎；
[0054](2.4)當(dāng)Leap Mot1n體感控制器在90幀內(nèi)檢測(cè)到hand.Strength屬性的值依次為0,1,0；則認(rèn)為控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，則確定控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，再到張開狀態(tài)，向移動(dòng)平臺(tái)2-2發(fā)出停止運(yùn)動(dòng)命令；
[0055](2.5)當(dāng)Leap Mot1n體感控制器在90幀內(nèi)檢測(cè)到hand.Strength屬性的值依次為0、1、0、1、0，則確定檢測(cè)到控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，再到張開狀態(tài)，再到握拳狀態(tài)，再到張開狀態(tài)，向移動(dòng)平臺(tái)2-2發(fā)出后退運(yùn)動(dòng)命令；
[0056](2.6)當(dāng)控制者手的手勢(shì)不符合以上五種狀態(tài)，則移動(dòng)平臺(tái)2-2保持上一時(shí)刻運(yùn)動(dòng)狀態(tài)不變。
[0057]第三步，返回第一步，再次進(jìn)行判斷。
[0058]上述實(shí)施例中所涉及的硬件設(shè)備均通過公知途徑獲得，其安裝、連接方法和操作方法是本技術(shù)領(lǐng)域的技術(shù)人員能夠掌握的。
【主權(quán)項(xiàng)】
1.一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，其特征在于:包括移動(dòng)平臺(tái)控制部分、遠(yuǎn)程控制部分和手勢(shì)控制操作方案;其中，移動(dòng)平臺(tái)控制部分包括移動(dòng)平臺(tái)和移動(dòng)平臺(tái)控制器，該移動(dòng)平臺(tái)控制器為工控機(jī)，該工控機(jī)被安置在一個(gè)加有攝像頭和動(dòng)力源的移動(dòng)平臺(tái)上，并通過串口向移動(dòng)平臺(tái)發(fā)送運(yùn)動(dòng)控制指令，該工控機(jī)連接到wifi，通過線路與動(dòng)力源連接，又通過USB接口與攝像頭相連，工控機(jī)平臺(tái)上運(yùn)行移動(dòng)平臺(tái)控制程序;遠(yuǎn)程控制部分包括Leap Mot1n體感控制器和筆記本電腦，Leap Mot1n體感控制器放置在筆記本電腦的正前方，通過USB線與筆記本電腦相連，筆記本電腦連接到wifi，筆記本電腦運(yùn)行遠(yuǎn)程控制程序，循環(huán)讀取Leap Mot1n體感控制器采集到的手勢(shì)信息，并對(duì)提取到的手勢(shì)特征進(jìn)行分類和量化，通過wif i向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令，同時(shí)，遠(yuǎn)程控制程序通過wif i接收移動(dòng)平臺(tái)上的攝像頭采集到的圖像信息，并將移動(dòng)平臺(tái)攝像頭采集到的圖像信息全屏顯示在筆記本電腦屏幕上，筆記本電腦上運(yùn)行遠(yuǎn)程控制程序;手勢(shì)控制操作方案如下: 第一步，遠(yuǎn)程控制部分讀Leap Mot 1n體感控制器檢測(cè)到人手的個(gè)數(shù)，通過wifi向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令: (I.I)O個(gè)人手，移動(dòng)平臺(tái)保持上一時(shí)刻運(yùn)動(dòng)狀態(tài)不變； (1.2)I個(gè)人手，進(jìn)入下面第二步進(jìn)行判斷； (1.3)2個(gè)人手，向移動(dòng)平臺(tái)發(fā)出停止運(yùn)動(dòng)命令； 第二步，遠(yuǎn)程控制部分讀Leap Mot1n體感控制器檢測(cè)到的控制者手的手勢(shì)信息，通過wif i向工控機(jī)發(fā)出對(duì)應(yīng)的控制指令: (2.1)當(dāng)檢測(cè)到控制者連續(xù)兩次向左擺手，向移動(dòng)平臺(tái)發(fā)出原地逆時(shí)針運(yùn)動(dòng)命令； (2.2)當(dāng)檢測(cè)到控制者連續(xù)兩次向右擺手，向移動(dòng)平臺(tái)發(fā)出原地順時(shí)針運(yùn)動(dòng)命令； (2.3 )當(dāng)檢測(cè)到控制者的手指有隔空點(diǎn)擊電腦屏幕的動(dòng)作，利用向量ScreenType.Direct1n，該向量包含三個(gè)坐標(biāo)(x，y，z)，求& = &1"(^&11(2八):若x>0且ζ>0，Α=&;若1〈0且2>0，厶=&+31;若1>0且2〈0，厶=-&;若1〈0且2〈0，厶=31-3;變量1 = 50/^，變量『2 =50/A，計(jì)算r3= [r2/20的整數(shù)部分]，計(jì)算R = 20 X r3，R的單位為厘米；當(dāng)x>0且z>0時(shí)，移動(dòng)平臺(tái)以R為半徑向右后方轉(zhuǎn)彎；當(dāng)x〈0且z>0時(shí)，移動(dòng)平臺(tái)以R為半徑向左后方轉(zhuǎn)彎；當(dāng)x>0且z〈O時(shí)，移動(dòng)平臺(tái)以R為半徑向左前方轉(zhuǎn)彎；當(dāng)x〈0且z〈0時(shí)，移動(dòng)平臺(tái)以R為半徑向右后方轉(zhuǎn)彎; (2.4)當(dāng)檢測(cè)到控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，再到張開狀態(tài)，向移動(dòng)平臺(tái)發(fā)出停止運(yùn)動(dòng)命令； (2.5)當(dāng)檢測(cè)到控制者的手短時(shí)間內(nèi)從張開狀態(tài)到握拳狀態(tài)，再到張開狀態(tài)，再到握拳狀態(tài)，再到張開狀態(tài)，向移動(dòng)平臺(tái)發(fā)出后退運(yùn)動(dòng)命令； (2.6)當(dāng)控制者手的手勢(shì)不符合以上五種狀態(tài)，則移動(dòng)平臺(tái)保持上一時(shí)刻運(yùn)動(dòng)狀態(tài)不變。 第三步，返回第一步，再次進(jìn)行判斷。2.根據(jù)權(quán)利要求1所述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，其特征在于:所述工控機(jī)平臺(tái)上運(yùn)行移動(dòng)平臺(tái)控制程序是:利用socket套接字，將工控機(jī)設(shè)置為虛擬服端，創(chuàng)建服務(wù)端socket，登記接口，監(jiān)聽來自客戶端的連接請(qǐng)求，等待遠(yuǎn)程控制部分發(fā)來連接請(qǐng)求，接收來自遠(yuǎn)程控制部分的運(yùn)動(dòng)控制命令，處理命令，并發(fā)送給移動(dòng)平臺(tái)；該程序的流程順序是:啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:創(chuàng)建服務(wù)器socket，服務(wù)器socket登記接口，監(jiān)聽連接請(qǐng)求，是否有連接請(qǐng)求?當(dāng)答案為否時(shí)返回監(jiān)聽連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行接收數(shù)據(jù)，處理數(shù)據(jù)，通知遠(yuǎn)程客戶端完成了一次發(fā)送，同時(shí)發(fā)送運(yùn)動(dòng)控制指令;另一個(gè)線程是:采集移動(dòng)平臺(tái)傳感器信息，檢測(cè)是否存在有效的socket連接？當(dāng)答案為否時(shí)返回采集移動(dòng)平臺(tái)傳感器信息；當(dāng)答案為是時(shí)則發(fā)送移動(dòng)平臺(tái)傳感器信息到遠(yuǎn)程控制部分。3.根據(jù)權(quán)利要求1所述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，其特征在于:所述筆記本電腦運(yùn)行遠(yuǎn)程控制程序是:利用socket套接字，將筆記本電腦設(shè)置為虛擬服務(wù)端，創(chuàng)建服務(wù)端socket，通過服務(wù)器端的地址和端口向服務(wù)器端發(fā)送連接請(qǐng)求，創(chuàng)建服務(wù)端socket的數(shù)據(jù)傳輸;該程序的流程順序是:啟動(dòng)后開啟兩個(gè)線程，一個(gè)線程是:創(chuàng)建客戶端socket，通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求，是否成功建立連接關(guān)系？當(dāng)答案為否時(shí)返回通過服務(wù)器地址和端口號(hào)向服務(wù)器發(fā)送連接請(qǐng)求；當(dāng)答案為是時(shí)順序下行創(chuàng)建用于發(fā)送數(shù)據(jù)的服務(wù)器socket，創(chuàng)建用于接收數(shù)據(jù)的服務(wù)器socket;另一個(gè)線程是:啟動(dòng)LeapMot1n體感控制器，判斷手勢(shì)信息并生成控制指令，檢測(cè)是否存在有效的socket連接？當(dāng)答案為否時(shí)返回判斷手勢(shì)信息并生成控制指令；當(dāng)答案為是時(shí)順序下行發(fā)送運(yùn)動(dòng)控制指令到移動(dòng)平臺(tái)控制部分。4.根據(jù)權(quán)利要求1所述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，其特征在于:所述移動(dòng)平臺(tái)具有前進(jìn)、后退、原地旋轉(zhuǎn)和以設(shè)定轉(zhuǎn)彎半徑轉(zhuǎn)彎的運(yùn)動(dòng)能力。5.根據(jù)權(quán)利要求1所述一種基于手勢(shì)的移動(dòng)平臺(tái)遠(yuǎn)程控制系統(tǒng)，其特征在于:所述攝像頭能夠同時(shí)采集彩色圖像和深度圖像。
【文檔編號(hào)】G05B19/04GK105912105SQ201610204528
【公開日】2016年8月31日
【申請(qǐng)日】2016年3月31日
【發(fā)明人】孫昊, 蔡俊奇, 楊鵬
【申請(qǐng)人】河北工業(yè)大學(xué)