本發(fā)明涉及車輛監(jiān)測(cè)，尤其是一種多模態(tài)特征融合的疲勞駕駛檢測(cè)方法、系統(tǒng)、裝置及介質(zhì)。

背景技術(shù)：

1、疲勞駕駛，是指在長時(shí)間連續(xù)行車后，駕駛員在心理機(jī)能和生理機(jī)制上發(fā)生變化，在客觀上表現(xiàn)為駕駛技能的下降，并且表現(xiàn)出打瞌睡、反應(yīng)遲鈍、四肢無力、注意力不集中以及判斷能力下降等現(xiàn)象。具不完全統(tǒng)計(jì)，50％的交通安全事故均源于駕駛員意識(shí)不清醒從而釀成車禍。

2、疲勞駕駛會(huì)給駕駛員造成極大的安全風(fēng)險(xiǎn)，對(duì)駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時(shí)檢測(cè)是汽車安全駕駛的關(guān)鍵的一環(huán)，因此在駕駛車輛時(shí)需要對(duì)駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時(shí)檢測(cè)并及時(shí)做出預(yù)警。

3、現(xiàn)有技術(shù)中，大多基于深度學(xué)習(xí)技術(shù)檢測(cè)駕駛過程中可能存在的疲勞駕駛行為，包括閉眼、打哈欠等行為，從而實(shí)現(xiàn)對(duì)駕駛員的疲勞檢測(cè)，然而這種方法僅僅只是根據(jù)駕駛員的當(dāng)前面部圖像進(jìn)行判斷，容易產(chǎn)生誤判和漏判，影響了疲勞駕駛檢測(cè)的準(zhǔn)確性以及用戶的行車安全性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。

2、為此，本發(fā)明實(shí)施例的一個(gè)目的在于提供一種多模態(tài)特征融合的疲勞駕駛檢測(cè)方法，該方法提高了疲勞駕駛檢測(cè)的準(zhǔn)確性以及用戶的行車安全性。

3、本發(fā)明實(shí)施例的另一個(gè)目的在于提供一種多模態(tài)特征融合的疲勞駕駛檢測(cè)系統(tǒng)。

4、為了達(dá)到上述技術(shù)目的，本發(fā)明實(shí)施例所采取的技術(shù)方案包括：

5、第一方面，本發(fā)明實(shí)施例提供了一種多模態(tài)特征融合的疲勞駕駛檢測(cè)方法，包括以下步驟：

6、獲取駕駛?cè)藛T的人臉圖像信息，根據(jù)所述人臉圖像信息提取得到所述駕駛?cè)藛T的眼部特征數(shù)據(jù)和嘴部特征數(shù)據(jù)；

7、獲取駕駛?cè)藛T的腦電波信號(hào)，根據(jù)所述腦電波信號(hào)提取得到所述駕駛?cè)藛T的專注度特征數(shù)據(jù)和放松度特征數(shù)據(jù)；

8、獲取駕駛?cè)藛T的方向盤握力信號(hào)，根據(jù)所述方向盤握力信號(hào)提取得到所述駕駛?cè)藛T的握力變化特征數(shù)據(jù)；

9、對(duì)所述眼部特征數(shù)據(jù)、所述嘴部特征數(shù)據(jù)、所述專注度特征數(shù)據(jù)、所述放松度特征數(shù)據(jù)以及所述握力變化特征數(shù)據(jù)進(jìn)行特征融合，得到多模態(tài)特征數(shù)據(jù)；

10、將所述多模態(tài)特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的疲勞狀態(tài)檢測(cè)模型，得到所述駕駛?cè)藛T的疲勞程度檢測(cè)值，進(jìn)而根據(jù)所述疲勞程度檢測(cè)值判斷所述駕駛?cè)藛T是否疲勞駕駛。

11、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述獲取駕駛?cè)藛T的人臉圖像信息，根據(jù)所述人臉圖像信息提取得到所述駕駛?cè)藛T的眼部特征數(shù)據(jù)和嘴部特征數(shù)據(jù)，其具體包括：

12、通過攝像裝置獲取所述人臉圖像信息；

13、對(duì)所述人臉圖像信息進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到多個(gè)人臉關(guān)鍵點(diǎn)；

14、根據(jù)所述人臉關(guān)鍵點(diǎn)提取眼部區(qū)域圖像和嘴部區(qū)域圖像；

15、根據(jù)所述眼部區(qū)域圖像確定所述駕駛?cè)藛T的眼睛閉合程度，并根據(jù)連續(xù)多幀人臉圖像對(duì)應(yīng)的所述眼睛閉合程度生成所述眼部特征數(shù)據(jù)；

16、根據(jù)所述嘴部區(qū)域圖像確定所述駕駛?cè)藛T的嘴巴開合程度，并根據(jù)連續(xù)多幀人臉圖像對(duì)應(yīng)的所述嘴巴開合程度生成所述嘴部特征數(shù)據(jù)。

17、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述獲取駕駛?cè)藛T的腦電波信號(hào)，根據(jù)所述腦電波信號(hào)提取得到所述駕駛?cè)藛T的專注度特征數(shù)據(jù)和放松度特征數(shù)據(jù)，其具體包括：

18、通過腦電波傳感器獲取所述腦電波信號(hào)；

19、對(duì)所述腦電波信號(hào)進(jìn)行信號(hào)分析，得到θ波段、α波段、β波段以及γ波段的信號(hào)能量占比；

20、根據(jù)α波段、β波段、γ波段的信號(hào)能量占比以及預(yù)設(shè)的第一權(quán)重系數(shù)確定所述駕駛?cè)藛T的專注度，并根據(jù)連續(xù)多幀腦電波信號(hào)對(duì)應(yīng)的所述專注度生成所述專注度特征數(shù)據(jù)；

21、根據(jù)θ波段、α波段、β波段的信號(hào)能量占比以及預(yù)設(shè)的第二權(quán)重系數(shù)確定所述駕駛?cè)藛T的放松度，并根據(jù)連續(xù)多幀腦電波信號(hào)對(duì)應(yīng)的所述放松度生成所述放松度特征數(shù)據(jù)。

22、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述獲取駕駛?cè)藛T的方向盤握力信號(hào)，根據(jù)所述方向盤握力信號(hào)提取得到所述駕駛?cè)藛T的握力變化特征數(shù)據(jù)：

23、通過握力感應(yīng)傳感器獲取所述方向盤握力信號(hào)；

24、根據(jù)所述方向盤握力信號(hào)確定所述駕駛?cè)藛T的方向盤握力值，并根據(jù)連續(xù)多幀方向盤握力信號(hào)對(duì)應(yīng)的所述方向盤握力值生成所述握力變化特征數(shù)據(jù)。

25、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述疲勞狀態(tài)檢測(cè)模型通過以下步驟訓(xùn)練得到：

26、獲取測(cè)試人員的眼部特征樣本數(shù)據(jù)、嘴部特征樣本數(shù)據(jù)、專注度特征樣本數(shù)據(jù)、放松度特征樣本數(shù)據(jù)以及握力變化特征樣本數(shù)據(jù)；

27、對(duì)所述眼部特征樣本數(shù)據(jù)、所述嘴部特征樣本數(shù)據(jù)、所述專注度特征樣本數(shù)據(jù)、所述放松度特征樣本數(shù)據(jù)以及所述握力變化特征樣本數(shù)據(jù)進(jìn)行特征融合，得到多模態(tài)特征樣本數(shù)據(jù)；

28、通過人工標(biāo)注確定所述多模態(tài)特征樣本數(shù)據(jù)的疲勞程度標(biāo)簽；

29、將所述多模態(tài)特征樣本數(shù)據(jù)輸入到預(yù)先構(gòu)建的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，得到疲勞程度識(shí)別結(jié)果；

30、根據(jù)所述疲勞程度識(shí)別結(jié)果和所述疲勞程度標(biāo)簽確定損失值；

31、根據(jù)所述損失值更新所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的參數(shù)，得到訓(xùn)練好的所述疲勞狀態(tài)檢測(cè)模型。

32、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述將所述多模態(tài)特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的疲勞狀態(tài)檢測(cè)模型，得到所述駕駛?cè)藛T的疲勞程度檢測(cè)值，進(jìn)而根據(jù)所述疲勞程度檢測(cè)值判斷所述駕駛?cè)藛T是否疲勞駕駛，其具體包括：

33、分別將多個(gè)連續(xù)時(shí)段的所述多模態(tài)特征數(shù)據(jù)分別輸入到所述疲勞狀態(tài)檢測(cè)模型，得到多個(gè)連續(xù)時(shí)段的所述疲勞程度檢測(cè)值和對(duì)應(yīng)的置信度；

34、根據(jù)所述置信度確定各所述疲勞程度檢測(cè)值的第三權(quán)重系數(shù)，進(jìn)而根據(jù)所述第三權(quán)重系數(shù)對(duì)多個(gè)連續(xù)時(shí)段的所述疲勞程度檢測(cè)值進(jìn)行加權(quán)求和，得到所述駕駛?cè)藛T的疲勞程度；

35、當(dāng)所述疲勞程度大于等于預(yù)設(shè)的第一閾值，確定所述駕駛?cè)藛T存在疲勞駕駛行為；

36、當(dāng)所述疲勞程度小于所述第一閾值，確定所述駕駛?cè)藛T不存在疲勞駕駛行為。

37、進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述疲勞駕駛檢測(cè)方法還包括以下步驟：

38、當(dāng)所述駕駛?cè)藛T存在疲勞駕駛行為，根據(jù)所述疲勞程度調(diào)整車輛的香氛系統(tǒng)、音樂系統(tǒng)、懸掛系統(tǒng)以及碰撞告警系統(tǒng)，使得所述香氛系統(tǒng)釋放預(yù)設(shè)的醒神類型的氣體，所述音樂系統(tǒng)播放預(yù)設(shè)的醒神類型的音樂，所述懸掛系統(tǒng)調(diào)節(jié)至運(yùn)動(dòng)模式，所述碰撞告警系統(tǒng)的靈敏度增強(qiáng)。

39、第二方面，本發(fā)明實(shí)施例提供了一種多模態(tài)特征融合的疲勞駕駛檢測(cè)系統(tǒng)，包括：

40、人臉特征提取模塊，用于獲取駕駛?cè)藛T的人臉圖像信息，根據(jù)所述人臉圖像信息提取得到所述駕駛?cè)藛T的眼部特征數(shù)據(jù)和嘴部特征數(shù)據(jù)；

41、腦電波特征提取模塊，用于獲取駕駛?cè)藛T的腦電波信號(hào)，根據(jù)所述腦電波信號(hào)提取得到所述駕駛?cè)藛T的專注度特征數(shù)據(jù)和放松度特征數(shù)據(jù)；

42、握力特征提取模塊，用于獲取駕駛?cè)藛T的方向盤握力信號(hào)，根據(jù)所述方向盤握力信號(hào)提取得到所述駕駛?cè)藛T的握力變化特征數(shù)據(jù)；

43、特征融合模塊，用于對(duì)所述眼部特征數(shù)據(jù)、所述嘴部特征數(shù)據(jù)、所述專注度特征數(shù)據(jù)、所述放松度特征數(shù)據(jù)以及所述握力變化特征數(shù)據(jù)進(jìn)行特征融合，得到多模態(tài)特征數(shù)據(jù)；

44、疲勞狀態(tài)檢測(cè)模塊，用于將所述多模態(tài)特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的疲勞狀態(tài)檢測(cè)模型，得到所述駕駛?cè)藛T的疲勞程度檢測(cè)值，進(jìn)而根據(jù)所述疲勞程度檢測(cè)值判斷所述駕駛?cè)藛T是否疲勞駕駛。

45、第三方面，本發(fā)明實(shí)施例提供了一種多模態(tài)特征融合的疲勞駕駛檢測(cè)裝置，包括：

46、至少一個(gè)處理器；

47、至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)至少一個(gè)程序；

48、當(dāng)所述至少一個(gè)程序被所述至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器實(shí)現(xiàn)上述的一種多模態(tài)特征融合的疲勞駕駛檢測(cè)方法。

49、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有處理器可執(zhí)行的程序，所述處理器可執(zhí)行的程序在由處理器執(zhí)行時(shí)用于執(zhí)行上述的一種多模態(tài)特征融合的疲勞駕駛檢測(cè)方法。

50、本發(fā)明的優(yōu)點(diǎn)和有益效果將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到：

51、本發(fā)明實(shí)施例獲取駕駛?cè)藛T的人臉圖像信息，根據(jù)人臉圖像信息提取得到駕駛?cè)藛T的眼部特征數(shù)據(jù)和嘴部特征數(shù)據(jù)，獲取駕駛?cè)藛T的腦電波信號(hào)，根據(jù)腦電波信號(hào)提取得到駕駛?cè)藛T的專注度特征數(shù)據(jù)和放松度特征數(shù)據(jù)，獲取駕駛?cè)藛T的方向盤握力信號(hào)，根據(jù)方向盤握力信號(hào)提取得到駕駛?cè)藛T的握力變化特征數(shù)據(jù)，對(duì)眼部特征數(shù)據(jù)、嘴部特征數(shù)據(jù)、專注度特征數(shù)據(jù)、放松度特征數(shù)據(jù)以及握力變化特征數(shù)據(jù)進(jìn)行特征融合，得到多模態(tài)特征數(shù)據(jù)，將多模態(tài)特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的疲勞狀態(tài)檢測(cè)模型，得到駕駛?cè)藛T的疲勞程度檢測(cè)值，進(jìn)而根據(jù)疲勞程度檢測(cè)值判斷駕駛?cè)藛T是否疲勞駕駛。本發(fā)明實(shí)施例根據(jù)駕駛?cè)藛T的人臉圖像信息提取眼部特征數(shù)據(jù)和嘴部特征數(shù)據(jù)，根據(jù)駕駛?cè)藛T的腦電波信號(hào)提取專注度特征數(shù)據(jù)和放松度特征數(shù)據(jù)，根據(jù)駕駛?cè)藛T的方向盤握力信號(hào)提取握力變化特征數(shù)據(jù)，基于眼部特征數(shù)據(jù)、嘴部特征數(shù)據(jù)、專注度特征數(shù)據(jù)、放松度特征數(shù)據(jù)以及握力變化特征數(shù)據(jù)融合得到多模態(tài)特征數(shù)據(jù)，將該多模態(tài)特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的疲勞狀態(tài)檢測(cè)模型，即可從眼睛閉合程度、嘴巴開合程度、專注度、放松度以及方向盤握力等多個(gè)維度對(duì)駕駛?cè)藛T進(jìn)行疲勞狀態(tài)檢測(cè)，從而根據(jù)疲勞程度檢測(cè)值判斷駕駛?cè)藛T是否疲勞駕駛，提高了疲勞駕駛檢測(cè)的準(zhǔn)確性以及用戶的行車安全性。