駕駛員分心檢測系統(tǒng)的制作方法
【專利摘要】描述了用于確定并響應(yīng)駕駛員分心的實施方案。車輛的實例車載計算系統(tǒng)包括將車載計算系統(tǒng)通信連接至移動裝置的外部裝置接口、將所述車載計算系統(tǒng)通信連接至所述車輛的一個或多個車輛系統(tǒng)的車輛間系統(tǒng)通信模塊、處理器和存儲可供所述處理器執(zhí)行以從所述移動裝置接收圖像數(shù)據(jù)并基于所述接收的圖像數(shù)據(jù)確定駕駛員狀態(tài)的指令的存儲裝置。所述指令還可執(zhí)行以從所述車輛系統(tǒng)中的一個或多個接收車輛數(shù)據(jù)、基于所述車輛數(shù)據(jù)確定車輛狀態(tài)、基于所述駕駛員狀態(tài)和所述車輛狀態(tài)確定分心嚴(yán)重程度水平且基于所述分心嚴(yán)重程度水平控制所述車輛的一個或多個裝置實施所選擇動作。
【專利說明】
駕駛員分心檢測系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及基于可穿戴裝置和其它傳感器的輸出評估駕駛員分心。
[0002]發(fā)明背景
[0003]分心駕駛可包括可使個人注意力從主要駕駛?cè)蝿?wù)轉(zhuǎn)移開的任何活動。所有分心均會危及駕駛員、乘客和旁人安全并可增加機動車碰撞的機會。一些分心類型包括視覺分心， 此時駕駛員會將其眼睛從道路移開;行為分心，此時駕駛員會將其手從方向盤移開;和認(rèn)知分心，此時駕駛員會將其注意力從駕駛移開。分心的嚴(yán)重程度可取決于這些分心的水平和持續(xù)時間且可受外部因素例如車輛速度和位置及在車輛路徑上的物體所影響。發(fā)明概要
[0004]描述了用于確定并響應(yīng)駕駛員分心的實施方案。車輛的實例車載計算系統(tǒng)包括將車載計算系統(tǒng)通信連接至移動裝置的外部裝置接口、將車載計算系統(tǒng)通信連接至車輛的一個或多個車輛系統(tǒng)的車輛間系統(tǒng)通信模塊、處理器和存儲可供處理器執(zhí)行的指令以從移動裝置經(jīng)由外部裝置接口接收圖像數(shù)據(jù)的存儲裝置，所述圖像數(shù)據(jù)對駕駛員和駕駛員環(huán)境成像，并基于所接收的圖像數(shù)據(jù)確定駕駛員狀態(tài)。所述指令還可執(zhí)行以響應(yīng)確定指示駕駛員分心的駕駛員狀態(tài)、從車輛系統(tǒng)中的一個或多個經(jīng)由車輛間系統(tǒng)通信模塊接收車輛數(shù)據(jù)、 基于所述車輛數(shù)據(jù)確定車輛狀態(tài)、基于所述駕駛員狀態(tài)和所述車輛狀態(tài)確定分心嚴(yán)重程度水平并基于所述分心嚴(yán)重程度水平控制車輛的一個或多個裝置以實施所選擇動作。
[0005]確定駕駛員分心的實例方法包括從可穿戴裝置接收駕駛員數(shù)據(jù)，所述駕駛員數(shù)據(jù)包括來自面向駕駛員照相機的圖像數(shù)據(jù);從所述可穿戴裝置和所述車輛中的至少一個的一個或多個成像裝置接收物體數(shù)據(jù)，所述物體數(shù)據(jù)包括車輛環(huán)境的圖像數(shù)據(jù);和從一個或多個車輛系統(tǒng)接收車輛數(shù)據(jù)，所述車輛數(shù)據(jù)包括車輛操作條件的指示。所述實例方法還包括通過將所述駕駛員數(shù)據(jù)與所述物體數(shù)據(jù)關(guān)聯(lián)確定駕駛員是否分心、對確定駕駛員分心作出響應(yīng)、基于將所述駕駛員數(shù)據(jù)與所述物體數(shù)據(jù)和所述車輛數(shù)據(jù)關(guān)聯(lián)選擇動作并實施所選擇動作;和對確定駕駛員未被分心作出響應(yīng)，維持當(dāng)前操作參數(shù)。
[0006]實例分心監(jiān)測系統(tǒng)包括可穿戴裝置，其包括面向駕駛員照相機、面向外照相機和一個或多個傳感器;通信連接至所述可穿戴裝置和一個或多個車輛系統(tǒng)的車載計算系統(tǒng)， 所述車載計算系統(tǒng)包括第一處理器和第一存儲裝置;和遠(yuǎn)離所述車載計算系統(tǒng)且經(jīng)由網(wǎng)絡(luò)通信連接至所述車載計算系統(tǒng)的云計算裝置，所述云計算裝置包括第二處理器和第二存儲裝置。所述第一存儲裝置和所述第二存儲裝置中的一個或多個存儲可由所述第一處理器和所述第二處理器中的相應(yīng)一個或多個執(zhí)行的第一指令以從所述面向駕駛員照相機接收圖像數(shù)據(jù)和從所述可穿戴裝置的一個或多個傳感器接收指示駕駛員狀態(tài)的傳感器數(shù)據(jù)，從所述可穿戴裝置的面向外照相機接收指示一個或多個物體的物體狀態(tài)的圖像數(shù)據(jù)，從一個或多個車輛系統(tǒng)接收指示車輛狀態(tài)的車輛數(shù)據(jù)，并基于所指示駕駛員狀態(tài)、物體狀態(tài)和車輛狀態(tài)選擇需實施的動作。所述第一存儲裝置可存儲可由所述第一處理器執(zhí)行的第二指令以將命令發(fā)送給車載計算系統(tǒng)的顯示裝置、車輛的音頻裝置和車輛的發(fā)動機控制單元中的一個或多個來實施所選擇的動作。
[0007]附圖簡述
[0008]通過閱讀以下非限制實施方案的描述并參考附圖可以更好地理解本發(fā)明，其中:
[0009]圖1示出根據(jù)本發(fā)明一個或多個實施方案的車廂的實例局部視圖；
[0010]圖2是示出根據(jù)本發(fā)明一個或多個實施方案的實例車載計算系統(tǒng)；
[0011]圖3A示出根據(jù)本發(fā)明一個或多個實施方案的實例分心確定系統(tǒng)的方塊圖；
[0012]圖3B示出根據(jù)本發(fā)明一個或多個實施方案的實例分心確定系統(tǒng)的方塊圖；
[0013]圖4是根據(jù)本發(fā)明一個或多個實施方案基于來自頭部單元視場計算的嚴(yán)重程度等級范圍生成警告的實例方法的流程圖；
[0014]圖5是根據(jù)本發(fā)明一個或多個實施方案確定駕駛員分心水平的實例方法的流程圖；
[0015]圖6是根據(jù)本發(fā)明一個或多個實施方案確定分心嚴(yán)重程度等級的實例方法的流程圖；
[0016]圖7示出根據(jù)本發(fā)明一個或多個實施方案將嚴(yán)重程度等級R映射至駕駛員狀態(tài)和車輛條件的實例表。
[0017]圖8是根據(jù)本發(fā)明一個或多個實施方案響應(yīng)實例駕駛員狀態(tài)和車輛條件確定需實施動作的實例方法的流程圖；且
[0018]圖9是根據(jù)本發(fā)明一個或多個實施方案響應(yīng)實例駕駛員狀態(tài)、物體狀態(tài)和車輛條件確定需實施動作的實例方法的流程圖。【具體實施方式】
[0019]如上所述，駕駛員分心可危及車輛使用者以及車輛附近人員。然而，僅僅通過監(jiān)測駕駛員狀態(tài)或僅僅通過監(jiān)測駕駛員的少數(shù)分心相關(guān)行為，有可能提供對分心駕駛員的不適當(dāng)響應(yīng)。例如，如果駕駛員正在打瞌睡，視覺警告可能不足以糾正分心行為。作為另一實例， 如果駕駛員僅僅是望向路旁但車輛路徑上無物體，那么針對駕駛員分心的響亮音頻警告是不必要的而且會驚嚇駕駛員，導(dǎo)致駕駛員喪失車輛的控制。不僅監(jiān)測駕駛員分心水平，而且還及時地有效響應(yīng)這類分心的分心監(jiān)測系統(tǒng)可以解決分心駕駛問題和這類駕駛所造成的重大交通安全性問題。
[0020]因此，本發(fā)明提供一種分心監(jiān)測系統(tǒng)，其包括車載計算系統(tǒng)和云計算裝置中的一個或多個，所述裝置從可穿戴裝置和/或其它傳感器裝置接收傳感器數(shù)據(jù)以確定駕駛員狀態(tài)和車輛環(huán)境中的物體的狀態(tài)。所述車載計算系統(tǒng)和/或云計算裝置還可從車輛系統(tǒng)接收數(shù)據(jù)以確定車輛狀態(tài)。通過關(guān)聯(lián)駕駛員、物體和車輛狀態(tài)，所述分心監(jiān)測系統(tǒng)可首先確定駕駛員是否分心，并隨后確定那個分心的嚴(yán)重程度。所述分心監(jiān)測系統(tǒng)可實施不同動作(例如提供視覺警報、提供音頻警報和/或?qū)嵤┸囕v控制)以響應(yīng)不同水平的分心嚴(yán)重程度，因為不同類型的分心可從不同類型的警告/響應(yīng)獲益。如此一來，可以基于不同類型數(shù)據(jù)的智能組合按合適方式將分心告知駕駛員。
[0021]圖1示出通信系統(tǒng)的一類環(huán)境的實例局部視圖:車輛102的車廂100的內(nèi)部，其中可乘坐駕駛員和/或一名或多名乘客。圖1的車輛102可以是包括驅(qū)動輪(未示出)和內(nèi)燃發(fā)動機104的機動車輛。內(nèi)燃發(fā)動機104可包括一個或多個燃燒室，其可經(jīng)由進(jìn)氣通道接收進(jìn)入空氣并經(jīng)由排氣通道排出燃燒氣體。在其它類型車輛中，車輛102可以是公路汽車。在一些實例中，車輛102可以包括混合推進(jìn)系統(tǒng)，其包括可操作以從車輛運動和/或發(fā)動機吸收能量并將所吸收能量轉(zhuǎn)換為適合能量存儲裝置存儲的能量形式的能量轉(zhuǎn)換裝置。車輛102可包括全電動車輛，其合并了燃料電池、太陽能捕捉元件和/或用于給車輛供能的其它能量存儲系統(tǒng)。[〇〇22]如圖所示，儀表面板106可包括可供車輛102的駕駛員(還稱為用戶)訪問的各種顯示器和控件。例如，儀表面板106可包括車載計算系統(tǒng)109的觸摸屏108(例如信息娛樂系統(tǒng))、音頻系統(tǒng)控制面板和儀表組110。雖然圖1所示實例系統(tǒng)包括可經(jīng)由車載計算系統(tǒng)109 的用戶界面實施的音頻系統(tǒng)控件，如不具有獨立音頻系統(tǒng)控制面板的觸摸屏108,但在其它實施方案中，車輛可包括音頻系統(tǒng)控制面板，其可包括用于常見車輛音頻系統(tǒng)(如廣播、光盤播放機、MP3播放機等)的控件。所述音頻系統(tǒng)控件可包括用于經(jīng)由車輛揚聲器系統(tǒng)的揚聲器112控制音頻輸出的一個或多個方面的部件。例如，所述車載計算系統(tǒng)或所述音頻系統(tǒng)控件可控制音頻輸出的音量、車輛揚聲器系統(tǒng)的各個揚聲器的聲音分布、音頻信號的均衡和/或音頻輸出的任何其它方面。在其它實例中，車載計算系統(tǒng)109可基于直接經(jīng)由觸摸屏 108接收的用戶輸入或基于經(jīng)由外部裝置150和/或移動裝置128接收的關(guān)于用戶的數(shù)據(jù)(如物理狀態(tài)和/或用戶環(huán)境)調(diào)節(jié)無線電臺選擇、播放列表選擇、音頻輸出源(例如無線電或CD 或MP3)等。[〇〇23]在一些實施方案中，車載計算系統(tǒng)109的一個或多個硬件元件如觸摸屏108、顯示屏、各種控制轉(zhuǎn)盤、旋鈕和按鈕、存儲器、處理器和任何接口元件(例如連接器或端口)可形成安裝于車輛的儀表面板106中的集成頭部單元。所述頭部單元可牢固或可拆除地附接于儀表面板106中。在其它或替代實施方案中，車載計算系統(tǒng)的一個或多個硬件元件可以呈模塊化且可安裝于車輛的多個位置。
[0024]車廂100可包括用于監(jiān)測車輛、用戶和/或環(huán)境的一個或多個傳感器。例如，車廂 100可包括被配置以測定施加于座位的壓力從而確定用戶存在的一個或多個座位安置壓力傳感器、被配置以監(jiān)測車門活動的車門傳感器、測定車廂濕度的濕度傳感器、以語音命令形式接收用戶輸入、支持用戶進(jìn)行電話呼叫和/或測定車廂1〇〇中的環(huán)境噪音的麥克風(fēng)等。應(yīng)理解上述傳感器和/或一個或多個額外或替代傳感器可安置于車輛的任何合適位置。例如， 傳感器可安置于發(fā)動機房中、車廂的外表面上和/或其它合適位置用于提供關(guān)于車輛操作、 車輛環(huán)境條件、車輛用戶等信息。關(guān)于車輛環(huán)境條件、車輛狀態(tài)或車輛駕駛員的信息還可從車輛外部/與車輛分離(即不構(gòu)成車輛系統(tǒng)的一部分)的傳感器，如從耦接至外部裝置150 和/或移動裝置128的傳感器接收。
[0025]車廂100還可包括在行駛之前、期間和/或之后存放在車輛中的一個或多個用戶物體，如移動裝置128。所述移動裝置可包括智能電話、平板電腦、膝上型計算機、便攜式媒體播放器和/或任何合適移動計算裝置。所述移動裝置128可經(jīng)由通信鏈路130連接至車載計算系統(tǒng)。所述通信鏈路130可以是有線(例如經(jīng)由通用串行總線[USB]、移動高清晰度鏈路 [MHL]、高清晰度多媒體接口 [HDMI]、以太網(wǎng)等)或無線(例如經(jīng)由藍(lán)牙、W1-F1、近場通信 [NFC]、蜂窩連接等)且被配置以在移動裝置與車載計算系統(tǒng)之間提供雙向通信。例如，通信鏈路130可將來自各個車輛系統(tǒng)(如車輛音頻系統(tǒng)、氣候控制系統(tǒng)等)和觸摸屏108的傳感器和/或控制信號提供給移動裝置128且可將來自移動裝置128的控制和/或顯示信號提供給車載系統(tǒng)和觸摸屏108。所述通信鏈路130還可將來自車載能源的能量提供給移動裝置128 以給移動裝置的內(nèi)置電池充電。
[0026]車載計算系統(tǒng)109還可通信耦接至供用戶操作和/或訪問但位于車輛102外部的其它裝置，如一個或多個外部裝置150。在所描繪的實施方案中，外部裝置150位于車輛102外偵L但將明白在其它實施方案中，外部裝置可位于車廂100內(nèi)側(cè)。所述外部裝置可包括服務(wù)器計算系統(tǒng)、個人計算系統(tǒng)、便攜式電子裝置、電子腕帶、電子頭帶、便攜式音樂播放器、電子活動跟蹤裝置、計步器、智能手表、GPS系統(tǒng)等。外部裝置150可經(jīng)由可以是有線或無線(如參考通信鏈路130所論述)且被配置以在外部裝置與車載計算系統(tǒng)之間提供雙向通信的通信鏈路136連接至車載計算系統(tǒng)。例如，外部裝置150可包括一個或多個傳感器且通信鏈路 136可將來自外部裝置150的傳感器輸出發(fā)送至車載計算系統(tǒng)109和觸摸屏108。外部裝置 150還可存儲和/或接收關(guān)于文本數(shù)據(jù)、用戶行為/偏好、操作規(guī)則等的信息且可將這類信息從外部裝置150發(fā)送至車載計算系統(tǒng)109和觸摸屏108。
[0027]車載計算系統(tǒng)109可分析從外部裝置150、移動裝置128和/或其它輸入源接收的輸入并選擇各個車載系統(tǒng)(如氣候控制系統(tǒng)或音頻系統(tǒng))的設(shè)置、經(jīng)由觸摸屏108和/或揚聲器 112提供輸出、與移動裝置128和/或外部裝置150通信和/或基于評估實施其它動作。在一些實施方案中，所有或一部分評估可由移動裝置128和/或外部裝置150實施。
[0028]在一些實施方案中，外部裝置150中的一個或多個可經(jīng)由移動裝置128和/或外部裝置150中的另一個間接通信耦接至車載計算系統(tǒng)109。例如，通信鏈路136可將外部裝置 150通信耦接至移動裝置128以將來自外部裝置150的輸出中繼到移動裝置128。隨后可在移動裝置128將從外部裝置150接收的數(shù)據(jù)與移動裝置128所收集的數(shù)據(jù)集合，隨后經(jīng)由通信鏈路130將集合數(shù)據(jù)發(fā)送至車載計算系統(tǒng)109和觸摸屏108。類似數(shù)據(jù)集合可發(fā)生在服務(wù)器系統(tǒng)且隨后經(jīng)由通信鏈路136/130發(fā)送至車載計算系統(tǒng)109和觸摸屏108。
[0029]在圖1圖示的實例環(huán)境中，所述車載計算系統(tǒng)109可經(jīng)由任何合適網(wǎng)絡(luò)連接至一個或多個車輛系統(tǒng)，如揚聲器112、顯不器108、車輛傳感器和/或其它合適車輛系統(tǒng)。在一些實例中，所述車載計算系統(tǒng)109包括被配置以經(jīng)由網(wǎng)絡(luò)將音頻/視頻數(shù)據(jù)發(fā)送至收聽裝置如揚聲器112和顯示器108的送話裝置。網(wǎng)絡(luò)可根據(jù)開放式系統(tǒng)互連(0SI)模塊的層2配置，其中在網(wǎng)絡(luò)中的路由和轉(zhuǎn)發(fā)決定或判定可基于媒體訪問控制(MAC)尋址方式實施。實例層2網(wǎng)絡(luò)可以是以太網(wǎng)音頻/視頻橋接(AVB)網(wǎng)絡(luò)。對于被配置成AVB網(wǎng)絡(luò)的層2網(wǎng)絡(luò)來說，送話器和收聽器可被配置以在AVB網(wǎng)絡(luò)上利用各種AVB標(biāo)準(zhǔn)和協(xié)議通信，包括用于網(wǎng)絡(luò)定時和同步的電氣和電子工程師協(xié)會(IEEE)802.1AS-2011(gPTP)、用于排隊和轉(zhuǎn)發(fā)流化數(shù)據(jù)的IEEE 802.1Q-2011條款34、用于保留網(wǎng)絡(luò)連接或路徑和/或資源如網(wǎng)絡(luò)連接的通信帶寬的IEEE 802.1Q-2011條款35(流保留協(xié)議(SRP))和/或與可行數(shù)據(jù)流化格式相關(guān)的IEEE 1722-2011。可另外或替代地使用其它AVB相關(guān)標(biāo)準(zhǔn)和協(xié)議和/或先前、現(xiàn)用或后續(xù)開發(fā)的AVB標(biāo)準(zhǔn)和協(xié)議的其它版本。
[0030]應(yīng)理解圖1描繪了一種實例環(huán)境，然而本文所描述的通信系統(tǒng)和方法可用于任何合適環(huán)境?？蓪l(fā)送和/或接收信息、感測數(shù)據(jù)和/或以其它方式幫助駕駛員分心檢測和/或警報系統(tǒng)的任何合適裝置用作本文所描述的系統(tǒng)和/或用于實施本文所描述的方法。
[0031]圖2示出被配置和/或集成在車輛201內(nèi)的車載計算系統(tǒng)200的方塊圖。車載計算系統(tǒng)200可以是圖1車載計算系統(tǒng)109的實例和/或可實施在本文一些實施方案中所描述的方法中的一個或多個。在一些實例中，所述車載計算系統(tǒng)可以是車輛信息娛樂系統(tǒng)，其被配置以將基于信息的媒體內(nèi)容(音頻和/或視覺媒體內(nèi)容，包括娛樂內(nèi)容、導(dǎo)航服務(wù)等)提供給車輛用戶以增強操作人的車載體驗。所述車輛信息娛樂系統(tǒng)可包括或耦接至各種車輛系統(tǒng)、 子系統(tǒng)、硬件組件以及集成于或可集成于車輛201中以增強駕駛員和/或乘客的車載體驗的軟件應(yīng)用程序和系統(tǒng)。[〇〇32] 車載計算系統(tǒng)200可包括一個或多個處理器，包括操作系統(tǒng)處理器214和接口處理器220。操作系統(tǒng)處理器214可執(zhí)行車載計算系統(tǒng)上的操作系統(tǒng)并控制車載計算系統(tǒng)的輸入/輸出、顯示、回放和其它操作。接口處理器220可經(jīng)由車輛間系統(tǒng)通信模塊222與車輛控制系統(tǒng)230介接。[〇〇33]車輛間系統(tǒng)通信模塊222可將數(shù)據(jù)輸出至其它車輛系統(tǒng)231和車輛控制元件261， 同時還例如通過車輛控制系統(tǒng)230從其它車輛組件和系統(tǒng)231、261接收數(shù)據(jù)輸入。當(dāng)輸出數(shù)據(jù)時，車輛間系統(tǒng)通信模塊222可經(jīng)由總線提供對應(yīng)于任何車輛狀態(tài)、車輛周圍環(huán)境或連接至車輛的任何其它信息源的輸出的信號。車輛數(shù)據(jù)輸出可包括例如模擬信號(如當(dāng)前速度)、由各個信息源(如時鐘、溫度計、位置傳感器如全球定位系統(tǒng)[GPS]傳感器等)提供的數(shù)字信號、通過車輛數(shù)據(jù)網(wǎng)絡(luò)(如可用于通信發(fā)動機相關(guān)信息的發(fā)動機控制器局域網(wǎng)[CAN]總線、可用于通信氣候控制相關(guān)信息的氣候控制CAN總線和供車輛中的多媒體組件之間通信多媒體數(shù)據(jù)用的多媒體數(shù)據(jù)網(wǎng)絡(luò))傳播的數(shù)字信號。例如，所述車載計算系統(tǒng)可從發(fā)動機 CAN總線檢索由車輪傳感器估算的當(dāng)前車輛速度、由車輛的電池和/或能量分配系統(tǒng)提供的車輛能量狀態(tài)、車輛點火狀態(tài)等。此外，在不脫離本發(fā)明精神下還可以使用其它介接方式， 如以太網(wǎng)。[〇〇34]在車載計算系統(tǒng)200中可包括非易失性存儲裝置208以按非易失形式存儲數(shù)據(jù)，如可由處理器214和處理器220執(zhí)行的指令。存儲裝置208可存儲應(yīng)用程序數(shù)據(jù)以支持車載計算系統(tǒng)200運行用于連接云服務(wù)器和/或收集傳輸至云服務(wù)器的信息的應(yīng)用程序。所述應(yīng)用程序可檢索由車輛系統(tǒng)/傳感器、輸入裝置(例如用戶界面218)、與車載計算系統(tǒng)通信的裝置(例如經(jīng)由藍(lán)牙鏈路連接的移動裝置)等收集的信息。車載計算系統(tǒng)200還可包括易失性存儲器216。易失性存儲器216可以是隨機訪問存儲器(RAM)。非暫時性存儲裝置如非易失性存儲裝置208和/或易失性存儲器216可存儲指令和/或代碼，當(dāng)被處理器(例如操作系統(tǒng)處理器214和/或接口處理器220)執(zhí)行時，其控制車載計算系統(tǒng)200實施本發(fā)明所描述動作中的一個或多個。[〇〇35]車載計算系統(tǒng)200可包括麥克風(fēng)202以接收來自用戶的語音命令、測定車輛中的環(huán)境噪音、根據(jù)車輛的聲學(xué)環(huán)境決定是否調(diào)諧來自車輛揚聲器的音頻等。語音處理單元204可處理語音命令，如從麥克風(fēng)202接收的語音命令。在一些實施方案中，車載計算系統(tǒng)200還能夠接收語音命令并利用包括于車輛的音頻系統(tǒng)232中的麥克風(fēng)對環(huán)境車輛噪音進(jìn)行采樣。 [〇〇36]在車載計算系統(tǒng)200的傳感器子系統(tǒng)210中可包括一個或多個額外傳感器。例如， 傳感器子系統(tǒng)210可包括照相機，如輔助用戶停泊車輛的后視照相機和/或用于識別用戶 (例如利用面部認(rèn)知和/或用戶姿勢)的車廂照相機。車載計算系統(tǒng)200的傳感器子系統(tǒng)210 可與各個車輛傳感器通信并接收輸入且還可接收用戶輸入。例如，由傳感器子系統(tǒng)210接收的輸入可包括傳動齒輪位置、傳動離合器位置、油門踏板輸入、制動輸入、傳動選擇器位置、 車輛速度、發(fā)動機速度、通過發(fā)動機的空氣流量、環(huán)境溫度、輸入空氣溫度等以及來自氣候控制系統(tǒng)傳感器(如熱傳遞流體溫度、防凍液溫度、風(fēng)扇速度、乘客艙溫度、所需乘客艙溫度、環(huán)境濕度等)、檢測用戶所發(fā)起的語音命令的音頻傳感器、接收來自車輛鑰匙的命令且任選跟蹤其地理位置/遠(yuǎn)近的鑰匙傳感器等的輸入。雖然某些車輛系統(tǒng)傳感器可與傳感器子系統(tǒng)210單獨通信，但其它傳感器可與傳感器子系統(tǒng)210和車輛控制系統(tǒng)230通信，或可經(jīng)由車輛控制系統(tǒng)230間接與傳感器子系統(tǒng)210通信。車載計算系統(tǒng)200的導(dǎo)航子系統(tǒng)211可生成和/或接收導(dǎo)航信息，如位置信息(例如經(jīng)由GPS傳感器和/或傳感器子系統(tǒng)210的其它傳感器)、路徑指導(dǎo)、交通信息、關(guān)注點(POI)識別，和/或給駕駛員提供其它導(dǎo)航服務(wù)。[〇〇37]車載計算系統(tǒng)200的外部裝置接口 212可耦接和/或與位于車輛201外部的一個或多個外部裝置240通信。雖然圖示外部裝置位于車輛201外部，但應(yīng)理解它們可以暫時容置于車輛201中，如當(dāng)用戶操作外部裝置同時操作車輛201時。換句話說，外部裝置240不集成于車輛201。外部裝置240可包括移動裝置242(例如經(jīng)由藍(lán)牙連接)或另一種藍(lán)牙支持裝置 252。移動裝置242可以是移動電話、智能電話、可經(jīng)由有線和/或無線通信與車載計算系統(tǒng)通信的可穿戴裝置/傳感器或其它便攜式電子裝置。其它外部裝置包括外部服務(wù)246。例如， 所述外部裝置可包括與車輛分離且位于車輛外部的車外裝置。另外其它外部裝置包括外部存儲裝置254,如固態(tài)驅(qū)動器、隨身驅(qū)動器、USB驅(qū)動器等。在不脫離本發(fā)明的范圍下，外部裝置240可無線或經(jīng)由連接器與車載計算系統(tǒng)200通信。例如，外部裝置240可通過網(wǎng)絡(luò)260上的外部裝置接口 212、通用串行總線(USB)連接、直接有線連接、直接無線連接和/或其它通信鏈路與車載計算系統(tǒng)200通信。外部裝置接口 212可提供通信接口來支持車載計算系統(tǒng)與駕駛員聯(lián)系有關(guān)的移動裝置通信。例如，外部裝置接口 212可支持向駕駛員聯(lián)系有關(guān)的移動裝置建立電話呼叫和/或發(fā)送(例如，經(jīng)由蜂窩通信網(wǎng)絡(luò))文本消息(例如SMS、MMS等)。[〇〇38]可在移動裝置242上操作一個或多個應(yīng)用程序244。作為實例，移動裝置應(yīng)用程序 244可操作以集合關(guān)于用戶與移動裝置交互的用戶數(shù)據(jù)。例如，移動裝置應(yīng)用程序244可集合關(guān)于用戶在移動裝置上收聽的音樂播放列表、電話呼叫日志(包括用戶接聽電話呼叫的頻率和時長)、位置信息包括用戶常去的位置和在每個位置所花費的時間量等的數(shù)據(jù)。所收集的數(shù)據(jù)可通過應(yīng)用程序244經(jīng)網(wǎng)絡(luò)260傳送至外部裝置接口 212。此外，移動裝置242可從車載計算系統(tǒng)200經(jīng)由外部裝置接口 212接收特定用戶數(shù)據(jù)請求。所述特定數(shù)據(jù)請求可包括確定用戶所處地理位置、用戶所在位置的環(huán)境噪聲水平和/或音樂流派、用戶所在位置的環(huán)境天氣條件(溫度、濕度等)等的請求。移動裝置應(yīng)用程序244可將控制指令發(fā)送給移動裝置 242的組件(例如麥克風(fēng)等)或其它應(yīng)用程序(例如導(dǎo)航應(yīng)用程序)以支持將請求數(shù)據(jù)收集于移動裝置上。隨后移動裝置應(yīng)用程序244可將所收集的信息中繼返回至車載計算系統(tǒng)200。 [0〇39]類似地，可在外部服務(wù)246上操作一個或多個應(yīng)用程序248。作為實例，外部服務(wù)應(yīng)用程序248可操作以集合和/或分析來自多個數(shù)據(jù)源的數(shù)據(jù)。例如，外部服務(wù)應(yīng)用程序248可集合來自用戶的一個或多個社交媒體賬戶的數(shù)據(jù)、來自車載計算系統(tǒng)的數(shù)據(jù)(例如傳感器數(shù)據(jù)、日志文件、用戶輸入等)、來自互聯(lián)網(wǎng)查詢的數(shù)據(jù)(例如天氣數(shù)據(jù)、P0I數(shù)據(jù))等。所收集的數(shù)據(jù)可傳送至另一裝置和/或供應(yīng)用程序分析以確定駕駛員、車輛和環(huán)境的狀態(tài)并基于所述狀態(tài)實施動作(例如向其它裝置請求/發(fā)送數(shù)據(jù))。
[0040]車輛控制系統(tǒng)230可包括用于控制不同車載功能所涉及的各個車輛系統(tǒng)231的方面的控件。這些可包括例如控制向車輛使用人提供音頻娛樂的車輛音頻系統(tǒng)232的方面、滿足車輛使用人的車輛制冷或制熱需求的氣候控制系統(tǒng)234的方面以及支持車輛使用人與其他人建立電信連接的電信系統(tǒng)236的方面。
[0041]音頻系統(tǒng)232可包括一個或多個聲學(xué)再現(xiàn)裝置，包括電磁換能器如揚聲器。車輛音頻系統(tǒng)232可通過如包括功率放大器而為無源或有源的。在一些實例中，車載計算系統(tǒng)200 可以是聲學(xué)再現(xiàn)裝置的唯一音頻源或可以存在連接至音頻再現(xiàn)系統(tǒng)的其它音頻源(例如外部裝置如移動電話)。任何這種外部裝置對音頻再現(xiàn)裝置的連接可以是模擬、數(shù)字或數(shù)字與模擬技術(shù)的任何組合。[〇〇42]氣候控制系統(tǒng)234可被配置以在車輛201的車廂或乘客艙內(nèi)提供舒適環(huán)境。氣候控制系統(tǒng)234包括支持控制通風(fēng)的組件，如通氣口、加熱器、空氣調(diào)節(jié)器、集成加熱器與空氣調(diào)節(jié)器系統(tǒng)等。鏈接至加熱與空氣調(diào)節(jié)設(shè)備的其它組件可包括能夠清潔擋風(fēng)板的擋風(fēng)除霜與除霧系統(tǒng)和用于清潔經(jīng)新風(fēng)入口進(jìn)入乘客艙的外側(cè)空氣的通風(fēng)空氣過濾器。[〇〇43]車輛控制系統(tǒng)230還可包括用于調(diào)節(jié)與發(fā)動機和/或車輛車廂內(nèi)的附屬元件相關(guān)的各個車輛空間261 (或車輛系統(tǒng)控制元件)的設(shè)置的控件，如方向盤控件262(方向盤安置的音頻系統(tǒng)控件、巡航控件、擋風(fēng)刮條控件、頭燈控件、轉(zhuǎn)向信號燈控件等)、儀表面板控件、 麥克風(fēng)、加速器/制動/離合器踏板、換擋器、安置于駕駛員或乘客車門的門/窗控件、座位控件、車廂燈控件、音頻系統(tǒng)控件、車廂溫度控件等。車輛控件261還可包括內(nèi)部發(fā)動機和車輛操作控件(例如發(fā)動機控制器模塊、致動器、閥門等)，其被配置以經(jīng)由車輛的CAN總線接收指令來改變發(fā)動機、排氣系統(tǒng)、傳動和/或其它車輛系統(tǒng)中的一個或多個的操作。所述控制信號還可控制車輛音頻系統(tǒng)232的一個或多個揚聲器的音頻輸出。例如，控制信號可調(diào)節(jié)音頻輸出特性如音量、均衡、音頻圖像(例如產(chǎn)生從一個或多個確定位置呈現(xiàn)給用戶的音頻輸出的音頻信號的配置)、多個揚聲器的音頻分布等。類似地，控制信號可控制氣候控制系統(tǒng) 234的通風(fēng)、空調(diào)調(diào)節(jié)器和/或加熱器。例如，控制信號可增大向車廂特定部分的冷空氣遞送。
[0044]安置于車輛外側(cè)的控制元件(例如安全系統(tǒng)的控件)還可例如經(jīng)由通信模塊222連接至計算系統(tǒng)200。車輛控制系統(tǒng)的控制元件可實體且永久地安置于車輛上和/或中用于接收用戶輸入。除了接收來自車載計算系統(tǒng)200的控制指令外，車輛控制系統(tǒng)230還可接收來自由用戶操作的一個或多個外部裝置240,如來自移動裝置242的輸入。這允許基于從外部裝置240接收的用戶輸入控制車輛系統(tǒng)231和車輛控件261的方面。[〇〇45]車載計算系統(tǒng)200還可包括天線206。天線206示出為單個天線，但在一些實施方案中可包括一個或多個天線。車載計算系統(tǒng)可經(jīng)由天線206獲得寬帶無線互聯(lián)網(wǎng)接入，且還可接收廣播信號如無線電、電視、天氣、交通和類似信號。車載計算系統(tǒng)可經(jīng)由一個或多個天線206接收定位信號如GPS信號。車載計算系統(tǒng)還可經(jīng)由RF如經(jīng)由天線206或經(jīng)由紅外或其它方式通過適當(dāng)接收裝置接收無線命令。在一些實施方案中，天線206可構(gòu)成音頻系統(tǒng)232 或電信系統(tǒng)236的一部分。此外，天線206可將AM/FM無線電信號經(jīng)由外部裝置接口 212提供給外部裝置240(如給移動裝置242)。
[0046]用戶可經(jīng)由用戶界面218控制車載計算系統(tǒng)200的一個或多個元件。用戶界面218 可包括呈現(xiàn)在觸摸屏(如圖1觸摸屏108)上的圖形用戶界面和/或用戶啟動按鈕、開關(guān)、旋鈕、撥號盤、滑塊等。例如，用戶啟動元件可包括方向盤控件、門和/或窗控件、儀表面板控件、音頻系統(tǒng)設(shè)置、氣候控制系統(tǒng)設(shè)置和類似元件。用戶還可經(jīng)由用戶界面218與車載計算系統(tǒng)200和移動裝置242的一個或多個應(yīng)用程序交互。除了在用戶界面218上接收用戶的車輛設(shè)置偏好外，還可在用戶界面218上將車載控制系統(tǒng)所選擇的車輛設(shè)置顯示給用戶?？稍谟脩艚缑娴娘@示器上將通知和其它消息(例如接收的消息)以及導(dǎo)航輔助顯示給用戶?？山?jīng)由向用戶界面的用戶輸入實施用戶偏好/信息和/或?qū)Τ尸F(xiàn)消息的響應(yīng)。[〇〇47]圖3A示出分心監(jiān)測系統(tǒng)300a的方塊圖，其包括被配置和/或集成在車輛(如圖1車輛102)內(nèi)的車載計算系統(tǒng)(本文還稱為頭部單元)304a。分心監(jiān)測系統(tǒng)300a還可包括移動裝置，如例如可穿戴裝置302。在一些實例實施方案中，可穿戴裝置302可包括頭置式顯示系統(tǒng)，其借助駕駛員鼻子和耳朵被安置于駕駛員面部。在其他或替代實例中，可穿戴裝置302 可包括智能手表或其它腕戴或體戴式計算裝置?？纱┐餮b置302可另外或替代地是自含式單元，其可例如夾持于現(xiàn)有眼鏡框架或另一附件上。雖然圖3A只示出一個可穿戴裝置302， 但應(yīng)理解在分心監(jiān)測系統(tǒng)300a中可包括任何數(shù)量的可穿戴或其它移動裝置。
[0048]可穿戴裝置302可與麥克風(fēng)配合以檢測車輛環(huán)境內(nèi)的音頻信號且可包括其它傳感器如生物計量傳感器、出汗水平傳感器、體溫、心電圖、血糖儀、血壓、肌肉傳感器、天氣傳感器等?？纱┐餮b置302可另外包括多個照相機，其中一個或多個照相機向內(nèi)面向穿戴所述裝置的駕駛員(內(nèi)向或面向駕駛員照相機)，且一個或多個照相機面向駕駛員/車輛的外側(cè)(面向前或面向外照相機)?？纱┐餮b置302中的面向駕駛員照相機可監(jiān)測駕駛員在車輛內(nèi)時的運動且面向前照相機可捕捉車輛周圍環(huán)境(例如車輛環(huán)境，其可包括車輛的車廂和/或車輛外部周圍的區(qū)域)的圖像。還可裝備可穿戴裝置302的照相機以捕捉原始靜態(tài)和/或動作圖像幀且可穿戴裝置302能夠經(jīng)W1-Fi (例如向頭部單元304a的W1-Fi接口 310)、藍(lán)牙(例如向頭部單元的藍(lán)牙接口 312)和/或任何其它合適通信機構(gòu)向頭部單元304流化原始圖像幀和/ 或壓縮視頻圖像。[〇〇49] 在圖3A所示實施方案中的頭部單元304可包括W1-Fi接口 310、藍(lán)牙接口 312、視頻解壓器314、分心分析塊306、分心嚴(yán)重程度分析塊308、顯示子系統(tǒng)316、音頻子系統(tǒng)318和控制器局域網(wǎng)(CAN)接口 320。分心分析塊306可包括用于實施視頻場景分析、視頻增強、視頻修正、動作分析和/或任何其它合適數(shù)據(jù)處理和分析以確定駕駛員是否分心的指令。
[0050]在操作中，來自可穿戴裝置302的任何原始視頻信號可被頭部單元304a中的W1-Fi 接口 310和/或藍(lán)牙接口 312接收并傳遞至分心分析塊306。任何壓縮視頻信號可經(jīng)由頭部單元304a中的W1-Fi接口 310和/或藍(lán)牙接口 312接收并隨后在視頻解壓器單元314中解壓。在一些實例中，由于相對于未壓縮/原始數(shù)據(jù)的帶寬用量減少，壓縮視頻信號可經(jīng)由藍(lán)牙發(fā)送。[〇〇51]分心分析塊306所接收的數(shù)據(jù)可在圖像修正單元進(jìn)行修正，如視頻穩(wěn)像。作為實例，道路顛簸可導(dǎo)致信號振動、模糊或失真。作為實例，圖像修正單元可針對水平和/或豎直振動穩(wěn)定圖像，和/或可對平移、旋轉(zhuǎn)和/或縮放進(jìn)行修正。分心分析塊306的視頻增強單元可在光照不良或高壓縮情況下實施額外增強。視頻處理和增強可包括y修正、去霧和/或去模糊，且視頻處理增強算法可操作以減小對比度增強技術(shù)如色調(diào)映射、直方圖拉伸和均衡及Y修正所造成的低光照視頻輸入噪聲從而修復(fù)低光照視頻的視覺信息。分心分析塊306 的視頻場景分析單元可識別來自可穿戴裝置302的視頻內(nèi)容，其還可用于分心嚴(yán)重程度分析塊306。視頻順序分析可涉及大范圍的技術(shù)，從低水平內(nèi)容分析如特征提取、結(jié)構(gòu)分析、物體檢測和跟蹤到高層語義分析如場景分析、事件檢測和視頻挖掘。例如，通過識別輸入視頻信號的內(nèi)容，可確定車輛處于高速公路或是在城市限區(qū)內(nèi)、道路上是否存在任何行人、動物或其它物體/障礙物等。動作分析單元可確定自我動作和在車輛路徑中的物體的動作。自我動作估算包括估算車輛相對于從車輛本身觀察到的道路或街道標(biāo)志上的線條的移動位置且可通過分析有關(guān)照相機圖像加以確定。通過在實施圖像分析(例如視頻場景分析、動作分析等)之前或同時實施圖像處理(例如，圖像修正、視頻增強等)，可按照針對所實施的分析類型予以優(yōu)化的合適方式制備圖像數(shù)據(jù)。例如，減小模糊的圖像修正可通過清除用于物體識別的邊緣線外觀而允許更準(zhǔn)確地實施視頻場景分析。
[0052]在信號進(jìn)行如上所述的處理和分析后，分心嚴(yán)重程度分析塊308可接收分心分析塊306的輸出且可利用從頭部單元304a的控制器局域網(wǎng)(CAN)接口 320獲得的其它參數(shù)如車輛速度、車輛照明(內(nèi)部和/或外部)和車輛位置估算分心的嚴(yán)重程度。嚴(yán)重程度分級可取決于駕駛員的分心水平。駕駛員分心的一些實例包括駕駛員在駕駛時長時間不望向道路、駕駛員在即將轉(zhuǎn)彎時不望向道路、駕駛員被音樂分心等。其它實例可包括駕駛員長時間段操作(例如提供用戶輸入至)信息單元而被分心、駕駛員困乏或疲倦和/或其它駕駛員狀態(tài)。一旦確定駕駛員分心水平，分心嚴(yán)重程度分析塊308確定嚴(yán)重程度分級R。系統(tǒng)所實施的動作可根據(jù)分心的嚴(yán)重程度而變化。嚴(yán)重程度分級R還可取決于各種因素，如事件的危急程度和駕駛員分心的持續(xù)時間。一些實例情形和所生成的最終嚴(yán)重程度等級R示于圖7并描述于下文。[〇〇53]如果嚴(yán)重程度等級R處于第一范圍(例如為低)，那么可指示視覺警報，其可顯示于頭部單元304a的顯示子系統(tǒng)316中和/或向外發(fā)送至能夠給駕駛員顯示視覺警告的任何系統(tǒng)(例如車輛中的另一個顯示器、可穿戴裝置302上的顯示器、車輛中另一個移動裝置的顯示器等)。如果嚴(yán)重程度等級R處于第二范圍(例如中等)，那么可指示音頻警報。音頻警報信號可用于生成頭部單元304a的音頻子系統(tǒng)中的音頻信號或還可用于在能夠給駕駛員生成音頻警告的任何系統(tǒng)(例如車輛的揚聲器系統(tǒng)、可穿戴裝置302的揚聲器系統(tǒng)、車輛中另一個移動裝置的揚聲器等)中生成音頻警報。在圖3A所示的實施方案中，大部分?jǐn)?shù)據(jù)處理可發(fā)生于頭部單元304a中。然而，有可能在頭部單元304a以外的系統(tǒng)中實施至少一些數(shù)據(jù)處理和/或分析。[〇〇54]圖3B示出可用于這一實例情形的分心監(jiān)測系統(tǒng)300b的實例方塊圖，其中一些數(shù)據(jù)處理可發(fā)生于云計算裝置322中。圖3B中具有與圖3A相應(yīng)元件的相同數(shù)字的元件在所有方面類似于圖3A中所描述的那些元件，除了在云計算裝置322中可存在負(fù)責(zé)單元定位的其它元件來代替頭部單元304b。雖然示出為包括比圖3A的頭部單元304a少的元件，但應(yīng)理解頭部單元304b可另外包括圖3A的304a中所包括的一個或多個數(shù)據(jù)處理/分析單元(例如分心分析塊306、視頻解壓器314和/或分心嚴(yán)重程度分析塊308)。例如，如圖3B所示的分心監(jiān)測系統(tǒng)300b可表示當(dāng)在云計算裝置322中實施實質(zhì)上所有處理/分析時所使用的單元。然而， 在其它情形中，數(shù)據(jù)處理/分析可為云計算裝置322和頭部單元304b所共有。例如，來自可穿戴裝置302的數(shù)據(jù)的第一部分可由云計算裝置322處理并分析且來自可穿戴裝置302的數(shù)據(jù)的第二部分可由頭部單元304b處理并分析。在其它實例中，可由云計算裝置322和頭部單元 304b中的一個實施所有數(shù)據(jù)的某類處理和/或分析且可由云計算裝置322和頭部單元304b 中的另一個實施所有數(shù)據(jù)的某些其它類型的處理和/或分析。
[0055]可穿戴裝置302可包括能夠類似于圖3A所描述那樣流化原始或壓縮視頻圖像的多個照相機和麥克風(fēng)。來自可穿戴裝置的原始圖像可經(jīng)由W1-Fi接口 310和/或藍(lán)牙接口 312發(fā)送至云計算裝置322。另外或替代地，來自可穿戴裝置302的數(shù)據(jù)可經(jīng)由藍(lán)牙接口 312和/或 W1-Fi接口 310發(fā)送至頭部單元304b。頭部單元304b所接收的數(shù)據(jù)可另外由視頻壓縮器324 壓縮，隨后可通過云端接口 326發(fā)送至云計算裝置322。頭部單元304b中的云端接口 326能夠與位于云計算裝置的頭部單元接口 328雙向通信。由云計算裝置中的頭部單元接口 328接收到的壓縮數(shù)據(jù)可如圖3A所解釋那樣經(jīng)由視頻解壓器314進(jìn)行解壓縮。類似于圖3A所示的實施方案，從W1-Fi接口 310和/或藍(lán)牙接口 312接收的數(shù)據(jù)和從視頻解壓器314接收的解壓數(shù)據(jù)(各自位于云計算裝置322)可由分心分析塊306按十分類似于如圖3A所描述的方式進(jìn)行進(jìn)一步處理并分析。此外，同樣位于云計算裝置322中的分心嚴(yán)重程度分析單元308可實施其它分析并生成嚴(yán)重程度分級R。取決于嚴(yán)重程度分級，可發(fā)起不同警告信號，隨后可通過頭部單元接口 328反向通信給頭部單元304b，且可如圖3A所解釋般在各個系統(tǒng)中生成相應(yīng)敏出呂口 〇[〇〇56]圖4是操作車載計算系統(tǒng)基于從車輛頭部單元角度計算得到的嚴(yán)重程度等級范圍生成警告的方法400的流程圖。例如，方法400可由圖2的車載計算系統(tǒng)200基于移動裝置242 (例如可穿戴裝置，如圖3A和圖3B的可穿戴裝置302)的輸出實施。[〇〇57]方法400包括在402從移動裝置接收數(shù)據(jù)。在一個實例中，所述移動裝置可以是圖 3A和圖3B中描述的可穿戴裝置302。所述數(shù)據(jù)可包括來自例如面向前照相機和面向駕駛員照相機的圖像數(shù)據(jù)。具體來說，車載計算系統(tǒng)可以從一個或多個可穿戴裝置接收數(shù)據(jù)。車輛駕駛員所穿戴的可穿戴裝置可包括一個或多個傳感器，如生物計量傳感器、溫度傳感器、出汗水平傳感器等。[〇〇58]在404,所述方法包括處理數(shù)據(jù)，所述數(shù)據(jù)可如圖3A所描述般在頭部單元(圖3A的頭部單元304a)自身處理或可如圖3B所解釋那樣發(fā)送到云端用于進(jìn)一步處理，在這種情況中，經(jīng)處理的數(shù)據(jù)從云端接收返回至頭部單元(例如圖3B的頭部單元304b)。在406,所述方法包括確定駕駛員分心(正如下文將參考圖5所解釋那樣)。在408,所述方法檢查駕駛員是否分心。如果駕駛員分心，那么所述方法行進(jìn)至410,在此計算嚴(yán)重程度等級R(例如基于來自各個源的數(shù)據(jù)的修正，如下文參考圖6所解釋那樣)。如果在408確定駕駛員未分心，那么所述方法返回至繼續(xù)接收圖像數(shù)據(jù)并監(jiān)測駕駛員分心。[〇〇59]在412,所述方法檢查計得的嚴(yán)重程度等級R是否在第一范圍內(nèi)。所述第一范圍可以是嚴(yán)重程度等級R的值，其指示駕駛員分心的嚴(yán)重程度處于相對低水平。例如，第一范圍可對應(yīng)于當(dāng)車輛不處于立即碰撞危險時的駕駛員分心指示、預(yù)計是短暫的駕駛員分心指示等。如果嚴(yán)重程度分級處于第一范圍內(nèi)(例如在412處為“是”)，那么所述方法行進(jìn)至414,在此頭部單元命令顯示裝置展示視覺警告。視覺警告可包括但不限制于顯示于抬頭顯示器或主要信息娛樂屏幕上的警告。如果嚴(yán)重程度等級R不處于第一范圍內(nèi)，那么所述方法行進(jìn)至 416,在此系統(tǒng)確定R是否處于第二范圍內(nèi)。例如，第二范圍可對應(yīng)于相對中等水平的駕駛員分心嚴(yán)重程度。實例中等水平嚴(yán)重程度可包括當(dāng)車輛處于其它方面為安全的環(huán)境(例如在車輛的軌跡/路徑內(nèi)無物體、以低速度駕駛等)時的嚴(yán)重駕駛員分心(例如，展示睡意的眼睛下垂)。如果嚴(yán)重程度等級R處于第二范圍內(nèi)(例如在416處為“是”)，那么所述方法行進(jìn)至 418,在此頭部單元命令音頻回放裝置展示音頻警告。在一個實例中，音頻警告可在系統(tǒng)的所有可用音頻區(qū)播放。如果在416處確定R不處于第二范圍內(nèi)，那么所述方法行進(jìn)至420,在此系統(tǒng)檢查R是否處于第三范圍內(nèi)。第三范圍可對應(yīng)于相對高水平的駕駛員分心嚴(yán)重程度。高水平駕駛員分心嚴(yán)重程度實例可包括當(dāng)車輛環(huán)境中的物體處于與車輛對撞的進(jìn)程(例如物體的估計軌跡與車輛的估計軌跡相交)時的任何駕駛員分心。如果嚴(yán)重程度分級R處于第三范圍內(nèi)(例如在420處為“是”)，那么所述方法行進(jìn)至422,在此頭部單元命令車輛系統(tǒng)實施發(fā)動機控制操作或其它車輛控制操作。發(fā)動機操作可包括例如自動控制車輛速度或制動 (例如無需駕駛員或其它用戶指令下實施這類車輛控制)，而其它車輛控制操作可包括例如降低多媒體相關(guān)系統(tǒng)音量。對于極端情況來說，在422實施的發(fā)動機控制操作可包括在無駕駛員或其它用戶介入下自動引導(dǎo)車輛完全停止。如果當(dāng)420檢查時R不處于第三范圍內(nèi)，那么所述方法返回。例如，第一范圍可對應(yīng)于最低范圍的嚴(yán)重程度分級，且第二范圍可對應(yīng)于較高范圍的嚴(yán)重程度分級，從剛好高于第一范圍內(nèi)的最高嚴(yán)重程度分級開始。第三范圍可對應(yīng)于從第二范圍最高嚴(yán)重程度等級到最大可能嚴(yán)重程度等級的嚴(yán)重程度分級范圍。因此，在所述三個范圍以外的任何嚴(yán)重程度等級可對應(yīng)于低得足以放棄任何警告的嚴(yán)重程度分級。在其它實例中，在所檢查嚴(yán)重程度等級以外的嚴(yán)重程度等級可導(dǎo)致實施默認(rèn)動作(例如音頻和/或視覺警告)。雖然圖4圖示了三個范圍，但應(yīng)理解在方法400實施時可分析任何數(shù)量的范圍和相關(guān)動作類型。
[0060]圖5是處理并分析從移動裝置(例如圖3A和圖3B的可穿戴裝置302)接收的數(shù)據(jù)的方法500的流程圖且包括從移動裝置的角度進(jìn)一步確定駕駛員的分心水平。在方法500的 502處，移動裝置向外發(fā)送來自移動裝置的面向駕駛員照相機的數(shù)據(jù)。在一個實例中，這可包括來自圖3A和圖3B的可穿戴裝置302的數(shù)據(jù)。面向駕駛員照相機數(shù)據(jù)可包括提供關(guān)于駕駛員頭部位置、其姿態(tài)、其眼睛位置的細(xì)節(jié)的圖像且甚至可包括諸如凝視方向、瞳孔位置等能夠基于在頭部單元(例如圖3A的頭部單元304a)和云計算裝置(例如圖3B的云計算裝置 322)中的一個或多個處實施的圖像分析確定的細(xì)節(jié)。圖像數(shù)據(jù)可發(fā)送至頭部單元和/或云端供處理并分析。在方法500的504處，移動裝置向外發(fā)送來自其它傳感器的數(shù)據(jù)。這些其它傳感器可包括一個或多個可穿戴傳感器，如生物計量傳感器、心率傳感器、溫度傳感器、出汗水平傳感器等。這個數(shù)據(jù)可發(fā)送至頭部單元和/或云端用于進(jìn)一步處理并分析。在方法 500的506處，可命令移動裝置發(fā)送來自面向前照相機的數(shù)據(jù)。這個數(shù)據(jù)包括提供關(guān)于車輛外部環(huán)境的信息的數(shù)據(jù)。例如，這個數(shù)據(jù)可包括在車輛周圍的景觀、停車標(biāo)志和信號燈的位置、在受關(guān)注的車輛路徑中的其它車輛、在受關(guān)注的車輛路徑中的物體、能夠基于在頭部單元和云計算裝置中的一個或多個處實施的圖像分析予以確定的物體(包括人、動物等)的圖像。這個數(shù)據(jù)再次被發(fā)送到頭部單元和/或云端。在方法500的508處，來自502、504和506的數(shù)據(jù)按下文所解釋般加以處理。[0061 ] 來自方法500的502的面向駕駛員照相機數(shù)據(jù)可在508處進(jìn)行處理。在508處的數(shù)據(jù)處理可包括實施數(shù)據(jù)修正、數(shù)據(jù)增強、實施飽和水平修正、數(shù)據(jù)平滑化等。實施數(shù)據(jù)修正可包括實施針對修正圖像中的例如局部缺陷而設(shè)計的圖像處理。例如，這可包括移除圖像的極小部分，所述部分可以是被認(rèn)為是錯誤或灰塵顆粒或并非實際圖像數(shù)據(jù)一部分的任何其它內(nèi)容。另外，數(shù)據(jù)修正可包括亮度修正、色彩修正、光圈和曝光修正、白平衡修正等。在508 處，來自面向前照相機的數(shù)據(jù)可進(jìn)行數(shù)據(jù)增強，以清晰識別駕駛員的面部特征。數(shù)據(jù)增強可包括調(diào)節(jié)例如對比度、增益、閾值等。來自502的數(shù)據(jù)還可進(jìn)行飽和水平修正和平滑化。在 508實施的數(shù)據(jù)處理步驟可使得來自面向駕駛員照相機的圖像數(shù)據(jù)適合在510和512進(jìn)一步分析。
[0062] 在504處發(fā)送的來自傳感器的數(shù)據(jù)可進(jìn)行在508處的類似處理。如圖3A和圖3B中所描述，可穿戴裝置可包括其它傳感器，如生物計量傳感器、出汗水平傳感器等。例如生物計量傳感器或出汗水平傳感器可提供關(guān)于穿戴人的一系列實時醫(yī)學(xué)信息。出汗水平傳感器監(jiān)測其在小貼片中收集的汗液，對其加以分析且還可將其用于監(jiān)測體力疲勞水平并提示駕駛員例如是否過度勞累。生物計量傳感器可用于監(jiān)測脈搏或心率，而且同樣可用于確定駕駛員的健康狀況。其它傳感器如體溫傳感器、心電圖、血糖儀等也可用于監(jiān)測駕駛員的健康狀況。來自這些傳感器的信息可用于實時監(jiān)測駕駛員的狀態(tài)，其可在508中利用各種信號處理技術(shù)進(jìn)行進(jìn)一步處理以從這些測定提取有用數(shù)據(jù)。[〇〇63] 來自方法500的506的面向前照相機數(shù)據(jù)可在508處加以處理。在508處的數(shù)據(jù)處理可包括如上文所解釋的實施數(shù)據(jù)修正、數(shù)據(jù)增強、實施飽和水平修正、數(shù)據(jù)平滑化等。所述數(shù)據(jù)可包括例如關(guān)于車輛軌跡、車輛路徑中的物體、車輛路徑中的物體的軌跡的信息。另夕卜，其還可包括關(guān)于即將到來的信號燈/停車標(biāo)志、速度限制、學(xué)校區(qū)域/醫(yī)院區(qū)域等的信息。在508中實施的數(shù)據(jù)處理步驟使得來自面向駕駛員照相機的圖像數(shù)據(jù)適合在510和512 中進(jìn)行進(jìn)一步分析。[〇〇64]在502從面向駕駛員照相機接收的數(shù)據(jù)、在504來自其它傳感器的數(shù)據(jù)和在506來自面向前照相機的數(shù)據(jù)可如上文所解釋那樣在508進(jìn)行處理并在510和512處進(jìn)行進(jìn)一步分析。例如，在508處理的來自面向駕駛員照相機的數(shù)據(jù)可用于確定例如駕駛員的面部特征。 這可包括確定例如眼皮是否長時間閉合或部分閉合。如果與歷史數(shù)據(jù)相比時，眼皮位置相比于較早時間保持閉合，那么在514可確定駕駛員分心。作為另一實例，駕駛員數(shù)據(jù)可包括頭部的位置。如果在510通過與歷史數(shù)據(jù)比較確定頭部位置持續(xù)移動(在一個實例中，這可能是由于點頭)，那么可在514確定駕駛員分心。在另一實例中，如果駕駛員數(shù)據(jù)指示駕駛員眼睛長時間望向車輛軌跡以外的方向(通過在510處與歷史數(shù)據(jù)比較獲得)，那么可在514確定駕駛員分心。[〇〇65]從504接收的來自其它傳感器的數(shù)據(jù)可包括關(guān)于例如駕駛員健康狀況或天氣條件 (作為另一實例)的信息。來自生物計量傳感器的信息可用于實時監(jiān)測駕駛員的狀態(tài)，其可在514進(jìn)一步用于確定駕駛員是否分心。心率或脈搏率監(jiān)測器可確定心臟跳動的速率。健康成年人的心臟在平息時按每分鐘60至100次的范圍跳動，且異常高脈搏率可包括高于每分鐘100次跳動的速率。長時間快速心率可導(dǎo)致頭暈、目眩、眩暈、心悸、胸痛和呼吸短促。通過在510將脈搏率與歷史數(shù)據(jù)比較并在512加以分析以確定駕駛員的狀態(tài)，且還可在514用于確定駕駛員是否分心。作為另一實例，從天氣傳感器確定的天氣條件信息可用于確定駕駛條件。
[0066]從506接收的來自面向前照相機的數(shù)據(jù)可包括如上文所解釋關(guān)于車輛軌跡、車輛路徑中的物體、車輛路徑中的物體的軌跡等的信息。另外，所述數(shù)據(jù)還可包括關(guān)于即將到來的信號燈/停車標(biāo)志、速度限制、學(xué)校區(qū)域/醫(yī)院區(qū)域等的信息。在512處，這個數(shù)據(jù)可通過例如實施視頻場景分析、實施動作分析、檢測物體、確定物體和車輛軌跡、比較物體和車輛軌跡和實施與歷史數(shù)據(jù)比較進(jìn)行進(jìn)一步分析。作為實例，如果來自面向前照相機的數(shù)據(jù)指示駕駛員處于城市限區(qū)(通過例如視頻場景分析)內(nèi)且存在即將到來的停車信號燈(通過物體檢測)且行人正在穿過道路(通過物體檢測)，那么須在停車信號燈處等待穿過的行人。在 512處，可確定車輛和行人的軌跡并進(jìn)一步比較且隨后可在實施圖6圖示的流程圖時加以分析以按下文參考圖6解釋那樣確定分心嚴(yán)重程度等級R。作為另一實例，如果確定車輛處于高速公路上(通過視頻場景分析)，且在鄰近車道上存在車輛(物體檢測)，同時指示燈閃爍以指示車道改變(視頻場景分析)，那么可確定所有車輛的軌跡并加以比較且隨后可在實施圖6圖示的流程圖時進(jìn)行分析。在516處，可檢查駕駛員是否分心，如果是，那么方法500行進(jìn)至圖6圖示的方法，如果否，方法500返回。[〇〇67]圖6是確定分心嚴(yán)重程度等級的方法600的流程圖。在方法600的602處，可檢索來自圖5的被分析數(shù)據(jù)。這個數(shù)據(jù)可包括來自面向駕駛員照相機的數(shù)據(jù)、來自其它傳感器的數(shù)據(jù)和來自面向前照相機的數(shù)據(jù)，這些數(shù)據(jù)被進(jìn)一步處理并分析。在604處，可確定駕駛員分心的類型。例如，可從面向駕駛員的照相機確定駕駛員不望向車輛路徑，說明他/她可能具有視覺分心。例如，如果駕駛員正在看廣告牌或蜂窩電話，或望向車輛內(nèi)的物體，那么可確定駕駛員分心。或者，駕駛員可能將其手從方向盤移開，這可通過例如面向前照相機確定， 說明駕駛員可具有動作分心。其它實例動作分心可包括駕駛員使用蜂窩電話輸入文字或撥號，或拾起可能已跌落車輛地板的物體。駕駛員可另外或替代地將其注意力從駕駛移開，說明認(rèn)知分心。例如，駕駛員可在聽響亮音樂的同時點頭，這兩種行為可從面向駕駛員的照相機和移動裝置中的麥克風(fēng)確定。在方法600的606處，數(shù)據(jù)可加以分析或可用于預(yù)測環(huán)境危險或風(fēng)險。在一個實例中，環(huán)境危險或風(fēng)險可包括在分心監(jiān)測系統(tǒng)的頭部單元/可穿戴裝置所在的車輛前方的車輛的數(shù)量。另外或替代地，環(huán)境危險或風(fēng)險可包括例如車輛是否在學(xué)?；蜥t(yī)院區(qū)域。環(huán)境危險或風(fēng)險還可包括由天氣傳感器確定的天氣條件，且可指示例如是否正在下雨或下雪，或外側(cè)溫度是否寒冷。另外或替代地，環(huán)境風(fēng)險或危險可包括確定在車輛路徑中是否存在物體，和確定物體與車輛的軌跡是否有可能相交。在方法600的608處，可確定駕駛員分心的數(shù)量。例如，駕駛員可能正在其電話上輸入文字，這可包括視覺和動作分心。在任何指定時間可存在多于一種分心，且駕駛員分心的總數(shù)可在608確定。類似地，可存在幾種環(huán)境風(fēng)險或危險且在610處，可確定環(huán)境風(fēng)險或危險的總數(shù)。例如，可在610處確定在車輛路徑中(或具有與車輛軌跡相交的軌跡)的物體的數(shù)量。在方法600的612處，可基于在圖6的604至610處實施的分析通過排序并計算嚴(yán)重程度等級R確定分心嚴(yán)重程度，其實例示于圖7中。排序和分級可得到整數(shù)嚴(yán)重程度等級R，其可具有映射到不同動作(例如展示視覺警報、音頻警報、實施車輛控制等)的值和/或值范圍。在614處，所述方法包括基于嚴(yán)重程度等級實施動作(例如如上文參考圖4所描述般)。[〇〇68]圖7是基于如上所述的駕駛員分心和環(huán)境風(fēng)險/危險計算嚴(yán)重程度等級R的表700。 作為實例情形，如果確定駕駛員不望向前方(說明視覺分心)且車輛停在交通信號燈處，那么所分配的嚴(yán)重程度等級為低，例如即R=l。然而，如果確定駕駛員不望向前方，且車輛正在以高速接近城市內(nèi)的轉(zhuǎn)彎，那么嚴(yán)重程度等級被定為高，例如R=8。作為另一實例，如果駕駛員正在使用電話，但正在使用免提且在高速公路上，那么可確定是中等嚴(yán)重程度等級， 如R = 4。然而，如果駕駛員正在使用電話，但不使用免提且正在以高速接近城市內(nèi)的轉(zhuǎn)彎， 那么可確定是高嚴(yán)重程度等級，如R=8。更多實例情形和相應(yīng)嚴(yán)重程度等級示于圖7中。在方法600的612處，按解釋那樣確定嚴(yán)重程度等級并排序且方法600行進(jìn)至614,在此可基于如圖4所解釋的嚴(yán)重程度等級R實施適宜動作。簡而言之，如果嚴(yán)重程度等級R處于第一范圍內(nèi)(即為低)，那么可向駕駛員展示視覺警告。如果嚴(yán)重程度等級R處于第二范圍內(nèi)，那么可向駕駛員展示音頻警告。如果嚴(yán)重程度等級處于第三范圍內(nèi)，那么可如圖4所解釋般實施發(fā)動機控制操作。應(yīng)理解圖7中描述的值和情形是實例且不希望加以限制。可將任何合適動作映射到任何合適嚴(yán)重程度分級，其可映射到駕駛員狀態(tài)、物體狀態(tài)和車輛狀態(tài)的任何合適組合。[〇〇69]圖8是確定嚴(yán)重程度等級R并實施相關(guān)動作的實例方法800的流程圖。方法800可由分心監(jiān)測系統(tǒng)如圖3A和圖3B的系統(tǒng)300a和系統(tǒng)300b實施。方法800包括在802處從照相機和傳感器接收數(shù)據(jù)，并按圖5所解釋般進(jìn)一步分析數(shù)據(jù)。在804處，可確定車輛是否位于城市限區(qū)內(nèi)。這可通過對從例如面向前照相機接收的數(shù)據(jù)實施視頻場景分析確定。如果車輛不位于城市限區(qū)內(nèi)，那么方法800返回至802,在此系統(tǒng)繼續(xù)接收并分析數(shù)據(jù)。如果在方法800的 804處確定車輛位于城市限區(qū)內(nèi)，那么方法800行進(jìn)至806,在此可監(jiān)測駕駛員數(shù)據(jù)、車輛數(shù)據(jù)和CAN(例如車輛)數(shù)據(jù)。在808處，方法800包括確定車輛速度和位置信息。例如，可從CAN 確定車輛速度信息且可從對來自面向前照相機的圖像實施的視頻場景分析確定車輛位置。 方法800的810包括檢查駕駛員是不是沒有向前看。這可通過分析來自例如面向駕駛員照相機的圖像確定。如果確定駕駛員正望向前方，那么方法800行進(jìn)至802,在此其繼續(xù)如先前那樣接收并分析數(shù)據(jù)。如果在810處確定駕駛員沒有向前看，那么方法800行進(jìn)至812,在此檢查車輛是否位于停止信號燈或在車庫中。如果從面向前照相機和CAN數(shù)據(jù)確定車輛位于車庫中或在停車信號燈處，那么方法800行進(jìn)至818,在此可指示嚴(yán)重程度等級處于第一范圍 (低)且可向駕駛員展示視覺警告。所述視覺警告充當(dāng)對駕駛員的第一水平警告，尤其是當(dāng)車輛位于停車信號燈處時，指示駕駛員，希望他開始向前看。如果車輛位于車庫中，那么視覺警告可充當(dāng)提醒，讓駕駛員檢查車輛是否處于例如倒車檔。替代地，駕駛員可坐在車輛中并查看例如地圖，在這種情況中，視覺警告可充當(dāng)提醒，讓駕駛員關(guān)閉所述單元。在812處， 如果確定車輛不位于停車信號燈或車庫中，那么方法800行進(jìn)至814,在此可將從CAN數(shù)據(jù)確定的車輛速度與閾值比較。所述閾值可從城市速度限制，結(jié)合作為實例關(guān)于交通條件的額外信息予以確定。如果車輛速度小于閾值速度，那么方法800行進(jìn)至820,在此可指示嚴(yán)重程度等級處于第二范圍內(nèi)(中等)，且可展示音頻警告。當(dāng)展示音頻警告時，可警告駕駛員采取適當(dāng)動作，在這種情況中，所述動作可以是開始向前看，以避免例如事故。如果在814處確定車輛速度不小于閾值，那么方法800行進(jìn)至816,在此檢查車輛速度是否大于閾值。如果否， 那么方法800返回。如果是，那么方法800行進(jìn)至822,在此可指示嚴(yán)重程度等級R處于第三范圍內(nèi)(高)且可實施發(fā)動機控制動作。這可包括例如降低車輛速度。
[0070]圖9是確定一組駕駛員、物體和車輛數(shù)據(jù)的嚴(yán)重程度等級的另一個實例方法900的流程圖。例如，方法900可由圖3A和圖3B的分心監(jiān)測系統(tǒng)300a/300b實施。在902處，所述方法包括從移動裝置接收數(shù)據(jù)。例如，如果在分心監(jiān)測系統(tǒng)的云計算裝置(例如圖3B的云計算裝置322)實施，那么所述方法可包括從分心監(jiān)測系統(tǒng)的頭部單元(例如圖3B的頭部單元302b) 接收壓縮數(shù)據(jù)。在904處，所述方法包括處理所接收的數(shù)據(jù)以確定車輛數(shù)據(jù)/狀態(tài)、物體數(shù)據(jù)/狀態(tài)和駕駛員數(shù)據(jù)/狀態(tài)。在906處，所述方法包括確定駕駛員是否正在使用電話。例如， 所述系統(tǒng)可評價駕駛員數(shù)據(jù)以確定駕駛員是否正在通話和/或評價車輛數(shù)據(jù)以確定是否檢測到電話呼叫(例如，駕駛員的電話是否通信連接至頭部單元)。如果駕駛員不在使用電話 (且如果未檢測到其它駕駛員分心)那么方法返回至繼續(xù)監(jiān)測來自移動裝置的數(shù)據(jù)而不實施動作。因此，如果未檢測到分心，那么所述系統(tǒng)不實施基于關(guān)聯(lián)車輛、物體和駕駛員數(shù)據(jù)/ 狀態(tài)所選擇的動作。
[0071]相對地，如果確定駕駛員正在使用電話，那么所述方法行進(jìn)至908以確定車輛是否位于城市限區(qū)內(nèi)。如果車輛不位于城市限區(qū)內(nèi)，那么所述方法行進(jìn)至910以確定車輛是否位于高速道路上。如果車輛不位于高速道路上，那么可確定車輛停止和/或在固定位置，并因此駕駛員分心沒有嚴(yán)重到必須采取動作。應(yīng)理解可評價其它參數(shù)如發(fā)動機狀態(tài)(例如發(fā)動機是否停止)以驗證車輛停止且遠(yuǎn)離危險的判定。然而，如果確定車輛位于城市限區(qū)內(nèi)或在高速道路上，那么方法行進(jìn)至912以計算車輛和在車輛環(huán)境中成像的任何物體的軌跡。在 914處，所述方法包括確定估計軌跡是否在閾值時間內(nèi)相交。例如，估計在相對鄰近時間相交的軌跡可導(dǎo)致比估計在相對較遠(yuǎn)時間相交的軌跡所得到的嚴(yán)重程度分級更高的嚴(yán)重程度分級。在914處，如果軌跡在閾值時間內(nèi)不相交，那么方法行進(jìn)至將R設(shè)定為在第二(例如中等)范圍內(nèi)的值，并在916處發(fā)送音頻警報。例如，云計算裝置可向頭部單元發(fā)送發(fā)出音頻警報的命令。[〇〇72]如果軌跡在閾值時間內(nèi)相交，那么將分級設(shè)定為第三范圍(例如高)并在918處實施發(fā)動機控制。例如，云計算裝置可向頭部單元發(fā)送命令以經(jīng)由CAN總線對車輛控制系統(tǒng)發(fā)出控制指令從而改變發(fā)動機操作條件。在916處如果指示嚴(yán)重程度分級處于第二范圍內(nèi)，那么方法還包括在920處確定駕駛員是否放下電話。例如，在展示音頻警報后，系統(tǒng)可等待閾值時間，隨后確定駕駛員是否通過掛斷電話呼叫來響應(yīng)所述警報。如果駕駛員響應(yīng)警報掛斷電話呼叫，那么方法返回至繼續(xù)監(jiān)測駕駛員、物體和車輛狀態(tài)。相對地，如果駕駛員未掛斷電話呼叫，那么方法行進(jìn)至918以將嚴(yán)重程度分級從第二范圍升級至第三范圍。應(yīng)理解在其它實例中，所述升級可以是不同類型的音頻警報(例如高音量、不同記錄音調(diào)或消息、不同頻率等)、音頻與視頻警報的組合和/或警報的任何其它合適變化。
[0073]通過關(guān)聯(lián)來自如上所述多個源的數(shù)據(jù)，本發(fā)明分心監(jiān)測系統(tǒng)可對駕駛員分心的類型和嚴(yán)重程度提供適宜響應(yīng)。如此一來，相對于只依賴一類數(shù)據(jù)驅(qū)動分心警報的系統(tǒng)，駕駛員更可能積極修正分心。
[0074]在一個實例中，車輛的車載計算系統(tǒng)包括將車載計算系統(tǒng)通信連接至移動裝置的外部裝置接口、將車載計算系統(tǒng)通信連接至車輛的一個或多個車輛系統(tǒng)的車輛間系統(tǒng)通信模塊、處理器和存儲裝置。所述存儲裝置存儲可供處理器執(zhí)行的指令以經(jīng)由外部裝置接口從移動裝置接收圖像數(shù)據(jù)，所述圖像數(shù)據(jù)成像駕駛員和駕駛員環(huán)境，基于所接收的圖像數(shù)據(jù)確定駕駛員狀態(tài)，并響應(yīng)確定指示駕駛員分心的駕駛員狀態(tài)，經(jīng)由車輛間系統(tǒng)通信模塊從車輛系統(tǒng)中的一個或多個接收車輛數(shù)據(jù)，基于車輛數(shù)據(jù)確定車輛狀態(tài)、基于駕駛員狀態(tài)和車輛狀態(tài)確定分心嚴(yán)重程度水平且基于分心嚴(yán)重程度水平控制車輛的一個或多個裝置實施所選擇動作。
[0075]在以上實例中，車載計算系統(tǒng)的指令可另外或替代地進(jìn)一步執(zhí)行以實施所選擇動作，方式為:響應(yīng)在第一范圍內(nèi)的分心嚴(yán)重程度水平展示視覺警告、響應(yīng)在第二范圍內(nèi)的分心嚴(yán)重程度水平展示音頻警告，且實施所選擇動作包括響應(yīng)在第三范圍內(nèi)的分心嚴(yán)重程度水平實施車輛控制警告的自動調(diào)節(jié)。[〇〇76]在以上任一實例中，車載計算系統(tǒng)可另外或替代地進(jìn)一步包括顯示裝置，且視覺警告可另外或替代地包括經(jīng)由所述顯示裝置展示的視覺警報。
[0077]在任何以上實例中，所述音頻警告可另外或替代地包括經(jīng)由車輛中的一個或多個揚聲器展示的音頻警報。
[0078]在任何以上實例中，車輛控制的自動調(diào)節(jié)可另外或替代地包括發(fā)動機操作的自動調(diào)節(jié)。
[0079]在任何以上實例中，所述移動裝置可另外或替代地包括可穿戴裝置，其至少包括具有包括車輛環(huán)境的視野的面向外照相機和具有包括車輛駕駛員的視野的面向用戶照相機。
[0080]在任何以上實例中，所述指令可另外或替代地進(jìn)一步執(zhí)行以從頭置式裝置接收位置和動作數(shù)據(jù)、基于圖像數(shù)據(jù)和所述位置和動作數(shù)據(jù)確定駕駛員狀態(tài)并發(fā)射包含視頻數(shù)據(jù)的圖像數(shù)據(jù)，所述視頻數(shù)據(jù)包括從面向用戶照相機成像的駕駛員和從面向外照相機成像的車輛環(huán)境中的一個或多個。
[0081]在任何以上實例中，所述圖像數(shù)據(jù)可另外或替代地包括駕駛員凝視和車輛行駛路徑上的受關(guān)注物體的指示，且駕駛員狀態(tài)可另外或替代地響應(yīng)確定駕駛員凝視指向受關(guān)注的一個或多個物體持續(xù)閾值時間段而指示駕駛員分心。
[0082]在另一實例中，用于車輛車載計算系統(tǒng)的方法包括從可穿戴裝置接收駕駛員數(shù)據(jù)，所述駕駛員數(shù)據(jù)包括來自面向駕駛員照相機的圖像數(shù)據(jù);從可穿戴裝置和車輛中的至少一個的一個或多個成像裝置接收物體數(shù)據(jù)，所述物體數(shù)據(jù)包括車輛環(huán)境的圖像數(shù)據(jù);從一個或多個車輛系統(tǒng)接收車輛數(shù)據(jù)，所述車輛數(shù)據(jù)包括車輛操作條件的指示;且通過將駕駛員數(shù)據(jù)與物體數(shù)據(jù)關(guān)聯(lián)確定駕駛員是否分心。所述方法還包括響應(yīng)確定駕駛員分心，基于將駕駛員數(shù)據(jù)與物體數(shù)據(jù)和車輛數(shù)據(jù)關(guān)聯(lián)選擇動作并實施所選擇動作，和響應(yīng)確定駕駛員不分心，維持當(dāng)前操作參數(shù)。
[0083]在以上實例中，所述物體數(shù)據(jù)可另外或替代地包括從來自一個或多個面向外照相機的圖像數(shù)據(jù)確定的在車輛環(huán)境中的物體總數(shù)和通過比較來自一個或多個面向外照相機的多個圖像數(shù)據(jù)幀確定的在車輛環(huán)境中的每個物體的物體軌跡信息，所述物體軌跡信息指示每個物體的估計軌跡。
[0084]在以上任一實例中，車輛數(shù)據(jù)可另外或替代地包括從車輛的導(dǎo)航系統(tǒng)、可穿戴裝置的傳感器輸出和來自一個或多個面向外照相機的圖像數(shù)據(jù)中的一種或多種確定的車輛軌跡信息，所述車輛軌跡信息指示車輛的估計軌跡。
[0085]在任何以上實例中，所述方法可另外或替代地進(jìn)一步包括比較每個物體的估計軌跡與車輛的估計軌跡以確定物體的估計軌跡與車輛的估計軌跡之間的相交，其中所選擇動作是基于物體的估計軌跡與車輛的估計軌跡之間的相交數(shù)目予以選擇。
[0086]在任何以上實例中，所選擇動作可另外或替代地基于車輛速度和駕駛員凝視方向進(jìn)行進(jìn)一步選擇。
[0087]在任何以上實例中，第一動作可另外或替代地響應(yīng)確定物體中的至少一個的估計軌跡與車輛的估計軌跡相交且車輛速度低于速度閾值予以選擇，且第二動作可另外或替代地響應(yīng)確定物體中的至少一個的估計軌跡與車輛的估計軌跡相交、車輛速度高于速度閾值且駕駛員凝視方向在閾值時間段內(nèi)與所述至少一個物體中的每一個的當(dāng)前位置相交且持續(xù)閾值持續(xù)時間予以選擇。[〇〇88]在任何以上實例中，第三動作可另外或替代地響應(yīng)確定物體中的至少一個的估計軌跡與車輛的估計軌跡相交、車輛速度高于速度閾值且駕駛員凝視方向在閾值時間段內(nèi)不與所述至少一個物體中的每一個的當(dāng)前位置相交或持續(xù)閾值持續(xù)時間予以選擇。
[0089]在任何以上實例中，所述第一動作可另外或替代地是經(jīng)由車輛中的顯示器展示的視覺警報，第二動作可另外或替代地是經(jīng)由車輛中的一個或多個揚聲器展示的音頻警報， 且第三動作可另外或替代地是從車載計算系統(tǒng)向車輛系統(tǒng)發(fā)出以控制車輛的發(fā)動機操作的車輛控制命令。
[0090]在任何以上實例中，維持當(dāng)前操作參數(shù)可另外或替代地包括基于將駕駛員數(shù)據(jù)與物體數(shù)據(jù)和車輛數(shù)據(jù)關(guān)聯(lián)不實施動作。
[0091]在另外一個實例中，用于識別駕駛員分心的系統(tǒng)包括可穿戴裝置，其包括面向駕駛員照相機、面向外照相機和一個或多個傳感器;通信連接至所述可穿戴裝置和一個或多個車輛系統(tǒng)的車載計算系統(tǒng)，所述車載計算系統(tǒng)包括第一處理器和第一存儲裝置;和遠(yuǎn)離所述車載計算系統(tǒng)且經(jīng)由網(wǎng)絡(luò)通信連接至所述車載計算系統(tǒng)的云計算裝置。所述云計算裝置包括第二處理器和第二存儲裝置，且所述第一存儲裝置和所述第二存儲裝置中的一個或多個存儲可供所述第一處理器和所述第二處理器中的相應(yīng)一個或多個執(zhí)行的第一指令以: 接收指示駕駛員狀態(tài)的來自可穿戴裝置的面向駕駛員照相機的圖像數(shù)據(jù)和來自一個或多個傳感器的傳感器數(shù)據(jù)、接收指示一個或多個物體的物體狀態(tài)的來自可穿戴裝置的面向外照相機的圖像數(shù)據(jù)且接收指示車輛狀態(tài)的來自一個或多個車輛系統(tǒng)的車輛數(shù)據(jù)。所述第一指令還可供所述第一處理器和所述第二處理器中的相應(yīng)一個或多個執(zhí)行以基于所指示駕駛員狀態(tài)、物體狀態(tài)和車輛狀態(tài)選擇動作。所述第一存儲裝置存儲可供所述第一處理器執(zhí)行的第二指令以將命令發(fā)送給車載計算系統(tǒng)的顯示裝置、車輛的音頻裝置和車輛的發(fā)動機控制單元中的一個或多個以實施所選擇動作。
[0092]在以上實例中，所述車輛狀態(tài)可另外或替代地包括車輛的軌跡，所述物體狀態(tài)可另外或替代地包括所述一個或多個物體的軌跡，且所述駕駛員狀態(tài)可另外或替代地包括駕駛員凝視方向。
[0093]已出于說明和描述的目的提供了實施方案的描述?？设b于以上描述實施或從實踐所述方法獲得對實施方案的合適修改和變化。例如，除非另外說明，否則所描述方法中的一個或多個可由合適裝置和/或裝置組合實施，如參考圖3A和圖3B描述的分心監(jiān)測系統(tǒng)300a/ 300b、頭部單元304a/304b和/或云計算裝置322。所述方法可通過用一個或多個邏輯裝置 (例如處理器)，結(jié)合一個或多個其它硬件元件如存儲裝置、存儲器、硬件網(wǎng)絡(luò)接口 /天線、開關(guān)、致動器、時鐘電路等執(zhí)行所存儲的指令來實施。所描述方法和相關(guān)動作還可按照除本申請描述順序以外的各種順序、平行和/或同時地實施。所描述系統(tǒng)具有例示屬性，且可包括其它元件和/或刪減元件。本發(fā)明的主題包括公開的各種系統(tǒng)和配置，和其它特征、功能和/ 或性質(zhì)的所有新穎和非顯然組合和子組合。
[0094]如本申請所使用，以單數(shù)形式引述且以詞語“一”為前綴的元件或步驟應(yīng)理解為不排除所述元件或步驟的復(fù)數(shù)形式，除非另外說明。此外，本發(fā)明關(guān)于“一個實施方案”或“一個實例”的陳述不希望解釋為排除同樣合并所引述特征的其它實施方案的存在性。術(shù)語“第一”、“第二”和“第三”等只用作標(biāo)簽且不希望對其賓語施加數(shù)字要求或特定位置順序。以下權(quán)利要求特別指出了被認(rèn)為是新穎且非顯然的來自以上公開內(nèi)容的主題。
【主權(quán)項】
1.一種車輛的車載計算系統(tǒng)，所述車載計算系統(tǒng)包括:將所述車載計算系統(tǒng)通信連接至移動裝置的外部裝置接口；將所述車載計算系統(tǒng)通信連接至所述車輛的一個或多個車輛系統(tǒng)的車輛間系統(tǒng)通信 模塊；處理器;和存儲可供所述處理器執(zhí)行的指令的存儲裝置，所述指令用以:經(jīng)由所述外部裝置接口從所述移動裝置接收圖像數(shù)據(jù)，所述圖像數(shù)據(jù)成像駕駛員和駕 駛員環(huán)境；基于所述所接收圖像數(shù)據(jù)確定駕駛員狀態(tài)；響應(yīng)確定指示駕駛員分心的駕駛員狀態(tài):經(jīng)由所述車輛間系統(tǒng)通信模塊從所述車輛系統(tǒng)中的一個或多個接收車輛數(shù)據(jù)；基于所述車輛數(shù)據(jù)確定車輛狀態(tài)；基于所述駕駛員狀態(tài)和所述車輛狀態(tài)確定分心嚴(yán)重程度水平;且 基于所述分心嚴(yán)重程度水平控制所述車輛的一個或多個裝置實施所選擇動作。2.根據(jù)權(quán)利要求1所述的車載計算系統(tǒng)，其中實施所選擇動作包括響應(yīng)在第一范圍內(nèi)的分心嚴(yán)重程度水平展示視覺警告；實施所選擇動作包括響應(yīng)在第二范圍內(nèi)的分心嚴(yán)重程度水平展示音頻警告;且 實施所選擇動作包括響應(yīng)在第三范圍內(nèi)的分心嚴(yán)重程度水平實施車輛控制警告的自 動調(diào)節(jié)。3.根據(jù)權(quán)利要求2所述的車載計算系統(tǒng)，其還包括顯示裝置，其中所述視覺警告包括經(jīng) 由所述顯示裝置展示的視覺警報。4.根據(jù)權(quán)利要求2所述的車載計算系統(tǒng)，其中所述音頻警告包括經(jīng)由所述車輛中的一 個或多個揚聲器展示的音頻警報。5.根據(jù)權(quán)利要求2所述的車載計算系統(tǒng)，其中所述車輛控制的自動調(diào)節(jié)包括發(fā)動機操 作的自動調(diào)節(jié)。6.根據(jù)權(quán)利要求1所述的車載計算系統(tǒng)，其中所述移動裝置包括可穿戴裝置，其至少包 括具有包括車輛環(huán)境的視野的面向外照相機和具有包括所述車輛的駕駛員的視野的面向 用戶照相機。7.根據(jù)權(quán)利要求6所述的車載計算系統(tǒng)，其中所述指令還可執(zhí)行以從頭置式裝置接收 位置和動作數(shù)據(jù)、基于圖像數(shù)據(jù)和所述位置和動作數(shù)據(jù)確定所述駕駛員狀態(tài)并發(fā)送包含視 頻數(shù)據(jù)的圖像數(shù)據(jù)，所述視頻數(shù)據(jù)包括從所述面向用戶照相機成像的駕駛員和從所述面向 外照相機成像的車輛環(huán)境中的一個或多個。8.根據(jù)權(quán)利要求7所述的車載計算系統(tǒng)，其中所述圖像數(shù)據(jù)包括駕駛員凝視和在所述 車輛的行駛路徑中的受關(guān)注物體的指示，且其中，響應(yīng)于確定駕駛員凝視指向一個或多個 受關(guān)注物體持續(xù)閾值時間段，該駕駛員狀態(tài)指示所述駕駛員分心。9.根據(jù)權(quán)利要求8所述的車載計算系統(tǒng)，其中所述圖像數(shù)據(jù)包括所述受關(guān)注物體的軌 跡的指示，且其中所述分心嚴(yán)重程度水平是基于所述受關(guān)注物體軌跡與所述車輛行駛路徑 的比較。10.—種用于車輛的車載計算系統(tǒng)的方法，所述方法包括:從可穿戴裝置接收駕駛員數(shù)據(jù)，所述駕駛員數(shù)據(jù)包括來自面向駕駛員照相機的圖像數(shù) 據(jù)；從所述可穿戴裝置和所述車輛中的至少一個的一個或多個成像裝置接收物體數(shù)據(jù)，所 述物體數(shù)據(jù)包括車輛環(huán)境的圖像數(shù)據(jù)；從一個或多個車輛系統(tǒng)接收車輛數(shù)據(jù)，所述車輛數(shù)據(jù)包括所述車輛的操作條件的指 示；通過將所述駕駛員數(shù)據(jù)與所述物體數(shù)據(jù)關(guān)聯(lián)確定駕駛員是否分心；響應(yīng)確定所述駕駛員分心，基于將所述駕駛員數(shù)據(jù)與所述物體數(shù)據(jù)和所述車輛數(shù)據(jù)關(guān) 聯(lián)選擇動作并實施所選擇動作;且響應(yīng)確定所述駕駛員不分心，維持當(dāng)前操作參數(shù)。11.根據(jù)權(quán)利要求10所述的方法，其中所述物體數(shù)據(jù)包括:從來自所述一個或多個面向外照相機的所述圖像數(shù)據(jù)確定的在車輛環(huán)境中的物體的 總數(shù)，和通過比較來自所述一個或多個面向外照相機的多個圖像數(shù)據(jù)幀確定的在所述車輛環(huán) 境中的每個物體的物體軌跡信息，所述物體軌跡信息指示每個所述物體的估計軌跡。12.根據(jù)權(quán)利要求11所述的方法，其中所述車輛數(shù)據(jù)包括從所述車輛的導(dǎo)航系統(tǒng)、所述 可穿戴裝置的傳感器輸出和來自所述一個或多個面向外照相機的圖像數(shù)據(jù)中的一個或多 個確定的車輛軌跡信息，所述車輛軌跡信息指示所述車輛的估計軌跡。13.根據(jù)權(quán)利要求12所述的方法，其還包括比較每個所述物體的所述估計軌跡與所述 車輛的所述估計軌跡以確定所述物體估計軌跡與所述車輛的估計軌跡之間的相交，其中所 述所選擇動作是基于所述物體的估計軌跡與所述車輛的估計軌跡之間的相交次數(shù)予以選 擇。14.根據(jù)權(quán)利要求13所述的方法，其中所述所選擇動作還基于車輛速度和所述駕駛員 的凝視方向予以選擇。15.根據(jù)權(quán)利要求13所述的方法，其中第一動作是響應(yīng)確定所述物體中的至少一個的 估計軌跡與所述車輛的估計軌跡相交且所述車輛速度低于速度閾值予以選擇，且第二動作 是響應(yīng)確定所述物體中的至少一個的估計軌跡與所述車輛的估計軌跡相交、所述車輛速度 高于速度閾值且所述駕駛員的凝視方向在閾值時間段內(nèi)與所述至少一個物體中的每一個 的當(dāng)前位置相交且持續(xù)閾值持續(xù)時間予以選擇。16.根據(jù)權(quán)利要求15所述的方法，其中第三動作是響應(yīng)確定所述物體中的至少一個的 估計軌跡與所述車輛的估計軌跡相交、所述車輛速度高于所述速度閾值且所述駕駛員的凝 視方向在所述閾值時間段內(nèi)不與所述至少一個物體中每一個的當(dāng)前位置相交或持續(xù)所述 閾值持續(xù)時間予以選擇。17.根據(jù)權(quán)利要求16所述的方法，其中所述第一動作是經(jīng)由在所述車輛中的顯示器展 示的視覺警報，所述第二動作是經(jīng)由在所述車輛中的一個或多個揚聲器展示的音響警報， 且所述第三動作是從所述車載計算系統(tǒng)向車輛系統(tǒng)發(fā)出以控制所述車輛的發(fā)動機操作的 車輛控制命令。18.根據(jù)權(quán)利要求10所述的方法，其中維持所述當(dāng)前操作參數(shù)包括不實施基于將所述 駕駛員數(shù)據(jù)與所述物體數(shù)據(jù)和所述車輛數(shù)據(jù)關(guān)聯(lián)的動作。19.一種用于識別駕駛員分心的系統(tǒng)，所述系統(tǒng)包括:可穿戴裝置，其包括面向駕駛員照相機、面向外照相機和一個或多個傳感器；通信連接至所述可穿戴裝置和一個或多個車輛系統(tǒng)的車載計算系統(tǒng)，所述車載計算系 統(tǒng)包括第一處理器和第一存儲裝置;和遠(yuǎn)離所述車載計算系統(tǒng)且經(jīng)由網(wǎng)絡(luò)被通信連接至所述車載計算系統(tǒng)的云計算裝置，所 述云計算裝置包括第二處理器和第二存儲裝置，所述第一存儲裝置和所述第二存儲裝置中的一個或多個存儲供所述第一處理器和所 述第二處理器中的相應(yīng)一個或多個執(zhí)行的第一指令以:接收指示駕駛員狀態(tài)的來自所述可穿戴裝置的所述面向駕駛員照相機的圖像數(shù)據(jù)和 來自所述一個或多個傳感器的傳感器數(shù)據(jù)，接收指示一個或多個物體的物體狀態(tài)的來自所述可穿戴裝置的所述面向外照相機的 圖像數(shù)據(jù)，接收指示車輛狀態(tài)的來自一個或多個車輛系統(tǒng)的車輛數(shù)據(jù)，且 基于所指示駕駛員狀態(tài)、物體狀態(tài)和車輛狀態(tài)選擇待實施動作，所述第一存儲裝置存儲供所述第一處理器執(zhí)行的第二指令以將命令發(fā)送給所述車載 計算系統(tǒng)的顯示裝置、所述車輛的音頻裝置和所述車輛的發(fā)動機控制單元中的一個或多個 以實施所述所選擇動作。20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述車輛狀態(tài)包括所述車輛的軌跡，所述物體狀 態(tài)包括所述一個或多個物體的軌跡，且所述駕駛員狀態(tài)包括所述駕駛員的凝視方向。
【文檔編號】B60W50/14GK105966405SQ201610134450
【公開日】2016年9月28日
【申請日】2016年3月10日
【發(fā)明人】V.V.哈姆皮霍利
【申請人】哈曼國際工業(yè)有限公司