本發(fā)明屬于運(yùn)動(dòng)想象腦電信號(hào)分類，具體為一種多尺度特征的3d卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電信號(hào)分類。

背景技術(shù)：

1、腦機(jī)接口（bci）是一種通過解碼神經(jīng)元活動(dòng)將人腦與計(jì)算設(shè)備連接起來的系統(tǒng)。腦電信號(hào)（eeg）因?yàn)榫哂蟹乔秩胄?、高時(shí)間分辨率和低成本的優(yōu)點(diǎn)而成為應(yīng)用廣泛的?bci信號(hào)之一。運(yùn)動(dòng)想象腦電圖信號(hào)（mi?eeg）是反映用戶在沒有任何外部刺激下自主有意識(shí)運(yùn)動(dòng)的?bci?范式。當(dāng)受試者主動(dòng)想象身體運(yùn)動(dòng)時(shí)，其大腦對(duì)側(cè)和同側(cè)半球的感覺運(yùn)動(dòng)皮層區(qū)域的（8~12?hz）和（16~26?hz）節(jié)律的功率會(huì)降低或增加，分別稱為事件相關(guān)去同步（erd）和事件相關(guān)同步（ers）。mi?eeg分類的核心問題是將mi?eeg信號(hào)的低信噪比（snr）和顯著的個(gè)體方差有效地解碼為正確的指令。在這項(xiàng)研究中，我們的目標(biāo)是準(zhǔn)確分析大腦活動(dòng)，以幫助中風(fēng)后和癱瘓患者解決與外界的交流問題。

2、根據(jù)輸入格式定義，基于深度學(xué)習(xí)的多類mi?eeg分類方法目前有兩個(gè)主要的研究分支。一種是將原始mi?eeg信號(hào)中提取的特征圖作為輸入，另一種直接關(guān)注輸入格式作為原始mi?eeg信號(hào)。前者將mi?eeg信號(hào)表示為一系列二維特征圖作為輸入格式，通過手動(dòng)選擇的特征提取方法降低噪聲和增強(qiáng)低信噪比信號(hào)。但是，潛在問題是提取的特征必須由人類專家手動(dòng)設(shè)計(jì)。更重要的是，mi?eeg信號(hào)是非平穩(wěn)的，很容易被各種生物波動(dòng)和事件（如眨眼、肌肉偽影、疲勞和注意力水平）破壞，這導(dǎo)致很難跨受試者手動(dòng)選擇合適的特征提取方法，造成多類分類任務(wù)的泛化能力差和分類性能差。后者則是將原始信號(hào)表示為二維數(shù)組，它以時(shí)間采樣點(diǎn)的數(shù)量作為陣列寬度，以電極的數(shù)量作為陣列高度。然而，當(dāng)以上述方式將原始mi?eeg表示為2d數(shù)組輸入時(shí)，基于深度學(xué)習(xí)的方法通常會(huì)忽略mi?eeg數(shù)據(jù)的空間依賴性，而這已被證明對(duì)于提高分類性能很重要。附近采樣電極之間的相關(guān)性也不能完全反映在2d陣列中。因此，mi分類模型的最終性能會(huì)受到影響。同時(shí)一些僅采用了3d卷積網(wǎng)絡(luò)的mi?eeg分類方法雖然去除了上述影響，但由于沒有綜合提取空間和時(shí)間域的多尺度特征造成分類任務(wù)表現(xiàn)不佳。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明提出了一種端到端3d卷積神經(jīng)網(wǎng)絡(luò)，用于提取運(yùn)動(dòng)想象腦電信號(hào)分類任務(wù)的多尺度空間和時(shí)間相關(guān)特征。該網(wǎng)絡(luò)具體由3d表示、3d空間注意力模塊、多尺度時(shí)間注意力模塊和分類模塊組成。3d空間注意力模塊和多尺度時(shí)間注意力模塊的目標(biāo)是在所有大腦區(qū)域自適應(yīng)地為運(yùn)動(dòng)相關(guān)的空間通道和時(shí)間采樣線索分配比運(yùn)動(dòng)無關(guān)的更高的權(quán)重。它們可以在空間和時(shí)間域中定義mi?eeg的新的緊湊特征表示，并防止生物和環(huán)境偽影的影響，以提高分類性能。

2、基于多尺度特征的3d卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電信號(hào)分類方法，包括以下步驟：

3、s1：采集運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)；

4、使用腦電信號(hào)采集設(shè)備采集受試者的所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)；

5、s2：預(yù)處理所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)；

6、用三維張量表示所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)；所述三維張量的第一維度表示離散時(shí)間采樣點(diǎn)的數(shù)量，所述三維張量的第二維度和第三維度表示所述腦電信號(hào)采集設(shè)備電極通道的空間位置；

7、s3：對(duì)所述三維張量進(jìn)行空間特征提取，獲得空間特征；

8、s4：對(duì)所述空間特征進(jìn)行時(shí)間特征提取，獲得時(shí)間特征；

9、s5：對(duì)所述時(shí)間特征進(jìn)行分類；

10、將所述時(shí)間特征輸入到全連接層并通過softmax函數(shù)進(jìn)行分類預(yù)測(cè)。

11、優(yōu)選的，所述步驟s3包括：

12、將所述三維張量輸入到三個(gè)可分離的3d卷積塊，分別生成3d空間特征塊和；

13、將所述3d空間特征塊和重構(gòu)并轉(zhuǎn)置，分別獲得轉(zhuǎn)換3d空間特征塊和；

14、在所述轉(zhuǎn)換3d空間特征塊之間先執(zhí)行矩陣乘法，再通過softmax函數(shù)獲得空間注意力權(quán)重矩陣；所述空間注意力權(quán)重矩陣用于表示所述腦電信號(hào)采集設(shè)備電極通道之間的相似性權(quán)重；

15、在所述轉(zhuǎn)換3d空間特征塊和所述空間注意力權(quán)重矩陣之間執(zhí)行矩陣乘法獲得三維張量空間表示；

16、將所述三維張量空間表示輸入到卷積核，生成加權(quán)空間特征；

17、將預(yù)設(shè)可學(xué)習(xí)參數(shù)與所述加權(quán)空間特征相乘，并對(duì)三維張量進(jìn)行逐元素求和運(yùn)算，獲得所述空間特征。

18、優(yōu)選的，所述步驟s4包括：

19、將所述空間特征分割為三個(gè)時(shí)間片；

20、將其中兩個(gè)所述時(shí)間片分別輸入到兩個(gè)2d卷積塊中，獲得初始時(shí)間特征和；

21、對(duì)所述初始時(shí)間特征和剩余所述時(shí)間片進(jìn)行重構(gòu)和轉(zhuǎn)置，分別獲得轉(zhuǎn)換時(shí)間特征和；

22、在所述轉(zhuǎn)換時(shí)間特征之間先執(zhí)行矩陣乘法，再通過softmax函數(shù)獲得時(shí)間注意力權(quán)重矩陣所述時(shí)間注意力權(quán)重矩陣用于表示所述時(shí)間片之間的相似性權(quán)重；

23、在所述轉(zhuǎn)換時(shí)間特征和所述時(shí)間注意力權(quán)重矩陣之間執(zhí)行矩陣乘法，獲得加權(quán)時(shí)間特征；

24、將預(yù)設(shè)可學(xué)習(xí)參數(shù)與所述加權(quán)時(shí)間特征相乘，并與所述時(shí)間片進(jìn)行逐元素求和運(yùn)算，獲得尺度下的所述時(shí)間特征。

25、優(yōu)選的，所述步驟s5包括：

26、通過具有對(duì)數(shù)非線性主動(dòng)函數(shù)的平均池化層處理所述時(shí)間特征，減少所述時(shí)間特征的時(shí)間維度；將所述時(shí)間特征內(nèi)的低級(jí)特征轉(zhuǎn)換為高級(jí)抽象特征，并將所述高級(jí)抽象特征連接為多尺度時(shí)空特征；將所述多尺度時(shí)空特征輸入到全連接層并通過softmax函數(shù)進(jìn)行分類預(yù)測(cè)。

27、優(yōu)選的，所述3d卷積塊與卷積核結(jié)構(gòu)相同。

28、優(yōu)選的，所述步驟s1包括：所述腦電信號(hào)采集設(shè)備為eeg頭盔；對(duì)所述eeg頭盔進(jìn)行校準(zhǔn)；使用導(dǎo)電膏或鹽水清潔受試者頭皮。

29、優(yōu)選的，校準(zhǔn)過程中，采用標(biāo)準(zhǔn)電阻溶液測(cè)試所述eeg頭盔電極的接觸阻抗。

30、優(yōu)選的，所述步驟s2包括：

31、對(duì)所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)進(jìn)行帶通濾波；

32、標(biāo)準(zhǔn)化處理所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)。

33、優(yōu)選的，將標(biāo)準(zhǔn)化后的所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)進(jìn)行劃分，其中，80%的所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練，20%的所述運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)用于測(cè)試。

34、本發(fā)明具有如下有益效果：

35、本發(fā)明提出了一種端到端的3d卷積神經(jīng)網(wǎng)絡(luò)來提取多尺度空間和時(shí)間特征，以提高mi?eeg分類任務(wù)的準(zhǔn)確性性能。

36、3d空間注意力模塊通過注意力機(jī)制自動(dòng)為大多數(shù)與運(yùn)動(dòng)相關(guān)的通道分配較高的權(quán)重，為與運(yùn)動(dòng)無關(guān)的通道分配較低的權(quán)重，提取到與運(yùn)動(dòng)想象相關(guān)的判別性空間特征以及任何兩個(gè)電極通道之間的相關(guān)性。由于它獨(dú)立于受試者、運(yùn)動(dòng)想象任務(wù)和手動(dòng)選擇的參數(shù)，因此可以消除手動(dòng)選擇通道引起的偽影，并自適應(yīng)地提高不同受試者運(yùn)動(dòng)想象分類任務(wù)的準(zhǔn)確性

37、多尺度時(shí)間注意力模塊則利用注意力機(jī)制為不同的時(shí)間片分配了自適應(yīng)權(quán)重，以滿足不同受試者集中在不同時(shí)間段的腦電分析需求，消除了不同的受試者在試驗(yàn)中由于注意力不能長(zhǎng)時(shí)間保持專注的不利影響。同時(shí)由于不依賴于運(yùn)動(dòng)想象任務(wù)的不同形式和內(nèi)容，也提高了該網(wǎng)絡(luò)的泛化性能。