本申請(qǐng)涉及人工智能，尤其涉及一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法及裝置。

背景技術(shù)：

1、脈沖神經(jīng)網(wǎng)絡(luò)（snn）作為一種受生物神經(jīng)系統(tǒng)啟發(fā)的第三代神經(jīng)網(wǎng)絡(luò)，以其事件驅(qū)動(dòng)和稀疏編碼的特性，在低功耗和實(shí)時(shí)性方面具有顯著優(yōu)勢(shì)。然而，由于snn的非連續(xù)性和不可微分性，使用一個(gè)一個(gè)離散的時(shí)間步來(lái)傳輸脈沖信息，其訓(xùn)練和設(shè)計(jì)相對(duì)復(fù)雜，性能也難以與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)相媲美。

2、transformer作為一種基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型，在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)等領(lǐng)域取得了突破性進(jìn)展。近年來(lái)，有研究者將transformer與snn相結(jié)合，提出了spkiformerr模型，該模型結(jié)構(gòu)如圖1所示?，F(xiàn)有的脈沖transformer都是基于此為基礎(chǔ)進(jìn)行修改的，其中spiking?self?attention（ssa）為脈沖形式的自注意力，其計(jì)算過(guò)程圖2中展示的那樣，可見(jiàn)，每個(gè)時(shí)間步都是單獨(dú)計(jì)算注意力的，沒(méi)有跨時(shí)間步的交互，即沒(méi)有時(shí)間域上的注意力交互，只有qkv空間域上的交互，現(xiàn)有的脈沖transformer都存在這這個(gè)問(wèn)題，使得模型缺乏對(duì)多時(shí)間步脈沖數(shù)據(jù)特征的信息交互，限制了其在處理具有時(shí)間特征數(shù)據(jù)時(shí)的性能。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法、裝置，用于解決現(xiàn)有的脈沖transformer模型在處理動(dòng)態(tài)數(shù)據(jù)時(shí)存在的模型性能低的技術(shù)問(wèn)題。

2、為解決上述技術(shù)問(wèn)題，本申請(qǐng)第一方面提供了一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法，包括：

3、基于spikformer模型中的ssa單元，獲取輸入到所述ssa單元的脈沖特征參數(shù)；

4、根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，對(duì)所述t-1時(shí)刻進(jìn)行空洞卷積處理，再將處理后的t-1時(shí)刻的脈沖特征參數(shù)與t時(shí)刻的脈沖采納數(shù)進(jìn)行加權(quán)融合，再經(jīng)過(guò)脈沖神經(jīng)元層重新映射回脈沖特征，得到融合后的脈沖特征參數(shù)；

5、將所述加權(quán)融合后的特征參數(shù)輸入脈沖神經(jīng)元層重新映射為脈沖特征，以在經(jīng)過(guò)所述脈沖神經(jīng)元層的處理后輸出至所述脈沖transformer模型中的空間自注意力運(yùn)算單元。

6、可選地，所述脈沖特征參數(shù)包括：脈沖神經(jīng)元電流值的query特征分量、key特征分量和value特征分量。

7、可選地，根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，對(duì)所述t-1時(shí)刻進(jìn)行空洞卷積處理，再將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)加權(quán)融合，得到融合后的脈沖特征參數(shù)具體包括：

8、根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，提取所述t時(shí)刻與所述t-1時(shí)刻的query特征分量、value特征分量；

9、按照不同的特征分量類(lèi)型，分別對(duì)所述t-1時(shí)刻的query特征分量和value特征分量進(jìn)行空洞卷積處理，將處理后的t-1時(shí)刻的特征分量與所述t時(shí)刻中同類(lèi)的特征分量進(jìn)行特征分量的融合，再經(jīng)過(guò)脈沖神經(jīng)元層重新映射回脈沖特征，得到融合后的query特征分量和value特征分量。

10、可選地，所述將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)融合，得到融合后的脈沖特征參數(shù)具體包括：

11、通過(guò)element-wise加法邏輯，將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)加權(quán)融合，得到融合后的脈沖特征參數(shù)。

12、本申請(qǐng)第二方面提供了一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)裝置，包括：

13、脈沖特征獲取單元，用于基于spikformer模型中的ssa單元，獲取輸入到所述ssa單元的脈沖特征參數(shù)；

14、時(shí)間處理單元，用于根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，對(duì)所述t-1時(shí)刻進(jìn)行空洞卷積處理，再將處理后的t-1時(shí)刻的脈沖特征參數(shù)與t時(shí)刻的脈沖采納數(shù)進(jìn)行加權(quán)融合，再經(jīng)過(guò)脈沖神經(jīng)元層重新映射回脈沖特征，得到融合后的脈沖特征參數(shù)；

15、脈沖特征輸出單元，用于將所述脈沖特征參數(shù)輸入脈沖神經(jīng)元層實(shí)現(xiàn)脈沖映射，以在經(jīng)過(guò)所述脈沖神經(jīng)元層的處理后輸出至所述脈沖transformer模型中的空間自注意力運(yùn)算單元。

16、可選地，所述脈沖特征參數(shù)包括：脈沖神經(jīng)元電流值的query特征分量、key特征分量和value特征分量。

17、可選地，所述時(shí)間處理單元具體用于：

18、根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，提取所述t時(shí)刻與所述t-1時(shí)刻的query特征分量、value特征分量；

19、按照不同的特征分量類(lèi)型，分別對(duì)所述t-1時(shí)刻的query特征分量和value特征分量進(jìn)行空洞卷積處理，將處理后的t-1時(shí)刻的特征分量與所述t時(shí)刻中同類(lèi)的特征分量進(jìn)行特征分量的融合，再經(jīng)過(guò)脈沖神經(jīng)元層重新映射回脈沖特征，得到融合后的query特征分量和value特征分量。

20、可選地，所述時(shí)間處理單元中的將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)融合，得到融合后的脈沖特征參數(shù)具體包括：

21、通過(guò)element-wise加法邏輯，將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)加權(quán)融合，得到融合后的脈沖特征參數(shù)。

22、本申請(qǐng)第三方面提供了一種計(jì)算機(jī)終端，包括：存儲(chǔ)器和處理器；

23、所述存儲(chǔ)器用于存儲(chǔ)程序代碼，所述程序代碼用于實(shí)現(xiàn)如本申請(qǐng)第一方面提供的一種脈沖transfomer自注意力時(shí)間域交互增強(qiáng)方法；

24、所述處理器用于讀取并執(zhí)行所述程序代碼。

25、本申請(qǐng)第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中保存程序代碼，所述程序代碼用于被處理器讀取并執(zhí)行，以實(shí)現(xiàn)如本申請(qǐng)第一方面提供的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法。

26、從以上技術(shù)方案可以看出，本申請(qǐng)具有以下優(yōu)點(diǎn)：

27、本申請(qǐng)?zhí)峁┑姆桨富趕pikformer模型中的ssa單元，獲取ssa單元輸出的脈沖特征參數(shù)，根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，對(duì)t-1時(shí)刻進(jìn)行空洞卷積處理，以增大空間特征捕獲能力，將不同時(shí)間步的脈沖特征信息進(jìn)行融合，此時(shí)注意力已經(jīng)帶有時(shí)間特征，包含跨時(shí)間步特征的信息，再進(jìn)行空間上的交互，從而實(shí)現(xiàn)跨時(shí)間步脈沖數(shù)據(jù)特征的信息交互，也提升了脈沖神經(jīng)網(wǎng)絡(luò)在處理動(dòng)態(tài)數(shù)據(jù)時(shí)的性能。

技術(shù)特征：

1.一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法，其特征在于，所述脈沖特征參數(shù)包括：脈沖神經(jīng)元電流值的query特征分量、key特征分量和value特征分量。

3.根據(jù)權(quán)利要求2所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法，其特征在于，根據(jù)t時(shí)刻的脈沖特征參數(shù)與t-1時(shí)刻的脈沖特征參數(shù)，對(duì)所述t-1時(shí)刻進(jìn)行空洞卷積處理，再將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)加權(quán)融合，得到融合后的脈沖特征參數(shù)具體包括：

4.根據(jù)權(quán)利要求1所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法，其特征在于，所述將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)融合，得到融合后的脈沖特征參數(shù)具體包括：

5.一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)裝置，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)裝置，其特征在于，所述脈沖特征參數(shù)包括：脈沖神經(jīng)元電流值的query特征分量、key特征分量和value特征分量。

7.根據(jù)權(quán)利要求6所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)裝置，其特征在于，所述時(shí)間處理單元具體用于：

8.根據(jù)權(quán)利要求5所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)裝置，其特征在于，所述時(shí)間處理單元中的將處理后的t-1時(shí)刻與所述t時(shí)刻進(jìn)行脈沖特征參數(shù)融合，得到融合后的脈沖特征參數(shù)具體包括：

9.一種計(jì)算機(jī)終端，其特征在于，包括：存儲(chǔ)器和處理器；

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中保存程序代碼，所述程序代碼用于被處理器讀取并執(zhí)行，以實(shí)現(xiàn)如權(quán)利要求1至4任意一項(xiàng)所述的一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種脈沖transformer自注意力時(shí)間域交互增強(qiáng)方法、裝置、終端及介質(zhì)，本申請(qǐng)?zhí)峁┑姆桨富赟pikformer模型中的脈沖自注意力Spiking?Self?Attention(SSA)單元，將設(shè)計(jì)的時(shí)間處理單元Temporal?Processing?Unit(TPU)引入SSA單元，構(gòu)成Spatio?Temporal?Self?Attention(STSA)。TPU將當(dāng)前t時(shí)刻的脈沖特征與上一時(shí)刻t?1的脈沖特征進(jìn)行處理，對(duì)t?1脈沖特征進(jìn)行空洞卷積處理，以增大對(duì)空間特征捕獲能力，將不同時(shí)間步的脈沖特征信息進(jìn)行融合，從而實(shí)現(xiàn)跨時(shí)間步脈沖數(shù)據(jù)特征的信息交互。在STSA中帶有時(shí)間特征信息再進(jìn)行空間注意力交互，實(shí)現(xiàn)時(shí)空上的注意力交互，實(shí)現(xiàn)了脈沖注意力在時(shí)空維度的建模，提升了脈沖神經(jīng)網(wǎng)絡(luò)在處理具有時(shí)間特征數(shù)據(jù)時(shí)的性能。

技術(shù)研發(fā)人員：葉武劍,劉斌,劉怡俊
受保護(hù)的技術(shù)使用者：廣東工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8