本發(fā)明涉及圖像處理，具體涉及基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法。

背景技術(shù)：

1、自動(dòng)扶梯是公共場(chǎng)所中最為常見的運(yùn)輸行人交通工具，使用對(duì)象囊括了各年齡階段人群，上至老人，下至在嬰兒車中的嬰孩，因此扶梯安全監(jiān)控問(wèn)題一直是亟待解決的公共安全問(wèn)題。自動(dòng)扶梯設(shè)備在提高人流運(yùn)輸效率的同時(shí)，也帶來(lái)了安全隱患。在實(shí)際應(yīng)用中，由于乘客的不當(dāng)使用，如急速奔跑、逆向行走、兒童玩耍等，以及應(yīng)急救援不及時(shí)，自動(dòng)扶梯容易引發(fā)乘客墜落、碰撞、擠壓等事故，常見的扶梯事故原因多為行人攀爬扶梯、跌倒或者逆行引起的。

2、然而，在自動(dòng)扶梯狹長(zhǎng)的空間中存在前后左右的高度遮擋，人體的許多行為動(dòng)作變化不大，導(dǎo)致動(dòng)作的空間結(jié)構(gòu)表現(xiàn)一致，缺乏顯著的幾何差異。并且時(shí)間特征和空間特征分布不均，動(dòng)作在時(shí)間上的某些關(guān)鍵幀特征過(guò)于顯著，而其他幀的特征較弱或不明顯，導(dǎo)致模型無(wú)法有效捕捉完整的動(dòng)作動(dòng)態(tài)。

3、現(xiàn)有技術(shù)中，許多基于圖卷積網(wǎng)絡(luò)的方法，可以對(duì)人體行為進(jìn)行識(shí)別，但對(duì)于相似空間動(dòng)作還存在較高的誤判。人體動(dòng)作在時(shí)間維度的動(dòng)態(tài)變化未被充分捕捉，導(dǎo)致模型主要依賴靜態(tài)空間特征進(jìn)行分類。在空間維度上不同關(guān)節(jié)點(diǎn)或骨骼連接處的重要性不同，某些關(guān)節(jié)點(diǎn)或骨骼對(duì)動(dòng)作識(shí)別貢獻(xiàn)較大，而其他部分可能較為冗余，影響特征提取的效率和效果。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本發(fā)明提出了基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，通過(guò)多分支人體特征融合網(wǎng)絡(luò)來(lái)對(duì)扶梯上乘客的不安全動(dòng)作進(jìn)行準(zhǔn)確識(shí)別，從人體特征的多個(gè)維度來(lái)解決高度遮擋問(wèn)題、人體空間動(dòng)作相似問(wèn)題和時(shí)間特征和空間特征分布不均問(wèn)題。

2、具體方案如下：

3、基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，包括：

4、s1，獲取自動(dòng)扶梯上行人的動(dòng)作視頻；通過(guò)人體姿態(tài)估計(jì)器提取動(dòng)作視頻中每一幀的人體關(guān)節(jié)點(diǎn)坐標(biāo)；將每一幀的人體關(guān)節(jié)點(diǎn)坐標(biāo)以時(shí)間順序合并成坐標(biāo)序列，并將坐標(biāo)序列轉(zhuǎn)換為原始特征矩陣；

5、s2，構(gòu)建多分支人體特征融合網(wǎng)絡(luò)；所述多分支人體特征融合網(wǎng)絡(luò)包括關(guān)節(jié)流、骨骼流、速度流、骨骼角度流、注意力機(jī)制融合模塊和多個(gè)圖卷積子塊；所述骨骼流基于原始特征矩陣計(jì)算骨骼邊的向量長(zhǎng)度和向量方向，獲得骨骼特征矩陣；所述速度流基于原始特征矩陣計(jì)算人體關(guān)節(jié)點(diǎn)和骨骼邊的速度向量，獲得速度特征矩陣；所述骨骼角度流基于原始特征矩陣計(jì)算肢體角度和肢體角速度，獲得骨骼角度特征矩陣；每個(gè)圖卷積子塊包括圖卷積、多尺度時(shí)序卷積和注意力加權(quán)的邊緣卷積；

6、s3，通過(guò)多尺度時(shí)序卷積捕捉原始特征矩陣、骨骼特征矩陣、速度特征矩陣和骨骼角度特征矩陣在時(shí)間上的動(dòng)態(tài)變化，獲得時(shí)序特征矩陣；

7、s4，通過(guò)注意力加權(quán)的邊緣卷積對(duì)時(shí)序特征矩陣進(jìn)行注意力加權(quán)，將注意力加權(quán)后的特征矩陣輸入全局池化層轉(zhuǎn)換為高維特征向量；

8、s5，通過(guò)自注意力機(jī)制融合模塊對(duì)高維特征向量進(jìn)行加權(quán)融合，通過(guò)全連接層將融合后的高維特征向量映射到類別空間，以計(jì)算出各個(gè)類別扶梯行為的概率分布，選擇概率最高的類別作為扶梯行為的預(yù)測(cè)結(jié)果。

9、進(jìn)一步的，s2中，骨骼邊的向量長(zhǎng)度和向量方向計(jì)算公式如下：

10、；

11、；

12、；

13、其中，表示原始特征矩陣中第t幀第個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)；表示原始特征矩陣中第t幀第個(gè)關(guān)節(jié)點(diǎn)在骨骼拓?fù)鋱D中的父節(jié)點(diǎn)；表示骨骼邊的向量長(zhǎng)度；表示骨骼幅值為向量長(zhǎng)度的范數(shù)，表示骨骼邊的向量方向。

14、進(jìn)一步的，s2中，人體關(guān)節(jié)點(diǎn)和骨骼邊的速度向量，計(jì)算公式如下：

15、；

16、；

17、；

18、其中，表示關(guān)節(jié)點(diǎn)編號(hào)；，表示關(guān)節(jié)點(diǎn)在時(shí)間時(shí)的坐標(biāo)，表示輸入視頻的總幀數(shù)；表示相鄰幀之間的時(shí)間差；表示骨骼段在時(shí)間時(shí)的中心點(diǎn)坐標(biāo)；n表示關(guān)節(jié)點(diǎn)和骨骼邊的中心點(diǎn)的總數(shù)；表示人體關(guān)節(jié)點(diǎn)和骨骼邊的速度向量。

19、進(jìn)一步的，s2中，肢體角度和肢體角速度的計(jì)算公式如下：

20、；

21、；

22、其中，表示第n幀中第個(gè)骨骼邊的肢體角度，表示第n幀中第個(gè)骨骼邊幀間肢體角速度；表示第n幀第i個(gè)骨骼邊在z軸正方向的分量；表示第n幀第i個(gè)骨骼邊在x軸正方向的分量；表示第n幀第i個(gè)骨骼邊在y軸正方向的分量；l表示骨骼邊；t表示時(shí)間。

23、進(jìn)一步的，s4中，通過(guò)注意力加權(quán)的邊緣卷積對(duì)時(shí)序特征矩陣進(jìn)行注意力加權(quán)，計(jì)算公式如下：

24、；

25、；

26、；

27、；

28、其中，()表示多層感知機(jī)；表示時(shí)序特征矩陣；表示注意力加權(quán)后的特征矩陣；表示基于多層感知機(jī)mlp計(jì)算關(guān)鍵點(diǎn)和關(guān)鍵點(diǎn)的特征；表示動(dòng)態(tài)注意力機(jī)制的權(quán)重系數(shù)；表示邊緣卷積；表示節(jié)點(diǎn)的鄰居集合；表示節(jié)點(diǎn)和鄰居節(jié)點(diǎn)的特征差；表示鄰接矩陣；表示目標(biāo)節(jié)點(diǎn)與鄰居節(jié)點(diǎn)的注意力得分，反映鄰居節(jié)點(diǎn)對(duì)目標(biāo)節(jié)點(diǎn)的重要程度；和表示特征矩陣x通過(guò)圖卷積的輸出特征張量第個(gè)關(guān)鍵點(diǎn)和第個(gè)關(guān)鍵點(diǎn)；表示逐元素相乘；表示激活函數(shù)；表示偏置。

29、進(jìn)一步的，s5中，所述通過(guò)自注意力機(jī)制融合模塊對(duì)高維特征向量進(jìn)行加權(quán)融合，具體公式如下：

30、；

31、q、k和v表示從輸入特征流中線性變換得到的查詢矩陣、鍵矩陣和值矩陣；表示不同流之間的相似性權(quán)重分布；表示加權(quán)融合后的特征。

32、本發(fā)明采用如上技術(shù)方案，并具有有益效果：

33、(1)本發(fā)明通過(guò)基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，有效解決扶梯狹長(zhǎng)空間導(dǎo)致的前后左右高度遮擋問(wèn)題和相同空間結(jié)構(gòu)的相似動(dòng)作帶來(lái)的誤判問(wèn)題，多流融合通過(guò)將關(guān)節(jié)點(diǎn)、骨骼段、速度、骨骼角度的特征優(yōu)勢(shì)結(jié)合起來(lái)，充分捕捉動(dòng)作的靜態(tài)結(jié)構(gòu)和動(dòng)態(tài)變化，引入速度流使關(guān)節(jié)點(diǎn)和骨骼段的運(yùn)動(dòng)特征得以表現(xiàn)并可以充分利用時(shí)間域特征，引入骨骼角度流來(lái)關(guān)注骨骼之間的幾何關(guān)系，與關(guān)節(jié)流、骨骼流基于位置或距離的特征流互補(bǔ)，能夠有效增強(qiáng)對(duì)復(fù)雜動(dòng)作的辨別能力。

34、(2)本發(fā)明通過(guò)構(gòu)建了多尺度時(shí)序卷積模塊(mstcn)，實(shí)現(xiàn)了不同擴(kuò)張率來(lái)構(gòu)造多種尺度的卷積以捕獲不同時(shí)間跨度的信息，多尺度時(shí)序卷積通過(guò)結(jié)合前后相鄰幀的信息來(lái)感知行為前后邏輯，恢復(fù)遮擋期間某些片段幀的動(dòng)作軌跡。

35、(3)本發(fā)明通過(guò)構(gòu)建注意力加權(quán)的邊緣卷積模塊(aec)，在邊緣卷積的基礎(chǔ)上引入動(dòng)態(tài)注意力機(jī)制加強(qiáng)整體網(wǎng)絡(luò)對(duì)空間重要信息的捕獲并忽略次要信息，篩選出重要特征提升不安全動(dòng)作識(shí)別的準(zhǔn)確性。

技術(shù)特征：

1.一種基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，其特征在于，s2中，骨骼邊的向量長(zhǎng)度和向量方向計(jì)算公式如下：

3.根據(jù)權(quán)利要求1所述的基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，其特征在于，s2中，人體關(guān)節(jié)點(diǎn)和骨骼邊的速度向量，計(jì)算公式如下：

4.根據(jù)權(quán)利要求1所述的基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，其特征在于，s2中，肢體角度和肢體角速度的計(jì)算公式如下：

5.根據(jù)權(quán)利要求4所述的基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，其特征在于，s4中，通過(guò)注意力加權(quán)的邊緣卷積對(duì)時(shí)序特征矩陣進(jìn)行注意力加權(quán)，計(jì)算公式如下：

6.根據(jù)權(quán)利要求1所述的基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，其特征在于，s5中，所述通過(guò)自注意力機(jī)制融合模塊對(duì)高維特征向量進(jìn)行加權(quán)融合，具體公式如下：

技術(shù)總結(jié)
本發(fā)明公開了基于多分支人體特征融合網(wǎng)絡(luò)的扶梯行為檢測(cè)方法，涉及圖像處理技術(shù)領(lǐng)域，方法包括：利用包含關(guān)節(jié)流、骨骼流、速度流和骨骼角度流的多分支網(wǎng)絡(luò)處理該矩陣，分別獲得關(guān)節(jié)、骨骼、速度和角度特征矩陣，并通過(guò)自注意力機(jī)制融合這些特征；使用多尺度時(shí)序卷積捕捉特征在時(shí)間上的動(dòng)態(tài)變化，生成時(shí)序特征矩陣；通過(guò)注意力加權(quán)的邊緣卷積與時(shí)序特征矩陣進(jìn)行交互，將結(jié)果轉(zhuǎn)換為高維特征向量；輸入至全連接層映射到類別空間，以預(yù)測(cè)扶梯行為的概率分布，選取概率最高的類別作為最終的行為預(yù)測(cè)結(jié)果。本發(fā)明通過(guò)構(gòu)建多分支人體特征融合網(wǎng)絡(luò)并結(jié)合自注意力機(jī)制和多尺度時(shí)序卷積，實(shí)現(xiàn)了對(duì)自動(dòng)扶梯上行人行為的檢測(cè)與識(shí)別。

技術(shù)研發(fā)人員：何建海,鄭力新
受保護(hù)的技術(shù)使用者：華僑大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8