本發(fā)明涉及圖形顯示，特別涉及一種視頻分割方法及系統(tǒng)、芯片、顯示面板及裝置、存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、視頻流語(yǔ)義分割是計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù)，涉及對(duì)視頻幀中的像素進(jìn)行分類，以識(shí)別不同的對(duì)象和場(chǎng)景。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，視頻流語(yǔ)義分割在精度上取得了顯著提升，因而得到了更廣泛地應(yīng)用。

2、在現(xiàn)有的視頻流語(yǔ)義分割算法中，往往面臨著多歷史幀存儲(chǔ)、幀內(nèi)多尺度特征融合性能較低等問題，這些問題均嚴(yán)重影響著算法資源消耗與性能。

3、因此，希望能有新的視頻流語(yǔ)義分割方案，能夠克服上述問題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問題，本發(fā)明的目的在于提供一種視頻分割方法及系統(tǒng)、芯片、顯示面板及裝置、存儲(chǔ)介質(zhì)，特別是一種基于歷史幀注意力匹配的視頻分割方法，從而優(yōu)化視頻流語(yǔ)義分割的效果。

2、根據(jù)本發(fā)明的一方面，提供一種視頻分割方法，包括：獲取當(dāng)前視頻幀；對(duì)所述當(dāng)前視頻幀進(jìn)行下采樣以獲取第一分辨率下的特征；對(duì)所述當(dāng)前視頻幀進(jìn)行上采樣以獲取第二分辨率下的特征；在所述第一分辨率下的特征中融入所述第二分辨率下的特征，以得到所述下采樣對(duì)應(yīng)的第一特征；在所述第二分辨率下的特征中融入所述第一分辨率下的特征，以得到所述上采樣對(duì)應(yīng)的第二特征；以及根據(jù)所述第一特征和所述第二特征得到語(yǔ)義分割圖。

3、可選地，所述視頻分割方法還包括：獲取語(yǔ)義分割后的歷史幀；對(duì)所述語(yǔ)義分割后的歷史幀和所述當(dāng)前視頻幀進(jìn)行特征提取，分別得到歷史幀特征和當(dāng)前視頻幀特征；對(duì)所述歷史幀特征和所述當(dāng)前視頻幀特征進(jìn)行融合，得到融合特征；以及根據(jù)所述融合特征得到所述當(dāng)前視頻幀對(duì)應(yīng)的語(yǔ)義分割圖。

4、可選地，所述視頻分割方法還包括：通過多尺度殘差模塊對(duì)所述語(yǔ)義分割后的歷史幀和所述當(dāng)前視頻幀進(jìn)行編碼處理，生成相應(yīng)的多尺度特征。

5、可選地，所述視頻分割方法還包括：對(duì)所述第一特征和所述第二特征進(jìn)行特征映射，得到所述當(dāng)前視頻幀的特征向量；以及根據(jù)所述當(dāng)前視頻幀的特征向量得到所述語(yǔ)義分割圖。

6、可選地，所述視頻分割方法還包括：根據(jù)語(yǔ)義分割后的歷史幀得到歷史幀特征；根據(jù)所述歷史幀特征分別得到鍵向量和值向量；以及根據(jù)所述鍵向量和所述值向量得到所述語(yǔ)義分割圖。

7、可選地，所述視頻分割方法還包括：對(duì)所述第一特征和所述第二特征進(jìn)行特征映射，得到所述當(dāng)前視頻幀的特征向量；根據(jù)所述當(dāng)前視頻幀的特征向量、所述鍵向量和所述值向量進(jìn)行注意力匹配輸出，輸出所述語(yǔ)義分割圖。

8、可選地，對(duì)所述當(dāng)前視頻幀進(jìn)行下采樣并通過卷積層進(jìn)行特征提取以獲取所述第一分辨率下的特征；對(duì)所述當(dāng)前視頻幀進(jìn)行上采樣并通過卷積層進(jìn)行特征提取以獲取所述第二分辨率下的特征。

9、根據(jù)本發(fā)明的另一方面，提供一種視頻分割系統(tǒng)，包括：獲取單元，用于獲取當(dāng)前視頻幀；下采樣單元，用于對(duì)所述當(dāng)前視頻幀進(jìn)行下采樣以獲取第一分辨率下的特征；上采樣單元，用于對(duì)所述當(dāng)前視頻幀進(jìn)行上采樣以獲取第二分辨率下的特征；融合單元，所述融合單元用于在所述第一分辨率下的特征中融入所述第二分辨率下的特征，以得到所述下采樣對(duì)應(yīng)的第一特征；所述融合單元還用于在所述第二分辨率下的特征中融入所述第一分辨率下的特征，以得到所述上采樣對(duì)應(yīng)的第二特征；以及分割單元，用于根據(jù)所述第一特征和所述第二特征得到語(yǔ)義分割圖。

10、根據(jù)本發(fā)明的又一方面，提供一種芯片，包括：如上所述的視頻分割系統(tǒng)。

11、根據(jù)本發(fā)明的又一方面，提供一種顯示面板，包括：如上所述的視頻分割系統(tǒng)，其中，所述顯示面板包括選自陰極射線管顯示面板、數(shù)字光處理顯示面板、液晶顯示面板、發(fā)光二極管顯示面板、有機(jī)發(fā)光二極管顯示面板、量子點(diǎn)顯示面板、mirco-led顯示面板、mini-led顯示面板、場(chǎng)發(fā)射顯示面板、電漿顯示面板、電泳顯示面板和電潤(rùn)濕顯示面板中的至少一種。

12、根據(jù)本發(fā)明的又一方面，提供一種顯示裝置，包括：如上所述的視頻分割系統(tǒng)；以及顯示面板，所述顯示面板與所述視頻分割系統(tǒng)相連接，以根據(jù)所述語(yǔ)義分割圖顯示所述當(dāng)前視頻幀。

13、根據(jù)本發(fā)明的再一方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的視頻分割方法。

14、本發(fā)明提供的視頻分割方法及系統(tǒng)、芯片、顯示面板及裝置、存儲(chǔ)介質(zhì)，對(duì)下采樣分支和上采樣分支進(jìn)行交叉處理，使每個(gè)支路均引入另外支路的相關(guān)特征，優(yōu)化了視頻流語(yǔ)義分割效果。

15、進(jìn)一步地，對(duì)歷史幀特征和當(dāng)前視頻幀特征進(jìn)行融合，從而允許在當(dāng)前視頻幀和歷史幀中更有效地整合和利用多尺度信息，提高了視頻流多尺度特征提取性能。

16、進(jìn)一步地，根據(jù)當(dāng)前視頻幀的特征向量、歷史幀的鍵向量和值向量進(jìn)行注意力匹配輸出，提升了語(yǔ)義分割效果與效率。

17、進(jìn)一步地，當(dāng)前幀編碼模塊和歷史幀編碼模塊在標(biāo)準(zhǔn)的transformer架構(gòu)（一種利用自注意力機(jī)制處理視頻時(shí)空信息的架構(gòu)，旨在對(duì)視頻中的每一幀逐像素進(jìn)行分類，同時(shí)考慮時(shí)間維度上的連續(xù)性）上便可實(shí)現(xiàn)，結(jié)構(gòu)簡(jiǎn)單、方法簡(jiǎn)便且適用范圍廣。

技術(shù)特征：

1.一種視頻分割方法，包括：

2.根據(jù)權(quán)利要求1所述的視頻分割方法，其中，所述視頻分割方法還包括：

3.根據(jù)權(quán)利要求2所述的視頻分割方法，其中，所述視頻分割方法還包括：

4.?根據(jù)權(quán)利要求1所述的視頻分割方法，其中，所述視頻分割方法還包括：

5.根據(jù)權(quán)利要求1所述的視頻分割方法，其中，所述視頻分割方法還包括：

6.根據(jù)權(quán)利要求5所述的視頻分割方法，其中，所述視頻分割方法還包括：

7.根據(jù)權(quán)利要求1所述的視頻分割方法，其中，對(duì)所述當(dāng)前視頻幀進(jìn)行下采樣并通過卷積層進(jìn)行特征提取以獲取所述第一分辨率下的特征；

8.一種視頻分割系統(tǒng)，包括：

9.一種芯片，包括：

10.一種顯示面板，包括：

11.?一種顯示裝置，包括：

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的視頻分割方法。

技術(shù)總結(jié)
本發(fā)明公開了一種視頻分割方法及系統(tǒng)、芯片、顯示面板及裝置、存儲(chǔ)介質(zhì)。根據(jù)本發(fā)明實(shí)施例的視頻分割方法，包括：獲取當(dāng)前視頻幀；對(duì)所述當(dāng)前視頻幀進(jìn)行下采樣以獲取第一分辨率下的特征；對(duì)所述當(dāng)前視頻幀進(jìn)行上采樣以獲取第二分辨率下的特征；在所述第一分辨率下的特征中融入所述第二分辨率下的特征，以得到所述下采樣對(duì)應(yīng)的第一特征；在所述第二分辨率下的特征中融入所述第一分辨率下的特征，以得到所述上采樣對(duì)應(yīng)的第二特征；以及根據(jù)所述第一特征和所述第二特征得到語(yǔ)義分割圖。根據(jù)本發(fā)明實(shí)施例的視頻分割方法及系統(tǒng)、芯片、顯示面板及裝置、存儲(chǔ)介質(zhì)，優(yōu)化了視頻流語(yǔ)義分割的效果。

技術(shù)研發(fā)人員：仝方遒,王磊,田志民,翟天辰,楊惠
受保護(hù)的技術(shù)使用者：北京集創(chuàng)北方科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8