本發(fā)明涉及質(zhì)量測(cè)量，尤其涉及一種基于深度學(xué)習(xí)的低照度視頻質(zhì)量測(cè)量系統(tǒng)。

背景技術(shù)：

1、在視頻采集過(guò)程中，低照度環(huán)境是常見(jiàn)且具有挑戰(zhàn)性的場(chǎng)景，低照度會(huì)導(dǎo)致視頻出現(xiàn)諸如噪聲增加、對(duì)比度降低、色彩失真、細(xì)節(jié)丟失等質(zhì)量問(wèn)題，嚴(yán)重影響視頻的觀看體驗(yàn)和后續(xù)分析利用。

2、傳統(tǒng)的視頻質(zhì)量測(cè)量方法主要基于手工特征和統(tǒng)計(jì)模型，例如基于像素的質(zhì)量評(píng)估指標(biāo)（如均方誤差、峰值信噪比）和基于結(jié)構(gòu)的評(píng)估指標(biāo)（如結(jié)構(gòu)相似性指數(shù)），然而，這些方法在處理低照度視頻時(shí)存在明顯不足，手工特征難以全面捕捉低照度視頻復(fù)雜的視覺(jué)特征，統(tǒng)計(jì)模型也無(wú)法適應(yīng)不同場(chǎng)景下低照度視頻的多樣性，而且，傳統(tǒng)方法往往只關(guān)注單一的質(zhì)量變量，不能實(shí)現(xiàn)對(duì)低照度視頻的整體質(zhì)量進(jìn)行綜合、準(zhǔn)確的評(píng)估，從而降低了低照度視頻質(zhì)量測(cè)量的精確度。

技術(shù)實(shí)現(xiàn)思路

1、基于此，本發(fā)明有必要提供一種基于深度學(xué)習(xí)的低照度視頻質(zhì)量測(cè)量系統(tǒng)，以解決至少一個(gè)上述技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，一種基于深度學(xué)習(xí)的低照度視頻質(zhì)量測(cè)量系統(tǒng)，包括以下模塊：

3、低照度視頻幀處理模塊，用于通過(guò)在不同低照度場(chǎng)景下利用視頻采集設(shè)備實(shí)時(shí)采集對(duì)應(yīng)的低照度視頻數(shù)據(jù)，并對(duì)低照度視頻數(shù)據(jù)進(jìn)行視頻幀處理，以得到低照度視頻標(biāo)準(zhǔn)幀圖像集；

4、視頻質(zhì)量維度測(cè)量標(biāo)注模塊，用于對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行視頻指標(biāo)測(cè)量，以得到每一低照度視頻幀對(duì)應(yīng)的視頻清晰度、視頻噪聲水平以及視頻色彩還原度；基于每一低照度視頻幀對(duì)應(yīng)的視頻清晰度、視頻噪聲水平以及視頻色彩還原度對(duì)相對(duì)應(yīng)的低照度視頻進(jìn)行質(zhì)量維度測(cè)量標(biāo)注，以得到低照度視頻質(zhì)量標(biāo)注分?jǐn)?shù)；

5、視頻質(zhì)量模型預(yù)測(cè)模塊，用于利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建視頻質(zhì)量測(cè)量模型架構(gòu)，并利用低照度視頻標(biāo)準(zhǔn)幀圖像集對(duì)視頻質(zhì)量測(cè)量模型架構(gòu)進(jìn)行模型訓(xùn)練優(yōu)化，以生成基于深度學(xué)習(xí)的低照度視頻測(cè)量模型，并輸出每個(gè)視頻幀質(zhì)量維度對(duì)應(yīng)的預(yù)測(cè)分?jǐn)?shù)；基于每個(gè)視頻幀質(zhì)量維度對(duì)應(yīng)的預(yù)測(cè)分?jǐn)?shù)對(duì)相對(duì)應(yīng)的低照度視頻進(jìn)行質(zhì)量加權(quán)求和，以得到低照度視頻質(zhì)量預(yù)測(cè)分?jǐn)?shù)；

6、預(yù)測(cè)誤差損失優(yōu)化模塊，用于基于低照度視頻質(zhì)量標(biāo)注分?jǐn)?shù)以及低照度視頻質(zhì)量預(yù)測(cè)分?jǐn)?shù)對(duì)基于深度學(xué)習(xí)的低照度視頻測(cè)量模型進(jìn)行誤差損失增強(qiáng)學(xué)習(xí)，以生成低照度視頻測(cè)量綜合模型；將低照度視頻標(biāo)準(zhǔn)幀圖像集重新輸入至低照度視頻測(cè)量綜合模型進(jìn)行視頻質(zhì)量評(píng)估測(cè)量，以輸出對(duì)應(yīng)的低照度視頻質(zhì)量綜合測(cè)量分?jǐn)?shù)。

7、進(jìn)一步的，所述低照度視頻幀處理模塊包括以下功能：

8、通過(guò)在不同低照度場(chǎng)景下利用視頻采集設(shè)備實(shí)時(shí)采集對(duì)應(yīng)的低照度視頻數(shù)據(jù)；

9、按照固定幀率24fps將低照度視頻數(shù)據(jù)進(jìn)行視頻單幀抽取，以得到低照度視頻單幀圖像集；

10、對(duì)低照度視頻單幀圖像集進(jìn)行幀圖像模糊度測(cè)量，得到低照度視頻幀圖像模糊度；

11、基于低照度視頻幀圖像模糊度對(duì)低照度視頻單幀圖像集內(nèi)的每一幀低照度視頻圖像進(jìn)行視頻幀圖像濾波，得到低照度視頻幀濾波圖像集；

12、對(duì)低照度視頻幀濾波圖像集內(nèi)每一幀低照度視頻圖像對(duì)應(yīng)的像素值進(jìn)行視頻幀歸一化，以得到低照度視頻標(biāo)準(zhǔn)幀圖像集。

13、進(jìn)一步的，所述不同低照度場(chǎng)景具體為夜間戶外、地下停車(chē)場(chǎng)以及室內(nèi)弱光環(huán)境場(chǎng)景。

14、進(jìn)一步的，所述視頻質(zhì)量維度測(cè)量標(biāo)注模塊包括以下功能：

15、對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行多通道拆分，得到每一幀視頻圖像對(duì)應(yīng)的r、g、b通道圖像；通過(guò)每一幀視頻圖像對(duì)應(yīng)的r、g、b通道圖像獲取每個(gè)通道對(duì)應(yīng)的灰度均值以及灰度方差，并基于每個(gè)通道對(duì)應(yīng)的灰度均值以及灰度方差對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行通道能量占比測(cè)量，以得到每一幀視頻圖像對(duì)應(yīng)的通道圖像能量占比；根據(jù)每一幀視頻圖像對(duì)應(yīng)的通道圖像能量占比對(duì)相對(duì)應(yīng)的每一幀視頻圖像進(jìn)行視頻清晰度分析，以得到每一低照度視頻幀對(duì)應(yīng)的視頻清晰度；

16、對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行噪聲水平測(cè)量，以得到每一低照度視頻幀對(duì)應(yīng)的視頻噪聲水平；

17、對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行色彩還原度測(cè)量，以得到每一低照度視頻幀對(duì)應(yīng)的視頻色彩還原度；

18、基于每一低照度視頻幀對(duì)應(yīng)的視頻清晰度、視頻噪聲水平以及視頻色彩還原度利用視頻質(zhì)量維度測(cè)量計(jì)算公式對(duì)相對(duì)應(yīng)的低照度視頻進(jìn)行質(zhì)量維度測(cè)量計(jì)算，以得到低照度視頻質(zhì)量維度；

19、基于低照度視頻質(zhì)量維度對(duì)相對(duì)應(yīng)的低照度視頻進(jìn)行質(zhì)量維度體系標(biāo)注，以將質(zhì)量維度為0%-20%標(biāo)注為1分，21%-40%標(biāo)注為2分，41%-60%標(biāo)注為3分，61%-80%標(biāo)注為4分，81%-100%標(biāo)注為5分，以得到低照度視頻質(zhì)量標(biāo)注分?jǐn)?shù)。

20、進(jìn)一步的，所述對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行噪聲水平測(cè)量包括：

21、對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行圖像局部區(qū)域劃分，以得到每一幀視頻圖像對(duì)應(yīng)的視頻局部子區(qū)域；

22、對(duì)每一幀視頻圖像對(duì)應(yīng)的視頻局部子區(qū)域進(jìn)行紋理分形維數(shù)計(jì)算，以得到每一幀視頻圖像對(duì)應(yīng)的局部區(qū)域分形維數(shù)；

23、對(duì)每一幀視頻圖像對(duì)應(yīng)的視頻局部子區(qū)域進(jìn)行局部像素方差計(jì)算，得到每一幀視頻圖像對(duì)應(yīng)的局部區(qū)域像素方差；

24、基于每一幀視頻圖像對(duì)應(yīng)的局部區(qū)域分形維數(shù)以及局部區(qū)域像素方差對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行噪聲水平測(cè)量，以得到每一低照度視頻幀對(duì)應(yīng)的視頻噪聲水平。

25、進(jìn)一步的，所述對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行色彩還原度測(cè)量包括：

26、對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像中對(duì)應(yīng)的不同顏色區(qū)域進(jìn)行色度坐標(biāo)計(jì)算，以得到每一幀視頻圖像內(nèi)不同顏色區(qū)域?qū)?yīng)的色度坐標(biāo)；

27、基于每一幀視頻圖像內(nèi)不同顏色區(qū)域?qū)?yīng)的色度坐標(biāo)對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像中對(duì)應(yīng)的不同顏色區(qū)域進(jìn)行顏色飽和度測(cè)量，以得到每一幀視頻圖像內(nèi)不同顏色區(qū)域?qū)?yīng)的顏色飽和度；

28、對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像中對(duì)應(yīng)的不同顏色區(qū)域進(jìn)行色調(diào)分布統(tǒng)計(jì)，以得到每一幀視頻圖像內(nèi)不同顏色區(qū)域?qū)?yīng)的色調(diào)分布；

29、基于每一幀視頻圖像內(nèi)不同顏色區(qū)域?qū)?yīng)的顏色飽和度以及色調(diào)分布對(duì)低照度視頻標(biāo)準(zhǔn)幀圖像集內(nèi)的每一幀視頻圖像進(jìn)行色彩還原度測(cè)量，以得到每一低照度視頻幀對(duì)應(yīng)的視頻色彩還原度。

30、進(jìn)一步的，所述視頻質(zhì)量維度測(cè)量計(jì)算公式具體為：

31、；

32、式中，為低照度視頻質(zhì)量維度，為低照度視頻幀的總幀數(shù)，為第個(gè)低照度視頻幀，為第個(gè)低照度視頻幀對(duì)應(yīng)的視頻清晰度，為第個(gè)低照度視頻幀對(duì)應(yīng)的視頻噪聲水平，為第個(gè)低照度視頻幀對(duì)應(yīng)的視頻色彩還原度，為視頻幀時(shí)間區(qū)間，具體為從到的時(shí)間范圍，為在時(shí)間下對(duì)應(yīng)的低照度視頻幀，為時(shí)間幀參數(shù)，為參考視頻幀，為噪聲懲罰因子。

33、進(jìn)一步的，所述視頻質(zhì)量模型預(yù)測(cè)模塊包括以下功能：

34、利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建視頻質(zhì)量測(cè)量模型架構(gòu)，其中包括清晰特征提取分支、噪聲特征提取分支以及全連接神經(jīng)網(wǎng)絡(luò)層；

35、按照7：2：1對(duì)應(yīng)的劃分比例將低照度視頻標(biāo)準(zhǔn)幀圖像集劃分為訓(xùn)練集、驗(yàn)證集以及測(cè)試集；

36、將訓(xùn)練集輸入至視頻質(zhì)量測(cè)量模型架構(gòu)進(jìn)行模型訓(xùn)練，并將隨機(jī)梯度下降作為優(yōu)化算法結(jié)合驗(yàn)證集不斷調(diào)整模型對(duì)應(yīng)的超參數(shù)，其中超參數(shù)包括學(xué)習(xí)率、批量大小以及網(wǎng)絡(luò)層數(shù)，同時(shí)利用測(cè)試集進(jìn)行模型性能優(yōu)化，以生成基于深度學(xué)習(xí)的低照度視頻測(cè)量模型，并通過(guò)在每一個(gè)全連接神經(jīng)網(wǎng)絡(luò)層輸出每個(gè)視頻幀質(zhì)量維度對(duì)應(yīng)的預(yù)測(cè)分?jǐn)?shù)；

37、基于每個(gè)視頻幀質(zhì)量維度對(duì)應(yīng)的預(yù)測(cè)分?jǐn)?shù)對(duì)相對(duì)應(yīng)的低照度視頻進(jìn)行質(zhì)量加權(quán)求和，以得到低照度視頻質(zhì)量預(yù)測(cè)分?jǐn)?shù)。

38、進(jìn)一步的，所述視頻質(zhì)量測(cè)量模型架構(gòu)具體由一個(gè)清晰特征提取分支、一個(gè)噪聲特征提取分支以及多個(gè)全連接神經(jīng)網(wǎng)絡(luò)層組成，其中清晰特征提取分支由5個(gè)5x5卷積層以及5個(gè)1x1池化層組成，噪聲特征提取分支由5個(gè)3x3卷積層以及5個(gè)1x1池化層組成，全連接神經(jīng)網(wǎng)絡(luò)層由質(zhì)量維度對(duì)應(yīng)的總數(shù)確定，以將各個(gè)分支提取的視頻幀特征加權(quán)融合成綜合特征向量，并將綜合特征向量輸入到各個(gè)全連接神經(jīng)網(wǎng)絡(luò)層進(jìn)行非線性變換，以輸出每個(gè)質(zhì)量維度對(duì)應(yīng)的預(yù)測(cè)分?jǐn)?shù)。

39、進(jìn)一步的，所述預(yù)測(cè)誤差損失優(yōu)化模塊包括以下功能：

40、對(duì)低照度視頻質(zhì)量標(biāo)注分?jǐn)?shù)以及低照度視頻質(zhì)量預(yù)測(cè)分?jǐn)?shù)之間進(jìn)行質(zhì)量均方誤差損失計(jì)算，以得到模型預(yù)測(cè)分?jǐn)?shù)與標(biāo)注分?jǐn)?shù)之間的視頻質(zhì)量誤差損失；

41、基于模型預(yù)測(cè)分?jǐn)?shù)與標(biāo)注分?jǐn)?shù)之間的視頻質(zhì)量誤差損失對(duì)基于深度學(xué)習(xí)的低照度視頻測(cè)量模型進(jìn)行誤差損失增強(qiáng)學(xué)習(xí)，并通過(guò)引入l2正則化項(xiàng)對(duì)低照度視頻測(cè)量模型對(duì)應(yīng)的超參數(shù)進(jìn)行過(guò)擬合約束，以生成低照度視頻測(cè)量綜合模型；

42、將低照度視頻標(biāo)準(zhǔn)幀圖像集重新輸入至低照度視頻測(cè)量綜合模型進(jìn)行視頻質(zhì)量評(píng)估測(cè)量，以輸出對(duì)應(yīng)的低照度視頻質(zhì)量綜合測(cè)量分?jǐn)?shù)。

43、本發(fā)明的有益效果：

44、本發(fā)明所提出的基于深度學(xué)習(xí)的低照度視頻質(zhì)量測(cè)量系統(tǒng)，整體上由低照度視頻幀處理模塊、視頻質(zhì)量維度測(cè)量標(biāo)注模塊、視頻質(zhì)量模型預(yù)測(cè)模塊以及預(yù)測(cè)誤差損失優(yōu)化模塊組成，與現(xiàn)有技術(shù)相比，本技術(shù)的有益效果在于在不同低照度場(chǎng)景中通過(guò)使用視頻采集設(shè)備采集低照度視頻數(shù)據(jù)，可以確保視頻數(shù)據(jù)的清晰度、噪聲和色彩還原度得到準(zhǔn)確捕捉，低照度環(huán)境下，視頻采集設(shè)備需要具備較高的靈敏度與性能，以應(yīng)對(duì)由于光線不足而產(chǎn)生的噪聲和細(xì)節(jié)丟失問(wèn)題，視頻幀處理技術(shù)進(jìn)一步優(yōu)化了每幀圖像的質(zhì)量，通過(guò)去噪、增強(qiáng)對(duì)比度、調(diào)整曝光等方式，可以使得低照度視頻的質(zhì)量更加穩(wěn)定且可控，這一處理過(guò)程不僅使得視頻圖像更加清晰，還能在后續(xù)的分析中提升視頻數(shù)據(jù)的可靠性和準(zhǔn)確性，從而保證了后續(xù)測(cè)量與分析的精度和有效性。其次，通過(guò)對(duì)每一幀低照度視頻圖像進(jìn)行視頻指標(biāo)測(cè)量，以獲取視頻清晰度、噪聲水平和色彩還原度，這一過(guò)程是評(píng)估視頻質(zhì)量的重要環(huán)節(jié)，通過(guò)對(duì)低照度視頻的每一幀進(jìn)行深入的圖像分析，可以量化視頻圖像在不同質(zhì)量維度上的表現(xiàn)，視頻清晰度的測(cè)量幫助判斷圖像中的細(xì)節(jié)程度和模糊程度；噪聲水平測(cè)量則評(píng)估圖像中噪聲的干擾程度，噪聲過(guò)大會(huì)影響視頻的觀看體驗(yàn)；色彩還原度測(cè)量則判斷視頻圖像中顏色的準(zhǔn)確性與還原度，色彩失真會(huì)極大影響視頻的真實(shí)感與視覺(jué)效果，通過(guò)這些測(cè)量指標(biāo)，可以為每個(gè)視頻幀打上一個(gè)質(zhì)量標(biāo)注分?jǐn)?shù)，這個(gè)步驟的關(guān)鍵在于通過(guò)全面的指標(biāo)分析，不僅能夠準(zhǔn)確反映每一幀的質(zhì)量特征，還能為后續(xù)的深度學(xué)習(xí)模型訓(xùn)練提供真實(shí)且高質(zhì)量的標(biāo)注數(shù)據(jù)，有效支持模型的精確學(xué)習(xí)和優(yōu)化。然后，通過(guò)構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)（cnn）的視頻質(zhì)量測(cè)量模型，并利用低照度視頻標(biāo)準(zhǔn)幀圖像集進(jìn)行模型訓(xùn)練優(yōu)化，以通過(guò)深度學(xué)習(xí)模型的自我學(xué)習(xí)與優(yōu)化，能夠自動(dòng)提取視頻幀中復(fù)雜的特征信息，如圖像的清晰度、噪聲以及色彩等質(zhì)量指標(biāo)，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，能夠自動(dòng)識(shí)別并分析低照度環(huán)境下視頻中的微小差異和細(xì)節(jié)，特別適合處理低照度視頻中的噪聲和模糊問(wèn)題，通過(guò)多層網(wǎng)絡(luò)結(jié)構(gòu)和大量的低照度視頻數(shù)據(jù)訓(xùn)練，深度學(xué)習(xí)模型能夠?qū)W習(xí)到圖像質(zhì)量與視頻幀之間的復(fù)雜關(guān)系，并給出準(zhǔn)確的質(zhì)量預(yù)測(cè)分?jǐn)?shù)，通過(guò)對(duì)每個(gè)視頻幀的質(zhì)量維度進(jìn)行加權(quán)預(yù)測(cè)，模型輸出的低照度視頻質(zhì)量預(yù)測(cè)分?jǐn)?shù)能夠?yàn)樽罱K的視頻質(zhì)量評(píng)估提供精準(zhǔn)的依據(jù)，從而能夠?qū)崿F(xiàn)對(duì)低照度視頻的整體質(zhì)量進(jìn)行綜合、準(zhǔn)確的評(píng)估。最后，通過(guò)基于低照度視頻的質(zhì)量標(biāo)注分?jǐn)?shù)與模型預(yù)測(cè)分?jǐn)?shù)進(jìn)行誤差損失增強(qiáng)學(xué)習(xí)，以通過(guò)增強(qiáng)學(xué)習(xí)方法，可以顯著提升模型的預(yù)測(cè)精度和魯棒性，誤差損失函數(shù)在深度學(xué)習(xí)中起到了重要作用，能夠指引模型根據(jù)預(yù)測(cè)結(jié)果與真實(shí)標(biāo)注之間的差異進(jìn)行調(diào)整，通過(guò)增強(qiáng)學(xué)習(xí)，模型在面對(duì)低照度視頻時(shí)能夠更好地適應(yīng)不同環(huán)境下的變化，減少過(guò)擬合，并提升模型對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力，并通過(guò)經(jīng)過(guò)增強(qiáng)學(xué)習(xí)后的綜合模型，不僅能夠提供每個(gè)視頻幀的準(zhǔn)確質(zhì)量預(yù)測(cè)分?jǐn)?shù)，還能結(jié)合多個(gè)質(zhì)量維度進(jìn)行綜合評(píng)估，從而得出低照度視頻的整體質(zhì)量分?jǐn)?shù)，從而保證了最終模型能夠在實(shí)際應(yīng)用中提供高精度、可靠的視頻質(zhì)量測(cè)量結(jié)果。