本技術(shù)涉及圖像增強(qiáng)，尤其涉及一種基于dct域的圖像質(zhì)量增強(qiáng)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、聯(lián)合攝影專家組(joint?photographic?experts?group，jpeg)是當(dāng)今使用最廣泛的圖像壓縮標(biāo)準(zhǔn)之一。jpeg的核心優(yōu)勢(shì)在于利用離散余弦變換(discrete?cosinetransform，dct)將圖像像素值轉(zhuǎn)換到dct域，再進(jìn)行量化，實(shí)現(xiàn)有效壓縮。然而，這種量化引入了壓縮偽影，如阻塞、模糊和振鈴，這可能會(huì)降低用戶的體驗(yàn)質(zhì)量(quality?ofexperience，qoe)并損害在各種應(yīng)用中的下游性能。

2、為了減輕壓縮偽影，相關(guān)技術(shù)采用直接增強(qiáng)dct域中jpeg圖像的方法。由于每個(gè)對(duì)象內(nèi)部的紋理連續(xù)性，圖像像素值表現(xiàn)出很強(qiáng)的空間連續(xù)性，dct運(yùn)算使用正交基函數(shù)將這些空間相關(guān)的像素轉(zhuǎn)換為空間去相關(guān)的dct系數(shù)，導(dǎo)致dct系數(shù)弱相關(guān)。然而，現(xiàn)有的dct域方法依賴于空間不變卷積濾波器和空間注意算子，難以處理這些弱相關(guān)的dct系數(shù)，使得圖像質(zhì)量增強(qiáng)性能不理想。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題或者至少部分地解決上述技術(shù)問(wèn)題，本技術(shù)提供了一種基于dct域的圖像質(zhì)量增強(qiáng)方法、裝置、設(shè)備及介質(zhì)，可以提升圖像質(zhì)量增強(qiáng)性能。

2、為了實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例提供的技術(shù)方案如下：

3、第一方面，本技術(shù)提供一種基于dct域的圖像質(zhì)量增強(qiáng)方法，包括：對(duì)jpeg比特流進(jìn)行熵解碼得到dct系數(shù)；通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性；對(duì)基于塊的相關(guān)性和基于點(diǎn)的相關(guān)性進(jìn)行增強(qiáng)，得到高質(zhì)量圖像的dct系數(shù)；對(duì)高質(zhì)量圖像的dct系數(shù)進(jìn)行編碼儲(chǔ)存至磁盤，或者，對(duì)高質(zhì)量圖像的dct系數(shù)進(jìn)行解碼以顯示高質(zhì)量圖像。

4、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式，基于塊的相關(guān)性增強(qiáng)模塊包括：基于塊的卷積層、第一像素域模型、基于塊的反卷積層；其中，基于塊的卷積層用于輸入dct系數(shù)來(lái)提取強(qiáng)相關(guān)dct系數(shù)；第一像素域模型用于輸入強(qiáng)相關(guān)dct系數(shù)進(jìn)行增強(qiáng)，基于塊的反卷積層用于恢復(fù)增強(qiáng)后的強(qiáng)相關(guān)dct系數(shù)的維度，為后續(xù)模塊輸入做準(zhǔn)備；基于點(diǎn)的相關(guān)性增強(qiáng)模塊包括：映射模塊、壓縮模塊、第二像素域模型、擴(kuò)展模塊和重映射模塊；其中，映射模塊，用于將輸入dct系數(shù)映射成頻率系數(shù)圖；壓縮模塊，用于降低特征圖維度，減少計(jì)算量和模型參數(shù)，壓縮模塊保留頻率系數(shù)圖中的低頻系數(shù)且丟棄高頻系數(shù)，或者，以端到端的方式訓(xùn)練卷積層壓縮特征圖維度；第二像素域模型，用于提高頻率系數(shù)圖中有損頻率系數(shù)圖的質(zhì)量；擴(kuò)展模塊，用于恢復(fù)特征圖維度，擴(kuò)展模塊復(fù)制所丟棄的高頻系數(shù)，或者，以端到端的方式訓(xùn)練卷積層擴(kuò)充特征圖維度；重映射模塊，用于恢復(fù)dct系數(shù)，是映射模塊的反變換。

5、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式，第一像素域模型和第二像素域模型基于樣本數(shù)據(jù)集與預(yù)設(shè)損失函數(shù)監(jiān)督訓(xùn)練初始像素域模型得到；其中，初始像素域模型包括以下任意一個(gè)：注意力排序卷積神經(jīng)網(wǎng)絡(luò)ar-cnn、深度卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)解碼器dcad、深度卷積神經(jīng)網(wǎng)絡(luò)dncnn、ai驅(qū)動(dòng)的jpeg偽影消除網(wǎng)絡(luò)fbcnn、通過(guò)動(dòng)作表示空間的自進(jìn)化持續(xù)強(qiáng)化學(xué)習(xí)模型ar-crl。

6、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式，dct系數(shù)包括亮度dct系數(shù)和色度dct系數(shù)；通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性之前，方法還包括：通過(guò)dct域色度上采樣模塊對(duì)色度dct系數(shù)進(jìn)行子塊轉(zhuǎn)換和上采樣，以得到與亮度dct系數(shù)的分辨率相同的上采樣色度dct系數(shù)；相應(yīng)的，通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性，包括：通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從亮度dct系數(shù)和上采樣色度dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性。

7、第二方面，本技術(shù)提供一種基于dct域的圖像質(zhì)量增強(qiáng)裝置，該裝置包括：

8、熵解碼組件，用于對(duì)jpeg比特流進(jìn)行熵解碼得到dct系數(shù)；

9、相關(guān)性提取組件，用于通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性；

10、增強(qiáng)組件，用于對(duì)基于塊的相關(guān)性和基于點(diǎn)的相關(guān)性進(jìn)行增強(qiáng)，得到高質(zhì)量圖像的dct系數(shù)；

11、編解碼組件，用于對(duì)高質(zhì)量圖像的dct系數(shù)編碼儲(chǔ)存至磁盤，或者，對(duì)高質(zhì)量圖像的dct系數(shù)進(jìn)行解碼以顯示高質(zhì)量圖像。

12、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式，該裝置還包括訓(xùn)練組件，用于：基于樣本數(shù)據(jù)集和預(yù)設(shè)損失函數(shù)監(jiān)督訓(xùn)練初始像素域模型，得到基于塊的相關(guān)性增強(qiáng)模塊包括的第一像素域模型，以及基于點(diǎn)的相關(guān)性增強(qiáng)模塊包括的第二像素域模型；其中，初始像素域模型包括以下任意一個(gè)：注意力排序卷積神經(jīng)網(wǎng)絡(luò)ar-cnn、深度卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)解碼器dcad、深度卷積神經(jīng)網(wǎng)絡(luò)dncnn、ai驅(qū)動(dòng)的jpeg偽影消除網(wǎng)絡(luò)fbcnn、通過(guò)動(dòng)作表示空間的自進(jìn)化持續(xù)強(qiáng)化學(xué)習(xí)模型ar-crl。

13、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式，dct系數(shù)包括亮度dct系數(shù)和色度dct系數(shù)；該裝置還包括dct域色度上采樣組件，用于對(duì)色度dct系數(shù)進(jìn)行子塊轉(zhuǎn)換和上采樣，以得到與亮度dct系數(shù)的分辨率相同的上采樣色度dct系數(shù)；相應(yīng)的，相關(guān)性提取組件，具體用于通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從亮度dct系數(shù)和第四dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性。

14、第三方面，本技術(shù)提供一種電子設(shè)備，包括：處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面或其任意一種可選的實(shí)施方式所述的基于dct域的圖像質(zhì)量增強(qiáng)方法。

15、第四方面，本技術(shù)提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括：所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面或其任意一種可選的實(shí)施方式所述的基于dct域的圖像質(zhì)量增強(qiáng)方法。

16、第五方面，本技術(shù)提供一種計(jì)算機(jī)程序產(chǎn)品，包括：該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)實(shí)現(xiàn)如第一方面或其任意一種可選的實(shí)施方式所述的基于dct域的圖像質(zhì)量增強(qiáng)方法。

17、本技術(shù)實(shí)施例提供的技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)：

18、本公開實(shí)施例提供一種基于dct域的圖像質(zhì)量增強(qiáng)方法、裝置、設(shè)備及介質(zhì)，其中該方法首先對(duì)jpeg比特流進(jìn)行熵解碼得到dct系數(shù)，然后通過(guò)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，從dct系數(shù)中提取基于塊的相關(guān)性，以及基于點(diǎn)的相關(guān)性，進(jìn)一步對(duì)基于塊的相關(guān)性和基于點(diǎn)的相關(guān)性進(jìn)行增強(qiáng)得到高質(zhì)量圖像的dct系數(shù)，繼而對(duì)高質(zhì)量圖像的dct系數(shù)進(jìn)行編碼儲(chǔ)存至磁盤，或者對(duì)其進(jìn)行解碼以顯示高質(zhì)量圖像。如此，本技術(shù)設(shè)計(jì)基于塊的相關(guān)性增強(qiáng)模塊和基于點(diǎn)的相關(guān)性增強(qiáng)模塊，捕獲基于塊的相關(guān)性和基于點(diǎn)的相關(guān)性，以在dct域中直接增強(qiáng)jpeg圖像，從而提升圖像質(zhì)量增強(qiáng)性能。另外，在增強(qiáng)時(shí)無(wú)需從dct域轉(zhuǎn)換至像素域，避免計(jì)算復(fù)雜的解碼，提升了圖像質(zhì)量增強(qiáng)的吞吐率。