本技術(shù)涉及圖像處理，尤其涉及一種圖像處理方法及電子設(shè)備。

背景技術(shù)：

1、圖像分辨率是用于評(píng)估圖像質(zhì)量的一種性能參數(shù)。相較于低分辨率圖像，高分辨率圖像通常包含更大的像素密度、更豐富的紋理細(xì)節(jié)及更高的可信賴度。但在實(shí)際的應(yīng)用場(chǎng)景中，受環(huán)境、網(wǎng)絡(luò)傳輸介質(zhì)與帶寬和電子設(shè)備(如智能手機(jī)、相機(jī)等電子設(shè)備)中的圖像傳感器本身等諸多因素的約束，通常不能直接得到理想的高分辨率圖像。

2、理論上，可對(duì)電子設(shè)備中的光學(xué)硬件，如圖像傳感器進(jìn)行升級(jí)優(yōu)化，從而提升圖像分辨率。然而，受制于制造工藝難以大幅改進(jìn)和較高的硬件優(yōu)化成本，通常該方式難以實(shí)現(xiàn)。因此，如何實(shí)現(xiàn)圖像超分辨率重建已成為圖像處理等技術(shù)領(lǐng)域的熱點(diǎn)研究課題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種圖像處理方法及電子設(shè)備，可實(shí)現(xiàn)圖像超分辨率重建，提高圖像的分辨率，且重建的超分辨率圖像的質(zhì)量高。

2、第一方面，本技術(shù)實(shí)施例提供一種圖像處理方法，該方法可由電子設(shè)備執(zhí)行，或由與電子設(shè)備匹配的裝置執(zhí)行，例如由處理器、芯片或芯片系統(tǒng)等執(zhí)行。該方法可包括：響應(yīng)于拍攝操作，調(diào)用圖像傳感器進(jìn)行圖像采集，得到初始圖像；初始圖像的數(shù)據(jù)格式為第一數(shù)據(jù)格式；對(duì)初始圖像進(jìn)行插值處理，確定初始圖像的插值圖像；插值圖像的分辨率高于初始圖像的分辨率；基于插值圖像，確定插值圖像的噪聲特征圖；噪聲特征圖用于指示插值圖像的噪聲特征信息；基于插值圖像和插值圖像的噪聲特征圖，對(duì)插值圖像進(jìn)行去干擾處理，確定初始圖像對(duì)應(yīng)的目標(biāo)圖像；目標(biāo)圖像的數(shù)據(jù)格式為第二數(shù)據(jù)格式；顯示初始圖像對(duì)應(yīng)的目標(biāo)圖像。

3、可見(jiàn)，本技術(shù)可對(duì)第一數(shù)據(jù)格式的初始圖像進(jìn)行插值處理，得到插值圖像，并基于初始圖像和插值圖像確定插值圖像的噪聲特征圖；基于插值圖像和噪聲特征圖，可確定初始圖像對(duì)應(yīng)的目標(biāo)圖像，從而可在實(shí)現(xiàn)初始圖像的圖像超分辨率重建的基礎(chǔ)上，去除目標(biāo)圖像中的圖像干擾，使確定的目標(biāo)圖像的分辨率高于初始圖像且目標(biāo)圖像的質(zhì)量高。

4、在一種可能的實(shí)現(xiàn)方式中，基于插值圖像，確定插值圖像的噪聲特征圖，可包括：將插值圖像輸入噪聲估計(jì)網(wǎng)絡(luò)中進(jìn)行處理，得到噪聲估計(jì)網(wǎng)絡(luò)輸出的插值圖像的噪聲特征圖；其中，噪聲估計(jì)網(wǎng)絡(luò)是基于第一插值訓(xùn)練圖像和第一插值訓(xùn)練圖像的第一參考噪聲特征圖，對(duì)第一神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；第一插值訓(xùn)練圖像是對(duì)第一初始訓(xùn)練圖像進(jìn)行插值處理得到的，第一初始訓(xùn)練圖像的數(shù)據(jù)格式為第一數(shù)據(jù)格式，第一插值訓(xùn)練圖像的分辨率高于第一初始訓(xùn)練圖像的分辨率。

5、可見(jiàn)，本技術(shù)可通過(guò)噪聲估計(jì)網(wǎng)絡(luò)確定插值圖像的噪聲特征圖，以提高噪聲估計(jì)的準(zhǔn)確性。

6、在一種可能的實(shí)現(xiàn)方式中，基于插值圖像和插值圖像的噪聲特征圖，對(duì)插值圖像進(jìn)行去干擾處理，確定初始圖像對(duì)應(yīng)的目標(biāo)圖像，包括：將插值圖像和插值圖像的噪聲特征圖輸入去干擾網(wǎng)絡(luò)中進(jìn)行處理，得到去干擾網(wǎng)絡(luò)輸出的初始圖像對(duì)應(yīng)的目標(biāo)圖像；其中，去干擾網(wǎng)絡(luò)是基于第二插值訓(xùn)練圖像、第二插值訓(xùn)練圖像的第二參考噪聲特征圖和第二插值訓(xùn)練圖像對(duì)應(yīng)的參考圖像，對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；第二插值訓(xùn)練圖像是對(duì)第二初始訓(xùn)練圖像進(jìn)行插值處理得到的，第二初始訓(xùn)練圖像的數(shù)據(jù)格式為第一數(shù)據(jù)格式，第二插值訓(xùn)練圖像的分辨率高于第二初始訓(xùn)練圖像的分辨率；第二參考噪聲特征圖是利用噪聲估計(jì)網(wǎng)絡(luò)對(duì)第二插值訓(xùn)練圖像進(jìn)行處理得到的；參考圖像是對(duì)第二插值訓(xùn)練圖像進(jìn)行去干擾處理得到的，參考圖像的數(shù)據(jù)格式為第二數(shù)據(jù)格式。

7、可見(jiàn)，本技術(shù)可通過(guò)去干擾網(wǎng)絡(luò)對(duì)插值圖像進(jìn)行去干擾處理，可保障去干擾的處理效果，使得確定的目標(biāo)圖像可在分辨率提高的同時(shí)，去除目標(biāo)圖像中的干擾，提高目標(biāo)圖像的質(zhì)量。

8、在一種可能的實(shí)現(xiàn)方式中，上述方法還可包括：獲取m個(gè)第一初始訓(xùn)練圖像，m為大于0的整數(shù)；對(duì)目標(biāo)第一初始訓(xùn)練圖像進(jìn)行插值處理，確定目標(biāo)第一初始訓(xùn)練圖像的第一插值訓(xùn)練圖像；以及確定目標(biāo)第一初始訓(xùn)練圖像的第一插值訓(xùn)練圖像對(duì)應(yīng)的第一參考噪聲特征圖；目標(biāo)第一初始訓(xùn)練圖像為m個(gè)第一初始訓(xùn)練圖像中的任意一個(gè)第一初始訓(xùn)練圖像；將m個(gè)第一初始訓(xùn)練圖像對(duì)應(yīng)的m個(gè)第一插值訓(xùn)練圖像輸入第一神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理，得到第一神經(jīng)網(wǎng)絡(luò)輸出的m個(gè)訓(xùn)練噪聲特征圖；每個(gè)訓(xùn)練噪聲特征圖對(duì)應(yīng)一個(gè)第一插值訓(xùn)練圖像；基于m個(gè)訓(xùn)練噪聲特征圖和m個(gè)第一插值訓(xùn)練圖像對(duì)應(yīng)的m個(gè)第一參考噪聲特征圖，確定第一差異數(shù)據(jù)；基于第一差異數(shù)據(jù)，對(duì)第一神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整，得到噪聲估計(jì)網(wǎng)絡(luò)。

9、可見(jiàn)，可基于第一初始訓(xùn)練圖像、第一插值訓(xùn)練圖像和第一參考噪聲特征圖，對(duì)第一神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到噪聲估計(jì)網(wǎng)絡(luò)，提高噪聲估計(jì)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的準(zhǔn)確性。

10、在一種可能的實(shí)現(xiàn)方式中，上述方法還可包括：獲取n個(gè)第二初始訓(xùn)練圖像對(duì)應(yīng)的n個(gè)第二插值訓(xùn)練圖像，每個(gè)第二插值訓(xùn)練圖像對(duì)應(yīng)一個(gè)第二初始訓(xùn)練圖像；n為大于0的整數(shù)；將n個(gè)第二插值訓(xùn)練圖像輸入噪聲估計(jì)網(wǎng)絡(luò)中進(jìn)行處理，得到噪聲估計(jì)網(wǎng)絡(luò)輸出的n個(gè)第二參考噪聲特征圖；每個(gè)第二參考噪聲特征圖對(duì)應(yīng)一個(gè)第二插值訓(xùn)練圖像；將n個(gè)第二插值訓(xùn)練圖像和n個(gè)第二參考噪聲特征圖輸入第二神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理，得到第二神經(jīng)網(wǎng)絡(luò)輸出的n個(gè)訓(xùn)練目標(biāo)圖像；每個(gè)訓(xùn)練目標(biāo)圖像對(duì)應(yīng)一個(gè)第二插值訓(xùn)練圖像；基于n個(gè)訓(xùn)練目標(biāo)圖像和n個(gè)第二插值訓(xùn)練圖像對(duì)應(yīng)的n個(gè)參考圖像，確定第二差異數(shù)據(jù)；每個(gè)參考圖像對(duì)應(yīng)一個(gè)第二插值訓(xùn)練圖像；基于第二差異數(shù)據(jù)，對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整，得到去干擾網(wǎng)絡(luò)。

11、可見(jiàn)，可基于第二插值訓(xùn)練圖像、第二參考噪聲特征圖、參考圖像和訓(xùn)練目標(biāo)圖像對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到去干擾網(wǎng)絡(luò)，以提高去干擾網(wǎng)絡(luò)對(duì)圖像進(jìn)行去干擾處理的有效性。

12、在一種可能的實(shí)現(xiàn)方式中，對(duì)目標(biāo)第一初始訓(xùn)練圖像進(jìn)行插值處理，確定目標(biāo)第一初始訓(xùn)練圖像的第一插值訓(xùn)練圖像，可包括：確定目標(biāo)第一初始訓(xùn)練圖像對(duì)應(yīng)的超分倍數(shù)，超分倍數(shù)為k個(gè)參考超分倍數(shù)中的任意一個(gè)；k為大于0的整數(shù)；基于超分倍數(shù)對(duì)目標(biāo)第一初始訓(xùn)練圖像進(jìn)行插值處理，得到目標(biāo)第一初始訓(xùn)練圖像的第一插值訓(xùn)練圖像；其中，m個(gè)第一初始訓(xùn)練圖像對(duì)應(yīng)的m個(gè)超分倍數(shù)包括k個(gè)參考超分倍數(shù)。

13、可見(jiàn)，每個(gè)第一初始訓(xùn)練圖像對(duì)應(yīng)的超分倍數(shù)可以是不同的，即可對(duì)m個(gè)第一初始訓(xùn)練圖像進(jìn)行多種超分倍數(shù)的插值處理，得到m個(gè)第一插值訓(xùn)練圖像，將這樣的m個(gè)第一插值訓(xùn)練圖像用于進(jìn)行模型訓(xùn)練，可提高噪聲估計(jì)網(wǎng)絡(luò)和去干擾網(wǎng)絡(luò)的魯棒性。若每個(gè)第一初始訓(xùn)練圖像對(duì)應(yīng)的超分倍數(shù)是相同的，這樣得到的m個(gè)第一插值訓(xùn)練圖像用于進(jìn)行模型訓(xùn)練，可提高噪聲估計(jì)網(wǎng)絡(luò)和去干擾網(wǎng)絡(luò)對(duì)指定的超分倍數(shù)的插值圖像進(jìn)行處理的準(zhǔn)確性。

14、在一種可能的實(shí)現(xiàn)方式中，對(duì)初始圖像進(jìn)行插值處理，確定初始圖像的插值圖像，包括：確定初始圖像對(duì)應(yīng)的超分倍數(shù)；基于初始圖像對(duì)應(yīng)的超分倍數(shù)，對(duì)初始圖像進(jìn)行插值處理，確定初始圖像的插值圖像。

15、可見(jiàn)，可對(duì)初始圖像進(jìn)行多種超分倍數(shù)的插值處理，使得到的插值圖像、目標(biāo)圖像的分辨率可提高多種倍數(shù)。

16、在一種可能的實(shí)現(xiàn)方式中，確定初始圖像對(duì)應(yīng)的超分倍數(shù)，可包括：獲取目標(biāo)分辨率和初始圖像的分辨率；目標(biāo)分辨率包括電子設(shè)備的設(shè)置分辨率和/或電子設(shè)備支持的最大分辨率；基于目標(biāo)分辨率和初始圖像的分辨率，確定初始圖像對(duì)應(yīng)的超分倍數(shù)。

17、可見(jiàn)，可設(shè)置對(duì)初始圖像對(duì)應(yīng)的超分倍數(shù)，從而使初始圖像的分辨率可提高至指定的超分倍數(shù)。

18、第二方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，該電子設(shè)備包括：一個(gè)或多個(gè)處理器和存儲(chǔ)器；該存儲(chǔ)器與該一個(gè)或多個(gè)處理器耦合，該存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，該一個(gè)或多個(gè)處理器調(diào)用該計(jì)算機(jī)指令以使得該電子設(shè)備執(zhí)行如第一方面或第一方面的任意一種實(shí)現(xiàn)方式所述的方法。

19、第三方面，本技術(shù)實(shí)施例提供了一種芯片系統(tǒng)，芯片系統(tǒng)包括至少一個(gè)處理器、存儲(chǔ)器和接口電路，存儲(chǔ)器、接口電路和至少一個(gè)處理器通過(guò)線路互聯(lián)，至少一個(gè)存儲(chǔ)器中存儲(chǔ)有程序指令；程序指令被處理器執(zhí)行時(shí)，使得芯片系統(tǒng)執(zhí)行如第一方面或第一方面的任意一種實(shí)現(xiàn)方式所描述的方法。

20、第四方面，本技術(shù)實(shí)施例提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)該計(jì)算機(jī)程序產(chǎn)品在電子設(shè)備上運(yùn)行時(shí)，使得該電子設(shè)備執(zhí)行如第一方面或第一方面的任意一種實(shí)現(xiàn)方式所述的方法。

21、第五方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，當(dāng)該指令在電子設(shè)備上運(yùn)行時(shí)，使得該電子設(shè)備執(zhí)行如第一方面或第一方面的任意一種實(shí)現(xiàn)方式所述的方法。