本技術(shù)涉及計(jì)算機(jī)視覺，尤其涉及一種圖像重建方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、基于多視圖進(jìn)行高質(zhì)量的三維重建，并支持實(shí)時(shí)渲染是當(dāng)前三維計(jì)算機(jī)視覺中的一個(gè)熱點(diǎn)問題。高斯飛濺算法(gaussian?splatting)是一種在計(jì)算機(jī)圖形學(xué)中廣泛使用的渲染技術(shù)，它允許實(shí)時(shí)渲染從小圖像樣本中學(xué)習(xí)到的逼真場(chǎng)景，能夠通過有限的圖像還原出真實(shí)場(chǎng)景或物體的全方位視角的圖像。

2、但是，高斯飛濺算法難以對(duì)物體中的具有反射特性組件的高光部分進(jìn)行準(zhǔn)確建模，而高光部分對(duì)視角變化非常敏感，因此，重建的新視角下的圖像高光細(xì)節(jié)的丟失，導(dǎo)致圖像的真實(shí)感大幅下降。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的之一在于提供一種圖像重建方法，以解決相關(guān)技術(shù)中在重建三維場(chǎng)景的新視圖時(shí)，存在重建具有反射屬性的圖像時(shí)質(zhì)量較低、重建難度高的問題；目的之二在于提供一種圖像重建裝置；目的之三在于提供一種電子設(shè)備；目的之四在于提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)；目的之五在于提供一種計(jì)算機(jī)程序產(chǎn)品。

2、為了實(shí)現(xiàn)上述目的，本技術(shù)提供一種圖像重建方法，采用的技術(shù)方案如下：

3、基于待重建圖像對(duì)應(yīng)的點(diǎn)云，生成高斯橢球集，其中，高斯橢球集包括多個(gè)高斯橢球，每一個(gè)高斯橢球與點(diǎn)云中的一個(gè)點(diǎn)具有對(duì)應(yīng)關(guān)系；

4、根據(jù)高斯橢球的幾何參數(shù)，確定高斯橢球?qū)?yīng)的權(quán)重系數(shù)；

5、根據(jù)高斯橢球的幾何參數(shù)和觀察方向向量，確定高斯橢球?qū)?yīng)的漫反射顏色分量；

6、根據(jù)高斯橢球的幾何參數(shù)和反射方向向量，確定高斯橢球?qū)?yīng)的反射高光顏色分量；

7、對(duì)高斯橢球集中每一個(gè)高斯橢球各自對(duì)應(yīng)的權(quán)重系數(shù)、漫反射顏色分量和反射高光顏色分量分別進(jìn)行融合處理，生成目標(biāo)重建圖像。

8、根據(jù)上述技術(shù)手段，首先，基于待重建圖像對(duì)應(yīng)的點(diǎn)云，生成高斯橢球集，如此，基于3d高斯飛濺算法生成多個(gè)高斯橢球，不僅提高了其表征的三維場(chǎng)景的可解釋性，還能夠以較高的效率渲染出精細(xì)、逼真的場(chǎng)景；其次，基于高斯橢球的幾何參數(shù)，確定高斯橢球?qū)?yīng)的權(quán)重系數(shù)，基于高斯橢球的幾何參數(shù)和觀察方向向量，確定高斯橢球?qū)?yīng)的漫反射顏色分量，基于高斯橢球的幾何參數(shù)和反射方向向量，確定高斯橢球?qū)?yīng)的反射高光顏色分量。如此，能夠?qū)⑽矬w或場(chǎng)景中的漫反射和高光反射顏色有效分解出來，使得本技術(shù)提供的圖像重建方法即使在具有反射屬性的物體或場(chǎng)景中也能高質(zhì)量重建，增強(qiáng)了高斯飛濺算法在具有金屬光澤、光反射和陰影的圖像數(shù)據(jù)集上的重建性能，支持實(shí)時(shí)渲染。最后，基于權(quán)重系數(shù)將漫反射顏色分量和反射高光顏色分量融合，生成目標(biāo)重建圖像，使得生成的目標(biāo)重建圖像基于相應(yīng)的權(quán)重系數(shù)進(jìn)行融合，通過反射高光顏色分量補(bǔ)充了3d高斯飛濺算法在反射視圖外觀中的顏色表達(dá)，又通過漫反射顏色分量增強(qiáng)了表示漫反射和捕捉細(xì)節(jié)的能力，提高了目標(biāo)重建圖像的質(zhì)量和真實(shí)感。

9、進(jìn)一步，根據(jù)高斯橢球的幾何參數(shù)，確定高斯橢球?qū)?yīng)的權(quán)重系數(shù)，包括：將高斯橢球?qū)?yīng)的最短軸方向向量和球諧函數(shù)特征向量進(jìn)行拼接處理，得到高斯橢球?qū)?yīng)的特征矩陣；將高斯橢球?qū)?yīng)的特征矩陣輸入至目標(biāo)權(quán)重感知模型，得到高斯橢球?qū)?yīng)的權(quán)重系數(shù)。

10、根據(jù)上述技術(shù)手段，將高斯橢球?qū)?yīng)的最短軸方向向量和球諧函數(shù)特征向量進(jìn)行拼接處理，得到該高斯橢球?qū)?yīng)的特征矩陣，進(jìn)一步將該特征矩陣輸入至目標(biāo)權(quán)重感知模型，得到該高斯橢球?qū)?yīng)的權(quán)重系數(shù)。如此，能夠確定組成高斯橢球的漫反射顏色分量和反射高光顏色分量各自對(duì)應(yīng)的權(quán)重，進(jìn)而提高了目標(biāo)重建圖像的顏色表達(dá)效果。

11、進(jìn)一步，對(duì)高斯橢球集中每一個(gè)高斯橢球各自對(duì)應(yīng)的權(quán)重系數(shù)、漫反射顏色分量和反射高光顏色分量分別進(jìn)行融合處理，生成目標(biāo)重建圖像，包括：基于高斯橢球?qū)?yīng)的權(quán)重系數(shù)，確定漫反射顏色分量對(duì)應(yīng)的漫反射權(quán)重系數(shù)和反射高光顏色分量對(duì)應(yīng)的反射高光權(quán)重系數(shù)；基于漫反射權(quán)重系數(shù)和反射高光權(quán)重系數(shù)，對(duì)高斯橢球?qū)?yīng)的漫反射顏色分量和高斯橢球?qū)?yīng)的反射高光顏色分量進(jìn)行加權(quán)計(jì)算，確定高斯橢球?qū)?yīng)的混合顏色分量；對(duì)高斯橢球集中多個(gè)高斯橢球各自對(duì)應(yīng)的混合顏色分量進(jìn)行可微光柵化處理，生成目標(biāo)重建圖像。

12、根據(jù)上述技術(shù)手段，基于高斯橢球?qū)?yīng)的漫反射權(quán)重系數(shù)和反射高光權(quán)重系數(shù)，對(duì)高斯橢球?qū)?yīng)的漫反射顏色分量和高斯橢球?qū)?yīng)的反射高光顏色分量進(jìn)行加權(quán)計(jì)算，確定高斯橢球?qū)?yīng)的混合顏色分量，進(jìn)一步基于高斯橢球集中所有高斯橢球各自對(duì)應(yīng)的混合顏色分量，生成目標(biāo)重建圖像。如此，能夠效率更高地將三維建模轉(zhuǎn)換至二維平面，提高了生成目標(biāo)重建圖像的效率。

13、進(jìn)一步，對(duì)高斯橢球集中多個(gè)高斯橢球各自對(duì)應(yīng)的混合顏色分量進(jìn)行可微光柵化處理，生成目標(biāo)重建圖像，包括：基于變換矩陣，將高斯橢球集投影為初始重建圖像；基于多個(gè)高斯橢球各自對(duì)應(yīng)的混合顏色分量對(duì)初始重建圖像進(jìn)行渲染，生成目標(biāo)重建圖像。

14、根據(jù)上述技術(shù)手段，通過變換矩陣將高斯橢球集投影為初始重建圖像，進(jìn)一步基于多個(gè)高斯橢球各自對(duì)應(yīng)的混合顏色分量對(duì)初始重建圖像進(jìn)行渲染，生成目標(biāo)重建圖像。如此，基于具有混合顏色分量的多個(gè)高斯橢球，投影生成目標(biāo)重建圖像，能夠在具有反射屬性的場(chǎng)景中達(dá)成高質(zhì)量重建，提高了目標(biāo)重建圖像的效果。

15、進(jìn)一步，根據(jù)高斯橢球的幾何參數(shù)和觀察方向向量，確定高斯橢球?qū)?yīng)的漫反射顏色分量，包括：將特征矩陣和觀察方向向量進(jìn)行拼接處理，得到觀察方向矩陣；將觀察方向矩陣輸入至目標(biāo)觀察方向處理模型，得到高斯橢球?qū)?yīng)的漫反射顏色分量。

16、根據(jù)上述技術(shù)手段，基于特征矩陣和觀察方向向量進(jìn)行拼接，生成觀察方向矩陣，進(jìn)一步將觀察方向矩陣輸入至目標(biāo)觀察方向處理模型，輸出高斯橢球?qū)?yīng)的漫反射顏色分量。如此，漫反射顏色分量與觀察方向之間具有較強(qiáng)的相關(guān)性，能夠表示場(chǎng)景中的漫反射和模糊反射，提升了方法表示漫反射和捕捉細(xì)節(jié)的能力。

17、進(jìn)一步，根據(jù)高斯橢球的幾何參數(shù)和反射方向向量，確定高斯橢球?qū)?yīng)的反射高光顏色分量，包括：將特征矩陣和反射方向向量進(jìn)行拼接處理，得到反射方向矩陣；將反射方向矩陣輸入至目標(biāo)反射方向處理模型，得到高斯橢球?qū)?yīng)的反射高光顏色分量。

18、根據(jù)上述技術(shù)手段，基于特征矩陣和反射方向向量進(jìn)行拼接，生成反射方向矩陣，進(jìn)一步將反射方向矩陣輸入至目標(biāo)反射方向處理模型，輸出高斯橢球?qū)?yīng)的反射高光顏色分量。如此，反射高光顏色分量與反射方向之間具有較強(qiáng)的相關(guān)性，能夠補(bǔ)充3d高斯在反射視圖外觀中的顏色表達(dá)，提升具有反射組件的待重建圖像的重建真實(shí)度，提高圖像的重建質(zhì)量。

19、進(jìn)一步，方法還包括：根據(jù)待重建圖像的相機(jī)參數(shù)和高斯橢球的球心坐標(biāo)，確定高斯橢球的觀察方向；對(duì)觀察方向進(jìn)行編碼，確定高斯橢球的觀察方向向量；根據(jù)高斯橢球?qū)?yīng)的最短軸方向向量和觀察方向向量，確定高斯橢球?qū)?yīng)的反射方向向量。

20、根據(jù)上述技術(shù)手段，通過待重建圖像的相機(jī)參數(shù)和任一高斯橢球的球心坐標(biāo)，確定該高斯橢球的觀察方向，進(jìn)一步對(duì)觀察方向進(jìn)行編碼，確定高斯橢球的觀察方向向量，再基于高斯橢球?qū)?yīng)的最短軸方向向量和觀察方向向量，計(jì)算確定高斯橢球?qū)?yīng)的反射方向向量。如此，能夠?qū)?zhǔn)確的確定觀察方向，進(jìn)而提高生成的目標(biāo)重建圖像的質(zhì)量，還能夠提高反射方向向量的計(jì)算速率，提高圖像重建的性能。

21、進(jìn)一步，方法還包括：構(gòu)建初始權(quán)重感知模型、初始觀察方向處理模型和初始反射方向處理模型；構(gòu)建訓(xùn)練樣本集，訓(xùn)練樣本集包括多個(gè)訓(xùn)練樣本，每一個(gè)訓(xùn)練樣本包括合成高斯橢球集和對(duì)應(yīng)的真實(shí)三維圖像；基于目標(biāo)損失函數(shù)，利用訓(xùn)練樣本集對(duì)初始權(quán)重感知模型、初始觀察方向處理模型和初始反射方向處理模型進(jìn)行聯(lián)合訓(xùn)練，得到目標(biāo)權(quán)重感知模型、目標(biāo)觀察方向處理模型和目標(biāo)反射方向處理模型。

22、根據(jù)上述技術(shù)手段，基于目標(biāo)損失函數(shù)，利用訓(xùn)練樣本集對(duì)構(gòu)建的初始權(quán)重感知模型、初始觀察方向處理模型和初始反射方向處理模型進(jìn)行聯(lián)合訓(xùn)練，得到目標(biāo)權(quán)重感知模型、目標(biāo)觀察方向處理模型和目標(biāo)反射方向處理模型。如此，能夠使多個(gè)模型共享信息，共同優(yōu)化，提高了模型的泛化能力，還提高了模型訓(xùn)練的效率。

23、進(jìn)一步，方法還包括：基于高斯損失函數(shù)、混合光度損失函數(shù)和平滑損失函數(shù)和預(yù)設(shè)系數(shù)，構(gòu)建初始損失函數(shù)；基于預(yù)設(shè)評(píng)價(jià)參數(shù)對(duì)預(yù)設(shè)系數(shù)進(jìn)行調(diào)整，確定目標(biāo)損失函數(shù)，其中，預(yù)設(shè)評(píng)價(jià)參數(shù)用于評(píng)價(jià)目標(biāo)重建圖像的重建效果。

24、根據(jù)上述技術(shù)手段，基于預(yù)設(shè)評(píng)價(jià)參數(shù)對(duì)初始損失函數(shù)中的預(yù)設(shè)系數(shù)進(jìn)行調(diào)整，確定目標(biāo)損失函數(shù)。如此，能夠使得基于目標(biāo)損失函數(shù)進(jìn)行訓(xùn)練生成的多個(gè)模型在不同圖像的重建上均具有較好的表現(xiàn)，提高了目標(biāo)重建圖像的質(zhì)量。

25、一種圖像重建裝置，圖像重建裝置包括：

26、第一生成模塊，用于基于待重建圖像對(duì)應(yīng)的點(diǎn)云，生成高斯橢球集，其中，高斯橢球集包括多個(gè)高斯橢球，每一個(gè)高斯橢球與點(diǎn)云中的一個(gè)點(diǎn)具有對(duì)應(yīng)關(guān)系；

27、第一確定模塊，用于根據(jù)高斯橢球的幾何參數(shù)，確定高斯橢球?qū)?yīng)的權(quán)重系數(shù)；

28、第二確定模塊，用于根據(jù)高斯橢球的幾何參數(shù)和觀察方向向量，確定高斯橢球?qū)?yīng)的漫反射顏色分量；

29、第三確定模塊，用于根據(jù)高斯橢球的幾何參數(shù)和反射方向向量，確定高斯橢球?qū)?yīng)的反射高光顏色分量；

30、第二生成模塊，用于對(duì)高斯橢球集中每一個(gè)高斯橢球各自對(duì)應(yīng)的權(quán)重系數(shù)、漫反射顏色分量和反射高光顏色分量分別進(jìn)行融合處理，生成目標(biāo)重建圖像。

31、一種電子設(shè)備，包括處理器和存儲(chǔ)器，存儲(chǔ)器存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法。

32、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法。

33、一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法。

34、本技術(shù)的有益效果：

35、(1)基于待重建圖像對(duì)應(yīng)的點(diǎn)云，生成高斯橢球集，如此，基于3d高斯飛濺算法生成多個(gè)高斯橢球，不僅提高了其表征的三維場(chǎng)景的可解釋性，還能夠以較高的效率渲染出精細(xì)、逼真的場(chǎng)景。

36、(2)基于高斯橢球的幾何參數(shù)，確定高斯橢球?qū)?yīng)的權(quán)重系數(shù)，基于高斯橢球的幾何參數(shù)和觀察方向向量，確定高斯橢球?qū)?yīng)的漫反射顏色分量，基于高斯橢球的幾何參數(shù)和反射方向向量，確定高斯橢球?qū)?yīng)的反射高光顏色分量。如此，本方法能夠?qū)⑽矬w或場(chǎng)景中的漫反射和高光反射顏色有效分解出來，使得本技術(shù)提供的圖像重建方法即使在具有反射屬性的物體或場(chǎng)景中也能高質(zhì)量重建，增強(qiáng)了3d高斯飛濺算法在具有金屬光澤、光反射和陰影的圖像數(shù)據(jù)集上的重建性能，支持實(shí)時(shí)渲染。

37、(3)基于權(quán)重系數(shù)將漫反射顏色分量和反射高光顏色分量融合，生成目標(biāo)重建圖像，使得生成的目標(biāo)重建圖像基于相應(yīng)的權(quán)重系數(shù)進(jìn)行融合，通過反射高光顏色分量補(bǔ)充了3d高斯飛濺算法在反射視圖外觀中的顏色表達(dá)，又通過漫反射顏色分量增強(qiáng)了表示漫反射和捕捉細(xì)節(jié)的能力，提高了目標(biāo)重建圖像的質(zhì)量和真實(shí)感。

38、(4)基于目標(biāo)損失函數(shù)，利用訓(xùn)練樣本集對(duì)構(gòu)建的初始權(quán)重感知模型、初始觀察方向處理模型和初始反射方向處理模型進(jìn)行聯(lián)合訓(xùn)練，得到目標(biāo)權(quán)重感知模型、目標(biāo)觀察方向處理模型和目標(biāo)反射方向處理模型。如此，能夠使多個(gè)模型共享信息，共同優(yōu)化，提高了模型的泛化能力，還提高了模型訓(xùn)練的效率。