本發(fā)明涉及視角合成，具體地說(shuō)是融合局部空間信息的新視角合成方法。

背景技術(shù)：

1、從一組2d圖像與其相關(guān)的攝影位姿合成新視角場(chǎng)景影像是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)重要課題。mildenhall等人(2020)提出一種神經(jīng)渲染方法-神經(jīng)輻射場(chǎng)(neuralradiance?field,nerf)，采用全連接的多層感知機(jī)((multi-layer?perception,mlp)存儲(chǔ)真實(shí)場(chǎng)景信息，并將場(chǎng)景表示為一個(gè)隱式神經(jīng)網(wǎng)絡(luò)。nerf作為一種新穎的場(chǎng)景表示方法，在渲染任務(wù)中的視覺效果獲得了較大提高。盡管nerf合成圖片的質(zhì)量高，但該方法以犧牲訓(xùn)練時(shí)間為代價(jià)，在場(chǎng)景重建時(shí)，每個(gè)采樣點(diǎn)都需要通過(guò)整個(gè)mlp模型。為緩解原始nerf重建場(chǎng)景速度過(guò)慢的問(wèn)題，yu等人(2021)結(jié)合體素引入一種plenoctrees的分層數(shù)據(jù)結(jié)構(gòu)。該結(jié)構(gòu)利用八叉樹避免了過(guò)度采樣，能夠減少貢獻(xiàn)度不多的采樣點(diǎn)，與nerf相比能夠?qū)崿F(xiàn)實(shí)時(shí)渲染圖片。reiser等人(2021)提出一種不需要體素的方法(kilo-nerf)，與通過(guò)大型mlp來(lái)表示場(chǎng)景不同，kilo-nerf采用數(shù)千個(gè)小型mlp進(jìn)行表示，每個(gè)小型mlp負(fù)責(zé)描述某個(gè)場(chǎng)景的局部，這種分治策略使得計(jì)算速度提升了約3個(gè)數(shù)量級(jí)。fridovich-keil等人(2022)完全拋棄神經(jīng)網(wǎng)絡(luò)，改用稀疏的體素網(wǎng)格存儲(chǔ)球諧函數(shù)來(lái)表示場(chǎng)景，并通過(guò)三線性插值來(lái)獲取采樣點(diǎn)的rgb值和體積密度，訓(xùn)練速度提升近2個(gè)速度級(jí)。müller等人(2022)提出一種多分辨率哈希編碼，采用cuda編程來(lái)減少計(jì)算時(shí)間，以此提高場(chǎng)景的重建效率，訓(xùn)練一個(gè)高質(zhì)量的場(chǎng)景只需要幾秒鐘。

2、另一方面，諸多學(xué)者開展了采用nerf提高場(chǎng)景重建質(zhì)量的研究工作。為解決圖片具有模糊和鋸齒的情況，barron等人(2021)從相機(jī)原點(diǎn)向“像素”投射圓錐替換nerf中的光線，通過(guò)近似于該像素對(duì)應(yīng)的圓錐形截錐體的高斯分布來(lái)渲染像素。verbin等人(2022)采用反射輻射(reflected?radiance)取代了nerf的參數(shù)化視相關(guān)的出射輻射(outgoingradiance)，并通過(guò)一組空間變化場(chǎng)景屬性來(lái)構(gòu)造該函數(shù)。與原始nerf相比，該方法能夠額外輸出表面法向、漫反射顏色、鏡面反射權(quán)、粗糙度，根據(jù)視點(diǎn)方向與粗糙度計(jì)算鏡面反射顏色，并利用漫反射顏色和鏡面反射權(quán)預(yù)測(cè)最終的顏色。wang等人(2023)將表面反射建模為神經(jīng)網(wǎng)絡(luò)，將入射光線的方向和場(chǎng)景中的光照條件作為輸入，輸出為表面反射的顏色和強(qiáng)度。通過(guò)在訓(xùn)練過(guò)程中使用帶有光照和材質(zhì)信息的渲染圖像來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)，該網(wǎng)絡(luò)能夠?qū)W習(xí)到復(fù)雜材質(zhì)的反射行為，包括金屬、塑料、皮膚等各種材質(zhì)的光學(xué)特性。

3、盡管神經(jīng)輻射場(chǎng)合成新視角圖片的質(zhì)量高，但在只有少數(shù)場(chǎng)景的視圖可用的條件下仍存在較多問(wèn)題(chen等，2021；yu等，2021；jain等，2021)。諸多學(xué)者試圖通過(guò)多種方式解決該問(wèn)題，包括基于內(nèi)容正則化(jain等，2021)、基于補(bǔ)丁正則化(niemeyer等，2022)、利用圖像特征(yu等，2021)、基于擴(kuò)散先驗(yàn)信息(deng，等，2023；wynn和turmukhambetov，2023)、基于深度監(jiān)督的方法(肖強(qiáng)等，2024；劉曉楠等，2024)，基于高斯渲染(gaussiansplatting)的方法(chung等，2024)。yu等人(2021)提出一種pixelnerf網(wǎng)絡(luò)，使得nerf可以在不同場(chǎng)景下進(jìn)行訓(xùn)練，通過(guò)學(xué)習(xí)場(chǎng)景的先驗(yàn)知識(shí)，只需一張或幾張圖片來(lái)重建場(chǎng)景。chen等人(2021)使用預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)提取圖片特征，并將圖像特征映射到參考視圖的掃描平面上，以此構(gòu)建基于三維體素(three?dimensional?voxel)的代價(jià)體，并采用3d卷積網(wǎng)絡(luò)重建神經(jīng)編碼體，利用mlp將神經(jīng)編碼體內(nèi)的隱式特征解碼成體積密度和顏色值。xu等人(2022)僅使用單張視角圖像對(duì)神經(jīng)輻射場(chǎng)進(jìn)行訓(xùn)練重建出復(fù)雜的視覺場(chǎng)景。其構(gòu)建出一個(gè)半監(jiān)督學(xué)習(xí)的框架，通過(guò)設(shè)計(jì)基于幾何及語(yǔ)義的監(jiān)督信號(hào)完成場(chǎng)景的重建。幾何監(jiān)督通過(guò)圖片變形和相機(jī)的位姿參數(shù)，來(lái)保證多視角下的幾何一致性。而語(yǔ)義監(jiān)督則是通過(guò)一個(gè)預(yù)訓(xùn)練的vit對(duì)圖片特征進(jìn)行提取，再與整體結(jié)構(gòu)進(jìn)行比較，優(yōu)化未知視角下的語(yǔ)義質(zhì)量。肖強(qiáng)等人(2024)使用深度監(jiān)督的策略，將更多的采樣點(diǎn)分配到物體表面，并引入未知視角下的光線損失，使得最終結(jié)果更加精細(xì)化。劉曉楠等人(2024)則是利用深度預(yù)估網(wǎng)絡(luò)求取預(yù)估深度值和稀疏深度值之間的標(biāo)準(zhǔn)差，對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行監(jiān)督，從而解決稀疏視角輸入的問(wèn)題。chung等人(2024)通過(guò)大量高斯渲染表示3d場(chǎng)景，使用深度圖對(duì)高斯渲染的優(yōu)化過(guò)程進(jìn)行正則化，從而有效地減少了結(jié)果中的“浮動(dòng)偽影”。

4、解決稀疏視角問(wèn)題的另一種方式可以利用傳感器或攝影測(cè)量中的點(diǎn)云信息。xu等人(2022)利用輸入的稀疏視角圖片來(lái)生成點(diǎn)云，再將點(diǎn)云特征結(jié)合采樣點(diǎn)信息輸入到神經(jīng)輻射場(chǎng)中進(jìn)行場(chǎng)景重建；kulhanek和sattler(2023)等人則對(duì)輸入點(diǎn)云進(jìn)行網(wǎng)格化，引入一種四面體結(jié)構(gòu)輔助采樣點(diǎn)進(jìn)行插值；zhang等人(2023)通過(guò)傅里葉函數(shù)將點(diǎn)云轉(zhuǎn)換到頻率域進(jìn)行優(yōu)化，簡(jiǎn)化了場(chǎng)景表示的過(guò)程；govindarajan等人(2024)提出拉格朗日散列法，即一種結(jié)合點(diǎn)云和分層哈希表的神經(jīng)輻射場(chǎng)表示方法。

5、基于點(diǎn)云的神經(jīng)輻射場(chǎng)方法是一種從稀疏視角圖像重建場(chǎng)景的新方法，其利用點(diǎn)云場(chǎng)景的幾何先驗(yàn)提高網(wǎng)絡(luò)采樣效率，有效改善了nerf訓(xùn)練時(shí)間過(guò)長(zhǎng)的問(wèn)題。但由于該方法需額外輸入點(diǎn)云，最終合成的新視角圖像質(zhì)量受點(diǎn)云準(zhǔn)確度、位置分布、疏密的限制。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提出融合局部空間信息的新視角合成方法，包括：

2、步驟1：基于神經(jīng)點(diǎn)云生成網(wǎng)絡(luò)，對(duì)多組圖像進(jìn)行處理，得到最終的神經(jīng)點(diǎn)云p＝(po,γo,fo)，其中，每組圖像對(duì)應(yīng)一個(gè)視角，每組圖像包含同一視角的多個(gè)目標(biāo)圖像，其中，γo為點(diǎn)云置信度，po為三維位置坐標(biāo)，fo為神經(jīng)點(diǎn)云特征；

3、步驟1.1：通過(guò)深度預(yù)測(cè)網(wǎng)絡(luò)，對(duì)多組圖像進(jìn)行處理，得到稠密點(diǎn)云，所述稠密點(diǎn)云包含多個(gè)點(diǎn)云，每個(gè)點(diǎn)云對(duì)應(yīng)有云置信度和三維位置坐標(biāo)；

4、步驟1.2：通過(guò)神經(jīng)點(diǎn)云特征對(duì)齊模塊，對(duì)稠密點(diǎn)云和多組圖像進(jìn)行處理，得到最終的神經(jīng)點(diǎn)云p＝(po,γo,fo)；

5、步驟2：基于神經(jīng)點(diǎn)云的神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)，對(duì)最終的神經(jīng)點(diǎn)云p＝(po,γo,fo)進(jìn)行處理，得到每個(gè)采樣點(diǎn)的最終的體積密度σ和rgb值c，所述采樣點(diǎn)是在待合成視角的初始網(wǎng)格中每一個(gè)網(wǎng)格與相機(jī)中心的連線上進(jìn)行多次采樣得到的，所述相機(jī)設(shè)置在固定的位置，且相機(jī)設(shè)置有視角方向，所述待合成視角的初始網(wǎng)格設(shè)置在固定位置；

6、步驟3：根據(jù)每個(gè)采樣點(diǎn)的最終的體積密度σ和rgb值c，對(duì)待合成的初始網(wǎng)格進(jìn)行體渲染，得到合成新視角場(chǎng)景圖像。

7、可選的，步驟1.1具體包括：

8、通過(guò)多視點(diǎn)立體視覺深度估計(jì)方法，對(duì)每組圖像中的目標(biāo)圖像進(jìn)行處理，得到每個(gè)視角的深度圖，對(duì)所有深度圖進(jìn)行濾波操作和融合操作，得到稠密點(diǎn)云。

9、可選的，步驟1.2具體包括：

10、步驟1.2.1：采用多尺度特征融合的方法，借助特征金子塔網(wǎng)絡(luò)fpn結(jié)構(gòu)，對(duì)每個(gè)目標(biāo)圖像進(jìn)行特征提取，得到每個(gè)目標(biāo)圖像對(duì)應(yīng)的特征圖，通過(guò)可變形卷積網(wǎng)絡(luò)對(duì)每個(gè)所述特征圖，得到偏移后的特征圖，對(duì)偏移后的特征圖進(jìn)行網(wǎng)格化，得到網(wǎng)格化后的特征圖，對(duì)網(wǎng)格化后的特征圖中的每個(gè)網(wǎng)格設(shè)置二維坐標(biāo)，且網(wǎng)格化后的特征圖的橫坐標(biāo)和縱坐標(biāo)在[-1,1]的范圍內(nèi)，其中，(-1,-1)對(duì)應(yīng)于網(wǎng)格化后的特征圖的左上角的網(wǎng)格，(1,1)對(duì)應(yīng)于網(wǎng)格化后的特征圖的右下角的網(wǎng)格；

11、步驟1.2.2：根據(jù)相機(jī)的位姿參數(shù)，將稠密點(diǎn)云中點(diǎn)云的三維位置坐標(biāo)投影到像平面上，得到投影后的像平面，所述投影后的像平面為包含多個(gè)網(wǎng)格的平面，且投影后的像平面中每個(gè)網(wǎng)格的尺寸與網(wǎng)格化后的特征圖中的網(wǎng)格尺寸相同，對(duì)投影后的像平面中的每個(gè)網(wǎng)格設(shè)置二維坐標(biāo)，且投影后的像平面的橫坐標(biāo)和縱坐標(biāo)在[-1,1]的范圍內(nèi)，其中，(-1,-1)對(duì)應(yīng)于投影后的像平面的左上角的網(wǎng)格，(1,1)對(duì)應(yīng)于投影后的像平面的右下角的網(wǎng)格；

12、步驟1.2.3：根據(jù)每個(gè)網(wǎng)格的二維坐標(biāo)，獲取網(wǎng)格對(duì)應(yīng)的點(diǎn)云中的點(diǎn)云置信度γo和三維位置坐標(biāo)po，并得到該網(wǎng)格中的圖像特征，即神經(jīng)點(diǎn)云特征fo，對(duì)點(diǎn)云置信度γo、三維位置坐標(biāo)po和神經(jīng)點(diǎn)云特征fo進(jìn)行特征級(jí)聯(lián)，得到最終的神經(jīng)點(diǎn)云p＝(po,γo,fo)。

13、可選的，步驟2具體包括：

14、步驟2.1：通過(guò)神經(jīng)點(diǎn)云transformer模塊，確定采樣點(diǎn)對(duì)應(yīng)的神經(jīng)點(diǎn)云，對(duì)采樣點(diǎn)對(duì)應(yīng)的神經(jīng)點(diǎn)云和每個(gè)采樣點(diǎn)的三維坐標(biāo)進(jìn)行處理，得到神經(jīng)點(diǎn)云新的特征向量{fi′,x|i＝1,...,k}，其中，fi′,x為采樣點(diǎn)x的第i個(gè)神經(jīng)點(diǎn)云新的特征，k為與采樣點(diǎn)x對(duì)應(yīng)的神經(jīng)點(diǎn)云的個(gè)數(shù)；

15、步驟2.2：通過(guò)體積密度預(yù)測(cè)網(wǎng)絡(luò)，對(duì)神經(jīng)點(diǎn)云新的特征向量{fi′,x|i＝1,...,k}進(jìn)行處理，得到每個(gè)采樣點(diǎn)的最終的體積密度σ；

16、步驟2.3：通過(guò)rgb預(yù)測(cè)網(wǎng)絡(luò)，計(jì)算每個(gè)采樣點(diǎn)的rgb值c。

17、可選的，步驟2.1具體包括：

18、針對(duì)每個(gè)采樣點(diǎn)，通過(guò)k最近鄰算法，根據(jù)采樣點(diǎn)的三維坐標(biāo)，選擇距離最近的k個(gè)神經(jīng)點(diǎn)云{pi|i＝1,...,k}；進(jìn)而針對(duì)k個(gè)神經(jīng)點(diǎn)云中的每個(gè)神經(jīng)點(diǎn)云，將神經(jīng)點(diǎn)云的三維坐標(biāo)與采樣點(diǎn)的三維坐標(biāo)相減，每個(gè)得到神經(jīng)點(diǎn)云的相對(duì)位置坐標(biāo)，將每個(gè)神經(jīng)點(diǎn)云的相對(duì)位置坐標(biāo)映射到高維特征空間，得到每個(gè)神經(jīng)點(diǎn)云映射后的相對(duì)位置坐標(biāo)，具體通過(guò)以下公式實(shí)現(xiàn)：

19、pe(pi-x)＝(sin(20π(pi-x)),cos(20π(pi-x)),...,sin(2l-1π(pi-x))

20、,cos(2l-1π(pi-x)))；

21、其中，x為采樣點(diǎn)的三維坐標(biāo)，pi為第i個(gè)神經(jīng)點(diǎn)云的三維坐標(biāo)，pe(pi-x)為第i個(gè)神經(jīng)點(diǎn)云映射后的相對(duì)位置坐標(biāo)，l為編碼維度控制變量；

22、將映射后的相對(duì)位置坐標(biāo)pe(pi-x)和第i個(gè)神經(jīng)點(diǎn)云的特征fi進(jìn)行級(jí)聯(lián)，得到神經(jīng)點(diǎn)云的第一中間特征fe，具體通過(guò)以下公式實(shí)現(xiàn)：

23、fe＝concat(fi,pe(pi-x))；

24、其中，concat(·)為特征級(jí)聯(lián)操作

25、將神經(jīng)點(diǎn)云的第一中間特征fe輸入到位置編碼層，得到第二中間特征pe(fe)，具體通過(guò)以下公式實(shí)現(xiàn)：

26、pe(fe)＝(sin(20πfe),cos(20πfe),...,sin(2l-1πfe)

27、,cos(2l-1πfe))；

28、通過(guò)mlp對(duì)第二中間特征pe(fe)和第一中間特征fe進(jìn)行處理，得到第i個(gè)神經(jīng)點(diǎn)云的編碼后的特征fi,x，具體通過(guò)以下公式實(shí)現(xiàn)：

29、fi,x＝mlp(concat(fe,pe(fe)))；

30、所有神經(jīng)點(diǎn)云編碼后的特征組成神經(jīng)點(diǎn)云特征序列x＝{fi,x|i＝1,…,k}；

31、將神經(jīng)點(diǎn)云特征序列x輸入到注意力層中，得到神經(jīng)點(diǎn)云新的特征向量{f′i,x|i＝1,...,k}，具體通過(guò)以下公式實(shí)現(xiàn)：

32、(q,k,v)＝x×(wq,wk,wv)；

33、

34、multihead(q,k,v)＝concat(head1,...,headn)wo；

35、

36、其中，q為query矩陣，wq為query矩陣的權(quán)重參數(shù)，k為key矩陣，wk為key矩陣的權(quán)重參數(shù)，v為value矩陣，wv為value矩陣的權(quán)重參數(shù)，dk表示維度，wo表示輸出權(quán)重矩陣，n表示注意力頭的總數(shù)，headi表示第i個(gè)注意力頭，為第i個(gè)注意力頭對(duì)應(yīng)的權(quán)重參數(shù)，wq包含為第i個(gè)注意力頭對(duì)應(yīng)的權(quán)重參數(shù)，wk包含為第i個(gè)注意力頭對(duì)應(yīng)的權(quán)重參數(shù)，wv包含multihead(q,k,v)為神經(jīng)點(diǎn)云新的特征向量{fi,′x|i＝1,...,k}。

37、可選的，步驟2.2具體包括：

38、將神經(jīng)點(diǎn)云新的特征向量{f′i,x|i＝1,...,k}輸入到mlp網(wǎng)絡(luò)中，得到每個(gè)神經(jīng)點(diǎn)云的體積密度{σi,x|i＝1,...,k}，具體通過(guò)以下公式實(shí)現(xiàn)：

39、σi,x＝mlp(f′i,x)；

40、通過(guò)每個(gè)神經(jīng)點(diǎn)云的置信度進(jìn)行逆距離加權(quán)處理，獲得采樣點(diǎn)x最終的體積密度σ，具體通過(guò)以下公式實(shí)現(xiàn)：

41、

42、進(jìn)而得到每個(gè)采樣點(diǎn)的最終的體積密度σ。

43、可選的，步驟2.3具體包括：

44、對(duì)神經(jīng)點(diǎn)云編碼后的特征fi,x進(jìn)行逆距離加權(quán)，計(jì)算每個(gè)特征向量的權(quán)重,將采樣點(diǎn)對(duì)應(yīng)的k個(gè)神經(jīng)點(diǎn)云的特征進(jìn)行聚合，得到聚合特征fx，具體通過(guò)以下公式實(shí)現(xiàn)：

45、

46、計(jì)算相機(jī)視角方向d的編碼特征pe(d)，具體通過(guò)以下公式實(shí)現(xiàn)：

47、pe(d)＝(sin(20πd),cos(20πd),...,sin(2l-1πd)

48、,cos(2l-1πd))；

49、將相機(jī)視角方向d的編碼特征pe(d)與聚合特征fx拼接，輸入到mlp網(wǎng)絡(luò)中獲取采樣點(diǎn)的rgb值c，具體通過(guò)以下公式實(shí)現(xiàn)：

50、c＝mlp(concat(fx,pe(d)))；

51、進(jìn)而得到每個(gè)采樣點(diǎn)的rgb值c。

52、可選的，步驟3具體包括：

53、采用分層采樣的方法將區(qū)間[tn,tf]劃分為個(gè)n相同的區(qū)間，其中，tn和tf是相機(jī)與每個(gè)網(wǎng)格的連線上預(yù)先設(shè)置的點(diǎn)，并在每個(gè)區(qū)間中隨機(jī)選取一個(gè)采樣距離，具體通過(guò)以下公式表示：

54、

55、其中，tj表示在第j個(gè)區(qū)間中所選取的采樣距離，并獲取第j個(gè)區(qū)間的采樣點(diǎn)位置xj，根據(jù)第j個(gè)區(qū)間的采樣點(diǎn)位置xj，計(jì)算初始網(wǎng)格中每個(gè)網(wǎng)格的預(yù)測(cè)顏色具體通過(guò)以下公式實(shí)現(xiàn)：

56、

57、其中，表示采樣點(diǎn)xj位置處的rgb值，采樣點(diǎn)xj位置處的體積密度，采樣點(diǎn)xm位置處的體積密度，tj-1表示在第j-1個(gè)區(qū)間中所選取的采樣距離，tm表示在第m個(gè)區(qū)間中所選取的采樣距離；

58、針對(duì)初始網(wǎng)格中的每個(gè)網(wǎng)格預(yù)測(cè)顏色，得到合成新視角場(chǎng)景圖像；

59、可選的，還包括：

60、步驟4：計(jì)算合成新視角場(chǎng)景圖像和真實(shí)圖像之間的渲染損失值lrender，具體通過(guò)以下公式實(shí)現(xiàn)：

61、

62、其中，cgt為真實(shí)圖像的像素；

63、引入稀疏性損失函數(shù)，計(jì)算稀疏性損失值lsqarse，具體通過(guò)以下公式表示：

64、

65、其中，γ表示置信度；

66、根據(jù)渲染損失值lrender和稀疏性損失值lsqarse，得到聯(lián)合損失值lopt，具體通過(guò)以下公式表示：

67、lopt＝lrender+alsparse；

68、其中，a為固定值，a＝2e-3；

69、根據(jù)聯(lián)合損失值lopt對(duì)神經(jīng)點(diǎn)云生成網(wǎng)絡(luò)和神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)進(jìn)行多次訓(xùn)練，得到訓(xùn)練完成的神經(jīng)點(diǎn)云生成網(wǎng)絡(luò)和訓(xùn)練完成的神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)。

70、采用上述技術(shù)方案所產(chǎn)生的有益效果在于：

71、本發(fā)明提出融合局部空間信息的新視角合成方法。在形成神經(jīng)點(diǎn)云時(shí)，使用特征金子塔網(wǎng)絡(luò)獲取融合了場(chǎng)景不同尺度信息的圖片特征，通過(guò)神經(jīng)點(diǎn)云特征對(duì)齊模塊調(diào)整局部特征的采樣位置，查詢每個(gè)點(diǎn)云所對(duì)應(yīng)的圖片特征區(qū)域并生成神經(jīng)點(diǎn)云，與直接使用2d卷積網(wǎng)絡(luò)進(jìn)行下采樣相比，能夠更好地關(guān)注相關(guān)區(qū)域并捕獲更多有用的特征，將其融入到神經(jīng)點(diǎn)云中。在體積密度預(yù)測(cè)網(wǎng)絡(luò)前，通過(guò)神經(jīng)點(diǎn)云transformer模塊捕獲局部空間的上下文表示，局部神經(jīng)點(diǎn)云特征通過(guò)自注意力機(jī)制對(duì)自身線索進(jìn)行補(bǔ)全，能夠有效處理點(diǎn)云的稀疏性和不規(guī)則性，提升最終合成圖片的質(zhì)量。本發(fā)明在真實(shí)場(chǎng)景和弱紋理區(qū)域的合成結(jié)果得到了顯著提升。盡管本發(fā)明網(wǎng)絡(luò)的模型能夠借助點(diǎn)云完成場(chǎng)景重建的任務(wù)，但仍然存在局限性。由于本發(fā)明采用了與nerf相同的體渲染方法，導(dǎo)致渲染速度較慢，未來(lái)工作將著重提高模型的實(shí)時(shí)性。