各種實(shí)施例涉及用于生成局外人視角圖像的方法和設(shè)備以及用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。

背景技術(shù)：

1、汽車環(huán)繞視野(sv)系統(tǒng)在輔助駕駛員駕駛功能(諸如停車和其他操縱)方面發(fā)揮重要作用。sv系統(tǒng)還提高了道路安全性，因?yàn)樗鼈優(yōu)轳{駛員提供了其車輛周圍的視點(diǎn)并且由此去除盲點(diǎn)。sv系統(tǒng)可以包括多個(gè)相機(jī)以及拼接多個(gè)相機(jī)的相機(jī)數(shù)據(jù)以生成車輛周圍的360°視圖的處理器。這些sv系統(tǒng)通常在固定的碗近似物上投影相機(jī)圖像并且將圖像拼接在一起。由于這些相機(jī)圖像未被投影到環(huán)境的正確建模上，因此在所生成的視圖中可以看到物體的失真和重影。減少失真的一種方法是基于環(huán)境的靜態(tài)物體信息來使碗近似物變形，以便更準(zhǔn)確地表示環(huán)境。為了實(shí)施這樣的解決方案，需要關(guān)于靜態(tài)物體與車輛之間的距離的信息。大多數(shù)基于神經(jīng)網(wǎng)絡(luò)的方法假設(shè)存在周圍場景的深度的至少一些估計(jì)，從而可以提供距離信息。然而，此類方法具有各種缺點(diǎn)。例如，如果相機(jī)安裝在車輛上的低位置處，則單目深度估計(jì)和雙目深度估計(jì)可能不準(zhǔn)確。而且，對于需要考慮各種不同距離尺度的室外場景，單個(gè)神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地渲染投影可能是具有挑戰(zhàn)性的。另外，在駕駛員輔助應(yīng)用中，向駕駛員提供第三人視點(diǎn)(本文中也稱為局外人視角圖像)也是有用的，該第三人視點(diǎn)允許駕駛員觀看他的車輛及其周圍環(huán)境，就好像駕駛員在車輛的外部一樣。然而，上述基于神經(jīng)網(wǎng)絡(luò)的方法不適用于生成第三人視點(diǎn)。這些方法也不能很好地推廣到多種車輛類型。

2、鑒于上述情況，需要一種用于生成局外人視角圖像的改進(jìn)方法，該方法可以解決上述問題中的至少一些問題。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)各種實(shí)施例，提供了一種用于生成局外人視角圖像的計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法可以包括接收捕獲物體的周圍環(huán)境的多個(gè)輸入圖像。該方法可以進(jìn)一步包括：將多個(gè)輸入圖像中的每個(gè)輸入圖像投影到物體周圍的一組虛擬表面中的相應(yīng)虛擬表面上，以生成一組表面圖像。該方法可以進(jìn)一步包括：將該組表面圖像中的每個(gè)表面圖像投影到公共坐標(biāo)系上，以生成經(jīng)變換的數(shù)據(jù)集。該方法可以進(jìn)一步包括：由機(jī)器學(xué)習(xí)模型基于經(jīng)變換的數(shù)據(jù)集生成局外人視角圖像。

2、根據(jù)各種實(shí)施例，提供了一種用于生成局外人視角圖像的設(shè)備。該設(shè)備可以包括被配置為執(zhí)行上述方法的處理器。

3、根據(jù)各種實(shí)施例，提供了上述設(shè)備用于遠(yuǎn)程操作車輛的用途。

4、根據(jù)各種實(shí)施例，提供了一種用于訓(xùn)練機(jī)器學(xué)習(xí)模型的計(jì)算機(jī)實(shí)現(xiàn)的訓(xùn)練方法。該訓(xùn)練方法可以包括：將捕獲訓(xùn)練物體的周圍環(huán)境的多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像投影到訓(xùn)練物體周圍的一組虛擬表面的相應(yīng)虛擬表面上，以生成一組表面圖像。該訓(xùn)練方法可以進(jìn)一步包括：將該組表面圖像中的每個(gè)表面圖像投影到公共坐標(biāo)系上，以生成訓(xùn)練數(shù)據(jù)集。該訓(xùn)練方法可以進(jìn)一步包括：使用訓(xùn)練數(shù)據(jù)集作為機(jī)器學(xué)習(xí)模型的輸入，并且進(jìn)一步使用與多個(gè)訓(xùn)練圖像相對應(yīng)的一組基本事實(shí)局外人視角圖像作為訓(xùn)練信號，來訓(xùn)練機(jī)器學(xué)習(xí)模型。

5、根據(jù)各種實(shí)施例，提供了一種通過上述訓(xùn)練方法生成的數(shù)據(jù)結(jié)構(gòu)。

6、在從屬權(quán)利要求中提供了有利實(shí)施例的附加特征。

技術(shù)特征：

1.一種用于生成局外人視角圖像(300)的計(jì)算機(jī)實(shí)現(xiàn)的方法，該方法包括：

2.根據(jù)權(quán)利要求1所述的方法(300)，進(jìn)一步包括：

3.根據(jù)任一前述權(quán)利要求所述的方法(300)，其中，該機(jī)器學(xué)習(xí)模型(106)包括全卷積神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)任一前述權(quán)利要求所述的方法(300)，其中，該機(jī)器學(xué)習(xí)模型(106)包括：

5.根據(jù)任一前述權(quán)利要求所述的方法(300)，其中，該機(jī)器學(xué)習(xí)模型(106)進(jìn)一步包括校正神經(jīng)網(wǎng)絡(luò)(508)，該校正神經(jīng)網(wǎng)絡(luò)被配置為校正該局外人視角圖像(120)中的像差。

6.根據(jù)任一前述權(quán)利要求所述的方法(300)，其中，該校正神經(jīng)網(wǎng)絡(luò)(508)進(jìn)一步被配置為在該局外人視角圖像(120)中執(zhí)行圖像修復(fù)。

7.根據(jù)任一前述權(quán)利要求所述的方法(300)，其中，該組合器模塊(506)被配置為基于由該合成圖(520)確定的權(quán)重的平均值來組合該重新映射圖像中的該一個(gè)或多個(gè)重新映射圖像。

8.一種用于訓(xùn)練機(jī)器學(xué)習(xí)模型(106)的計(jì)算機(jī)實(shí)現(xiàn)的訓(xùn)練方法(600)，該方法(600)包括：

9.根據(jù)權(quán)利要求8所述的訓(xùn)練方法(600)，進(jìn)一步包括：

10.根據(jù)權(quán)利要求8至9中任一項(xiàng)所述的訓(xùn)練方法(600)，進(jìn)一步包括：

11.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法(300)，其中，根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的訓(xùn)練方法(600)來訓(xùn)練該機(jī)器學(xué)習(xí)模型(106)。

12.一種通過根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的訓(xùn)練方法(600)生成的數(shù)據(jù)結(jié)構(gòu)。

13.一種用于生成局外人視角圖像(120)的設(shè)備(100)，該設(shè)備(100)包括處理器(130)，該處理器被配置為執(zhí)行根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法(300)。

14.根據(jù)權(quán)利要求13所述的設(shè)備(100)，進(jìn)一步包括：

15.根據(jù)權(quán)利要求13至15中任一項(xiàng)所述的設(shè)備(100)，進(jìn)一步包括：

16.根據(jù)權(quán)利要求15所述的設(shè)備用于遠(yuǎn)程操作該車輛的用途。

技術(shù)總結(jié)
根據(jù)各種實(shí)施例，可以提供一種用于生成局外人視角圖像的計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法可以包括接收捕獲物體的周圍環(huán)境的多個(gè)輸入圖像。該方法可以進(jìn)一步包括：將多個(gè)輸入圖像中的每個(gè)輸入圖像投影到物體周圍的一組虛擬表面中的相應(yīng)虛擬表面上，以生成一組表面圖像。該方法可以進(jìn)一步包括：將該組表面圖像中的每個(gè)表面圖像投影到公共坐標(biāo)系上，以生成經(jīng)變換的數(shù)據(jù)集。該方法可以進(jìn)一步包括：由機(jī)器學(xué)習(xí)模型基于經(jīng)變換的數(shù)據(jù)集生成局外人視角圖像。

技術(shù)研發(fā)人員：邁克爾·科林·霍伊,拉胡爾·辛格,夏洛特·格洛杰,馬庫斯·弗里貝
受保護(hù)的技術(shù)使用者：大陸智行德國有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8