本發(fā)明涉及街景地圖構(gòu)建與渲染，具體地，涉及一種基于nerf模型和現(xiàn)實(shí)地理信息的三維街景地圖構(gòu)建方法及系統(tǒng)，同時(shí)提供了一種相應(yīng)的計(jì)算機(jī)終端和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、深入推進(jìn)數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展是未來的重要戰(zhàn)略之一，而數(shù)字地圖發(fā)展是數(shù)字經(jīng)濟(jì)發(fā)展的內(nèi)在需求?，F(xiàn)有的街景地圖大多數(shù)為二維全景圖片，位置固定且離散，同時(shí)三維地理信息(如建筑、地標(biāo)等)也難以在二維全景圖片上進(jìn)行顯示。但是運(yùn)用nerf技術(shù)能夠構(gòu)建真實(shí)、三維、自由瀏覽的街景地圖，具備良好的應(yīng)用前景，且與三維地理坐標(biāo)能夠很好地結(jié)合。目前對(duì)于nerf技術(shù)的應(yīng)用，主要在于建模和渲染場(chǎng)景，雖有技術(shù)提出利用其優(yōu)化室內(nèi)導(dǎo)航系統(tǒng)，但其使用范圍局限，未能廣泛覆蓋街景，且對(duì)于現(xiàn)實(shí)地理信息結(jié)合不多，進(jìn)一步應(yīng)用受限。

2、經(jīng)過檢索發(fā)現(xiàn)：

3、申請(qǐng)?zhí)枮閏n202311441003.4的中國發(fā)明專利申請(qǐng)《一種基于nerf的實(shí)時(shí)遠(yuǎn)程三維實(shí)景模型瀏覽方法》，公開了一種基于nerf的實(shí)時(shí)遠(yuǎn)程三維實(shí)景模型瀏覽方法，該方法的建模過程雖然使用了神經(jīng)輻射場(chǎng)nerf，但未結(jié)合現(xiàn)實(shí)地理信息，且其用途在于降低遠(yuǎn)程瀏覽三維實(shí)景的成本，無法構(gòu)建通過nerf建模與現(xiàn)實(shí)地理信息結(jié)合構(gòu)建新型街景地圖。

4、目前沒有發(fā)現(xiàn)同本發(fā)明類似技術(shù)的說明或報(bào)道，也尚未收集到國內(nèi)外類似的資料。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)中存在的上述不足，提供了一種基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法及系統(tǒng)，同時(shí)提供了一種相應(yīng)的計(jì)算機(jī)終端和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

2、根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，包括：

3、獲取室外場(chǎng)景圖像及其定位信息，測(cè)定所述室外場(chǎng)景圖像的相機(jī)位姿，得到相機(jī)位姿圖像數(shù)據(jù)；

4、利用所述相機(jī)位姿圖像數(shù)據(jù)訓(xùn)練一基于nerf的模型，并對(duì)所述基于nerf的模型進(jìn)行全視角場(chǎng)景渲染，得到隱式三維模型；

5、在所述隱式三維模型的基礎(chǔ)上，根據(jù)所述定位信息和相機(jī)位姿，并結(jié)合現(xiàn)實(shí)地理信息，得到在地理坐標(biāo)系下nerf形式的三維街景地圖。

6、優(yōu)選地，所述獲取室外場(chǎng)景圖像及其定位信息，測(cè)定所述室外場(chǎng)景圖像的相機(jī)位姿，包括：

7、通過用戶上傳數(shù)據(jù)獲取室外場(chǎng)景圖像及其定位信息；

8、對(duì)所述室外場(chǎng)景圖像中的相機(jī)坐標(biāo)進(jìn)行粗定位，用于將相機(jī)坐標(biāo)粗略確定到路網(wǎng)中對(duì)應(yīng)位置；

9、對(duì)所述室外場(chǎng)景圖像進(jìn)行語義分割，并進(jìn)行特征點(diǎn)匹配，用于顯著提高特征點(diǎn)匹配的準(zhǔn)確性；

10、基于匹配的特征點(diǎn)，對(duì)所述粗定位的結(jié)果進(jìn)行全局集束優(yōu)化，得到所述室外場(chǎng)景圖像中的相機(jī)位姿，用于提升并得到厘米級(jí)的相機(jī)位姿精度。

11、優(yōu)選地，所述利用所述相機(jī)位姿圖像數(shù)據(jù)訓(xùn)練一基于nerf的模型，并對(duì)所述基于nerf的模型進(jìn)行全視角場(chǎng)景渲染，得到隱式三維模型，包括：

12、對(duì)所述相機(jī)位姿圖像數(shù)據(jù)進(jìn)行風(fēng)格統(tǒng)一處理；

13、提供一nerf模型，利用統(tǒng)一風(fēng)格后的相機(jī)位姿圖像數(shù)據(jù)訓(xùn)練所述nerf模型內(nèi)部的隱式3d模型和環(huán)境渲染功能，得到隱式三維模型。

14、優(yōu)選地，所述在所述隱式三維模型的基礎(chǔ)上，根據(jù)所述定位信息和相機(jī)位姿，并結(jié)合現(xiàn)實(shí)地理信息，得到在地理坐標(biāo)系下nerf形式的三維街景地圖，包括：

15、獲取現(xiàn)實(shí)地理信息并與所述隱式三維模型進(jìn)行融合；

16、將融合了現(xiàn)實(shí)地理信息的隱式三維模型在用戶設(shè)備上根據(jù)所述定位信息和相機(jī)位姿進(jìn)行用戶視角的位置和姿態(tài)渲染，得到在地理坐標(biāo)系下nerf形式的三維街景地圖。

17、根據(jù)本發(fā)明的另一個(gè)方面，提供了一種基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建系統(tǒng)，包括：

18、高精度三維重建模塊，該模塊用于獲取室外場(chǎng)景圖像及其定位信息，測(cè)定所述室外場(chǎng)景圖像的相機(jī)位姿，得到相機(jī)位姿圖像數(shù)據(jù)；

19、生成式環(huán)境渲染模塊，該模塊利用所述相機(jī)位姿圖像數(shù)據(jù)訓(xùn)練一基于nerf的模型，并對(duì)所述基于nerf的模型進(jìn)行全視角場(chǎng)景渲染，得到隱式三維模型；

20、地理信息融合模塊，該模塊在所述隱式三維模型的基礎(chǔ)上，根據(jù)所述定位信息和相機(jī)位姿，并結(jié)合現(xiàn)實(shí)地理信息，得到在地理坐標(biāo)系下nerf形式的三維街景地圖。

21、根據(jù)本發(fā)明的第三個(gè)方面，提供了一種計(jì)算機(jī)終端，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，該處理器執(zhí)行該計(jì)算機(jī)程序時(shí)可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中所述的系統(tǒng)。

22、根據(jù)本發(fā)明的第四個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中所述的系統(tǒng)。

23、由于采用了上述技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有如下至少一項(xiàng)的有益效果：

24、本發(fā)明提供的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法及系統(tǒng)，地圖中所顯示的地理信息隨用戶位置和視角變化而實(shí)時(shí)更新，實(shí)現(xiàn)了現(xiàn)實(shí)地理信息與數(shù)字三維地圖的融合，極大便利后續(xù)功能開發(fā)與拓展。

25、本發(fā)明提供的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法及系統(tǒng)，結(jié)合slam、nerf、風(fēng)格統(tǒng)一算法等技術(shù)，降低對(duì)于數(shù)據(jù)質(zhì)量的要求，實(shí)現(xiàn)由輸入到建圖的一站式解決方案。

26、本發(fā)明提供的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法及系統(tǒng)，利用動(dòng)態(tài)窗口渲染方案，通過減小渲染規(guī)模，可有效降低成本，并滿足對(duì)服務(wù)器和客戶端的性能需求。

技術(shù)特征：

1.一種基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，所述獲取室外場(chǎng)景圖像及其定位信息，測(cè)定所述室外場(chǎng)景圖像的相機(jī)位姿，包括：

3.根據(jù)權(quán)利要求2所述的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，所述對(duì)所述室外場(chǎng)景圖像中的相機(jī)坐標(biāo)進(jìn)行粗定位，包括：

4.根據(jù)權(quán)利要求1所述的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，所述利用所述相機(jī)位姿圖像數(shù)據(jù)訓(xùn)練一基于nerf的模型，并對(duì)所述基于nerf的模型進(jìn)行全視角場(chǎng)景渲染，得到隱式三維模型，包括：

5.根據(jù)權(quán)利要求4所述的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，所述對(duì)所述相機(jī)位姿圖像數(shù)據(jù)進(jìn)行風(fēng)格統(tǒng)一處理，包括：

6.根據(jù)權(quán)利要求1所述的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，所述在所述隱式三維模型的基礎(chǔ)上，根據(jù)所述定位信息和相機(jī)位姿，并結(jié)合現(xiàn)實(shí)地理信息，得到在地理坐標(biāo)系下nerf形式的三維街景地圖，包括：

7.根據(jù)權(quán)利要求6所述的基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法，其特征在于，還包括如下任意一項(xiàng)或任意多項(xiàng)：

8.一種基于nerf和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建系統(tǒng)，其特征在于，包括：

9.一種計(jì)算機(jī)終端，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，該處理器執(zhí)行該計(jì)算機(jī)程序時(shí)可用于執(zhí)行權(quán)利要求1-7中任一項(xiàng)所述的方法，或，運(yùn)行權(quán)利要求8所述的系統(tǒng)。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)可用于執(zhí)行權(quán)利要求1-7中任一項(xiàng)所述的方法，或，運(yùn)行權(quán)利要求8所述的系統(tǒng)。

技術(shù)總結(jié)
本發(fā)明提供了一種基于NeRF和現(xiàn)實(shí)地理的三維街景地圖構(gòu)建方法及系統(tǒng)，其中方法包括：獲取室外場(chǎng)景圖像及其定位信息，測(cè)定所述室外場(chǎng)景圖像的相機(jī)位姿，得到相機(jī)位姿圖像數(shù)據(jù)；利用所述相機(jī)位姿圖像數(shù)據(jù)訓(xùn)練一基于NeRF的模型，并對(duì)所述基于NeRF的模型進(jìn)行全視角場(chǎng)景渲染，得到隱式三維模型；在隱式三維模型的基礎(chǔ)上，根據(jù)所述定位信息和相機(jī)位姿，并結(jié)合現(xiàn)實(shí)地理信息，得到在地理坐標(biāo)系下由NeRF方式建模的NeRF形式的三維街景地圖，完成三維街景地圖構(gòu)建。本發(fā)明融合了現(xiàn)實(shí)地理信息和SLAM?NeRF高精度建模的數(shù)據(jù)結(jié)構(gòu)，能夠廣泛覆蓋街景并且將地理信息準(zhǔn)確地在街景地圖上顯示。

技術(shù)研發(fā)人員：楊明,余勇瑞,莊瀚洋,季諾澄,于子岐,王春香,王冰
受保護(hù)的技術(shù)使用者：上海交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21