本發(fā)明涉及虛擬現(xiàn)實(shí)建模，具體地，涉及一種基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模方法及系統(tǒng)，同時涉及一種相應(yīng)的計(jì)算機(jī)終端和計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、nerf神經(jīng)網(wǎng)絡(luò)作為一種3d建模的全新技術(shù)，具有速度快，建模精良的優(yōu)點(diǎn)，在包括室內(nèi)場景建模、實(shí)景三維建模的諸多領(lǐng)域得以廣泛運(yùn)用，也是未來虛擬現(xiàn)實(shí)技術(shù)、數(shù)字孿生技術(shù)實(shí)現(xiàn)的基礎(chǔ)。但nerf神經(jīng)網(wǎng)絡(luò)技術(shù)在實(shí)景3d地圖并未有相關(guān)運(yùn)用，其原因部分在于數(shù)據(jù)來源的不足。因此，有必要使用手機(jī)相機(jī)采集眾包數(shù)據(jù)的方式將nerf神經(jīng)網(wǎng)絡(luò)技術(shù)運(yùn)用于實(shí)景3d地圖的建模過程中。

2、經(jīng)過檢索發(fā)現(xiàn)，申請?zhí)枮?02110427891.9的中國發(fā)明專利申請《基于手機(jī)眾包成像終端的室內(nèi)地下應(yīng)急場景三維建模方法》，該方法基于眾包感知數(shù)據(jù)重建室內(nèi)的固定封閉場景，但是無法實(shí)現(xiàn)對于動態(tài)街景的語義分割和開闊場景建模；同時該方法眾包數(shù)據(jù)來源較為單一、規(guī)律性強(qiáng)、數(shù)據(jù)量少，對于來源廣泛、語義復(fù)雜、采集量大的室外街景眾包數(shù)據(jù)處理不適用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術(shù)中存在的上述不足，提供了一種基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模方法及系統(tǒng)，同時提供了一種相應(yīng)的計(jì)算機(jī)終端和計(jì)算機(jī)可讀存儲介質(zhì)。

2、根據(jù)本發(fā)明的一個方面，提供了一種基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模方法，包括：

3、基于手機(jī)相機(jī)獲取實(shí)時環(huán)境圖片，并形成眾包數(shù)據(jù)；

4、對所述眾包數(shù)據(jù)中的圖片進(jìn)行坐標(biāo)對齊處理；

5、對對齊后的圖片進(jìn)行預(yù)處理，并輸入至一神經(jīng)輻射場景模型中，對所述神經(jīng)輻射場景模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的nerf模型，利用nerf模型生成渲染圖像，完成nerf實(shí)景建模。

6、優(yōu)選地，所述基于手機(jī)相機(jī)獲取實(shí)時環(huán)境圖片，并形成眾包數(shù)據(jù)，包括：

7、采用手機(jī)相機(jī)獲取實(shí)時環(huán)境圖片；

8、對所述實(shí)時環(huán)境圖片進(jìn)行脫敏處理，并結(jié)合與圖片相關(guān)的其他信息數(shù)據(jù)，形成眾包數(shù)據(jù)；

9、將所述眾包數(shù)據(jù)上傳至云端。

10、優(yōu)選地，所述實(shí)時環(huán)境圖片，包括：多個不同角度、不同高度角的拍攝者周圍實(shí)時圖像數(shù)據(jù)；其中，還包括對拍攝者周圍實(shí)時圖像數(shù)據(jù)進(jìn)行如下圖像處理：利用特征點(diǎn)匹配的方法，估計(jì)幀與幀之間的運(yùn)動，進(jìn)行圖像對齊和穩(wěn)定化處理；

11、優(yōu)選地，所述脫敏處理，包括：將所述實(shí)時環(huán)境圖片中的敏感信息打上馬賽克。

12、優(yōu)選地，所述與圖片相關(guān)的其他信息數(shù)據(jù)，包括：拍攝者定位信息。

13、優(yōu)選地，所述對所述眾包數(shù)據(jù)中的圖片進(jìn)行坐標(biāo)對齊處理，包括：

14、對所述眾包數(shù)據(jù)中的實(shí)時環(huán)境圖片進(jìn)行幾何上的對齊處理，使得圖片分別在空間上對應(yīng)到實(shí)際地理位置，得到車道級定位結(jié)果；

15、分析所述眾包數(shù)據(jù)中的實(shí)時環(huán)境圖片序列，估計(jì)手機(jī)相機(jī)的運(yùn)動軌跡，構(gòu)建稀疏的特征點(diǎn)地圖；

16、在所述稀疏的特征點(diǎn)地圖的基礎(chǔ)上，通過位姿圖優(yōu)化方法，結(jié)合所述車道級定位結(jié)果，確定手機(jī)相機(jī)的初步位置，進(jìn)而完成對所述眾包數(shù)據(jù)中的圖片的坐標(biāo)對齊處理。

17、優(yōu)選地，所述對所述眾包數(shù)據(jù)中的實(shí)時環(huán)境圖片進(jìn)行幾何上的對齊處理，使得圖片分別在空間上對應(yīng)到實(shí)際地理位置，包括：

18、根據(jù)眾包數(shù)據(jù)上傳時的gps或者基站信號，獲取到拍攝地點(diǎn)設(shè)定距離閾值上的一個位置，作為初始位置；

19、根據(jù)所述初始位置，將周圍視覺特征與導(dǎo)航地圖中的特征通過神經(jīng)網(wǎng)絡(luò)的方式進(jìn)行對齊，將周圍視覺特征鎖定到導(dǎo)航地圖的路網(wǎng)上，實(shí)現(xiàn)圖片分別在空間上對應(yīng)到實(shí)際地理位置，得到車道級定位結(jié)果。

20、優(yōu)選地，所述分析所述眾包數(shù)據(jù)中的實(shí)時環(huán)境圖片序列，估計(jì)相機(jī)的運(yùn)動軌跡，構(gòu)建稀疏的特征點(diǎn)地圖，包括：

21、利用視覺slam技術(shù)，對采集的實(shí)時環(huán)境圖片進(jìn)行語義分割，通過深度學(xué)習(xí)模型，將實(shí)時環(huán)境圖片中的每個像素分類到不同的語義類別(上，區(qū)分動態(tài)物體和靜態(tài)環(huán)境，并移除動態(tài)物體的像素，得到語義分割結(jié)果；

22、利用所述語義分割結(jié)果指導(dǎo)特征點(diǎn)的匹配，將所有實(shí)時環(huán)境圖片對齊并匹配到一個統(tǒng)一的全局坐標(biāo)系中。

23、優(yōu)選地，所述通過位姿圖優(yōu)化方法，結(jié)合所述車道級定位結(jié)果，確定手機(jī)相機(jī)的初步位置，進(jìn)而完成對所述眾包數(shù)據(jù)中的圖片的坐標(biāo)對齊處理，包括：

24、通過手機(jī)相機(jī)的外參進(jìn)行逆透視變換投影，以估算地面的深度，得到估算的深度值；

25、將所述估算的深度值作為特征點(diǎn)在空間中的位置先驗(yàn)，為全局優(yōu)化提供一致的尺度信息；

26、結(jié)合所述車道級定位結(jié)果，確定手機(jī)相機(jī)的初步位置，通過集束優(yōu)化(bundleadjustment)的方式，對手機(jī)相機(jī)的位置和方向(位姿)進(jìn)行優(yōu)化，使得重投影的誤差最小化，完成對所述眾包數(shù)據(jù)中的圖片的坐標(biāo)對齊處理。

27、優(yōu)選地，所述對對齊后的圖片進(jìn)行預(yù)處理，并輸入至一神經(jīng)輻射場景模型中，對所述神經(jīng)輻射場景模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的nerf模型，包括：

28、針對某個特定的場景點(diǎn)，利用多視角的對齊后的圖片，對動態(tài)物體進(jìn)行替換，得到初步預(yù)處理圖片；

29、獲取地面的深度信息；

30、對所述初步預(yù)處理圖片進(jìn)行風(fēng)格處理，得到預(yù)處理后圖像；

31、提供一神經(jīng)輻射場模型，利用所述預(yù)處理后圖像和所述地面的深度信息對所述神經(jīng)輻射場模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的nerf模型。

32、優(yōu)選地，所述獲取地面的深度信息，包括：

33、利用所述對齊后的圖片的語義分割結(jié)果，提取出標(biāo)記為地面的區(qū)域，并將估計(jì)的深度值應(yīng)用于這些地面區(qū)域，生成對應(yīng)的深度圖；

34、對所述深度圖進(jìn)行濾波和平滑處理，得到地面的深度信息。

35、根據(jù)本發(fā)明的另一個方面，提供了一種基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模系統(tǒng)，包括：

36、數(shù)據(jù)采集模塊，該模塊基于手機(jī)相機(jī)獲取實(shí)時環(huán)境圖片，并形成眾包數(shù)據(jù)；

37、數(shù)據(jù)對齊模塊，該模塊用于對所述眾包數(shù)據(jù)中的圖片進(jìn)行坐標(biāo)對齊處理；

38、nerf實(shí)景建模模塊，該模塊用于對對齊后的圖片進(jìn)行預(yù)處理，并輸入至一神經(jīng)輻射場景模型中，對所述神經(jīng)輻射場景模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的nerf模型，利用nerf模型生成渲染圖像，完成nerf實(shí)景建模。

39、根據(jù)本發(fā)明的第三個方面，提供了一種計(jì)算機(jī)終端，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，該處理器執(zhí)行該計(jì)算機(jī)程序時可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中所述的系統(tǒng)。

40、根據(jù)本發(fā)明的第四個方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中所述的系統(tǒng)。

41、由于采用了上述技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有如下至少一項(xiàng)的有益效果：

42、本發(fā)明提供的基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模方法及系統(tǒng)，解決了眾包數(shù)據(jù)的對齊問題，通過使用slam、神經(jīng)網(wǎng)絡(luò)等技術(shù)，實(shí)現(xiàn)眾包圖像之間的像素級匹配和位姿優(yōu)化。

43、本發(fā)明提供的基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模方法及系統(tǒng)，使用手機(jī)相機(jī)眾包數(shù)據(jù)進(jìn)行街景建模的方法，通過使用nerf神經(jīng)網(wǎng)絡(luò)，以較高的速度構(gòu)建高度還原的全角度三維街景渲染圖像。

44、本發(fā)明提供的基于手機(jī)相機(jī)眾包數(shù)據(jù)的nerf實(shí)景建模方法及系統(tǒng)，實(shí)現(xiàn)了對于動態(tài)街景的語義分割和開闊場景建模；同時，采用手機(jī)獲取眾包數(shù)據(jù)，并對眾包數(shù)據(jù)進(jìn)行對齊及預(yù)處理，解決了來源較為單一、規(guī)律性強(qiáng)、數(shù)據(jù)量少的問題，同時實(shí)現(xiàn)了對來源廣泛、語義復(fù)雜、采集量大的室外街景眾包數(shù)據(jù)的處理。