本發(fā)明涉及場(chǎng)景重建，尤其涉及一種基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法及系統(tǒng)。

背景技術(shù)：

1、在計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域，動(dòng)態(tài)4d場(chǎng)景重建是一個(gè)極具挑戰(zhàn)性的任務(wù)，它旨在從二維視頻數(shù)據(jù)中恢復(fù)出三維空間中的物體形狀、位置及其隨時(shí)間的變化，傳統(tǒng)的三維重建方法多依賴于多目視覺系統(tǒng)或深度相機(jī)，這些設(shè)備能夠提供直接的深度信息，但成本較高且部署復(fù)雜，相比之下，單目視頻作為最廣泛可用的視覺數(shù)據(jù)源，其動(dòng)態(tài)4d場(chǎng)景重建具有更高的實(shí)用價(jià)值和研究意義。

2、然而，單目視頻重建動(dòng)態(tài)4d場(chǎng)景面臨著諸多難題，首先，單目視頻本身不包含直接的深度信息，需要從視頻幀中通過算法推斷出深度圖，這一過程不僅計(jì)算復(fù)雜，而且容易受到光照變化、遮擋、噪聲等因素的干擾，其次，動(dòng)態(tài)場(chǎng)景中物體的運(yùn)動(dòng)模式復(fù)雜多變，如何準(zhǔn)確提取并跟蹤物體的運(yùn)動(dòng)軌跡是另一個(gè)技術(shù)難點(diǎn)，最后，由于遮擋、視角變化等原因，重建過程中往往會(huì)出現(xiàn)信息缺失區(qū)域，如何有效地填補(bǔ)這些區(qū)域以保證重建結(jié)果的完整性和準(zhǔn)確性也是亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出一種基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法及系統(tǒng)，可以解決現(xiàn)有技術(shù)所存在的成本高、抗干擾能力差、無法準(zhǔn)確提取物體運(yùn)動(dòng)軌跡和重建準(zhǔn)確性差的缺陷。

2、本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法，具體包括：

4、獲取單目視頻；

5、依據(jù)單目視頻提取深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息；

6、基于深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息，轉(zhuǎn)換成4d點(diǎn)云數(shù)據(jù)；

7、采用交替優(yōu)化策略，優(yōu)化相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息；

8、采用像素級(jí)策略對(duì)相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息進(jìn)行處理，生成填補(bǔ)信息；

9、依據(jù)優(yōu)化后的相機(jī)的位置和姿態(tài)信息、4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息，以及填補(bǔ)信息，重建出動(dòng)態(tài)4d場(chǎng)景。

10、作為所述基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的進(jìn)一步可選方案，所述基于深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息，轉(zhuǎn)換成4d點(diǎn)云數(shù)據(jù)，具體包括：

11、基于深度圖和相機(jī)內(nèi)參數(shù)，將二維視頻幀轉(zhuǎn)換為三維空間中的稀疏點(diǎn)云；

12、賦予稀疏點(diǎn)云中的每個(gè)點(diǎn)一個(gè)高斯權(quán)重；

13、將每個(gè)點(diǎn)的高斯權(quán)重濺射到整個(gè)三維數(shù)據(jù)體積中，得到三維密度場(chǎng)；

14、基于光學(xué)流獲取稀疏點(diǎn)云中每個(gè)點(diǎn)在不同時(shí)間幀之間的對(duì)應(yīng)關(guān)系；

15、依據(jù)每個(gè)點(diǎn)在不同時(shí)間幀之間的對(duì)應(yīng)關(guān)系，在三維密度場(chǎng)加入時(shí)間維度，生成4d點(diǎn)云數(shù)據(jù)。

16、作為所述基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的進(jìn)一步可選方案，所述采用交替優(yōu)化策略，優(yōu)化相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息，具體包括：

17、初始化相機(jī)位姿和4d點(diǎn)云數(shù)據(jù)；

18、基于當(dāng)前相機(jī)位姿和4d點(diǎn)云數(shù)據(jù)，構(gòu)建關(guān)于相機(jī)位姿的優(yōu)化問題；

19、使用levenberg-marquardt算法求解相機(jī)位姿的最優(yōu)解；

20、根據(jù)相機(jī)位姿的最優(yōu)解更新相機(jī)的位置和姿態(tài)信息；

21、依據(jù)更新后的相機(jī)的位置和姿態(tài)信息，以及4d點(diǎn)云數(shù)據(jù)的初始位置，構(gòu)建關(guān)于4d點(diǎn)云數(shù)據(jù)的點(diǎn)位置和屬性的優(yōu)化問題；

22、使用非線性最小二乘算法求解4d點(diǎn)云數(shù)據(jù)的點(diǎn)位置和屬性的最優(yōu)解；

23、根據(jù)點(diǎn)位置和屬性的最優(yōu)解更新4d點(diǎn)云數(shù)據(jù)的位置和屬性。

24、作為所述基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的進(jìn)一步可選方案，所述采用像素級(jí)策略對(duì)相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息進(jìn)行處理，生成填補(bǔ)信息，具體包括：

25、依據(jù)相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息，識(shí)別出信息空白區(qū)域；

26、依據(jù)信息空白區(qū)域進(jìn)行像素級(jí)生成，生成新的像素點(diǎn)；

27、將新的像素點(diǎn)與4d點(diǎn)云數(shù)據(jù)進(jìn)行融合。

28、作為所述基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的進(jìn)一步可選方案，所述將新的像素點(diǎn)與4d點(diǎn)云數(shù)據(jù)進(jìn)行融合，具體包括：

29、獲取相機(jī)的內(nèi)外參數(shù)和標(biāo)定信息；

30、使用相機(jī)參數(shù)和標(biāo)定信息，將新的像素點(diǎn)與4d點(diǎn)云數(shù)據(jù)進(jìn)行特征匹配和對(duì)齊，建立對(duì)應(yīng)關(guān)系；

31、依據(jù)建立的對(duì)應(yīng)關(guān)系，將新的像素點(diǎn)與4d點(diǎn)云數(shù)據(jù)進(jìn)行融合。

32、作為所述基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的進(jìn)一步可選方案，所述使用相機(jī)參數(shù)和標(biāo)定信息，將新的像素點(diǎn)與4d點(diǎn)云數(shù)據(jù)進(jìn)行特征匹配和對(duì)齊，建立對(duì)應(yīng)關(guān)系，具體包括：

33、利用相機(jī)參數(shù)將新的像素點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)系下的三維坐標(biāo)；

34、將相機(jī)坐標(biāo)系下的三維坐標(biāo)通過標(biāo)定信息中的變換矩陣轉(zhuǎn)換為點(diǎn)云坐標(biāo)系下的坐標(biāo)；

35、依據(jù)新的像素點(diǎn)的點(diǎn)云坐標(biāo)系下的坐標(biāo)，使用flann特征匹配算法將新的像素點(diǎn)與4d點(diǎn)云數(shù)據(jù)進(jìn)行匹配和對(duì)齊，從而建立對(duì)應(yīng)關(guān)系。

36、作為所述基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的進(jìn)一步可選方案，所述依據(jù)優(yōu)化后的相機(jī)的位置和姿態(tài)信息、4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息，以及填補(bǔ)信息，重建出動(dòng)態(tài)4d場(chǎng)景，具體包括：

37、將優(yōu)化后的相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息按照時(shí)間順序進(jìn)行整合，得到初始動(dòng)態(tài)4d場(chǎng)景；

38、將填補(bǔ)信息與初始動(dòng)態(tài)4d場(chǎng)景進(jìn)行融合，得到中級(jí)動(dòng)態(tài)4d場(chǎng)景；

39、對(duì)中級(jí)動(dòng)態(tài)4d場(chǎng)景進(jìn)行渲染，得到最終的動(dòng)態(tài)4d場(chǎng)景。

40、一種基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建系統(tǒng)，包括：

41、獲取模塊，用于獲取單目視頻；

42、提取模塊，用于依據(jù)單目視頻提取深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息；

43、轉(zhuǎn)換模塊，用于基于深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息，轉(zhuǎn)換成4d點(diǎn)云數(shù)據(jù)；

44、優(yōu)化模塊，用于采用交替優(yōu)化策略，優(yōu)化相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息；

45、填充信息生成模塊，用于采用像素級(jí)策略對(duì)相機(jī)的位置和姿態(tài)信息、以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息進(jìn)行處理，生成填補(bǔ)信息；

46、重建模塊，用于依據(jù)優(yōu)化后的相機(jī)的位置和姿態(tài)信息、4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息，以及填補(bǔ)信息，重建出動(dòng)態(tài)4d場(chǎng)景。

47、一種計(jì)算設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任意一項(xiàng)基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的步驟。

48、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任意一項(xiàng)基于單目視頻的動(dòng)態(tài)4d場(chǎng)景重建方法的步驟。

49、本發(fā)明的有益效果是：通過單目視頻提取深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息，這些信息是后續(xù)重建4d場(chǎng)景的基礎(chǔ)，深度圖提供了場(chǎng)景中物體的深度信息，光學(xué)流則反映了像素或特征點(diǎn)在視頻幀之間的運(yùn)動(dòng)，相機(jī)內(nèi)參數(shù)信息則幫助將圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，這種全面的信息提取為后續(xù)的4d重建提供了豐富的數(shù)據(jù)源；將深度圖、光學(xué)流和相機(jī)內(nèi)參數(shù)信息轉(zhuǎn)換為4d點(diǎn)云數(shù)據(jù)，這一過程將二維圖像信息轉(zhuǎn)換為三維空間中的點(diǎn)云數(shù)據(jù)，并加入了時(shí)間維度，形成4d表示，這種轉(zhuǎn)換不僅保留了場(chǎng)景的空間結(jié)構(gòu)信息，還記錄了隨時(shí)間變化的動(dòng)態(tài)信息，為后續(xù)的優(yōu)化和重建提供了堅(jiān)實(shí)的基礎(chǔ)，降低計(jì)算成本；采用交替優(yōu)化策略對(duì)相機(jī)的位置和姿態(tài)信息以及4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息進(jìn)行優(yōu)化，這種策略能夠綜合考慮相機(jī)運(yùn)動(dòng)和場(chǎng)景動(dòng)態(tài)變化之間的相互影響，通過迭代優(yōu)化過程逐步逼近真實(shí)場(chǎng)景，優(yōu)化后的相機(jī)位置和姿態(tài)信息更加準(zhǔn)確，4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息也更加符合實(shí)際場(chǎng)景的變化規(guī)律，提高提取物體運(yùn)動(dòng)軌跡的準(zhǔn)確性；采用像素級(jí)策略對(duì)優(yōu)化后的數(shù)據(jù)進(jìn)行處理，生成填補(bǔ)信息，這種策略能夠針對(duì)視頻中的每一個(gè)像素點(diǎn)進(jìn)行精細(xì)處理，填補(bǔ)由于遮擋、噪聲等原因造成的信息缺失，提高抗干擾能力差，同時(shí)，像素級(jí)策略還能夠更好地保留場(chǎng)景中的細(xì)節(jié)信息，使重建結(jié)果更加逼真；依據(jù)優(yōu)化后的相機(jī)位置和姿態(tài)信息、4d點(diǎn)云數(shù)據(jù)的位置和運(yùn)動(dòng)信息以及填補(bǔ)信息，重建出動(dòng)態(tài)4d場(chǎng)景，這種重建方法不僅提高了場(chǎng)景的準(zhǔn)確性，還能夠在一定程度上保證重建的實(shí)時(shí)性。