本發(fā)明屬于機(jī)器視覺(jué)，更具體地，涉及一種三維場(chǎng)景表示方法、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、三維場(chǎng)景表示方法能夠獲取整個(gè)三維場(chǎng)景的有效信息，將三維空間信息以一種緊湊的數(shù)據(jù)格式存儲(chǔ)，便于傳輸和呈現(xiàn)整個(gè)三維場(chǎng)景，在虛擬現(xiàn)實(shí)(vr)、增強(qiáng)現(xiàn)實(shí)(ar)、自動(dòng)駕駛等領(lǐng)域有著廣泛的應(yīng)用。因此，研究一種三維場(chǎng)景表示方法具有重要意義。

2、三維場(chǎng)景可以通過(guò)多種形式表示，如點(diǎn)云、網(wǎng)格、多視圖、神經(jīng)輻射場(chǎng)等。三維高斯點(diǎn)云是一種新的三維場(chǎng)景表示方式，其由大量基礎(chǔ)高斯點(diǎn)云構(gòu)成，每個(gè)高斯點(diǎn)云包含位置坐標(biāo)、不透明度、大小、旋轉(zhuǎn)、顏色等屬性，能夠有效表達(dá)三維場(chǎng)景，實(shí)現(xiàn)高質(zhì)量實(shí)時(shí)渲染，但高斯點(diǎn)云數(shù)量龐大，通常需要幾十萬(wàn)甚至上百萬(wàn)個(gè)高斯點(diǎn)云來(lái)表達(dá)三維場(chǎng)景，所需的存儲(chǔ)空間較大，給存儲(chǔ)和傳輸帶來(lái)了極大挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種三維場(chǎng)景表示方法、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，其目的在于提供一種更加高效的三維場(chǎng)景表達(dá)來(lái)減少高斯點(diǎn)云數(shù)量，在保證準(zhǔn)確性的前提下，進(jìn)一步降低三維場(chǎng)景表示所需的存儲(chǔ)空間。

2、為了實(shí)現(xiàn)上述目的，第一方面，本發(fā)明提供了一種三維場(chǎng)景表示方法，包括：

3、基于三維場(chǎng)景在不同相機(jī)位姿下的二維圖像，生成該三維場(chǎng)景的三維標(biāo)準(zhǔn)點(diǎn)云；其中，二維圖像的大小為w×h；w和h均為正整數(shù)；

4、根據(jù)三維標(biāo)準(zhǔn)點(diǎn)云初始化三維場(chǎng)景的三維高斯點(diǎn)云；

5、將三維高斯點(diǎn)云分別投影到各相機(jī)位姿所對(duì)應(yīng)的二維平面上，得到不同相機(jī)位姿所對(duì)應(yīng)的二維高斯點(diǎn)云；對(duì)每一個(gè)相機(jī)位姿所對(duì)應(yīng)的二維高斯點(diǎn)云進(jìn)行光柵化，得到對(duì)應(yīng)的大小為αw×βh的特征圖后，輸入至重建網(wǎng)絡(luò)中進(jìn)行重建，得到大小為w×h的重建圖像；通過(guò)最小化每一個(gè)相機(jī)位姿下的重建圖像與二維圖像的差異損失，對(duì)重建網(wǎng)絡(luò)的參數(shù)及三維高斯點(diǎn)云進(jìn)行優(yōu)化；0<α<1，0<β<1；

6、將優(yōu)化后的三維高斯點(diǎn)云作為該三維場(chǎng)景的表示。

7、進(jìn)一步優(yōu)選地，上述三維場(chǎng)景表示方法還包括：

8、獲取用戶(hù)指定的一組相機(jī)位姿，將優(yōu)化后的三維高斯點(diǎn)云分別投影到該組相機(jī)位姿中不同相機(jī)位姿所對(duì)應(yīng)的二維平面上，得到不同相機(jī)位姿所對(duì)應(yīng)的二維高斯點(diǎn)云；分別對(duì)每一個(gè)相機(jī)位姿所對(duì)應(yīng)的二維高斯點(diǎn)云進(jìn)行光柵化，得到對(duì)應(yīng)的大小為αw×βh的特征圖后，輸入至優(yōu)化后的重建網(wǎng)絡(luò)中進(jìn)行重建，得到對(duì)應(yīng)的重建圖像；

9、將該組相機(jī)位姿所對(duì)應(yīng)的重建圖像組作為該三維場(chǎng)景的可視化表示。

10、進(jìn)一步優(yōu)選地，重建網(wǎng)絡(luò)包括：級(jí)聯(lián)的第一卷積層、第一激活層、gs-nerv模塊、第二卷積層和第二激活層；

11、其中，gs-nerv模塊包括一個(gè)gs-nerv塊，或者多個(gè)級(jí)聯(lián)的gs-nerv塊；gs-nerv塊包括：級(jí)聯(lián)的分組卷積層、注意力機(jī)制模塊、上采樣層和普通卷積層。

12、進(jìn)一步優(yōu)選地，注意力機(jī)制模塊為卷積塊注意力機(jī)制模塊；上采樣層為pixelshuffle模型。

13、進(jìn)一步優(yōu)選地，上述重建網(wǎng)絡(luò)還包括：位于第一卷積層和第一激活層之間的正則化層。

14、進(jìn)一步優(yōu)選地，對(duì)重建網(wǎng)絡(luò)的參數(shù)及三維高斯點(diǎn)云進(jìn)行優(yōu)化，包括：

15、將差異損失反向傳播至重建網(wǎng)絡(luò)，對(duì)重建網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，然后通過(guò)光柵化和投影過(guò)程反向傳播至三維高斯點(diǎn)云，對(duì)三維高斯點(diǎn)云的屬性和分布進(jìn)行優(yōu)化；

16、通過(guò)預(yù)設(shè)輪次的優(yōu)化，實(shí)現(xiàn)差異損失的最小化。

17、進(jìn)一步優(yōu)選地，基于三維場(chǎng)景在不同相機(jī)位姿下的二維圖像，采用sfm算法生成該三維場(chǎng)景的三維標(biāo)準(zhǔn)點(diǎn)云。

18、第二方面，本發(fā)明提供了一種電子設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)執(zhí)行本發(fā)明第一方面所提供的三維場(chǎng)景表示方法。

19、第三方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)執(zhí)行本發(fā)明第一方面所提供的三維場(chǎng)景表示方法。

20、第四方面，本發(fā)明還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，其中，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所提供的三維場(chǎng)景表示方法的步驟。

21、總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案，能夠取得以下有益效果：

22、1、本發(fā)明提供了一種三維場(chǎng)景表示方法，考慮到現(xiàn)有的基于3d高斯濺射所產(chǎn)生的高斯點(diǎn)云來(lái)表示三維場(chǎng)景的方法中高斯點(diǎn)云分布存在大量冗余，利用重建網(wǎng)絡(luò)來(lái)恢復(fù)照片級(jí)的圖像渲染，使得光柵化過(guò)程僅需輸出較小分辨率的特征圖，從而在模型優(yōu)化過(guò)程中限制高斯點(diǎn)云的致密化過(guò)程，使得高斯點(diǎn)云數(shù)量大大減少，能夠在保證準(zhǔn)確性的前提下，進(jìn)一步降低三維場(chǎng)景表示所需的存儲(chǔ)空間。

23、2、進(jìn)一步地，本發(fā)明所提供的三維場(chǎng)景表示方法，在三維高斯點(diǎn)云和重建網(wǎng)絡(luò)優(yōu)化完成后，還可將優(yōu)化后的三維高斯點(diǎn)云分別投影到用戶(hù)指定的一組相機(jī)位姿中不同相機(jī)位姿所對(duì)應(yīng)的二維平面上，光柵化后，將所得的特征圖輸入至優(yōu)化后的重建網(wǎng)絡(luò)中進(jìn)行重建，得到對(duì)應(yīng)的重建圖像，進(jìn)而得到用戶(hù)指定的相機(jī)位姿下的三維場(chǎng)景的可視化表示，實(shí)現(xiàn)了更加直觀有效的三維場(chǎng)景表示。

24、3、進(jìn)一步地，本發(fā)明所提供的三維場(chǎng)景表示方法，重建網(wǎng)絡(luò)基于gs-nerv塊構(gòu)建得到，其中，gs-nerv塊包括：級(jí)聯(lián)的分組卷積層、注意力機(jī)制模塊、上采樣層和普通卷積層；其中，分組卷積層、注意力機(jī)制模塊和普通卷積層能夠很好地從圖像特征中還原圖像顏色信息，上采樣層能夠?qū)⒌头直媛蕡D像恢復(fù)成高分辨率圖像；基于此，重建網(wǎng)絡(luò)能夠?qū)D像特征還原為圖像顏色信息的同時(shí)，還能提高圖像的分辨率，從而能夠很好地恢復(fù)三維場(chǎng)景中的紋理信息，具有更高的渲染質(zhì)量。

技術(shù)特征：

1.一種三維場(chǎng)景表示方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的三維場(chǎng)景表示方法，其特征在于，還包括：

3.根據(jù)權(quán)利要求1或2所述的三維場(chǎng)景表示方法，其特征在于，所述重建網(wǎng)絡(luò)包括：級(jí)聯(lián)的第一卷積層、第一激活層、gs-nerv模塊、第二卷積層和第二激活層；

4.根據(jù)權(quán)利要求3所述的三維場(chǎng)景表示方法，其特征在于，所述注意力機(jī)制模塊為卷積塊注意力機(jī)制模塊；所述上采樣層為pixel?shuffle模型。

5.根據(jù)權(quán)利要求3所述的三維場(chǎng)景表示方法，其特征在于，所述重建網(wǎng)絡(luò)還包括：位于所述第一卷積層和所述第一激活層之間的正則化層。

6.根據(jù)權(quán)利要求1或2所述的三維場(chǎng)景表示方法，其特征在于，所述對(duì)重建網(wǎng)絡(luò)的參數(shù)及三維高斯點(diǎn)云進(jìn)行優(yōu)化，包括：

7.根據(jù)權(quán)利要求1或2所述的三維場(chǎng)景表示方法，其特征在于，基于三維場(chǎng)景在不同相機(jī)位姿下的二維圖像，采用sfm算法生成該三維場(chǎng)景的三維標(biāo)準(zhǔn)點(diǎn)云。

8.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)執(zhí)行權(quán)利要求1-7任意一項(xiàng)所述的三維場(chǎng)景表示方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)執(zhí)行權(quán)利要求1-7任意一項(xiàng)所述的三維場(chǎng)景表示方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序或指令，其中，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任意一項(xiàng)所述的三維場(chǎng)景表示方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種三維場(chǎng)景表示方法、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，屬于機(jī)器視覺(jué)技術(shù)領(lǐng)域；考慮到現(xiàn)有的基于3D高斯濺射所產(chǎn)生的高斯點(diǎn)云來(lái)表示三維場(chǎng)景的方法中高斯點(diǎn)云分布存在大量冗余，利用重建網(wǎng)絡(luò)來(lái)恢復(fù)照片級(jí)的圖像渲染，使得光柵化過(guò)程僅需輸出較小分辨率的特征圖，從而在模型優(yōu)化過(guò)程中限制高斯點(diǎn)云的致密化過(guò)程，使得高斯點(diǎn)云數(shù)量大大減少，能夠在保證準(zhǔn)確性的前提下，進(jìn)一步降低三維場(chǎng)景表示所需的存儲(chǔ)空間；除此之外，在三維高斯點(diǎn)云和重建網(wǎng)絡(luò)優(yōu)化完成后，還可以利用優(yōu)化后的三維高斯點(diǎn)云和重建網(wǎng)絡(luò)，獲取用戶(hù)指定的相機(jī)位姿下的三維場(chǎng)景的可視化表示，實(shí)現(xiàn)了更加直觀有效的三維場(chǎng)景表示。

技術(shù)研發(fā)人員：聶思謙,劉瓊,吳佳波,晏晟琨,楊鈾
受保護(hù)的技術(shù)使用者：華中科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21