本技術實施例涉及互聯(lián)網領域，涉及但不限于一種三維重建方法、裝置、電子設備及計算機可讀存儲介質。

背景技術：

1、三維重建是計算機圖形學與計算機視覺里重要而基礎的問題。從二維圖像重建任意拓撲的開放曲面是一個重要的研究的方向。

2、相關技術中，在進行三維重建時，通常通過神經輻射場(nerf，neural?radiancefield)拓寬從二維圖像學習三維信息的視野，或者，在基于神經輻射場的工作中，進一步將有向距離場(sdf，signed?distance?function)引入神經輻射場，從而獲得了從二維圖像提取高質量閉合曲面的能力，重建效果與傳統(tǒng)方法相比取得了顯著的提升。另外，一些基于神經隱式場的方法也通過改進有向距離場來增強處理開曲面的能力。

3、但是這些方法只能實現(xiàn)封閉曲面的三維重建，因此在很大程度上限制了三維重建的應用范圍，從而使得三維重建方法的適用范圍較窄。而對于非封閉曲面的三維重建工作上，由于相關技術中基于神經隱式場的方法需要三維數(shù)據(jù)作為監(jiān)督，使得非封閉曲面的三維重建的準確率較低，且無法處理具有復雜拓撲的表面的重建工作。

技術實現(xiàn)思路

1、本技術實施例提供一種三維重建方法、裝置、電子設備及計算機可讀存儲介質，至少能夠應用于人工智能領域和三維模型重建領域，能夠針對不同的目標對象進行三維模型的重建，從而提高了三維重建方法的適用范圍和重建的準確率。

2、本技術實施例的技術方案是這樣實現(xiàn)的：

3、本技術實施例提供一種三維重建方法，包括：基于目標對象的多張圖像和每一所述圖像對應的相機參數(shù)，建立所述目標對象所在空間的初始無向距離場；所述初始無向距離場包括所述空間中的每一空間點與所述目標對象的表面之間的初始距離值；基于每一空間點的所述初始距離值和預設的光線方向，分別確定相應空間點的采樣權重和體渲染權重；基于所述采樣權重，對所述空間的全部空間點進行上采樣處理，得到多個采樣點；基于所述體渲染權重，對所述多個采樣點進行體渲染，得到每一所述采樣點的渲染顏色值；基于所述采樣點的渲染顏色值，對所述目標對象的初始無向距離場進行迭代更新，得到所述目標對象所在空間的更新無向距離場；基于所述更新無向距離場對所述目標對象進行三維重建，得到所述目標對象的三維模型。

4、本技術實施例提供一種三維重建裝置，所述裝置包括：無向距離場建立模塊，用于基于目標對象的多張圖像和每一所述圖像對應的相機參數(shù)，建立所述目標對象所在空間的初始無向距離場；所述初始無向距離場包括所述空間中的每一空間點與所述目標對象的表面之間的初始距離值；權重確定模塊，用于基于每一空間點的所述初始距離值和預設的光線方向，分別確定相應空間點的采樣權重和體渲染權重；處理模塊，用于基于所述采樣權重，對所述空間的全部空間點進行上采樣處理，得到多個采樣點；基于所述體渲染權重，對所述多個采樣點進行體渲染，得到每一所述采樣點的渲染顏色值；迭代更新模塊，用于基于所述采樣點的渲染顏色值，對所述目標對象的初始無向距離場進行迭代更新，得到所述目標對象所在空間的更新無向距離場；三維重建模塊，用于基于所述更新無向距離場對所述目標對象進行三維重建，得到所述目標對象的三維模型。

5、在一些實施例中，所述無向距離場建立模塊還用于：從所述相機參數(shù)中提取所述空間的場景邊界信息和拍攝參數(shù)；基于所述場景邊界信息確定所述目標對象所在的空間；基于所述拍攝參數(shù)，確定所述空間中的每一空間點的位置信息；將所述位置信息和所述多張圖像輸入至神經輻射場網絡中，得到所述空間中的每一空間點與所述目標對象的表面之間的初始距離值；通過所述空間中的每一空間點與所述目標對象的表面之間的初始距離值，建立所述目標對象所在空間的初始無向距離場。

6、在一些實施例中，所述權重確定模塊還用于：基于每一空間點的所述初始距離值，確定相應空間點的采樣權重；基于每一空間點的所述初始距離值和預設的光線方向，確定相應空間點的體渲染權重。

7、在一些實施例中，所述權重確定模塊還用于：獲取預設的上采樣權重函數(shù)；確定當前迭代更新的過程中上采樣處理的采樣密度；所述采樣密度是根據(jù)歷史更新無向距離場確定的參數(shù)，所述歷史更新無向距離場是在當前迭代更新之前的上一次迭代更新過程中所得到的更新無向距離場；所述采樣密度包括第一類采樣密度和第二類采樣密度，所述第一類采樣密度大于所述第二類采樣密度；在對所述初始無向距離場進行迭代更新時，循環(huán)采用所述第一類采樣密度和所述第二類采樣密度確定所述采樣權重；將所述采樣密度和每一空間點的所述初始距離值輸入至所述上采樣權重函數(shù)中，得到相應空間點的采樣權重。

8、在一些實施例中，所述權重確定模塊還用于：獲取每一所述空間點映射至所述目標對象的表面位置的法線方向；確定所述法線方向與所述光線方向之間的夾角的角度值；獲取預設的體渲染權重函數(shù)；確定當前迭代更新的過程中體渲染的待學習參數(shù)；所述待學習參數(shù)是根據(jù)歷史更新無向距離場確定的參數(shù)，所述歷史更新無向距離場是在當前迭代更新之前的上一次迭代更新過程中所得到的更新無向距離場；將所述待學習參數(shù)和所述角度值輸入至所述體渲染權重函數(shù)中，得到相應空間點的體渲染權重。

9、在一些實施例中，通過所述體渲染權重函數(shù)確定出的全部空間點的體渲染權重滿足以下條件中的至少一個：全局無偏、局部無偏和遮擋感知；所述全局無偏是指隨著所述迭代更新次數(shù)的遞增，通過所述體渲染權重函數(shù)確定所述體渲染權重時，與所述目標對象的表面交界處的空間點的體渲染權重等于1；所述局部無偏是指隨著所述迭代更新次數(shù)的遞增，通過所述體渲染權重函數(shù)確定所述體渲染權重時，與所述目標對象的表面交界處的空間點的體渲染權重大于其他非表面交界處的空間點的體渲染權重；所述遮擋感知是指沿所述光線方向，在被所述目標對象的一部分表面遮擋的區(qū)域中，如果存在所述目標對象的另一部分表面，所述另一部分表面處的空間點的體渲染權重，小于所述目標對象的一部分表面處的空間點的體渲染權重。

10、在一些實施例中，所述處理模塊還用于：基于所述采樣權重，在所述相機參數(shù)對應的光線方向上，對所述空間的空間點進行上采樣處理，得到多個采樣點。

11、在一些實施例中，所述處理模塊還用于：針對所述相機參數(shù)對應的多條光線方向中的每一條光線方向上的多個空間點，獲取所述多個空間點中的每一空間點的采樣權重；將采樣權重大于采樣權重閾值的空間點，確定為所述光線方向上的采樣點。

12、在一些實施例中，所述處理模塊還用于：對所述多張圖像進行特征提取，得到每一所述采樣點的初始顏色值；沿每一條光線方向，基于所述體渲染權重對所述光線方向上的多個采樣點的初始顏色值進行顏色積分，得到每一所述采樣點的渲染顏色值。

13、在一些實施例中，所述處理模塊還用于：獲取每一條光線方向上的多個采樣點的初始顏色值和每一所述采樣點的體渲染權重；確定每一所述采樣點的體渲染權重與所述初始顏色值之間的顏色乘積；沿所述光線方向，通過對所述顏色乘積進行顏色積分，依次累積每一采樣點的顏色乘積，得到投射到所述目標對象的表面處的渲染顏色值。

14、在一些實施例中，所述裝置還包括：零點集獲取模塊，用于獲取所述初始無向距離場對應的零點集，所述零點集對應多個初始距離值為零的零點集采樣點；梯度確定模塊，用于基于所述初始無向距離場確定每一所述零點集采樣點的梯度值；偏移量獲取模塊，用于獲取預設的偏移量；梯度更新模塊，用于基于所述偏移量對每一所述零點集采樣點的梯度值進行更新，得到更新后的梯度值；距離場更新模塊，用于基于所述更新后的梯度值對所述初始無向距離場進行更新，得到所述目標對象所在空間的更新無向距離場。

15、在一些實施例中，所述迭代更新模塊還用于：獲取所述目標對象的表面處的采樣點的渲染顏色值和真實顏色值；確定所述渲染顏色值與所述真實顏色值之間的顏色差；基于所述顏色差確定神經輻射場網絡的損失結果；所述神經輻射場網絡用于預測所述初始無向距離場中的每一初始距離值；基于所述損失結果對所述神經輻射場網絡的網絡參數(shù)進行更新，得到更新后的神經輻射場網絡；通過所述更新后的神經輻射場網絡對所述目標對象的初始無向距離場進行迭代更新，得到所述目標對象所在空間的更新無向距離場。

16、本技術實施例提供一種電子設備，包括：存儲器，用于存儲可執(zhí)行指令；處理器，用于執(zhí)行所述存儲器中存儲的可執(zhí)行指令時，實現(xiàn)上述的三維重建方法。

17、本技術實施例提供一種計算機程序產品，該計算機程序產品包括可執(zhí)行指令，可執(zhí)行指令存儲在計算機可讀存儲介質中；其中，電子設備的處理器從計算機可讀存儲介質中讀取可執(zhí)行指令，并執(zhí)行可執(zhí)行指令時，實現(xiàn)上述的三維重建方法。

18、本技術實施例提供一種計算機可讀存儲介質，存儲有可執(zhí)行指令，用于引起處理器執(zhí)行所述可執(zhí)行指令時，實現(xiàn)上述的三維重建方法。

19、本技術實施例具有以下有益效果：基于目標對象所在空間的每一空間點的初始距離值和預設的光線方向，分別確定相應空間點的采樣權重和體渲染權重；從而基于采樣權重和體渲染權重，對空間的空間點依次進行上采樣處理和體渲染，得到空間點的渲染顏色值；進而基于空間點的渲染顏色值，對目標對象的初始無向距離場進行迭代更新，得到目標對象所在空間的更新無向距離場。如此，由于在對初始無向距離場進行迭代更新時，是基于所確定出的采樣權重和體渲染權重進行上采樣處理和體渲染，且該采樣權重和體渲染權重是基于每一空間點的初始距離值和預設的光線方向確定的，因此，該采樣權重能夠保證對空間點進行準確的上采樣處理，該體渲染權重能夠對上采樣處理得到的采樣點進行準確的體渲染，從而得到更加接近目標對象的真實顏色值的渲染顏色值，以及得到目標對象準確的無向距離場。另外，本技術實施例的三維重建方法能夠處理任意開放曲面的重建，適用范圍更加廣泛，且通過采樣權重和體渲染權重進行處理，不需要額外的三維監(jiān)督，只利用二維圖像監(jiān)督就能處理具有復雜拓撲的表面重建。