本公開(kāi)涉及xr技術(shù)，更具體地，涉及一種圖像數(shù)據(jù)的處理方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、現(xiàn)有的分體式xr(extended?reality，擴(kuò)展現(xiàn)實(shí))數(shù)據(jù)傳輸領(lǐng)域，當(dāng)發(fā)送端采用無(wú)線傳輸時(shí)，由于考慮低延時(shí)或者傳輸效率，視頻流采用udp(user?datagram?protocol，用戶(hù)數(shù)據(jù)報(bào)協(xié)議)傳輸。由于udp沒(méi)有重傳機(jī)制，會(huì)存在傳輸丟包的問(wèn)題。因此，需要提供一種新的技術(shù)方案，以解決視頻流傳輸時(shí)丟包的問(wèn)題。

2、公開(kāi)內(nèi)容

3、本公開(kāi)的一個(gè)目的是提供一種圖像數(shù)據(jù)的處理方法的新技術(shù)方案。

4、根據(jù)本公開(kāi)的第一方面，提供了一種圖像數(shù)據(jù)的處理方法，包括：

5、在檢測(cè)到接收的當(dāng)前數(shù)據(jù)包出現(xiàn)丟包的情況下，確定丟失的圖像片段數(shù)據(jù)的位置信息，每個(gè)數(shù)據(jù)包括多個(gè)圖像片段數(shù)據(jù)，所述多個(gè)圖像片段數(shù)據(jù)是從一幀圖像中分解得到的數(shù)據(jù)；

6、根據(jù)所述位置信息，從接收的上一個(gè)數(shù)據(jù)包中截取與所述位置信息相關(guān)的圖像片段數(shù)據(jù)；

7、根據(jù)第一位姿信息和第二位姿信息，確定位姿變化信息，所述第一位姿信息為所述當(dāng)前數(shù)據(jù)包括對(duì)應(yīng)的位姿信息，所述第二位姿信息為所述上一個(gè)數(shù)據(jù)包對(duì)應(yīng)的位姿信息；

8、根據(jù)與所述位置信息相關(guān)的圖像片段數(shù)據(jù)和所述位姿變化信息，確定待填充的圖像片段數(shù)據(jù)；

9、將所述待填充的圖像片段數(shù)據(jù)填充至所述當(dāng)前數(shù)據(jù)包。

10、可選的，所述每個(gè)數(shù)據(jù)包還包括按照?qǐng)D像片段分解順序生成的多個(gè)序列號(hào)，所述多個(gè)序列號(hào)和所述多個(gè)圖像片段數(shù)據(jù)一一對(duì)應(yīng)，其中，所述方法還包括：

11、檢測(cè)所述當(dāng)前數(shù)據(jù)包中的序列號(hào)是否出現(xiàn)缺失；

12、在檢測(cè)到所述當(dāng)前數(shù)據(jù)包中的序列號(hào)出現(xiàn)缺失的情況下，確定所述當(dāng)前數(shù)據(jù)包出現(xiàn)丟包。

13、可選的，所述每個(gè)數(shù)據(jù)包還包括按照?qǐng)D像片段分解順序生成的多個(gè)序列號(hào)，所述多個(gè)序列號(hào)和所述多個(gè)圖像片段數(shù)據(jù)一一對(duì)應(yīng)，其中，

14、所述確定丟失的圖像片段數(shù)據(jù)的位置信息，包括：

15、確定所述當(dāng)前數(shù)據(jù)包中出現(xiàn)缺失的序列號(hào)，以作為所述丟失的圖像片段數(shù)據(jù)的位置信息。

16、可選的，所述從接收的上一個(gè)數(shù)據(jù)包中截取與所述位置信息相關(guān)的圖像片段數(shù)據(jù)，包括：

17、從所述上一個(gè)數(shù)據(jù)包中截取具有與所述位置信息相同信息的圖像片段數(shù)據(jù)，或者，從所述上一個(gè)數(shù)據(jù)包中截取具有與所述位置信息相同信息的圖像片段數(shù)據(jù)，以及截取與所述位置信息為相鄰關(guān)系的圖像片段數(shù)據(jù)。

18、可選的，所述根據(jù)與所述位置信息相關(guān)的圖像片段數(shù)據(jù)和所述位姿變化信息，確定待填充的圖像片段數(shù)據(jù)，包括：

19、根據(jù)具有與所述位置信息相同信息的圖像片段數(shù)據(jù)和所述位姿變化信息，計(jì)算得到待填充的圖像片段數(shù)據(jù)；或者，

20、根據(jù)具有與所述位置信息相同信息的圖像片段數(shù)據(jù)、與所述位置信息為相鄰關(guān)系的圖像片段數(shù)據(jù)和所述位姿變化信息，計(jì)算得到第一填充圖像片段數(shù)據(jù)；

21、從所述第一填充圖像片段數(shù)據(jù)截取第二填充圖像片段數(shù)據(jù)，作為所述待填充的圖像片段數(shù)據(jù)，所述第二填充圖像片段數(shù)據(jù)為具有與所述位置信息相同信息的圖像片段數(shù)據(jù)。

22、可選的，所述第一位姿信息和所述第二位姿信息均包括所述接收端在預(yù)設(shè)三維坐標(biāo)系中的位置信息和姿態(tài)信息。

23、可選的，多個(gè)圖像片段是從一幀圖像中按照從上到下的分解順序依次得到的圖像。

24、根據(jù)本公開(kāi)的第二方面，提供了一種圖像數(shù)據(jù)的處理裝置，包括：

25、位置信息確定模塊，用于在檢測(cè)到接收的當(dāng)前數(shù)據(jù)包出現(xiàn)丟包的情況下，確定丟失的圖像片段數(shù)據(jù)的位置信息，每個(gè)數(shù)據(jù)包括多個(gè)圖像片段數(shù)據(jù)，所述多個(gè)圖像片段數(shù)據(jù)是從一幀圖像中分解得到的數(shù)據(jù)；

26、截取模塊，用于根據(jù)所述位置信息，從接收的上一個(gè)數(shù)據(jù)包中截取與所述位置信息相關(guān)的圖像片段數(shù)據(jù)；

27、位姿變化信息確定模塊，用于根據(jù)第一位姿信息和第二位姿信息，確定位姿變化信息，所述第一位姿信息為所述當(dāng)前數(shù)據(jù)包括對(duì)應(yīng)的位姿信息，所述第二位姿信息為所述上一個(gè)數(shù)據(jù)包對(duì)應(yīng)的位姿信息；

28、待填充數(shù)據(jù)確定模塊，用于根據(jù)與所述位置信息相關(guān)的圖像片段數(shù)據(jù)和所述位姿變化信息，確定待填充的圖像片段數(shù)據(jù)；

29、填充模塊，將所述待填充的圖像片段數(shù)據(jù)填充至所述當(dāng)前數(shù)據(jù)包。

30、根據(jù)本公開(kāi)的第三方面，提供了一種圖像數(shù)據(jù)的處理裝置，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于控制所述處理器進(jìn)行操作以執(zhí)行根據(jù)本公開(kāi)的第一方面任一項(xiàng)所述的方法。

31、根據(jù)本公開(kāi)的第四方面，提供了一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中任意一項(xiàng)所述的方法。

32、本發(fā)明提供的圖像數(shù)據(jù)的處理方法，在檢測(cè)到接收的當(dāng)前數(shù)據(jù)包出現(xiàn)丟包的情況下，確定丟失的圖像片段數(shù)據(jù)的位置信息，根據(jù)位置信息，從接收的上一個(gè)數(shù)據(jù)包中截取與位置信息相關(guān)的圖像片段數(shù)據(jù)，根據(jù)當(dāng)前數(shù)據(jù)對(duì)應(yīng)的位姿信息和上一個(gè)數(shù)據(jù)包對(duì)應(yīng)的位姿信息，確定位姿變化信息，根據(jù)與位置信息相關(guān)的圖像片段數(shù)據(jù)和位姿變化信息，確定待填充的圖像片段數(shù)據(jù)，將待填充的圖像片段數(shù)據(jù)填充至當(dāng)前數(shù)據(jù)包，使得缺失的圖像片段數(shù)據(jù)能夠得到填充，并且能夠保證填充的圖像片段數(shù)據(jù)的準(zhǔn)確性，提高了數(shù)據(jù)包的質(zhì)量，進(jìn)而提高了用戶(hù)的觀看體驗(yàn)。

33、通過(guò)以下參照附圖對(duì)本說(shuō)明書(shū)的示例性實(shí)施例的詳細(xì)描述，本說(shuō)明書(shū)的實(shí)施例的特征及其優(yōu)點(diǎn)將會(huì)變得清楚。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種圖像數(shù)據(jù)的處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述每個(gè)數(shù)據(jù)包還包括按照?qǐng)D像片段分解順序生成的多個(gè)序列號(hào)，所述多個(gè)序列號(hào)和所述多個(gè)圖像片段數(shù)據(jù)一一對(duì)應(yīng)，其中，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述每個(gè)數(shù)據(jù)包還包括按照?qǐng)D像片段分解順序生成的多個(gè)序列號(hào)，所述多個(gè)序列號(hào)和所述多個(gè)圖像片段數(shù)據(jù)一一對(duì)應(yīng)，其中，

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從接收的上一個(gè)數(shù)據(jù)包中截取與所述位置信息相關(guān)的圖像片段數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)與所述位置信息相關(guān)的圖像片段數(shù)據(jù)和所述位姿變化信息，確定待填充的圖像片段數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一位姿信息和所述第二位姿信息均包括所述接收端在預(yù)設(shè)三維坐標(biāo)系中的位置信息和姿態(tài)信息。

7.根據(jù)權(quán)利要求1-6中任一所述的方法，其特征在于，多個(gè)圖像片段是從一幀圖像中按照從上到下的分解順序依次得到的圖像。

8.一種圖像數(shù)據(jù)的處理裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于控制所述處理器進(jìn)行操作以執(zhí)行根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法。

10.一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其特征在于，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7中任意一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開(kāi)涉及一種圖像數(shù)據(jù)的處理方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)，其中，該方法包括：在檢測(cè)到接收的當(dāng)前數(shù)據(jù)包出現(xiàn)丟包的情況下，確定丟失的圖像片段數(shù)據(jù)的位置信息，每個(gè)數(shù)據(jù)包括多個(gè)圖像片段數(shù)據(jù)，多個(gè)圖像片段數(shù)據(jù)是從一幀圖像中分解得到的數(shù)據(jù)；根據(jù)位置信息，從接收的上一個(gè)數(shù)據(jù)包中截取與位置信息相關(guān)的圖像片段數(shù)據(jù)；根據(jù)第一位姿信息和第二位姿信息，確定位姿變化信息，第一位姿信息為當(dāng)前數(shù)據(jù)包括對(duì)應(yīng)的位姿信息，第二位姿信息為上一個(gè)數(shù)據(jù)包對(duì)應(yīng)的位姿信息；根據(jù)與位置信息相關(guān)的圖像片段數(shù)據(jù)和位姿變化信息，確定待填充的圖像片段數(shù)據(jù)；將待填充的圖像片段數(shù)據(jù)填充至當(dāng)前數(shù)據(jù)包。

技術(shù)研發(fā)人員：楊青河
受保護(hù)的技術(shù)使用者：歌爾股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21