本申請(qǐng)涉及圖像處理領(lǐng)域，特別是涉及基于機(jī)器學(xué)習(xí)的摳圖方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、摳圖技術(shù)(image?matting)，用于將目標(biāo)從背景中精確提取出來(lái)，廣泛應(yīng)用于當(dāng)前數(shù)字圖像處理領(lǐng)域。

2、在相關(guān)技術(shù)中，摳圖技術(shù)主要基于圖像分割和深度學(xué)習(xí)方法。然而，傳統(tǒng)圖像分割算法在實(shí)時(shí)性和跨平臺(tái)性方面存在一定局限性?，F(xiàn)有深度學(xué)習(xí)模型在不同平臺(tái)上的部署和運(yùn)行效率不高，且對(duì)硬件要求較高，限制了其在實(shí)時(shí)摳圖應(yīng)用中的廣泛應(yīng)用。

3、目前針對(duì)相關(guān)技術(shù)中傳統(tǒng)的摳圖方法兼容性低的問(wèn)題，尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供了一種基于機(jī)器學(xué)習(xí)的摳圖方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中傳統(tǒng)的摳圖方法兼容性低的問(wèn)題。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種基于機(jī)器學(xué)習(xí)的摳圖方法，所述方法包括：

3、構(gòu)建基于圖像前景數(shù)據(jù)和背景數(shù)據(jù)進(jìn)行加權(quán)融合的摳圖模型；

4、將所述摳圖模型轉(zhuǎn)化為onnx模型，并將所述onnx模型保存為二進(jìn)制文件；

5、對(duì)所述二進(jìn)制文件進(jìn)行封裝得到摳圖插件，將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理。

6、在其中一些實(shí)施例中，所述將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理包括：

7、判斷是否首次運(yùn)行所述摳圖模型，

8、若是，對(duì)所述摳圖模型進(jìn)行預(yù)熱后運(yùn)行所述摳圖模型，所述預(yù)熱包括參數(shù)預(yù)設(shè)和數(shù)據(jù)清洗，

9、若否，直接運(yùn)行所述摳圖模型。

10、在其中一些實(shí)施例中，所述將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理包括：

11、基于所述摳圖模型，對(duì)所述目標(biāo)圖像進(jìn)行分割，得到第一分割結(jié)果；

12、根據(jù)所述第一分割結(jié)果，確定所述目標(biāo)圖像的前景數(shù)據(jù)和背景數(shù)據(jù)；

13、對(duì)所述前景數(shù)據(jù)和所述背景數(shù)據(jù)進(jìn)行加權(quán)融合，得到第二分割結(jié)果。

14、在其中一些實(shí)施例中，所述第二分割結(jié)果為二維數(shù)組，在得到第二分割結(jié)果后，所述方法還包括：

15、對(duì)所述第二分割結(jié)果進(jìn)行降維處理，得到一維分割結(jié)果；

16、對(duì)所述一維分割結(jié)果進(jìn)行圖像后處理，所述圖像后處理包括填補(bǔ)空洞和連通分量分析。

17、在其中一些實(shí)施例中，所述構(gòu)建基于圖像前景數(shù)據(jù)和背景數(shù)據(jù)進(jìn)行加權(quán)融合的摳圖模型包括：

18、獲取訓(xùn)練圖像，基于圖像分割算法對(duì)訓(xùn)練圖像進(jìn)行分割處理，得到訓(xùn)練圖像的第一摳圖結(jié)果；

19、基于預(yù)設(shè)縮放范圍，對(duì)所述訓(xùn)練圖像進(jìn)行通道歸一化處理，得到歸一化結(jié)果；

20、基于所述第一摳圖結(jié)果和所述歸一化結(jié)果，對(duì)所述摳圖模型進(jìn)行訓(xùn)練。

21、在其中一些實(shí)施例中，所述方法基于microsoft.net平臺(tái)實(shí)現(xiàn)。

22、在其中一些實(shí)施例中，所述將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理包括：

23、獲取所述目標(biāo)設(shè)備的硬件資源信息，根據(jù)所述硬件資源信息確定所述摳圖模型的算力載體，其中，所述硬件資源信息包括gpu信息、cpu信息和tpu信息。

24、第二方面，本申請(qǐng)實(shí)施例提供了一種基于機(jī)器學(xué)習(xí)的摳圖系統(tǒng)，所述系統(tǒng)包括：建模模塊、轉(zhuǎn)化模塊和摳圖模塊，其中，

25、所述建模模塊，用于構(gòu)建基于圖像前景數(shù)據(jù)和背景數(shù)據(jù)進(jìn)行加權(quán)融合的摳圖模型；

26、所述轉(zhuǎn)化模塊，用于將所述摳圖模型轉(zhuǎn)化為onnx模型，并將所述onnx模型保存為二進(jìn)制文件；

27、所述摳圖模塊，用于對(duì)所述二進(jìn)制文件進(jìn)行封裝得到摳圖插件，將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理。

28、第三方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的基于機(jī)器學(xué)習(xí)的摳圖方法。

29、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于機(jī)器學(xué)習(xí)的摳圖方法。

30、相比于相關(guān)技術(shù)，本申請(qǐng)實(shí)施例提供的基于機(jī)器學(xué)習(xí)的摳圖方法，通過(guò)構(gòu)建基于圖像前景數(shù)據(jù)和背景數(shù)據(jù)進(jìn)行加權(quán)融合的摳圖模型，將摳圖模型轉(zhuǎn)化為onnx模型，并將onnx模型保存為二進(jìn)制文件，將二進(jìn)制文件封裝成摳圖插件，將摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示目標(biāo)設(shè)備通過(guò)摳圖插件讀取摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理，解決了傳統(tǒng)的摳圖方法兼容性低的問(wèn)題?；趏nnx部署摳圖模型，將模型包裝成插件，實(shí)現(xiàn)了跨平臺(tái)的摳圖應(yīng)用能力，確保摳圖模型在不同操作系統(tǒng)和硬件環(huán)境下都能夠穩(wěn)定運(yùn)行，并具有良好性能。

技術(shù)特征：

1.一種基于機(jī)器學(xué)習(xí)的摳圖方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第二分割結(jié)果為二維數(shù)組，在得到第二分割結(jié)果后，所述方法還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建基于圖像前景數(shù)據(jù)和背景數(shù)據(jù)進(jìn)行加權(quán)融合的摳圖模型包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法基于microsoft.net平臺(tái)實(shí)現(xiàn)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示所述目標(biāo)設(shè)備通過(guò)所述摳圖插件讀取所述摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處理包括：

8.一種基于機(jī)器學(xué)習(xí)的摳圖系統(tǒng)，其特征在于，所述系統(tǒng)包括：建模模塊、轉(zhuǎn)化模塊和摳圖模塊，其中，

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于機(jī)器學(xué)習(xí)的摳圖方法。

10.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于機(jī)器學(xué)習(xí)的摳圖方法。

技術(shù)總結(jié)
本申請(qǐng)涉及一種基于機(jī)器學(xué)習(xí)的摳圖方法，該方法包括：構(gòu)建基于圖像前景數(shù)據(jù)和背景數(shù)據(jù)進(jìn)行加權(quán)融合的摳圖模型，將摳圖模型轉(zhuǎn)化為ONNX模型，并將ONNX模型保存為二進(jìn)制文件，將二進(jìn)制文件封裝成摳圖插件，將摳圖插件發(fā)送至目標(biāo)設(shè)備，以指示目標(biāo)設(shè)備通過(guò)摳圖插件讀取摳圖模型，對(duì)目標(biāo)圖像進(jìn)行摳圖處。通過(guò)本申請(qǐng)，解決了傳統(tǒng)的摳圖方法兼容性低的問(wèn)題。基于ONNX部署摳圖模型，將模型包裝成插件，實(shí)現(xiàn)了跨平臺(tái)的摳圖應(yīng)用能力，確保摳圖模型在不同操作系統(tǒng)和硬件環(huán)境下都能夠穩(wěn)定運(yùn)行，并具有良好性能。

技術(shù)研發(fā)人員：陳昇亨
受保護(hù)的技術(shù)使用者：杭州電魂網(wǎng)絡(luò)科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/17