本技術(shù)涉及語音識(shí)別，尤其涉及一種語音增強(qiáng)模型適配下游任務(wù)的方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、語音增強(qiáng)模型能夠有效降低語音信號(hào)中的噪聲成分，語音增強(qiáng)模型的輸入為含噪語音，輸出為增強(qiáng)語音。語音增強(qiáng)模型可以級(jí)聯(lián)如語音識(shí)別模型、聲紋識(shí)別模型、深度表征模型等下游模型，從而實(shí)現(xiàn)噪聲魯棒的語音識(shí)別系統(tǒng)、噪聲魯棒的聲紋識(shí)別系統(tǒng)、噪聲魯棒的深度表征系統(tǒng)等。

2、相關(guān)技術(shù)中，為了使下游任務(wù)對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)的抗噪性能達(dá)到最優(yōu)，通常需要針對(duì)該下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)一個(gè)適配的語音增強(qiáng)模型。

3、然而，當(dāng)下游任務(wù)新增較多時(shí)，需要花費(fèi)大量時(shí)間和gpu資源訓(xùn)練一個(gè)新的語音增強(qiáng)模型，以適配新的下游任務(wù)對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供了一種語音增強(qiáng)模型適配下游任務(wù)的方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，旨在提高語音增強(qiáng)模型的通用性，提高對(duì)新增的下游任務(wù)的兼容能力。

2、本技術(shù)實(shí)施例提供了一種語音增強(qiáng)模型適配下游任務(wù)的方法，所述語音增強(qiáng)模型包括語音增強(qiáng)子模型和與所述語音增強(qiáng)子模型級(jí)聯(lián)的微調(diào)器，所述方法包括：

3、獲取目標(biāo)下游任務(wù)的標(biāo)識(shí)；

4、基于所述標(biāo)識(shí)，確定所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)信噪比，所述目標(biāo)信噪比表征所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)噪聲的抗噪性能大于第一閾值；

5、根據(jù)所述標(biāo)識(shí)和所述目標(biāo)信噪比，確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例，所述目標(biāo)信號(hào)混合比例表征輸入至所述目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)中的含噪語音和增強(qiáng)語音的混合比例；

6、將所述微調(diào)器的信號(hào)混合比例調(diào)整為所述目標(biāo)信號(hào)混合比例，獲得調(diào)整后的微調(diào)器。

7、上述方案中，所述根據(jù)所述標(biāo)識(shí)和所述目標(biāo)信噪比，確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例，包括：

8、根據(jù)所述標(biāo)識(shí)、所述目標(biāo)信噪比和預(yù)存的映射關(guān)系，確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例，所述映射關(guān)系包括下游任務(wù)的標(biāo)識(shí)、下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)信噪比和下游任務(wù)的目標(biāo)信號(hào)混合比例之間的對(duì)應(yīng)關(guān)系；

9、或者，

10、基于所述標(biāo)識(shí)和所述目標(biāo)信噪比，生成拼接向量；將所述拼接向量輸入至預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，獲得所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例。

11、上述方案中，所述獲得調(diào)整后的微調(diào)器之后，所述方法還包括：

12、獲取目標(biāo)含噪語音，所述目標(biāo)含噪語音是與所述目標(biāo)下游任務(wù)匹配的含噪語音；

13、將所述目標(biāo)含噪語音輸入至所述語音增強(qiáng)子模型中，獲得所述目標(biāo)含噪語音的目標(biāo)增強(qiáng)語音；

14、通過所述調(diào)整后的微調(diào)器將所述目標(biāo)增強(qiáng)語音和所述目標(biāo)含噪語音按所述目標(biāo)信號(hào)混合比例進(jìn)行混合，生成混合后的語音；

15、將所述混合后的語音輸入至所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)中，獲得所述目標(biāo)下游任務(wù)的期望表征或期望信號(hào)。

16、上述方案中，所述獲取目標(biāo)下游任務(wù)的標(biāo)識(shí)之前，所述方法還包括：

17、獲取至少一個(gè)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)信噪比；

18、生成所述至少一個(gè)下游任務(wù)的目標(biāo)信號(hào)混合比例；

19、基于所述至少一個(gè)下游任務(wù)的標(biāo)識(shí)、所述目標(biāo)信噪比、所述目標(biāo)信號(hào)混合比例，生成所述映射關(guān)系。

20、上述方案中，所述生成所述至少一個(gè)下游任務(wù)的目標(biāo)信號(hào)混合比例，包括：

21、獲取至少一個(gè)下游任務(wù)的訓(xùn)練樣本集，所述訓(xùn)練樣本集的訓(xùn)練樣本為含噪語音，所述訓(xùn)練樣本的標(biāo)簽為去噪語音；

22、針對(duì)同一下游任務(wù)，基于所述訓(xùn)練樣本集訓(xùn)練所述微調(diào)器，直至獲得訓(xùn)練好的微調(diào)器；

23、將所述訓(xùn)練好的微調(diào)器對(duì)應(yīng)的目標(biāo)信號(hào)混合比例，確定為相應(yīng)的下游任務(wù)的目標(biāo)信號(hào)混合比例。

24、上述方案中，所述獲取至少一個(gè)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)信噪比，包括：

25、獲取至少一個(gè)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型預(yù)訓(xùn)練所存儲(chǔ)的訓(xùn)練信息，所述訓(xùn)練信息包括訓(xùn)練時(shí)是否進(jìn)行過數(shù)據(jù)增廣，以及進(jìn)行過數(shù)據(jù)增廣時(shí)對(duì)應(yīng)的信噪比；

26、基于所述訓(xùn)練信息，確定所述至少一個(gè)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)信噪比。

27、上述方案中，所述訓(xùn)練信息還包括信噪比的歸一化值；所述基于所述目標(biāo)信噪比和所述標(biāo)識(shí)，生成拼接向量，包括：

28、基于所述訓(xùn)練信息，獲得所述目標(biāo)信噪比對(duì)應(yīng)的歸一化值；

29、對(duì)所述標(biāo)識(shí)進(jìn)行編碼，獲得所述標(biāo)識(shí)的嵌入編碼向量；

30、將所述歸一化值和所述標(biāo)識(shí)的嵌入編碼向量進(jìn)行拼接，生成拼接向量。

31、上述方案中，所述根據(jù)所述標(biāo)識(shí)、所述目標(biāo)信噪比和預(yù)存的映射關(guān)系，確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例之前，所述方法還包括：

32、獲取所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型預(yù)訓(xùn)練所存儲(chǔ)的訓(xùn)練信息；

33、基于所述訓(xùn)練信息，確定所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的信噪比；

34、若確定所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的信噪比與所述目標(biāo)信噪比之間的差值小于或等于第二閾值，則執(zhí)行根據(jù)所述標(biāo)識(shí)、所述目標(biāo)信噪比和預(yù)存的映射關(guān)系，確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例的步驟；

35、若確定所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的信噪比與所述目標(biāo)信噪比之間的差值大于所述第二閾值，則更新所述映射關(guān)系，基于更新后的映射關(guān)系確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例。

36、本技術(shù)實(shí)施例還提供了一種語音增強(qiáng)模型適配下游任務(wù)的裝置，所述語音增強(qiáng)模型包括語音增強(qiáng)子模型和與所述語音增強(qiáng)子模型級(jí)聯(lián)的微調(diào)器，所述裝置包括：

37、獲取模塊，用于獲取目標(biāo)下游任務(wù)的標(biāo)識(shí)；

38、第一確定模塊，用于基于所述標(biāo)識(shí)，確定所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)信噪比，所述目標(biāo)信噪比表征所述目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)噪聲的抗噪性能大于第一閾值；

39、第二確定模塊，用于根據(jù)所述標(biāo)識(shí)和所述目標(biāo)信噪比，確定所述目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例，所述目標(biāo)信號(hào)混合比例表征輸入至所述目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)中的含噪語音和增強(qiáng)語音的混合比例；

40、調(diào)整模塊，用于將與所述微調(diào)器的信號(hào)混合比例調(diào)整為所述目標(biāo)信號(hào)混合比例，獲得調(diào)整后的微調(diào)器。

41、本技術(shù)實(shí)施例還提供了一種電子設(shè)備，包括：處理器和用于存儲(chǔ)能夠在處理器上運(yùn)行的計(jì)算機(jī)程序的存儲(chǔ)器，其中，所述處理器，用于運(yùn)行計(jì)算機(jī)程序時(shí)，執(zhí)行如上述各方案所述的方法。

42、本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，執(zhí)行如上述各方案所述的方法。

43、本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，執(zhí)行如上述各方案所述的方法。

44、本技術(shù)實(shí)施例提供的技術(shù)方案，目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例可以作為目標(biāo)下游任務(wù)的深度表征，基于目標(biāo)下游任務(wù)的目標(biāo)信號(hào)混合比例，調(diào)整語音增強(qiáng)模型中微調(diào)器的信號(hào)混合比例這一模型參數(shù)，可以使語音增強(qiáng)模型能夠認(rèn)識(shí)到目標(biāo)下游任務(wù)的期望表征或期望信號(hào)，從而能夠使目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)得到更好的增強(qiáng)語音，使得目標(biāo)下游任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)的抗噪性能達(dá)到最優(yōu)。即，本技術(shù)的語音增強(qiáng)模型可以針對(duì)多個(gè)下游任務(wù)進(jìn)行語音增強(qiáng)，使其對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)的抗噪性能達(dá)到最優(yōu)。因此，語音增強(qiáng)模型的通用性和對(duì)新增的下游任務(wù)的兼容能力得以提高。