一種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法，本方法為：1)從語(yǔ)音庫(kù)中提取語(yǔ)音樣本數(shù)據(jù)，建立一語(yǔ)音樣本訓(xùn)練集合和一語(yǔ)音樣本測(cè)試集合；2)利用所選非線性特征從語(yǔ)音樣本訓(xùn)練集合中提取用于語(yǔ)音情感識(shí)別的非線性特征值；非線性特征包括：語(yǔ)音信號(hào)多重分形譜，語(yǔ)音信號(hào)廣義hurst指數(shù)；3)對(duì)語(yǔ)音樣本訓(xùn)練集合進(jìn)行預(yù)處理，然后將非線性特征值作為各弱分類器的輸入，對(duì)每一弱分類器進(jìn)行訓(xùn)練；4)將訓(xùn)練后的各弱分類器集成為一強(qiáng)分類器，然后利用語(yǔ)音樣本測(cè)試集合中語(yǔ)音樣本信號(hào)對(duì)該強(qiáng)分類器進(jìn)行測(cè)試；5)利用測(cè)試后的強(qiáng)分類器對(duì)新語(yǔ)音信號(hào)進(jìn)行分類，識(shí)別出語(yǔ)音信號(hào)對(duì)應(yīng)的情感類別。本發(fā)明大大提高了語(yǔ)音信號(hào)識(shí)別的準(zhǔn)確性。
【專利說(shuō)明】一種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種語(yǔ)音信號(hào)非線性特征抽取及基于非線性特征的語(yǔ)音情感識(shí)別方 法，尤其涉及一種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法。本發(fā)明屬于信息技術(shù)領(lǐng) 域。

【背景技術(shù)】
[0002] 語(yǔ)音信號(hào)中的情感是判別人類情感的重要依據(jù)之一，語(yǔ)音信號(hào)中包含了大量的非 語(yǔ)義信息和按照發(fā)音規(guī)則產(chǎn)生的語(yǔ)義信息，通常在語(yǔ)義信息和非語(yǔ)義信息中分別包含著語(yǔ) 言信息和說(shuō)話人的情感因素，傳統(tǒng)的語(yǔ)音識(shí)別僅限于語(yǔ)音語(yǔ)義傳達(dá)的準(zhǔn)確性，忽視了語(yǔ)音 信號(hào)中的情感信息，并且語(yǔ)音的情感信息特征在傳統(tǒng)的語(yǔ)音信號(hào)處理技術(shù)中通常被當(dāng)作差 異噪聲和模式變動(dòng)而處理掉，實(shí)際上利用語(yǔ)音信號(hào)中的情感信息來(lái)提高人們之間信息交流 和傳遞的效果，是非常有研究意義的。
[0003] 語(yǔ)音情感識(shí)別技術(shù)主要涉及兩個(gè)方面的內(nèi)容：一是語(yǔ)音信號(hào)預(yù)處理和特征提取， 二是語(yǔ)音情感信號(hào)識(shí)別模型建立。一般來(lái)說(shuō)，語(yǔ)音信號(hào)預(yù)處理為對(duì)原始語(yǔ)音信號(hào)經(jīng)高通濾 波器預(yù)處理，并且經(jīng)過(guò)分幀和加窗，從而過(guò)濾掉原始信號(hào)中的噪音。
[0004] 語(yǔ)音信號(hào)情感特征可以分為基于語(yǔ)言學(xué)特征信息和基于聲學(xué)參數(shù)的特征信息，其 中基于聲學(xué)參數(shù)的特征信息包括基音周期、短時(shí)能量、短時(shí)過(guò)零率、LPCC、MFCC、共振峰、MEL 子帶能量等，通過(guò)這些聲學(xué)特征的原始值、均值、差分值、最大值、最小值、方差等可以抽取 出多個(gè)可用于情感識(shí)別的特征信號(hào)。但是語(yǔ)音信號(hào)的產(chǎn)生是一個(gè)復(fù)雜的非平穩(wěn)、非線性過(guò) 程，其中存在著混沌機(jī)制，傳統(tǒng)的聲學(xué)特征缺乏描述語(yǔ)音信號(hào)混沌特征的能力。
[0005] 語(yǔ)音信號(hào)的建模方法包括線性建模方法和非線性建模方法，其中線性建模方法包 括K近鄰法、主元分析法等，非線性建模方法包括隱馬爾科夫方法（HMM)，支持向量機(jī)方法 (SVM)，神經(jīng)網(wǎng)絡(luò)方法等，目前語(yǔ)音識(shí)別的主要問(wèn)題在于，語(yǔ)音能夠抽取的特征信號(hào)較多，并 且可以采用多種方法，各種信號(hào)組合和各種方法都各有利弊，雖然采用多種不同的信號(hào)組 合和不同的方法都可以進(jìn)行識(shí)別，但是普遍存識(shí)別準(zhǔn)確率較低等問(wèn)題。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的就是針對(duì)上述介紹的各種信號(hào)提取方法和建模方法存在的利弊，提 供一種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法，通過(guò)建立一個(gè)綜合的高效率的語(yǔ)音 情感識(shí)別模型識(shí)別語(yǔ)音情感信息。
[0007] 本發(fā)明利用分形作為描述混沌特征的重要手段，引入多重分形譜、廣義hurst指 數(shù)等多個(gè)語(yǔ)音信號(hào)非線性特征，通過(guò)這些特征的最大值、最小值、均值，上四分位值、下四分 位值、中值、方差可以抽取出多個(gè)用于情感識(shí)別的非線性特征信號(hào)。
[0008] 本發(fā)明的技術(shù)方案為：
[0009] -種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法，其步驟為：
[0010] 1)從語(yǔ)音庫(kù)中提取語(yǔ)音樣本數(shù)據(jù)，建立一語(yǔ)音樣本訓(xùn)練集合和一語(yǔ)音樣本測(cè)試集 合；
[0011] 2)利用所選非線性特征從所述語(yǔ)音樣本訓(xùn)練集合中提取用于語(yǔ)音情感識(shí)別的非 線性特征值；其中，所述非線性特征包括：語(yǔ)音信號(hào)多重分形譜，語(yǔ)音信號(hào)廣義hurst指 數(shù)；
[0012] 3)對(duì)所述語(yǔ)音樣本訓(xùn)練集合進(jìn)行預(yù)處理，然后將所述非線性特征值作為各弱分類 器的輸入，對(duì)每一弱分類器進(jìn)行訓(xùn)練；
[0013] 4)將訓(xùn)練后的各弱分類器集成為一強(qiáng)分類器，然后利用所述語(yǔ)音樣本測(cè)試集合中 語(yǔ)音樣本信號(hào)對(duì)該強(qiáng)分類器進(jìn)行測(cè)試；
[0014] 5)利用測(cè)試后的該強(qiáng)分類器對(duì)新語(yǔ)音信號(hào)進(jìn)行分類，識(shí)別出語(yǔ)音信號(hào)對(duì)應(yīng)的情感 類別。
[0015] 進(jìn)一步的，所述非線性特征值包括：語(yǔ)音信號(hào)多重分形譜的最大值、最小值、均值、 上四分位值、下四分位值、中值、方差，語(yǔ)音信號(hào)廣義hurst指數(shù)的最大值、最小值、均值、上 四分位值、下四分位值、中值、方差。
[0016] 進(jìn)一步的，采用多重分型理論及消除趨勢(shì)分析法提取所述非線性特征值。
[0017] 進(jìn)一步的，獲取所述非線性特征值的方法為：
[0018] 41)對(duì)語(yǔ)音訓(xùn)練樣本集合中的每一語(yǔ)音訓(xùn)練樣本構(gòu)造一語(yǔ)音信號(hào)累加序列；
[0019]

【權(quán)利要求】
1. 一種基于多重分形和信息融合的語(yǔ)音情感識(shí)別方法，其步驟為： 1) 從語(yǔ)音庫(kù)中提取語(yǔ)音樣本數(shù)據(jù)，建立一語(yǔ)音樣本訓(xùn)練集合和一語(yǔ)音樣本測(cè)試集合； 2) 利用所選非線性特征從所述語(yǔ)音樣本訓(xùn)練集合中提取用于語(yǔ)音情感識(shí)別的非線性 特征值；其中，所述非線性特征包括：語(yǔ)音信號(hào)多重分形譜，語(yǔ)音信號(hào)廣義hurst指數(shù)； 3) 對(duì)所述語(yǔ)音樣本訓(xùn)練集合進(jìn)行預(yù)處理，然后將所述非線性特征值作為各弱分類器的 輸入，對(duì)每一弱分類器進(jìn)行訓(xùn)練； 4) 將訓(xùn)練后的各弱分類器集成為一強(qiáng)分類器，然后利用所述語(yǔ)音樣本測(cè)試集合中語(yǔ)音 樣本信號(hào)對(duì)該強(qiáng)分類器進(jìn)行測(cè)試； 5) 利用測(cè)試后的該強(qiáng)分類器對(duì)新語(yǔ)音信號(hào)進(jìn)行分類，識(shí)別出語(yǔ)音信號(hào)對(duì)應(yīng)的情感類 別。
2. 如權(quán)利要求1所述的方法，其特征在于所述非線性特征值包括：語(yǔ)音信號(hào)多重分形 譜的最大值、最小值、均值、上四分位值、下四分位值、中值、方差，語(yǔ)音信號(hào)廣義hurst指數(shù) 的最大值、最小值、均值、上四分位值、下四分位值、中值、方差。
3. 如權(quán)利要求1或2所述的方法，其特征在于采用多重分型理論及消除趨勢(shì)分析法提 取所述非線性特征值。
4. 如權(quán)利要求3所述的方法，其特征在于獲取所述非線性特征值的方法為： 41) 對(duì)語(yǔ)音訓(xùn)練樣本集合中的每一語(yǔ)音訓(xùn)練樣本構(gòu)造一語(yǔ)音信號(hào)累加序列； 42) 對(duì)該語(yǔ)音信號(hào)累加序列按照從前到后和從后到前的順序劃分為2M個(gè)區(qū)間； 43) 對(duì)于每個(gè)區(qū)間的點(diǎn)，通過(guò)最小二乘法計(jì)算該語(yǔ)音信號(hào)累加序列的局部趨勢(shì)并提取 方差； 44) 對(duì)所有區(qū)間上的方差取平均值，得到一q階波動(dòng)函數(shù)； 45) 擬合每一階波動(dòng)函數(shù)的雙對(duì)數(shù)曲線的斜率，得到廣義hurst指數(shù)； 46) 根據(jù)該廣義hurst指數(shù)計(jì)算當(dāng)前語(yǔ)音訓(xùn)練樣本的語(yǔ)音情感信號(hào)的多重分形譜； 47) 分別提取多重分形譜和廣義hurst指數(shù)的最大值、最小值、均值、上四分位值、下四 分位值、中值、方差作為語(yǔ)音識(shí)別的非線性特征值。
5. 如權(quán)利要求1所述的方法，其特征在于采用adaboost方法對(duì)訓(xùn)練后的各弱分類器進(jìn) 行集成，得到所述強(qiáng)分類器。
6. 如權(quán)利要求5所述的方法，其特征在于通過(guò)adabosst信息融合的方法融合各弱分類 器，得到所述強(qiáng)分類器，其方法為： 61) 根據(jù)所述非線性特征值建立一樣本空間； 62) 從該樣本空間中找出m組訓(xùn)練數(shù)據(jù)，每組訓(xùn)練數(shù)據(jù)的權(quán)重初始化為Ι/m;然后用弱 學(xué)習(xí)算法對(duì)每一弱分類器分別迭代運(yùn)算T次，每次運(yùn)算后都按照預(yù)測(cè)結(jié)果更新訓(xùn)練數(shù)據(jù)權(quán) 重分布，對(duì)于預(yù)測(cè)失敗的訓(xùn)練樣本增大其權(quán)重； 63) 各弱分類器通過(guò)反復(fù)迭代，分別得到一個(gè)預(yù)測(cè)函數(shù)序列f\，f2,L，fT，每個(gè)預(yù)測(cè)函數(shù) 賦予一個(gè)權(quán)重，預(yù)測(cè)結(jié)果越好的函數(shù)，其對(duì)應(yīng)權(quán)重越大；T次迭代之后，將預(yù)測(cè)函數(shù)加權(quán)得 到一強(qiáng)預(yù)測(cè)函數(shù)，即所述強(qiáng)分類器。
7. 如權(quán)利要求6所述的方法，其特征在于每一次迭代運(yùn)算過(guò)程中，弱學(xué)習(xí)算法利用m組 訓(xùn)練數(shù)據(jù)訓(xùn)練每一弱分類器t，得到一預(yù)測(cè)序列g(shù)(Xi)的預(yù)測(cè)誤差et ;然后根據(jù)預(yù)測(cè)誤差et 計(jì)算該序列g(shù)(Xi)的權(quán)重〃,然后根據(jù)權(quán)重\調(diào)整下一輪訓(xùn)練樣本的權(quán)重； Z e言， 其中，Xi是訓(xùn)練數(shù)據(jù)，i代表訓(xùn)練數(shù)據(jù)時(shí)間序列的點(diǎn)。
8. 如權(quán)利要求7所述的方法，其特征在于采用公式 Ah(/+) = ^^exp(-"j'x(X,)) (/ =UA，)調(diào)整弱分類器t下一輪訓(xùn)練樣本的權(quán) 重；其中，gt(Xi)是弱分類器t的分類結(jié)果，Dt+1⑴是弱分類器t下一輪訓(xùn)練數(shù)據(jù)的權(quán)重，Dt (i)是弱分類器t當(dāng)前輪訓(xùn)練數(shù)據(jù)的權(quán)重，yi代表正確的分類結(jié)果。
9. 如權(quán)利要求1或5或6所述的方法，其特征在于所述弱分類器包括SVM和BP神經(jīng)網(wǎng) 絡(luò)。
10. 如權(quán)利要求9所述的方法，其特征在于采用交叉驗(yàn)證方法選擇SVM的最佳參數(shù)，并 使用一語(yǔ)音樣本測(cè)試集合檢測(cè)訓(xùn)練后的SVM神經(jīng)網(wǎng)絡(luò)語(yǔ)音情感分類器的正確率。
【文檔編號(hào)】G10L15/00GK104240720SQ201310252634
【公開日】2014年12月24日 申請(qǐng)日期:2013年6月24日 優(yōu)先權(quán)日:2013年6月24日
【發(fā)明者】劉宏, 張文娟 申請(qǐng)人:北京大學(xué)深圳研究生院