本申請(qǐng)涉及音頻技術(shù)領(lǐng)域，且更具體地，涉及一種音頻信號(hào)處理設(shè)備、音頻信號(hào)處理方法、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

無(wú)論是智能化的語(yǔ)音識(shí)別系統(tǒng)(例如，智能家電、機(jī)器人等)，還是傳統(tǒng)的語(yǔ)音通信系統(tǒng)(例如，會(huì)議系統(tǒng)、因特網(wǎng)協(xié)議傳送話音VoIP系統(tǒng)等)，都會(huì)遇到噪聲消除的問(wèn)題。

目前現(xiàn)有的噪聲消除技術(shù)是基于全向麥克風(fēng)陣列和波束形成算法的結(jié)合。全向麥克風(fēng)都具有全向拾音響應(yīng)，也就是能夠均等地響應(yīng)來(lái)自四面八方的聲音。多個(gè)全向麥克風(fēng)可以配置成陣列，形成定向響應(yīng)，以做到對(duì)于來(lái)自單角度的聲源進(jìn)行增強(qiáng)。

然而，全向麥克風(fēng)陣列在降噪處理中存在以下局限，即無(wú)法對(duì)聲源的類(lèi)型進(jìn)行區(qū)分，單純地利用空域算法消除噪聲，對(duì)一個(gè)聲源角度增強(qiáng)，對(duì)其余聲源角度進(jìn)行削弱，容易對(duì)關(guān)注信號(hào)造成損傷。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題，提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種音頻信號(hào)處理設(shè)備、音頻信號(hào)處理方法、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其可以利用指向麥克風(fēng)和攝像頭的雙重定位來(lái)實(shí)現(xiàn)聲源的精確分類(lèi)。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種音頻信號(hào)處理設(shè)備，包括：麥克風(fēng)陣列，包括具有不同拾音區(qū)的多個(gè)指向麥克風(fēng)，每個(gè)指向麥克風(fēng)用于在自身的拾音區(qū)內(nèi)采集分路輸入信號(hào)；音頻定位器件，用于根據(jù)所述分路輸入信號(hào)來(lái)識(shí)別第一組聲源并確定其中的每個(gè)聲源在所述麥克風(fēng)陣列所確定的音頻坐標(biāo)系下的位置；攝像頭，用于捕捉當(dāng)前場(chǎng)景的場(chǎng)景圖像，所述當(dāng)前場(chǎng)景至少覆蓋所述多個(gè)指向麥克風(fēng)的拾音區(qū)；圖像定位器件，用于在所述場(chǎng)景圖像中識(shí)別第二組聲源并確定其中的每個(gè)聲源在所述攝像頭所確定的圖像坐標(biāo)系下的位置；以及聲源分類(lèi)器，用于根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系、所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置、和所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。

根據(jù)本申請(qǐng)的另一方面，提供了一種音頻信號(hào)處理方法，包括：從麥克風(fēng)陣列中的每個(gè)指向麥克風(fēng)接收分路輸入信號(hào)，所述麥克風(fēng)陣列包括具有不同拾音區(qū)的多個(gè)指向麥克風(fēng)，每個(gè)指向麥克風(fēng)用于在自身的拾音區(qū)內(nèi)采集所述分路輸入信號(hào)；根據(jù)所述分路輸入信號(hào)來(lái)識(shí)別第一組聲源并確定其中的每個(gè)聲源在所述麥克風(fēng)陣列所確定的音頻坐標(biāo)系下的位置；從攝像頭接收當(dāng)前場(chǎng)景的場(chǎng)景圖像，所述當(dāng)前場(chǎng)景至少覆蓋所述多個(gè)指向麥克風(fēng)的拾音區(qū)；在所述場(chǎng)景圖像中識(shí)別第二組聲源并確定其中的每個(gè)聲源在所述攝像頭所確定的圖像坐標(biāo)系下的位置；以及根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系、所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置、和所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。

根據(jù)本申請(qǐng)的另一方面，提供了一種電子設(shè)備，包括：處理器；存儲(chǔ)器；以及存儲(chǔ)在所述存儲(chǔ)器中的計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被所述處理器運(yùn)行時(shí)使得所述處理器執(zhí)行上述的音頻信號(hào)處理方法。

根據(jù)本申請(qǐng)的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行上述的音頻信號(hào)處理方法。

根據(jù)本申請(qǐng)的另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行上述的音頻信號(hào)處理方法。

與現(xiàn)有技術(shù)相比，采用根據(jù)本申請(qǐng)實(shí)施例的音頻信號(hào)處理設(shè)備、音頻信號(hào)處理方法、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可以根據(jù)麥克風(fēng)陣列中的每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)來(lái)識(shí)別第一組聲源并確定其中的每個(gè)聲源在所述麥克風(fēng)陣列所確定的音頻坐標(biāo)系下的位置，在攝像頭所采集的場(chǎng)景圖像中識(shí)別第二組聲源并確定其中的每個(gè)聲源在所述攝像頭所確定的圖像坐標(biāo)系下的位置，并且根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系、所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置、和所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。因此，可以利用指向麥克風(fēng)和攝像頭的雙重定位來(lái)實(shí)現(xiàn)聲源的精確分類(lèi)。

附圖說(shuō)明

通過(guò)結(jié)合附圖對(duì)本申請(qǐng)實(shí)施例進(jìn)行更詳細(xì)的描述，本申請(qǐng)的上述以及其他目的、特征和優(yōu)勢(shì)將變得更加明顯。附圖用來(lái)提供對(duì)本申請(qǐng)實(shí)施例的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本申請(qǐng)實(shí)施例一起用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的限制。在附圖中，相同的參考標(biāo)號(hào)通常代表相同部件或步驟。

圖1圖示了根據(jù)本申請(qǐng)第一實(shí)施例的音頻信號(hào)處理設(shè)備的結(jié)構(gòu)示意圖。

圖2圖示了根據(jù)本申請(qǐng)實(shí)施例的麥克風(fēng)陣列的結(jié)構(gòu)示意圖。

圖3圖示了根據(jù)本申請(qǐng)實(shí)施例的音頻定位器件的結(jié)構(gòu)示意圖。

圖4圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源分類(lèi)器的結(jié)構(gòu)示意圖。

圖5圖示了根據(jù)本申請(qǐng)第二實(shí)施例的音頻信號(hào)處理設(shè)備的結(jié)構(gòu)示意圖。

圖6圖示了根據(jù)本申請(qǐng)實(shí)施例的增益控制器件的結(jié)構(gòu)示意圖。

圖7圖示了根據(jù)本申請(qǐng)實(shí)施例的麥克風(fēng)陣列和聲源的示例位置關(guān)系示意圖。

圖8圖示了根據(jù)本申請(qǐng)實(shí)施例的音頻信號(hào)處理方法的流程示意圖。

圖9圖示了根據(jù)本申請(qǐng)實(shí)施例的電子設(shè)備的框圖。

具體實(shí)施方式

下面，將參考附圖詳細(xì)地描述根據(jù)本申請(qǐng)的示例實(shí)施例。顯然，所描述的實(shí)施例僅僅是本申請(qǐng)的一部分實(shí)施例，而不是本申請(qǐng)的全部實(shí)施例，應(yīng)理解，本申請(qǐng)不受這里描述的示例實(shí)施例的限制。

申請(qǐng)概述

如上所述，傳統(tǒng)的全向麥克風(fēng)陣列結(jié)合波束形成算法的噪聲消除方案無(wú)法區(qū)分聲源的類(lèi)型，單純地利用空域算法進(jìn)行處理，對(duì)一個(gè)聲源角度增強(qiáng)，對(duì)其余聲源角度進(jìn)行削弱，容易對(duì)關(guān)注信號(hào)造成損傷。

針對(duì)該技術(shù)問(wèn)題，本申請(qǐng)的基本構(gòu)思是提出一種音頻信號(hào)處理設(shè)備、音頻信號(hào)處理方法、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其可以利用攝像頭和指向麥克風(fēng)陣列組成的定位系統(tǒng)對(duì)各個(gè)聲源進(jìn)行精準(zhǔn)定位，確定聲源的類(lèi)型是否屬于真實(shí)信號(hào)源、潛在信號(hào)源、噪聲源等，以便后續(xù)根據(jù)聲源的類(lèi)型來(lái)對(duì)它們進(jìn)行標(biāo)記，并繼而對(duì)真實(shí)信號(hào)源進(jìn)行增強(qiáng)、對(duì)噪聲源進(jìn)行削弱、對(duì)潛在信號(hào)源保持以最小能量進(jìn)行監(jiān)聽(tīng)等。

在介紹了本申請(qǐng)的基本原理之后，下面將參考附圖來(lái)具體介紹本申請(qǐng)的各種非限制性實(shí)施例。

示例性音頻信號(hào)處理設(shè)備

圖1圖示了根據(jù)本申請(qǐng)第一實(shí)施例的音頻信號(hào)處理設(shè)備的結(jié)構(gòu)示意圖。

如圖1所示，根據(jù)本申請(qǐng)實(shí)施例的音頻信號(hào)處理設(shè)備100包括：麥克風(fēng)陣列110、音頻定位器件120、攝像頭130、圖像定位器件140、和聲源分類(lèi)器150。

在一個(gè)實(shí)施例中，麥克風(fēng)陣列110可以包括具有不同拾音區(qū)的多個(gè)指向麥克風(fēng)，每個(gè)指向麥克風(fēng)用于在自身的拾音區(qū)內(nèi)采集分路輸入信號(hào)。

例如，麥克風(fēng)陣列110是由一定數(shù)目的麥克風(fēng)組成、用來(lái)對(duì)聲場(chǎng)的空間特性進(jìn)行采樣并處理的系統(tǒng)。麥克風(fēng)的指向性是麥克風(fēng)對(duì)來(lái)自空間各個(gè)方向聲音靈感度模式的一個(gè)描述，是它的一個(gè)重要屬性。根據(jù)指向性不同，麥克風(fēng)可以分為：全向麥克風(fēng)和指向麥克風(fēng)。全向麥克風(fēng)對(duì)于來(lái)自不同角度的聲音，其靈敏度是基本相同的，其頭部采用壓力感應(yīng)的原理設(shè)計(jì)，振膜只接受來(lái)自外界的壓力。指向麥克風(fēng)主要采用壓力梯度的原理設(shè)計(jì)，通過(guò)頭部腔體后面的小孔，振膜接受到正反兩面的壓力，因此振膜受不同方向的壓力并不相同，麥克風(fēng)具有了指向性。指向麥克風(fēng)陣列相比于全向麥克風(fēng)陣列，是利用麥克風(fēng)本身的特性、而不引入空域算法的形式，其對(duì)于語(yǔ)音的損傷更小。

例如，取決于各個(gè)麥克風(fēng)的相對(duì)位置關(guān)系，麥克風(fēng)陣列110可以分為：線性陣列，其陣元中心位于同一條直線上；平面陣列，其陣元中心分布在一個(gè)平面上；以及空間陣列，其陣元中心分布在立體空間中。

例如，麥克風(fēng)陣列110可以包括具有不同拾音區(qū)的多個(gè)指向麥克風(fēng)MIC1到MICn，其中n是大于等于2的自然數(shù)。下面，將在一個(gè)示例中以平面陣列為例對(duì)麥克風(fēng)陣列進(jìn)行描述。

圖2圖示了根據(jù)本申請(qǐng)實(shí)施例的麥克風(fēng)陣列的結(jié)構(gòu)示意圖。

如圖2所示，例如，在音頻信號(hào)處理設(shè)備100上裝備有一平面型的麥克風(fēng)陣列110，所述麥克風(fēng)陣列110包括具有同一中心點(diǎn)且呈現(xiàn)中心對(duì)稱的8個(gè)指向麥克風(fēng)MIC1到MIC8。所述8個(gè)指向麥克風(fēng)并聯(lián)后用于在自身的拾音區(qū)內(nèi)采集分路輸入信號(hào)。

具體地，指向麥克風(fēng)MIC1到MIC8設(shè)置在同一平面，各指向麥克風(fēng)之間的距離根據(jù)實(shí)際需求和所采用的算法設(shè)置。相鄰的指向麥克風(fēng)在二維平面圍繞中心點(diǎn)均勻分布，相互之間呈45°角。如圖2所示，假設(shè)MIC1位于音頻信號(hào)處理設(shè)備100的基準(zhǔn)方向，即0°方向，則MIC2位于45°方向，MIC3位于90°方向，MIC4位于135°方向，MIC5位于180°方向，MIC6位于225°方向，MIC7位于270方向，MIC8位于315°方向。

當(dāng)然，本申請(qǐng)不限于此。在其他實(shí)施例中，麥克風(fēng)陣列也可以是其他平面陣列，也可以是線性陣列或空間立體陣列等。麥克風(fēng)陣列中的各個(gè)指向麥克風(fēng)可根據(jù)實(shí)際需求設(shè)置在同一平面或不同平面，可根據(jù)實(shí)際需求設(shè)置成圍繞中心點(diǎn)均勻分布以獲取盡可能大的采集定位范圍，或設(shè)置成非均勻分布以重點(diǎn)對(duì)某些方向的聲源進(jìn)行采集。并且，所述指向麥克風(fēng)也可以是以單獨(dú)、成組等非成對(duì)方式設(shè)置的。

MIC1到MIC8可以分別具有朝向自己正前方的拾音區(qū)，即分別朝向0°方向、45°方向、90°方向、135°方向、180°方向、225°方向、270方向和315°方向的拾音區(qū)。為了避免出現(xiàn)信號(hào)的漏檢，相鄰的拾音區(qū)可以具有重疊區(qū)域。MIC1到MIC8中的每個(gè)可以在自身的拾音區(qū)內(nèi)采集各自的分路輸入信號(hào)。當(dāng)正在輸出關(guān)注信號(hào)的信號(hào)源處于其拾音區(qū)內(nèi)時(shí)，該分路輸入信號(hào)包括來(lái)自信號(hào)源的關(guān)注信號(hào)分量；當(dāng)正在輸出噪聲信號(hào)的噪聲源處于其拾音區(qū)內(nèi)時(shí)，該分路輸入信號(hào)包括來(lái)自所述噪聲源的噪聲信號(hào)分量；當(dāng)該信號(hào)源和該噪聲源同時(shí)處于其拾音區(qū)內(nèi)時(shí)，該分路輸入信號(hào)包括來(lái)自信號(hào)源的關(guān)注信號(hào)分量和來(lái)自所述噪聲源的噪聲信號(hào)分量?jī)烧?；?dāng)該信號(hào)源和該噪聲源均未處于其拾音區(qū)內(nèi)時(shí)，該分路輸入信號(hào)為零。

在一個(gè)實(shí)施例中，音頻定位器件120可以用于根據(jù)所述分路輸入信號(hào)來(lái)識(shí)別第一組聲源并確定其中的每個(gè)聲源在所述麥克風(fēng)陣列所確定的音頻坐標(biāo)系下的位置。

圖3圖示了根據(jù)本申請(qǐng)實(shí)施例的音頻定位器件的結(jié)構(gòu)示意圖。

如圖3所示，所述音頻定位器件120可以包括：信號(hào)分離單元121，用于從每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)中分離不同聲源的音頻信號(hào)分量并確定所述第一組聲源；以及聲音識(shí)別單元122，用于針對(duì)所述第一組聲源中的每個(gè)聲源，根據(jù)從至少兩路分路輸入信號(hào)中分離出的所述聲源的音頻信號(hào)分量的相位來(lái)確定所述聲源在所述音頻坐標(biāo)系下的位置。

這里，術(shù)語(yǔ)“位置”更加關(guān)注聲源相對(duì)于所述音頻坐標(biāo)系的基準(zhǔn)方向(例如，圖2中的0°方向)的夾角。

例如，信號(hào)分離單元121可以從每路分路輸入信號(hào)中分離來(lái)自不同聲源的音頻信號(hào)分量，從而確定出第一組聲源中包括幾個(gè)聲源。

在一個(gè)示例中，信號(hào)分離單元121可以基于聲源的頻率特性來(lái)分離其音頻信號(hào)分量。例如，在智能化電子設(shè)備(例如，智能家電、機(jī)器人等)的語(yǔ)音識(shí)別場(chǎng)景下，信號(hào)源可以是與電子設(shè)備進(jìn)行交互的用戶，噪聲源可以是周?chē)母哳l噪聲。由于用戶的語(yǔ)音與高頻噪聲處于不同的頻段，所以信號(hào)分離單元121可以在頻域上根據(jù)不同的頻段來(lái)對(duì)麥克風(fēng)所采集的分路輸入信號(hào)進(jìn)行劃分，以區(qū)分來(lái)自不同聲源的音頻信號(hào)分量。

在另一示例中，信號(hào)分離單元121也可以基于聲源的內(nèi)容特性來(lái)分離其音頻信號(hào)分量。例如，噪聲源可以是在當(dāng)前電子設(shè)備中裝備的揚(yáng)聲器產(chǎn)生的回聲。由于可以已知揚(yáng)聲器當(dāng)前正在播放的聲音信號(hào)，所以信號(hào)分離單元可以在時(shí)域和/或頻域上從麥克風(fēng)所采集的分路輸入信號(hào)中分離該聲音信號(hào)分量(相當(dāng)于回聲信號(hào)分量)和來(lái)自信號(hào)源的關(guān)注信號(hào)分量。

在又一示例中，信號(hào)分離單元121也可以基于聲源的發(fā)聲特性來(lái)分離其音頻信號(hào)分量。例如，信號(hào)源也可以是多個(gè)正在說(shuō)話的用戶。由于不同用戶的發(fā)聲規(guī)律、發(fā)聲方式顯著不同，所以信號(hào)分離單元121可以基于聲紋識(shí)別等算法來(lái)實(shí)現(xiàn)上述分離操作。

然后，聲音識(shí)別單元122可以針對(duì)所述第一組聲源中的每個(gè)聲源，基于至少兩路分離出來(lái)的來(lái)自所述聲源的音頻信號(hào)分量，利用現(xiàn)有的、或者將來(lái)開(kāi)發(fā)的聲源定位方法來(lái)直接得到信號(hào)源與麥克風(fēng)陣列的基準(zhǔn)方向(即，0°方向)之間的夾角。

例如，聲源識(shí)別單元122可以根據(jù)每個(gè)聲源的音頻信號(hào)分量到達(dá)麥克風(fēng)陣列中不同麥克風(fēng)的時(shí)間差來(lái)計(jì)算角度信息，從而確定識(shí)別到的該聲源在音頻坐標(biāo)系中的位置。

需要說(shuō)明的是，發(fā)出關(guān)注信號(hào)的信號(hào)源并不限于用戶，而也可以是其他任何可能的聲音來(lái)源，例如，電視、車(chē)輛、動(dòng)物等；而發(fā)出噪聲信號(hào)的噪聲源也不限于上述說(shuō)明的示例，也可以是其他任何可能的聲音來(lái)源。

在一個(gè)實(shí)施例中，攝像頭130可以用于捕捉當(dāng)前場(chǎng)景的場(chǎng)景圖像，所述當(dāng)前場(chǎng)景至少覆蓋所述多個(gè)指向麥克風(fēng)的拾音區(qū)。

例如，該攝像頭130可以用于捕捉當(dāng)前場(chǎng)景(例如，其至少覆蓋所有指向麥克風(fēng)的拾音區(qū))的場(chǎng)景圖像，其可以是單獨(dú)的攝像頭130或攝像頭130陣列。例如，攝像頭130所采集到的場(chǎng)景圖像可以是單幀圖像、連續(xù)圖像幀序列(即，視頻流)或離散圖像幀序列(即，在預(yù)定采樣時(shí)間點(diǎn)采樣到的圖像數(shù)據(jù)組)等。例如，該攝像頭130可以是如單目相機(jī)、雙目相機(jī)、多目相機(jī)等，另外，其可以用于捕捉灰度圖，也可以捕捉帶有顏色信息的彩色圖。當(dāng)然，本領(lǐng)域中已知的以及將來(lái)可能出現(xiàn)的任何其他類(lèi)型的相機(jī)都可以應(yīng)用于本申請(qǐng)，本申請(qǐng)對(duì)其捕捉圖像的方式?jīng)]有特別限制，只要能夠獲得輸入圖像的灰度或顏色信息即可。為了減小后續(xù)操作中的計(jì)算量，在一個(gè)實(shí)施例中，可以在進(jìn)行分析和處理之前，將彩色圖進(jìn)行灰度化處理。

在一個(gè)實(shí)施例中，圖像定位器件140可以用于在所述場(chǎng)景圖像中識(shí)別第二組聲源并確定其中的每個(gè)聲源在所述攝像頭所確定的圖像坐標(biāo)系下的位置。

這里，術(shù)語(yǔ)“位置”可以更加關(guān)注聲源相對(duì)于所述圖像坐標(biāo)系的基準(zhǔn)方向的夾角，也可以同時(shí)關(guān)注該聲源相對(duì)于圖像坐標(biāo)系的基準(zhǔn)位置的距離。

例如，圖像定位器件140可以不斷分析和處理攝像頭130捕捉的圖像幀，以識(shí)別其中的信號(hào)源。例如，在智能化電子設(shè)備(例如，智能家電、機(jī)器人等)的語(yǔ)音識(shí)別場(chǎng)景下，信號(hào)源可以是與電子設(shè)備進(jìn)行交互的用戶。這時(shí)，信號(hào)源的識(shí)別可以基于人體識(shí)別、人臉識(shí)別、口部識(shí)別等算法來(lái)實(shí)現(xiàn)。例如，簡(jiǎn)單地，可以在識(shí)別出在當(dāng)前場(chǎng)景中存在用戶的情況下，即判斷識(shí)別出作為信號(hào)源的用戶；更精確地，也可以在識(shí)別到在當(dāng)前場(chǎng)景中存在用戶并且用戶的嘴唇在開(kāi)合的情況下，判斷識(shí)別出作為信號(hào)源的用戶。

需要說(shuō)明的是，發(fā)出關(guān)注信號(hào)的信號(hào)源并不限于用戶，而可以是其他任何可能的聲音來(lái)源，例如，電視、車(chē)輛、動(dòng)物等。相應(yīng)地，信號(hào)源的識(shí)別算法也可以對(duì)應(yīng)地調(diào)整為電視識(shí)別、車(chē)輛識(shí)別、動(dòng)物識(shí)別等識(shí)別算法。

然后，所述圖像定位器件140根據(jù)所述信號(hào)源在所述場(chǎng)景圖像中的位置來(lái)確定所述信號(hào)源與所述攝像頭確定的基準(zhǔn)位置之間的相對(duì)位置。

例如，圖像定位器件140可以根據(jù)人臉信息鎖定用戶在圖像坐標(biāo)系下的位置坐標(biāo)或者角度信息，從而確定識(shí)別到的信號(hào)源(例如，用戶或用戶口部)在圖像坐標(biāo)系中的位置。

在一個(gè)實(shí)施例中，聲源分類(lèi)器150可以用于根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系、所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置、和所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。

圖4圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源分類(lèi)器的結(jié)構(gòu)示意圖。

如圖4所示，所述聲源分類(lèi)器150可以包括：映射單元151，用于根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系來(lái)將所述第一組聲源中每個(gè)聲源的位置和所述第二組聲源中每個(gè)聲源的位置映射到同一坐標(biāo)系下，所述同一坐標(biāo)系為所述音頻坐標(biāo)系和所述圖像坐標(biāo)系之一；對(duì)比單元152，用于對(duì)比所述第一組聲源和所述第二組聲源中每個(gè)聲源在所述同一坐標(biāo)系下的相對(duì)位置關(guān)系；以及分類(lèi)單元153，用于根據(jù)所述相對(duì)位置關(guān)系來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。

例如，映射單元151可以獲取事先校準(zhǔn)好的攝像頭130的基準(zhǔn)方向與麥克風(fēng)陣列110的基準(zhǔn)方向之間的映射關(guān)系。例如，該映射關(guān)系由攝像頭的外參矩陣和麥克風(fēng)陣列的陣列結(jié)構(gòu)共同決定，并且可以通過(guò)配置將兩個(gè)基準(zhǔn)方向統(tǒng)一標(biāo)定。然后，映射單元151可以將所述第一組聲源和所述第二組聲源中每個(gè)聲源的位置統(tǒng)一到同一坐標(biāo)系下。例如，可以根據(jù)該映射關(guān)系，將所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置轉(zhuǎn)換到所述圖像坐標(biāo)系下，或者將所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置轉(zhuǎn)換到所述音頻坐標(biāo)系下。接下來(lái)，對(duì)比單元152可以將麥克風(fēng)陣列獲取的角度信息與攝像頭獲取的角度信息進(jìn)行核對(duì)，以便分類(lèi)單元153根據(jù)核對(duì)的結(jié)果對(duì)所有聲源進(jìn)行分類(lèi)。

在一個(gè)示例中，所述分類(lèi)單元153可以執(zhí)行以下操作：響應(yīng)于位于所述同一坐標(biāo)系下某一位置處的聲源同時(shí)存在于所述第一組聲源和所述第二組聲源中，將所述聲源標(biāo)記為正在輸出關(guān)注信號(hào)的真實(shí)信號(hào)源；以及響應(yīng)于位于所述同一坐標(biāo)系下某一位置處的聲源僅僅存在于所述第一組聲源中，將所述聲源標(biāo)記為正在輸出噪聲信號(hào)的噪聲源。進(jìn)一步地，所述分類(lèi)單元還可以執(zhí)行以下操作：響應(yīng)于位于所述同一坐標(biāo)系下某一位置處的聲源僅僅存在于所述第二組聲源中，將所述聲源標(biāo)記為當(dāng)前未輸出音頻信號(hào)的潛在信號(hào)源。

例如，處于一個(gè)位置(角度)的聲源被麥克風(fēng)陣列和攝像頭同時(shí)檢測(cè)到的，可以將該聲源分類(lèi)為正在輸出關(guān)注信號(hào)的真實(shí)信號(hào)源；如果攝像頭檢測(cè)到、但麥克風(fēng)陣列沒(méi)有檢測(cè)到，可以將該聲源分類(lèi)為尚未輸出關(guān)注信號(hào)的潛在信號(hào)源；如果麥克風(fēng)陣列檢測(cè)到、但攝像頭沒(méi)有檢測(cè)到，可以將該聲源分類(lèi)為正在輸出噪聲信號(hào)的噪聲源。

由此可見(jiàn)，采用根據(jù)本申請(qǐng)第一實(shí)施例的音頻信號(hào)處理設(shè)備，可以根據(jù)麥克風(fēng)陣列中的每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)來(lái)識(shí)別第一組聲源并確定其中的每個(gè)聲源在所述麥克風(fēng)陣列所確定的音頻坐標(biāo)系下的位置，在攝像頭所采集的場(chǎng)景圖像中識(shí)別第二組聲源并確定其中的每個(gè)聲源在所述攝像頭所確定的圖像坐標(biāo)系下的位置，并且根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系、所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置、和所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。因此，可以利用指向麥克風(fēng)和攝像頭的雙重定位來(lái)實(shí)現(xiàn)聲源的精確分類(lèi)。

需要說(shuō)明的是，盡管上面僅僅描述了對(duì)信號(hào)源進(jìn)行音頻和圖像的雙重定位，但是本申請(qǐng)不限于此。例如，在已知噪聲源的外形特征的情況下，同樣也可以對(duì)噪聲源進(jìn)行圖像識(shí)別和定位，以用于后續(xù)的分類(lèi)操作，從而將其進(jìn)一步劃分為潛在噪聲源和真實(shí)噪聲源。

在本申請(qǐng)的第二實(shí)施例中，可以進(jìn)一步利用聲源分類(lèi)的結(jié)果來(lái)實(shí)現(xiàn)無(wú)損的關(guān)注信號(hào)增強(qiáng)和噪聲信號(hào)抑制。

圖5圖示了根據(jù)本申請(qǐng)第二實(shí)施例的音頻信號(hào)處理設(shè)備的結(jié)構(gòu)示意圖。

在圖5中，采用了相同的附圖標(biāo)記來(lái)指示與圖1相同的部件。因此，圖5中的麥克風(fēng)陣列110、音頻定位器件120、攝像頭130、圖像定位器件140、和聲源分類(lèi)器150與圖1中相同，并因而，在此省略其詳細(xì)描述。圖5與圖1的不同之處在于，該音頻信號(hào)處理設(shè)備100還包括：復(fù)用器160和增益控制器件170。

在一個(gè)實(shí)施例中，復(fù)用器160用于將每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)合并為總輸入信號(hào)，所述分路輸入信號(hào)包括來(lái)自真實(shí)信號(hào)源的關(guān)注信號(hào)分量和來(lái)自噪聲源的噪聲信號(hào)分量。

例如，該復(fù)用器簡(jiǎn)單地可以是加法器，用于將各路分路輸入信號(hào)在時(shí)域上對(duì)齊并且疊加為一路總輸入信號(hào)。替換地，該復(fù)用器也可以是加權(quán)加法器，用于通過(guò)在疊加的過(guò)程中向不同的分路輸入信號(hào)施加不同的權(quán)重，以使得關(guān)注的分路輸入信號(hào)在總輸入信號(hào)中具有更高的峰值。

在一個(gè)實(shí)施例中，增益控制器件170用于根據(jù)每個(gè)聲源的類(lèi)型及其在所述音頻坐標(biāo)系下的位置來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。

圖6圖示了根據(jù)本申請(qǐng)實(shí)施例的增益控制器件的結(jié)構(gòu)示意圖。

如圖6所示，所述增益控制器件170可以包括：比較單元171，用于比較所述真實(shí)信號(hào)源和所述噪聲源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的位置關(guān)系；以及增益調(diào)整單元172，用于根據(jù)所述位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。

例如，該比較單元171簡(jiǎn)單地可以是比較器，在由麥克風(fēng)陣列110、音頻定位器件120、攝像頭130、圖像定位器件140構(gòu)成的聲源定位器件檢測(cè)到真實(shí)信號(hào)源與麥克風(fēng)陣列的基準(zhǔn)方向(即，0°方向)之間的夾角和噪聲源與麥克風(fēng)陣列的基準(zhǔn)方向(即，0°方向)之間的夾角之后，確定真實(shí)信號(hào)源和噪聲源分別位于哪一個(gè)或多個(gè)指向麥克風(fēng)的拾音區(qū)內(nèi)。

例如，該增益調(diào)整單元172可以是模擬放大器和數(shù)字放大器中的一個(gè)或兩者，用于基于上述位置關(guān)系來(lái)生成每個(gè)指向麥克風(fēng)的增益因子，并且根據(jù)所述增益因子對(duì)每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)進(jìn)行放大或縮小，以在增強(qiáng)關(guān)注信號(hào)功率(例如，來(lái)自用戶的語(yǔ)音信號(hào))的同時(shí)，抑制噪聲信號(hào)功率。例如，該增益調(diào)整單元172可以基于最大信噪比原則、最小可喚醒能量原則、最大能量不失真原則來(lái)執(zhí)行增益調(diào)整。該最大信噪比原則是指將真實(shí)信號(hào)源角度信號(hào)增益控制為最大，并且將噪聲源角度信號(hào)增益控制為最小。該最小可喚醒能量原則是指將潛在信號(hào)源角度信號(hào)增益配置為確保一旦該潛在信號(hào)源轉(zhuǎn)換為真實(shí)信號(hào)源則可以立刻拾取其關(guān)注信號(hào)的監(jiān)聽(tīng)狀態(tài)，可選地，還可以進(jìn)一步是指將除了真實(shí)信號(hào)源角度和噪聲源角度之外的信號(hào)增益配置為上述監(jiān)聽(tīng)狀態(tài)，以在功耗和靈敏度之間取得權(quán)衡。該最大能量不失真原則是指使得從每個(gè)真實(shí)信號(hào)源角度接收到的信號(hào)都不會(huì)出現(xiàn)失真。

下面，在幾個(gè)具體的場(chǎng)景中描述該增益調(diào)整過(guò)程。

在第一場(chǎng)景中，假設(shè)存在正在輸出關(guān)注信號(hào)的一個(gè)或多個(gè)真實(shí)信號(hào)源且不存在正在輸出噪聲信號(hào)的噪聲源。

這時(shí)，該比較單元171可以用于比較所述一個(gè)或多個(gè)真實(shí)信號(hào)源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第一位置關(guān)系。該增益調(diào)整單元172可以用于根據(jù)所述第一位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率最大。

例如，所述增益調(diào)整單元172可以增大所述一個(gè)或多個(gè)真實(shí)信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率最大且沒(méi)有任何一個(gè)關(guān)注信號(hào)分量發(fā)生失真。

在多個(gè)真實(shí)信號(hào)源的情況下，所述增益調(diào)整單元172可以根據(jù)一個(gè)或多個(gè)真實(shí)信號(hào)源在所述圖像坐標(biāo)系下的位置和來(lái)自每個(gè)真實(shí)信號(hào)源的關(guān)注信號(hào)分量的幅度大小來(lái)將所述一個(gè)或多個(gè)指向麥克風(fēng)的增益增大為不同值。這樣，可以確保來(lái)自所有的真實(shí)信號(hào)源的關(guān)注信號(hào)都可以被清晰且均衡地輸入到本設(shè)備中。

假設(shè)在該第一場(chǎng)景中，還存在當(dāng)前未輸出關(guān)注信號(hào)的一個(gè)或多個(gè)潛在信號(hào)源。所述比較單元171比較所述一個(gè)或多個(gè)潛在信號(hào)源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第三位置關(guān)系，并且所述增益調(diào)整單元172根據(jù)所述第三位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得所述麥克風(fēng)陣列的功耗最小、但又能夠隨時(shí)從所述潛在信號(hào)源采集音頻信號(hào)分量。

例如，所述增益調(diào)整單元172可以簡(jiǎn)單地將所述一個(gè)或多個(gè)潛在信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益減小為一個(gè)預(yù)定值，以滿足最小能量要求Emin，從而在功率節(jié)省和實(shí)時(shí)檢測(cè)之間取得權(quán)衡。

替換地，所述增益調(diào)整單元172還可以將所述一個(gè)或多個(gè)潛在信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益設(shè)置為估計(jì)值，所述估計(jì)值是根據(jù)所述一個(gè)或多個(gè)潛在信號(hào)源在所述圖像坐標(biāo)系下的位置來(lái)確定的。例如，在多個(gè)潛在信號(hào)源的情況下，可以為朝向距離麥克風(fēng)陣列較遠(yuǎn)的潛在信號(hào)源的指向麥克風(fēng)設(shè)置為較大的增益，而為朝向距離麥克風(fēng)陣列較近的潛在信號(hào)源的指向麥克風(fēng)設(shè)置為較小的增益。

更進(jìn)一步地，所述增益調(diào)整單元172還可以減小所述麥克風(fēng)陣列中除了上述一個(gè)或多個(gè)指向麥克風(fēng)的其他麥克風(fēng)的增益，以降低從潛在噪聲源接收到噪聲分量的可能性。例如，可以將其他麥克風(fēng)的增益減小為0，即禁用相應(yīng)麥克風(fēng)，以減小噪聲輸入并節(jié)省功率。替換地，可以將其他麥克風(fēng)的增益減小為一個(gè)預(yù)定值，以滿足最小能量要求Emin，從而在功率節(jié)省和實(shí)時(shí)檢測(cè)之間取得權(quán)衡。

在第二場(chǎng)景中，假設(shè)不存在正在輸出關(guān)注信號(hào)的真實(shí)信號(hào)源且存在正在輸出噪聲信號(hào)的一個(gè)或多個(gè)噪聲源。

這時(shí)，該比較單元171可以用于比較所述一個(gè)或多個(gè)噪聲源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第二位置關(guān)系。該增益調(diào)整單元172可以用于根據(jù)所述第二位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)噪聲源接收到的噪聲信號(hào)分量的功率最小。

例如，所述增益調(diào)整單元172可以減小所述一個(gè)或多個(gè)噪聲源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益。例如，可以將所述一個(gè)或多個(gè)麥克風(fēng)的增益減小為0，以保證噪聲信號(hào)所產(chǎn)生的干擾最小。當(dāng)然，為了防止在場(chǎng)景中突然出現(xiàn)真實(shí)信號(hào)源，也可以將所述麥克風(fēng)的增益減小為一個(gè)預(yù)定值，例如Emin。

與第一場(chǎng)景中類(lèi)似地，假設(shè)在該第二場(chǎng)景中，還存在當(dāng)前未輸出關(guān)注信號(hào)的一個(gè)或多個(gè)潛在信號(hào)源。所述增益調(diào)整單元172可以將所述一個(gè)或多個(gè)潛在信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益減小為一個(gè)預(yù)定值或估計(jì)值。更進(jìn)一步地，所述增益調(diào)整單元172還可以減小所述麥克風(fēng)陣列中除了上述一個(gè)或多個(gè)指向麥克風(fēng)的其他麥克風(fēng)的增益，以降低從潛在噪聲源接收到噪聲分量的可能性。

在第三場(chǎng)景中，假設(shè)同時(shí)存在正在輸出關(guān)注信號(hào)的一個(gè)或多個(gè)真實(shí)信號(hào)源和正在輸出噪聲信號(hào)的一個(gè)或多個(gè)噪聲源。本場(chǎng)景是第一場(chǎng)景與第二場(chǎng)景的結(jié)合。

這時(shí)，該比較單元171可以用于比較所述一個(gè)或多個(gè)真實(shí)信號(hào)源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第一位置關(guān)系和所述一個(gè)或多個(gè)噪聲源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第二位置關(guān)系。該增益調(diào)整單元172用于根據(jù)所述第一位置關(guān)系和所述第二位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述一個(gè)或多個(gè)噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。

例如，所述增益調(diào)整單元172可以生成每個(gè)指向麥克風(fēng)的第一組增益，其中，所述一個(gè)或多個(gè)真實(shí)信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益被增大，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率最大。然后，所述增益調(diào)整單元172可以生成每個(gè)指向麥克風(fēng)的第二組增益，其中，所述一個(gè)或多個(gè)噪聲源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益被減小，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)噪聲源接收到的噪聲信號(hào)分量的功率最小。接下來(lái)，所述增益調(diào)整單元172可以生成用于第一組增益的第一組權(quán)重和用于第二組增益的第二組權(quán)重，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述一個(gè)或多個(gè)噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。最后，所述增益調(diào)整單元172可以使用所述第一組增益、所述第一組權(quán)重、所述第二組增益、和所述第二組權(quán)重來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益。

與前兩個(gè)場(chǎng)景中類(lèi)似地，假設(shè)在該第三場(chǎng)景中，還存在當(dāng)前未輸出關(guān)注信號(hào)的一個(gè)或多個(gè)潛在信號(hào)源。所述增益調(diào)整單元172可以將所述一個(gè)或多個(gè)潛在信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益減小為一個(gè)預(yù)定值或估計(jì)值。更進(jìn)一步地，所述增益調(diào)整單元172還可以減小所述麥克風(fēng)陣列中除了上述一個(gè)或多個(gè)指向麥克風(fēng)的其他麥克風(fēng)的增益，以降低從潛在噪聲源接收到噪聲分量的可能性。

下面，將參考圖7來(lái)在一個(gè)具體示例中描述上述不同場(chǎng)景中的該增益調(diào)整過(guò)程。

圖7圖示了根據(jù)本申請(qǐng)實(shí)施例的麥克風(fēng)陣列和聲源的示例位置關(guān)系示意圖。

如圖7所示，在音頻信號(hào)處理設(shè)備100中包括麥克風(fēng)陣列110。所述麥克風(fēng)陣列110包括具有同一中心點(diǎn)且呈現(xiàn)中心對(duì)稱的4個(gè)指向麥克風(fēng)MIC1到MIC4。假設(shè)MIC1位于音頻信號(hào)處理設(shè)備100的基準(zhǔn)方向，即0°方向，則MIC2位于90°方向，MIC3位于180°方向，MIC4位于270方向。假設(shè)在該應(yīng)用場(chǎng)景中包括：一個(gè)真實(shí)信號(hào)源(與智能化電子設(shè)備進(jìn)行交互的用戶)，位于麥克風(fēng)陣列的基準(zhǔn)方向(即，0°方向)的135°方向；一個(gè)噪聲源，位于該基準(zhǔn)方向的45°方向；兩個(gè)潛在信號(hào)源1和2，潛在信號(hào)源1位于該基準(zhǔn)方向的315°方向且距離較近；潛在信號(hào)源2位于該基準(zhǔn)方向的225°方向且距離較遠(yuǎn)。

例如，攝像頭可以獲取圖像中所有的人臉信息，并根據(jù)人臉信息鎖定用戶在攝像頭的坐標(biāo)系中的位置坐標(biāo)(或角度信息)。麥克風(fēng)陣列通過(guò)獲取聲音，通過(guò)聲音到達(dá)的延遲也可以計(jì)算聲音傳輸?shù)慕嵌刃畔?。通過(guò)配置將攝像頭的坐標(biāo)系和麥克風(fēng)的坐標(biāo)系相統(tǒng)一，這樣兩個(gè)坐標(biāo)系中的坐標(biāo)可以相互轉(zhuǎn)換。攝像頭記錄所有的人臉角度坐標(biāo)，認(rèn)為是可能說(shuō)話的用戶，即可疑信號(hào)源。麥克風(fēng)陣列記錄所有的聲源角度信息，認(rèn)為是正在發(fā)聲的聲源，并且與攝像頭獲取的角度信息核實(shí)。如果兩個(gè)器件同時(shí)檢測(cè)到的角度為真實(shí)信號(hào)源角度(例如，圖7中的135°)；如果攝像頭檢測(cè)到、麥克風(fēng)陣列沒(méi)有檢測(cè)到的角度為潛在信號(hào)源角度(例如，圖7中的225°和315°)；如果攝像頭沒(méi)有檢測(cè)到、麥克風(fēng)陣列檢測(cè)到的角度為噪聲源角度(例如，圖7中的45°)。

一旦判斷出當(dāng)前場(chǎng)景不存在真實(shí)信號(hào)源、存在僅僅一個(gè)真實(shí)信號(hào)源、存在多個(gè)真實(shí)信號(hào)源，則可以根據(jù)最大信噪比原則、最小可喚醒能量原則、最大能量不失真原則來(lái)對(duì)MIC1到MIC4中的每個(gè)執(zhí)行增益調(diào)整，將真實(shí)信號(hào)源角度、潛在信號(hào)源角度和噪聲源角度輸入本設(shè)備，尋找與這些角度指向最接近的指向麥克風(fēng)，使得并配置該角度麥克風(fēng)增益控制。

如圖7所示，在當(dāng)前場(chǎng)景中僅僅一個(gè)真實(shí)信號(hào)源和一個(gè)噪聲源的情況下，只需要配置該真實(shí)信號(hào)源角度的麥克風(fēng)增益(例如，圖7中的MIC2和MIC3)和該噪聲源角度的麥克風(fēng)增益(例如，圖7中的MIC1和MIC2)，以使得該真實(shí)信號(hào)源輸出的關(guān)注信號(hào)的能量與該噪聲源輸出的噪聲信號(hào)的能量之比在設(shè)備中最大即可。

此外，如圖7所示，在當(dāng)前場(chǎng)景中還存在兩個(gè)潛在信號(hào)源。這時(shí)，還可以配置該潛在信號(hào)源角度的麥克風(fēng)增益(例如，圖7中的MIC1、MIC3、和MIC4)，確保一旦該潛在信號(hào)源開(kāi)始說(shuō)話，該角度的聲音可被立刻拾取到。由于潛在信號(hào)源1距離麥克風(fēng)陣列較近，而潛在信號(hào)源2距離較遠(yuǎn)，所以可以進(jìn)一步不同地設(shè)置MIC1、MIC3、和MIC4的增益，例如，將MIC3的增益設(shè)置為較大，將MIC4的增益設(shè)置為中等，而將MIC1的增益設(shè)置為較小，以更好地檢測(cè)距離不同的在潛在信號(hào)源的發(fā)聲情況。

接下來(lái)，攝像頭和麥克風(fēng)陣列可以持續(xù)獲取場(chǎng)景圖像和音頻信號(hào)，一旦攝像頭檢測(cè)到潛在信號(hào)源角度人臉有說(shuō)話嘴型且麥克風(fēng)陣列檢測(cè)到該角度確定有人說(shuō)話，則開(kāi)始切換模式，根據(jù)最大信噪比原則、最小可喚醒能量原則、最大能量不失真原則來(lái)重新對(duì)MIC1到MIC4中的每個(gè)執(zhí)行增益調(diào)整。也就是說(shuō)，可以循環(huán)地執(zhí)行上述過(guò)程，即，當(dāng)聲源變化(例如，數(shù)量改變、位置改變)時(shí)，自適應(yīng)更新多聲源方向向量，通過(guò)上述3個(gè)準(zhǔn)則自適應(yīng)地更新增益控制向量。另外，上述參數(shù)還可以被存儲(chǔ)起來(lái)，以便在稍后相同的場(chǎng)景下被直接讀取出來(lái)，而無(wú)需再次執(zhí)行增益和向量計(jì)算操作，從而加快處理音頻信號(hào)的速度。

在一個(gè)實(shí)施例中，音頻信號(hào)處理設(shè)備100還可以包括：位置濾波器180，用于根據(jù)聲源分類(lèi)的結(jié)果和每個(gè)聲源在所述音頻坐標(biāo)系下的位置來(lái)對(duì)增益調(diào)整后的總輸入信號(hào)進(jìn)行濾波，以僅僅保留來(lái)自每個(gè)真實(shí)信號(hào)源的音頻信號(hào)分量。

在經(jīng)過(guò)上述增益調(diào)整之后，可以將各個(gè)麥克風(fēng)采集的、包括已經(jīng)在空域上實(shí)現(xiàn)增強(qiáng)的關(guān)注信號(hào)分量和削弱后的噪聲信號(hào)分量的分路輸入信號(hào)在通過(guò)復(fù)用器160合并為一路總輸入信號(hào)之后，再一次通過(guò)基于位置(角度)濾波的噪聲抑制器件，位置濾波器180。

例如，可以將麥克風(fēng)陣列和攝像頭兩個(gè)定位系統(tǒng)綜合確定的真實(shí)信號(hào)源角度確定為最后角度篩選器中的角度，該角度外的信號(hào)被認(rèn)為是噪聲。角度篩選器可以通過(guò)音頻信號(hào)的時(shí)延來(lái)保留指定角度內(nèi)的關(guān)注信號(hào)分量，濾除角度外的噪聲信號(hào)分量。由于此時(shí)噪聲信號(hào)分量在總輸入信號(hào)中所占比重已經(jīng)較小，再次濾波可以更加徹底地去除不希望的噪聲信號(hào)，進(jìn)一步提高信噪比。

最后，取決于音頻信號(hào)處理設(shè)備是純近端設(shè)備還是近/遠(yuǎn)端設(shè)備，還可以執(zhí)行對(duì)于濾波處理后的信號(hào)的音頻識(shí)別操作，或?qū)⑺l(fā)送到遠(yuǎn)端設(shè)備，以用于遠(yuǎn)程通信目的。

由此可見(jiàn)，采用根據(jù)本申請(qǐng)第二實(shí)施例的音頻信號(hào)處理設(shè)備，可以在對(duì)每個(gè)聲音進(jìn)行分類(lèi)之后，進(jìn)一步將每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)合并為總輸入信號(hào)，并且根據(jù)每個(gè)聲源的類(lèi)型及其在所述音頻坐標(biāo)系下的位置來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。

具體地，本申請(qǐng)的第二實(shí)施例具有以下優(yōu)點(diǎn)：

1.可以利用攝像頭和麥克風(fēng)陣列組成的定位器件對(duì)進(jìn)行精準(zhǔn)定位，以將各個(gè)聲源分類(lèi)為真實(shí)信號(hào)源、潛在信號(hào)源、噪聲源等，并且對(duì)聲源的變化(如用戶開(kāi)口說(shuō)話、用戶走動(dòng)、用戶的增加減少)都可以實(shí)時(shí)監(jiān)測(cè)；

2.利用指向麥克風(fēng)陣列可以對(duì)多聲源，多角度地進(jìn)行同時(shí)增強(qiáng)；

3.利用指向麥克風(fēng)陣列配合最大信噪比、最小可喚醒能量、最大聲源角度能量不失真準(zhǔn)則來(lái)無(wú)損地增強(qiáng)語(yǔ)音。

示例性音頻信號(hào)處理方法

圖8圖示了根據(jù)本申請(qǐng)實(shí)施例的音頻信號(hào)處理方法的流程示意圖。

根據(jù)本申請(qǐng)實(shí)施例的音頻信號(hào)處理方法可以應(yīng)用于參考圖1到圖7所描述的音頻信號(hào)處理設(shè)備100。

如圖8所示，所述音頻信號(hào)處理方法可以包括：

在步驟S110中，從麥克風(fēng)陣列中的每個(gè)指向麥克風(fēng)接收分路輸入信號(hào)，所述麥克風(fēng)陣列包括具有不同拾音區(qū)的多個(gè)指向麥克風(fēng)，每個(gè)指向麥克風(fēng)用于在自身的拾音區(qū)內(nèi)采集所述分路輸入信號(hào)；

在步驟S120中，根據(jù)所述分路輸入信號(hào)來(lái)識(shí)別第一組聲源并確定其中的每個(gè)聲源在所述麥克風(fēng)陣列所確定的音頻坐標(biāo)系下的位置；

在步驟S130中，從攝像頭接收當(dāng)前場(chǎng)景的場(chǎng)景圖像，所述當(dāng)前場(chǎng)景至少覆蓋所述多個(gè)指向麥克風(fēng)的拾音區(qū)；

在步驟S140中，在所述場(chǎng)景圖像中識(shí)別第二組聲源并確定其中的每個(gè)聲源在所述攝像頭所確定的圖像坐標(biāo)系下的位置；以及

在步驟S150中，根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系、所述第一組聲源中每個(gè)聲源在所述音頻坐標(biāo)系下的位置、和所述第二組聲源中每個(gè)聲源在所述圖像坐標(biāo)系下的位置來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。

在一個(gè)實(shí)施例中，該步驟S120可以包括：從每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)中分離不同聲源的音頻信號(hào)分量并確定所述第一組聲源；以及針對(duì)所述第一組聲源中的每個(gè)聲源，根據(jù)從至少兩路分路輸入信號(hào)中分離出的所述聲源的音頻信號(hào)分量的相位來(lái)確定所述聲源在所述音頻坐標(biāo)系下的位置。

在一個(gè)實(shí)施例中，該步驟S150可以包括：根據(jù)所述音頻坐標(biāo)系與所述圖像坐標(biāo)系之間的配準(zhǔn)關(guān)系來(lái)將所述第一組聲源中每個(gè)聲源的位置和所述第二組聲源中每個(gè)聲源的位置映射到同一坐標(biāo)系下，所述同一坐標(biāo)系為所述音頻坐標(biāo)系和所述圖像坐標(biāo)系之一；比對(duì)所述第一組聲源和所述第二組聲源中每個(gè)聲源在所述同一坐標(biāo)系下的相對(duì)位置關(guān)系；以及根據(jù)所述相對(duì)位置關(guān)系來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)。

在一個(gè)實(shí)施例中，根據(jù)所述相對(duì)位置關(guān)系來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)包括：響應(yīng)于位于所述同一坐標(biāo)系下某一位置處的聲源同時(shí)存在于所述第一組聲源和所述第二組聲源中，將所述聲源標(biāo)記為正在輸出關(guān)注信號(hào)的真實(shí)信號(hào)源；以及響應(yīng)于位于所述同一坐標(biāo)系下某一位置處的聲源僅僅存在于所述第一組聲源中，將所述聲源標(biāo)記為正在輸出噪聲信號(hào)的噪聲源。

在一個(gè)實(shí)施例中，根據(jù)所述相對(duì)位置關(guān)系來(lái)對(duì)所述第一組聲源和所述第二組聲源中的每個(gè)聲源進(jìn)行分類(lèi)還可以包括：響應(yīng)于位于所述同一坐標(biāo)系下某一位置處的聲源僅僅存在于所述第二組聲源中，將所述聲源標(biāo)記為當(dāng)前未輸出關(guān)注信號(hào)的潛在信號(hào)源。

在一個(gè)實(shí)施例中，所述音頻信號(hào)處理方法還可以包括：

在步驟S160中，將每個(gè)指向麥克風(fēng)所采集的分路輸入信號(hào)合并為總輸入信號(hào)，所述分路輸入信號(hào)包括來(lái)自真實(shí)信號(hào)源的關(guān)注信號(hào)分量和來(lái)自噪聲源的噪聲信號(hào)分量；以及

在步驟S170中，根據(jù)每個(gè)聲源的類(lèi)型及其在所述音頻坐標(biāo)系下的位置來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。

在一個(gè)實(shí)施例中，步驟S170可以包括：響應(yīng)于存在正在輸出關(guān)注信號(hào)的一個(gè)或多個(gè)真實(shí)信號(hào)源且不存在正在輸出噪聲信號(hào)的噪聲源，比較所述一個(gè)或多個(gè)真實(shí)信號(hào)源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第一位置關(guān)系；以及根據(jù)所述第一位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率最大。

在一個(gè)實(shí)施例中，根據(jù)所述第一位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益可以包括：增大所述一個(gè)或多個(gè)真實(shí)信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率最大且沒(méi)有任何一個(gè)關(guān)注信號(hào)分量發(fā)生失真。

在一個(gè)實(shí)施例中，步驟S170可以包括：響應(yīng)于不存在正在輸出關(guān)注信號(hào)的真實(shí)信號(hào)源且存在正在輸出噪聲信號(hào)的一個(gè)或多個(gè)噪聲源，比較所述一個(gè)或多個(gè)噪聲源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第二位置關(guān)系；以及根據(jù)所述第二位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)噪聲源接收到的噪聲信號(hào)分量的功率最小。

在一個(gè)實(shí)施例中，根據(jù)所述第二位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益可以包括：所述增益調(diào)整單元將所述一個(gè)或多個(gè)噪聲源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益設(shè)置為零。

在一個(gè)實(shí)施例中，步驟S170可以包括：響應(yīng)于同時(shí)存在正在輸出關(guān)注信號(hào)的一個(gè)或多個(gè)真實(shí)信號(hào)源和正在輸出噪聲信號(hào)的一個(gè)或多個(gè)噪聲源，比較所述一個(gè)或多個(gè)真實(shí)信號(hào)源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第一位置關(guān)系和所述一個(gè)或多個(gè)噪聲源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第二位置關(guān)系；以及根據(jù)所述第一位置關(guān)系和所述第二位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得在所述總輸入信號(hào)中從所述一個(gè)或多個(gè)真實(shí)信號(hào)源接收到的關(guān)注信號(hào)分量的功率與從所述一個(gè)或多個(gè)噪聲源接收到的噪聲信號(hào)分量的功率之間的信噪比最大。

在一個(gè)實(shí)施例中，步驟S170還可以包括：響應(yīng)于還存在當(dāng)前未輸出關(guān)注信號(hào)的一個(gè)或多個(gè)潛在信號(hào)源，比較所述一個(gè)或多個(gè)潛在信號(hào)源與每個(gè)指向麥克風(fēng)的拾音區(qū)之間的第三位置關(guān)系，并且根據(jù)所述第三位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益，以使得所述麥克風(fēng)陣列能夠隨時(shí)從所述潛在信號(hào)源采集音頻信號(hào)分量。

在一個(gè)實(shí)施例中，根據(jù)所述第三位置關(guān)系來(lái)調(diào)整每個(gè)指向麥克風(fēng)的增益可以包括：將所述一個(gè)或多個(gè)潛在信號(hào)源位于其拾音區(qū)的一個(gè)或多個(gè)指向麥克風(fēng)的增益設(shè)置為估計(jì)值，所述估計(jì)值是根據(jù)所述一個(gè)或多個(gè)潛在信號(hào)源在所述圖像坐標(biāo)系下的位置來(lái)確定的。

在一個(gè)實(shí)施例中，所述音頻信號(hào)處理方法還可以包括：在步驟S180中，根據(jù)聲源分類(lèi)的結(jié)果和每個(gè)聲源在所述音頻坐標(biāo)系下的位置來(lái)對(duì)增益調(diào)整后的總輸入信號(hào)進(jìn)行濾波，以僅僅保留來(lái)自每個(gè)真實(shí)信號(hào)源的音頻信號(hào)分量。

上述音頻信號(hào)處理方法中的各個(gè)步驟的具體功能和操作已經(jīng)在上面參考圖1到圖7描述的音頻信號(hào)處理設(shè)備100中詳細(xì)介紹，并因此，將省略其重復(fù)描述。

示例性電子設(shè)備

下面，參考圖9來(lái)描述根據(jù)本申請(qǐng)實(shí)施例的電子設(shè)備。該電子設(shè)備可以是智能化的語(yǔ)音識(shí)別系統(tǒng)(例如，智能家電、機(jī)器人等)、傳統(tǒng)的語(yǔ)音通信系統(tǒng)(例如，會(huì)議系統(tǒng)、因特網(wǎng)協(xié)議傳送話音VoIP系統(tǒng)等)中的近端設(shè)備或遠(yuǎn)端設(shè)備等。

圖9圖示了根據(jù)本申請(qǐng)實(shí)施例的電子設(shè)備的框圖。

如圖9所示，電子設(shè)備10包括一個(gè)或多個(gè)處理器11和存儲(chǔ)器12。

處理器11可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元，并且可以控制電子設(shè)備10中的其他組件以執(zhí)行期望的功能。

存儲(chǔ)器12可以包括一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品可以包括各種形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如易失性存儲(chǔ)器和/或非易失性存儲(chǔ)器。所述易失性存儲(chǔ)器例如可以包括隨機(jī)存取存儲(chǔ)器(RAM)和/或高速緩沖存儲(chǔ)器(cache)等。所述非易失性存儲(chǔ)器例如可以包括只讀存儲(chǔ)器(ROM)、硬盤(pán)、閃存等。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上可以存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)程序指令，處理器11可以運(yùn)行所述程序指令，以實(shí)現(xiàn)上文所述的本申請(qǐng)的各個(gè)實(shí)施例的音頻信號(hào)處理方法以及/或者其他期望的功能。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中還可以存儲(chǔ)諸如各個(gè)聲源的位置和類(lèi)型、各個(gè)麥克風(fēng)增益等信息。

在一個(gè)示例中，電子設(shè)備10還可以包括：輸入裝置13和輸出裝置14，這些組件通過(guò)總線系統(tǒng)和/或其他形式的連接機(jī)構(gòu)(未示出)互連。

例如，該輸入裝置13可以包括例如鍵盤(pán)、鼠標(biāo)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等。替換地或附加地，該輸入裝置13也可以是上述的麥克風(fēng)陣列110，包括具有不同拾音區(qū)的多個(gè)指向麥克風(fēng)，每個(gè)指向麥克風(fēng)用于在自身的拾音區(qū)內(nèi)采集分路輸入信號(hào)；或者也可以是上述的攝像頭130，用于捕捉當(dāng)前場(chǎng)景的場(chǎng)景圖像，所述當(dāng)前場(chǎng)景至少覆蓋所述多個(gè)指向麥克風(fēng)的拾音區(qū)。

輸出裝置14可以向外部(例如，用戶)輸出各種信息，包括各個(gè)聲源的位置和類(lèi)型、調(diào)整后的每個(gè)指向麥克風(fēng)的增益、噪聲消除后的總輸入信號(hào)等。該輸出設(shè)備14可以包括例如顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等。

當(dāng)然，為了簡(jiǎn)化，圖9中僅示出了該電子設(shè)備10中與本申請(qǐng)有關(guān)的組件中的一些，省略了諸如總線、輸入/輸出接口等等的組件。應(yīng)當(dāng)注意，圖9所示的電子設(shè)備10的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，電子設(shè)備10也可以具有其他組件和結(jié)構(gòu)。

示例性計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

除了上述方法和設(shè)備以外，本申請(qǐng)的實(shí)施例還可以是計(jì)算機(jī)程序產(chǎn)品，其包括計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行本說(shuō)明書(shū)上述“示例性方法”部分中描述的根據(jù)本申請(qǐng)各種實(shí)施例的音頻信號(hào)處理方法中的步驟。

所述計(jì)算機(jī)程序產(chǎn)品可以以一種或多種程序設(shè)計(jì)語(yǔ)言的任意組合來(lái)編寫(xiě)用于執(zhí)行本申請(qǐng)實(shí)施例操作的程序代碼，所述程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言，諸如Java、C++等，還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言，諸如“C”語(yǔ)言或類(lèi)似的程序設(shè)計(jì)語(yǔ)言。程序代碼可以完全地在用戶計(jì)算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算設(shè)備上部分在遠(yuǎn)程計(jì)算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算設(shè)備或服務(wù)器上執(zhí)行。

此外，本申請(qǐng)的實(shí)施例還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行本說(shuō)明書(shū)上述“示例性方法”部分中描述的根據(jù)本申請(qǐng)各種實(shí)施例的音頻信號(hào)處理方法中的步驟。

所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以采用一個(gè)或多個(gè)可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號(hào)介質(zhì)或者可讀存儲(chǔ)介質(zhì)?？勺x存儲(chǔ)介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式盤(pán)、硬盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPROM或閃存)、光纖、便攜式緊湊盤(pán)只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。

以上結(jié)合具體實(shí)施例描述了本申請(qǐng)的基本原理，但是，需要指出的是，在本申請(qǐng)中提及的優(yōu)點(diǎn)、優(yōu)勢(shì)、效果等僅是示例而非限制，不能認(rèn)為這些優(yōu)點(diǎn)、優(yōu)勢(shì)、效果等是本申請(qǐng)的各個(gè)實(shí)施例必須具備的。另外，上述公開(kāi)的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細(xì)節(jié)并不限制本申請(qǐng)為必須采用上述具體的細(xì)節(jié)來(lái)實(shí)現(xiàn)。

本申請(qǐng)中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進(jìn)行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語(yǔ)是開(kāi)放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

還需要指出的是，在本申請(qǐng)的裝置、設(shè)備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請(qǐng)的等效方案。

提供所公開(kāi)的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請(qǐng)。對(duì)這些方面的各種修改對(duì)于本領(lǐng)域技術(shù)人員而言是非常顯而易見(jiàn)的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請(qǐng)的范圍。因此，本申請(qǐng)不意圖被限制到在此示出的方面，而是按照與在此公開(kāi)的原理和新穎的特征一致的最寬范圍。

為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本申請(qǐng)的實(shí)施例限制到在此公開(kāi)的形式。盡管以上已經(jīng)討論了多個(gè)示例方面和實(shí)施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到其某些變型、修改、改變、添加和子組合。