專利名稱：融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別是涉及一種融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法。
背景技術(shù)：
目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中非常重要的研究問題，因?yàn)樗歉邔右曈X問題如運(yùn)動(dòng)分析和行為識(shí)別等研究的基礎(chǔ)?？偟膩碚f，目前的目標(biāo)跟蹤算法主要兩個(gè)關(guān)鍵性的問題:
(I)表觀模型；(2)跟蹤框架。一般來說，表觀模型就是如何對(duì)目標(biāo)物體進(jìn)行有效的表達(dá)，并且進(jìn)行實(shí)時(shí)的更新。 目標(biāo)模板，是一種最直接的目標(biāo)建模方法，不過該模型缺乏判別性和魯棒性。盡管目標(biāo)區(qū)域的顏色直方圖對(duì)于目標(biāo)尺度、旋轉(zhuǎn)以及非剛性形變較為魯棒，但是由于其忽略了目標(biāo)表觀的顏色空間分布信息，存在一定的缺陷。雖然基于核密度估計(jì)的表觀模型很好的解決了這一缺陷，不過換來的代價(jià)是計(jì)算與存儲(chǔ)復(fù)雜度的增加。另外，基于條件隨機(jī)場(chǎng)的表觀模型通過馬爾可夫隨機(jī)場(chǎng)來建模鄰近像素之間的內(nèi)在關(guān)系，但是其訓(xùn)練代價(jià)非常巨大。近年來，基于子空間學(xué)習(xí)的表觀模型由于其子空間不變假設(shè)更為合理，因而被廣泛地應(yīng)用于視覺跟蹤領(lǐng)域。但是該模型在訓(xùn)練時(shí)需要足夠多的樣本，在實(shí)際運(yùn)用中很難達(dá)到實(shí)時(shí)性的要求?；诖?，Levy和Lindenbaum提出了序列KL(Sequential Karhunen-Loeve)變換算法用于增量地學(xué)習(xí)圖像的特征基。Lim等擴(kuò)展了序列KL變換算法， 同時(shí)對(duì)目標(biāo)圖像的均值和特征基進(jìn)行增量更新，并將該算法首次應(yīng)用于目標(biāo)的視覺跟蹤。 而后，魯棒估計(jì)策略，Yang的基于數(shù)據(jù)驅(qū)動(dòng)的加強(qiáng)自適應(yīng)方法，Liao的基于魯棒卡爾曼濾波的跟蹤方法以及Gai和Stevenson基于動(dòng)態(tài)模型的方法，雖然在某些特定的場(chǎng)景中獲得了較好的跟蹤性能，但是有一定的不足之處上述所有基于子空間的跟蹤算法首先要將圖像展成一維向量，目標(biāo)表觀的空間分布信息幾乎完全丟失，從而使得模型對(duì)目標(biāo)表觀的全局性變化以及噪音非常敏感。針對(duì)這一缺點(diǎn)，Hu等引入張量思想，在一定程度上起到了效用。不過由于其在使用R-SVD更新過程只保留了前R個(gè)較大特征值所對(duì)應(yīng)的特征向量帶來了誤差，并且隨著跟蹤進(jìn)行時(shí)，誤差會(huì)逐步累計(jì)，導(dǎo)致模型漂移。雖然一種基于動(dòng)態(tài)張量分析的模型避免了上述誤差，得到了更加精確的結(jié)果，但是由于小樣本問題使得計(jì)算得到的協(xié)方差矩陣無(wú)法描述樣本的分布情況，從而導(dǎo)致子空間的計(jì)算退化。

發(fā)明內(nèi)容
為了克服傳統(tǒng)的基于子空間學(xué)習(xí)的表觀模型只關(guān)注于目標(biāo)區(qū)域特征之間的時(shí)間關(guān)聯(lián)性，而忽略了目標(biāo)區(qū)域的空間分布信息。本發(fā)明提供一種融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法，相對(duì)于其它的經(jīng)典子空間跟蹤算法，該跟蹤方法更加有效和魯棒。為了實(shí)現(xiàn)上述目的，本發(fā)明采用了以下的技術(shù)方案一種融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法，包括以下步驟
(I)運(yùn)用張量理論將目標(biāo)圖像觀測(cè)的訓(xùn)練樣本表示為一個(gè)三階張量，并將此張量從圖像的寬度、圖像的高度和圖像時(shí)間軸這三個(gè)不同的方向展開成三個(gè)分解矩陣；其中，前兩個(gè)分解矩陣的列樣本子空間對(duì)于目標(biāo)的空間分布信息；第三個(gè)分解矩陣的行樣本子空間對(duì)應(yīng)于目標(biāo)的時(shí)間分布信息；(2)對(duì)于前兩個(gè)分解矩陣，計(jì)算各分解矩陣的樣本協(xié)方差矩陣，并通過對(duì)協(xié)方差矩陣做特征分解得到目標(biāo)水平和垂直方向的模式子空間；對(duì)于第三個(gè)分解矩陣，采用奇異值分解算法獲得目標(biāo)在時(shí)間軸上的模式子空間；(3)對(duì)于給定的目標(biāo)候選區(qū)域，計(jì)算其在目標(biāo)表觀空間上的重構(gòu)誤差，并由此定義目標(biāo)候選區(qū)域的觀測(cè)似然函數(shù)；(4)根據(jù)定義的觀測(cè)似然函數(shù)，運(yùn)用粒子濾波器計(jì)算目標(biāo)狀態(tài)的后驗(yàn)概率，采用最大后驗(yàn)估計(jì)策略從一系列候選觀測(cè)值中挑選后驗(yàn)概率最大的作為當(dāng)前時(shí)刻的目標(biāo)狀態(tài)；(5)利用跟蹤的結(jié)果，對(duì)對(duì)步驟(2)中獲得的目標(biāo)模式子空間進(jìn)行更新，并在更新過程中加入遺忘因子；其中，遺忘因子是一種介于O和I之間的權(quán)重，在子空間模型中越大的遺忘因子意味著模型越關(guān)注近期的數(shù)據(jù)。進(jìn)一步說，所述的步驟(I)具體包括以下子步驟首先，將目標(biāo)圖像觀測(cè)的訓(xùn)練樣本用一個(gè)三階張量表示；其次，將獲得的張量從寬度、高度、時(shí)間這三個(gè)不同的方向展開成三個(gè)分解矩陣；更進(jìn)一步說，所述的步驟(2)具體包括以下子步驟首先，對(duì)于前兩個(gè)分解矩陣，計(jì)算各分解矩陣的樣本協(xié)方差矩陣，通過對(duì)協(xié)方差矩陣做特征分解得到各個(gè)模式的子空間；其次，對(duì)于第三個(gè)分解矩陣，采用奇異值分解算法獲得目標(biāo)在時(shí)間軸上的模式子空間。更進(jìn)一步說，所述的步驟(3)具體包括以下子步驟首先，求出重構(gòu)誤差；其次，由重構(gòu)誤差定義似然函數(shù)。更進(jìn)一步說，所述的步驟(4)具體包括以下子步驟首先，假定目標(biāo)在連續(xù)兩幀圖像之間的運(yùn)動(dòng)是仿射運(yùn)動(dòng)，目標(biāo)的狀態(tài)由兩幀之間的目標(biāo)仿射運(yùn)動(dòng)參數(shù)表征，并假定目標(biāo)狀態(tài)動(dòng)態(tài)轉(zhuǎn)移概率模型為高斯模型；其次，利用似然函數(shù)計(jì)算目標(biāo)狀態(tài)的后驗(yàn)概率；最后，采用最大后驗(yàn)估計(jì)策略從從一系列候選觀測(cè)值中挑選后驗(yàn)概率最大的作為當(dāng)前時(shí)刻的目標(biāo)狀態(tài)。更進(jìn)一步說，所述的步驟(5)具體包括以下子步驟對(duì)于前兩個(gè)分解矩陣，首先，對(duì)步驟⑵中獲得的樣本矩陣的協(xié)方差矩陣進(jìn)行更新；其次，將遺忘因子加入更新方程中，得到更符合實(shí)際情況的協(xié)方差矩陣。對(duì)于第三個(gè)分解矩陣，首先，將新獲得的數(shù)據(jù)矩陣進(jìn)行QR分解；其次，對(duì)融合新舊數(shù)據(jù)的數(shù)據(jù)矩陣進(jìn)行奇異值分解。
5
本發(fā)明的有益效果是I、本發(fā)明所提出的跟蹤算法是一種通用的方法，對(duì)任意跟蹤目標(biāo)類型都適用；2、本發(fā)明所采用的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤算法，充分挖掘了目標(biāo)區(qū)域的垂直和水平方向上的空間分布信息以及目標(biāo)區(qū)域特征之間的時(shí)間關(guān)聯(lián)性，使得算法相較于經(jīng)典算法降低了對(duì)目標(biāo)表觀的全局性變化以及噪音的敏感程度；3、本發(fā)明提出一種更新策略，對(duì)于水平和垂直方向的兩個(gè)空間模式，通過更新協(xié)方差矩陣在線地更新目標(biāo)的空間模式分布，有效地提高了更新效率；4、本發(fā)明提出一種更新策略，對(duì)于時(shí)間分布模式，采用增量奇異值分解方法在線地更新目標(biāo)的時(shí)序模式分布，不但解決了由于樣本個(gè)數(shù)遠(yuǎn)小于樣本維數(shù)而產(chǎn)生的子空間退化問題，同時(shí)也一定程度上緩解了計(jì)算中引入的模型漂移問題。


下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說明。圖I是本發(fā)明的跟蹤系統(tǒng)的整體框架；圖2是本發(fā)明的圖像觀測(cè)分解示意圖；圖3是本發(fā)明的三階張量展開示意圖。
具體實(shí)施例方式下面通過實(shí)施例對(duì)本發(fā)明進(jìn)行具體的描述，只用于對(duì)本發(fā)明進(jìn)行進(jìn)一步說明，不能理解為對(duì)本發(fā)明保護(hù)范圍的限定，該領(lǐng)域的技術(shù)人員可根據(jù)上述發(fā)明的內(nèi)容對(duì)本發(fā)明作出一些非本質(zhì)的改進(jìn)和調(diào)整。如圖I所示，圖I為本發(fā)明整體框架。本發(fā)明為一種基于多角度子空間融合的目標(biāo)跟蹤方法，本發(fā)明的方法具體運(yùn)行的硬件和編程語(yǔ)言并不限制，用任何語(yǔ)言編寫都可以完成，為此其它工作模式不再贅述。本發(fā)明的實(shí)施例采用一臺(tái)具有3. 2G赫茲中央處理器和IG字節(jié)內(nèi)存的奔騰4計(jì)算機(jī)并用Matlab語(yǔ)言編制了序列粒子群優(yōu)化跟蹤框架的工作程序，實(shí)現(xiàn)了本發(fā)明的方法，本發(fā)明的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法包括以下步驟計(jì)算基于張量子空間的展開、協(xié)方差矩陣的更新、R-SVD算法即增量的奇異值分解算法、粒子濾波器Condensation以及最大后驗(yàn)估計(jì)(MAP)等模塊，具體步驟如下所述(I)將目標(biāo)圖像觀測(cè)的訓(xùn)練樣本表示為一個(gè)三階張量Oe分"2"3來表示，其中I1, 12和I3分別表示為圖像觀測(cè)的寬度、高度，以及在時(shí)間軸上的長(zhǎng)度。根據(jù)張量理論，該三階圖像觀測(cè)張量可以按I1, 12和13方向分別展開成三個(gè)分解矩陣Αω，?、疲珹(3)與圖2進(jìn)行對(duì)應(yīng)。對(duì)于Αω和A⑵的列樣本協(xié)方差矩陣，Α(3)的行樣本協(xié)方差矩陣分布計(jì)算如下=Σ ~ "I )(^(1) " "I Y
i乙2 — 2、— "2 為2、- "2 )
i ^3 = Σ (名—"3 - "3 Y
(2)其中 Ayp A(r}，分別為矩陣 Αω，Α(2)，Α(3)的第 i，j，k 列樣本。μ 1; μ 2 分別為矩陣A(1)，A⑵的列均值，μ3*Α(3)的列均值，即矩陣Α(3)的行均值。得到樣本的協(xié)方差矩陣后，各個(gè)模式的子空間可以通過對(duì)協(xié)方差矩陣做簡(jiǎn)單的特征分解得到Cd = UdSdUYdH(3)對(duì)于給定目標(biāo)候選區(qū)域以及它的展開向量形式vt G Am,.'，該目標(biāo)候選區(qū)域在目標(biāo)表觀子空間上的重構(gòu)誤差可以計(jì)算如下REx =H {^ot — //j) — {ot — u^)UxUx IlRE2 =H (o't-u2)-(o't-u2)U,Ut2 ||2REi =H {vt-u^)-{vt-u^)U^Ul ||2RE = RE^REa+REg其中U1和U2定義如下
ι/ι=(μι,...,μι)Ε^/ιΧ/2
^2=(μ2,...,μ2)Ε^ιΧ/2因此，目標(biāo)候選區(qū)域的觀測(cè)似然函數(shù)可以定義如下P (ot I xt) exp (-RE)(4)運(yùn)用粒子濾波器Condensation計(jì)算目標(biāo)狀態(tài)的后驗(yàn)概率，方法如下假設(shè)目標(biāo)在連續(xù)兩幀圖像之間的運(yùn)動(dòng)是仿射運(yùn)動(dòng)，兩幀之間的目標(biāo)仿射運(yùn)動(dòng)參數(shù)就可以用來表征目標(biāo)的狀態(tài)X/=(/_r，ty,夕，其中tx, ty, nt, St, β t,灼分別表示位置平移量、旋轉(zhuǎn)角、尺度、縱橫比和傾斜方向。這樣以來，給定一系列觀測(cè)值Ot = Io1,...，OtI可以計(jì)算目標(biāo)狀態(tài)的后驗(yàn)概率P (xt I Ot) P (Ot I Xt) / P (Xt I Xh) p (Xt-! | Ot^1) dx^其中，p(ot|xt)表示在給定目標(biāo)狀態(tài)xt下觀測(cè)值ot發(fā)生的概率，P(XtIXw)表示目標(biāo)狀態(tài)動(dòng)態(tài)轉(zhuǎn)移概率模型。采用最大后驗(yàn)估計(jì)(MAP)的策略從一系列候選觀測(cè)值中挑選后驗(yàn)概率最大的作為當(dāng)前時(shí)刻的目標(biāo)狀態(tài)。(5)根據(jù)目標(biāo)跟蹤的結(jié)果，前兩個(gè)模式分解樣本矩陣的協(xié)方差矩陣進(jìn)行更新，并在更新過程中加入遺忘因子，其中協(xié)方差的更新公式可以表達(dá)如下
權(quán)利要求
1.一種融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法，其特征在于，包括以下步驟(1)運(yùn)用張量理論將目標(biāo)圖像觀測(cè)的訓(xùn)練樣本表示為一個(gè)三階張量，并將此張量從圖像的寬度、圖像的高度和圖像時(shí)間軸這三個(gè)不同的方向展開成三個(gè)分解矩陣；其中，前兩個(gè)分解矩陣的列樣本子空間對(duì)于目標(biāo)的空間分布信息；第三個(gè)分解矩陣的行樣本子空間對(duì)應(yīng)于目標(biāo)的時(shí)間分布信息；(2)對(duì)于前兩個(gè)分解矩陣，計(jì)算各分解矩陣的樣本協(xié)方差矩陣，并通過對(duì)協(xié)方差矩陣做特征分解得到目標(biāo)水平和垂直方向的模式子空間；對(duì)于第三個(gè)分解矩陣，采用奇異值分解算法獲得目標(biāo)在時(shí)間軸上的模式子空間；(3)對(duì)于給定的目標(biāo)候選區(qū)域，計(jì)算其在目標(biāo)表觀空間上的重構(gòu)誤差，并由此定義目標(biāo)候選區(qū)域的觀測(cè)似然函數(shù)；(4)根據(jù)定義的觀測(cè)似然函數(shù)，運(yùn)用粒子濾波器計(jì)算目標(biāo)狀態(tài)的后驗(yàn)概率，采用最大后驗(yàn)估計(jì)策略從一系列候選觀測(cè)值中挑選后驗(yàn)概率最大的作為當(dāng)前時(shí)刻的目標(biāo)狀態(tài)；(5)利用跟蹤的結(jié)果，對(duì)對(duì)步驟(2)中獲得的目標(biāo)模式子空間進(jìn)行更新，并在更新過程中加入遺忘因子；其中，遺忘因子是一種介于O和I之間的權(quán)重，在子空間模型中越大的遺忘因子意味著模型越關(guān)注近期的數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法， 其特征在于，所述的步驟(I)具體包括以下子步驟首先，將目標(biāo)圖像觀測(cè)的訓(xùn)練樣本用一個(gè)三階張量表示；其次，將獲得的張量從寬度、高度、時(shí)間這三個(gè)不同的方向展開成三個(gè)分解矩陣；
3.根據(jù)權(quán)利要求I所述的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法， 其特征在于，所述的步驟(2)具體包括以下子步驟首先，對(duì)于前兩個(gè)分解矩陣，計(jì)算各分解矩陣的樣本協(xié)方差矩陣，通過對(duì)協(xié)方差矩陣做特征分解得到各個(gè)模式的子空間；其次，對(duì)于第三個(gè)分解矩陣，采用奇異值分解算法獲得目標(biāo)在時(shí)間軸上的模式子空間。
4.根據(jù)權(quán)利要求I所述的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法， 其特征在于，所述的步驟(3)具體包括以下子步驟首先，求出重構(gòu)誤差；其次，由重構(gòu)誤差定義似然函數(shù)。
5.根據(jù)權(quán)利要求I所述的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法， 其特征在于，所述的步驟(4)具體包括以下子步驟首先，假定目標(biāo)在連續(xù)兩幀圖像之間的運(yùn)動(dòng)是仿射運(yùn)動(dòng)，目標(biāo)的狀態(tài)由兩幀之間的目標(biāo)仿射運(yùn)動(dòng)參數(shù)表征，并假定目標(biāo)狀態(tài)動(dòng)態(tài)轉(zhuǎn)移概率模型為高斯模型；其次，利用似然函數(shù)計(jì)算目標(biāo)狀態(tài)的后驗(yàn)概率；最后，采用最大后驗(yàn)估計(jì)策略從從一系列候選觀測(cè)值中挑選后驗(yàn)概率最大的作為當(dāng)前時(shí)刻的目標(biāo)狀態(tài)。
6.根據(jù)權(quán)利要求1-5任意一權(quán)利要求所示所述的融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤方法，其特征在于所述的步驟(5)具體包括以下子步驟對(duì)于前兩個(gè)分解矩陣，首先，對(duì)步驟(2)中獲得的樣本矩陣的協(xié)方差矩陣進(jìn)行更新；其次，將遺忘因子加入更新方程中，得到更符合實(shí)際情況的協(xié)方差矩陣。 對(duì)于第三個(gè)分解矩陣，首先，將新獲得的數(shù)據(jù)矩陣進(jìn)行QR分解；其次，對(duì)融合新舊數(shù)據(jù)的數(shù)據(jù)矩陣進(jìn)行奇異值分解。
全文摘要
本發(fā)明公開了一種融合目標(biāo)空間分布和時(shí)序分布特征子空間的視覺跟蹤算法，主要包含步驟首先將目標(biāo)區(qū)域特征從三個(gè)角度進(jìn)行展開，分別進(jìn)行子空間學(xué)習(xí)；其次運(yùn)用一種更新策略來在線地更新三個(gè)模式下目標(biāo)的均值與子空間。最后通過張量重構(gòu)將三個(gè)子空間模式統(tǒng)一到一個(gè)似然函數(shù)中用于候選觀測(cè)圖像的評(píng)價(jià)。本發(fā)明實(shí)現(xiàn)了有效的目標(biāo)跟蹤方法，是一種通用的方法。實(shí)驗(yàn)結(jié)果表明，相對(duì)于其他經(jīng)典子空間跟蹤算法，該發(fā)明更加有效和魯棒，具有很好的應(yīng)用前景。
文檔編號(hào)G06K9/62GK102592135SQ20111042549
公開日2012年7月18日 申請(qǐng)日期2011年12月16日 優(yōu)先權(quán)日2011年12月16日
發(fā)明者張笑欽 申請(qǐng)人:溫州大學(xué)