專利名稱：基于稀疏度和保真度約束的視頻穩(wěn)像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種可廣泛用于手機、數(shù)碼相機、攝像機等消費類電子產(chǎn)品，同時也可用于無人機、艦船等所裝備的攝像和監(jiān)控系統(tǒng)中的視頻穩(wěn)像方法，具體是一種基于稀疏度和保真度約束的視頻穩(wěn)像方法。
背景技術(shù)：
視頻穩(wěn)像是指利用相關(guān)設(shè)備或算法，使得視頻設(shè)備采集的原始視頻序列較為穩(wěn)定或者對原始序列進行穩(wěn)定處理，去除其中的抖動。視頻穩(wěn)像的目的，一方面是為了改善用戶的觀感舒適度，另一個方面是作為其他視頻處理任務(wù)的預(yù)處理步驟，如目標跟蹤、目標檢測和視頻壓縮等，可以提高這些處理任務(wù)的精度與魯棒性。無論從哪個方面來看，視頻穩(wěn)像都
有重要意義。現(xiàn)有的大多數(shù)視頻穩(wěn)像方法分為三個步驟:全局運動估計、運動補償和穩(wěn)定運動圖像生成。每個步驟有不同的實現(xiàn)方法。全局運動估計的方法主要有光流法、特征點對應(yīng)法和塊匹配法等。光流法不需要預(yù)先獲取圖像背景、不受復(fù)雜環(huán)境的影響，但計算時可靠性評價因子選擇困難、對光流計算誤差敏感；特征點對應(yīng)法能夠通過迭代法估計出較大的運動，但運動參數(shù)的估計精度在很大程度上依賴于特征點提取和匹配的精度；塊匹配法簡單快速、易于用硬件實現(xiàn)，但圖像匹配的魯棒性不是很好。運動補償分為參數(shù)濾波法和軌跡平滑法。參數(shù)濾波法是指把運動模型的參數(shù)看成主觀運動與加性抖動的疊加，用濾波的方法去除或抑制加性噪聲，比較常見的低通濾波有Kalman濾波。軌跡平滑則是將攝像機的運動軌跡看成帶噪聲的運動軌跡，采用相應(yīng)的平滑方法來去除高頻噪聲。圖像生成則涉及到圖形學(xué)相關(guān)知識，如融合、拼接、圖像修補等，最簡單的處理方式是直接對原幀進行變換，得到輸出幀。在目前眾多視頻穩(wěn)像算法中，效果較好的是Grundmann M., Kwatra Vand EssaI 等人 2011 年在 IEEE Conference on Computer Vision and PatternRecognition (電子與電氣工程師協(xié)會計算機視覺與模式識別會議)發(fā)表的“Auto-directedvideostabilization with robust 11 optimal camera paths”(基于 LI 范數(shù)最優(yōu)路徑的視頻穩(wěn)像)一文中提出的方法，該方法通過基于電影攝影原理的LI范數(shù)約束來優(yōu)化攝像機的運動軌跡，把最優(yōu)攝像機路徑分為三個組成部分:代表靜態(tài)攝像機的路徑，代表勻速運動攝像機的路徑已經(jīng)在這兩者間平滑過渡的路徑，從而到達消除抖動的目的。然而，該方法會丟失原始視頻幀的不少信息，尤其是邊緣信息，失真度較大；并且隨著視頻長度的增加，處理效率也會下降。K.Y.Lee, Y.Y.Chuang, B.Y.Chen and M.0uhyoung 等人 2009 年在 Proc.1EEE Int.Conf.Computer Vision (電子與電氣工程師協(xié)會計算機視覺會議)發(fā)表的“Videostabilization using robust feature trajectories”(基于穩(wěn)健特征軌跡的視頻穩(wěn)像)一文中提出用L2范數(shù)優(yōu)化的方法平滑特征軌跡，以恢復(fù)真實的主觀運動，從而得到穩(wěn)定的視頻。該方法在穩(wěn)像的同時考慮了失真度的控制，但經(jīng)驗參數(shù)過多，不適于實際應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提供一種基于稀疏度和保真度約束的視頻穩(wěn)像方法，它在減小視頻抖動的同時，能夠根據(jù)用戶需要減小視頻內(nèi)容失真的程度，并對長視頻的穩(wěn)像有較好的效果。為實現(xiàn)上述目的，本發(fā)明提供的一種基于稀疏度和保真度約束的視頻穩(wěn)像方法，包括如下步驟:第一步，把視頻幀分段，段與段之間有重合的幀；第二步，選取當(dāng)前段相鄰幀之間的特征點對；第三步，對第二步得到的特征點對進行全局局外點去除；第四步，用第三步得到的特征點對擬合二維線性運動模型；第五步，用第四步得到的線性運動模型估計原始攝像機路徑；第六步，確定平滑路徑的目標函數(shù)和限制原始攝像機路徑變化的約束條件；第七步，對第六步得到的最優(yōu)化問題求解，得到截取窗口變換矩陣；第八步，用第四步得到的線性運動模型和第七步得到的變換矩陣去除視頻中的非線性效應(yīng)，得到新的變換矩陣；第九步，用第八步得到的截取窗口變換矩陣對原始幀進行變換。所述第二步特征點對的獲取中，每隔10幀重新選點進行跟蹤，并且特征點的間距要大于最小間距。所述第六步平滑路徑的目標函數(shù)由兩部分組成，一是代表路徑平滑度的LI范數(shù)項，一是代表視頻內(nèi)容保真度的L2范數(shù)項，兩者由一個調(diào)節(jié)參數(shù)來控制穩(wěn)像的程度和保真度的大小。所述第八步中由自由度較高的單應(yīng)變換代替部分相似變換，以更準確的刻畫非線性運動。本發(fā)明首先將視頻分為有重疊部分的各個視頻段，對每段視頻依次進行穩(wěn)像處理，以提高長視頻的處理效率。在特征點提取與跟蹤時，采取每隔10幀重新選點以及控制特征點間距的方法來減小估計全局運動時的誤差。然后，本發(fā)明結(jié)合了 LI范數(shù)的稀疏性和L2范數(shù)的最小二乘特性，在求解最優(yōu)攝像機路徑的目標函數(shù)中同時包含LI范數(shù)項和L2范數(shù)項，其中LI范數(shù)項包括所求最優(yōu)路徑的一階、二階和三階導(dǎo)數(shù)，分別對應(yīng)電影攝影中攝像機的靜止、勻速以及勻加速的情況，以達到消除抖動的目的；而L2范數(shù)項則是最優(yōu)路徑與原始攝像機路徑的差，目的是使得所求最優(yōu)路徑盡量接近于原始路徑，提高視頻的保真度。同時，在這兩項中加入一個調(diào)節(jié)光滑度與保真度的參數(shù)，以供不同用戶根據(jù)需要自行設(shè)定。該方法不僅能夠達到較好的穩(wěn)像效果，還能盡可能地保留原始視頻的信息。另外，本發(fā)明采用模型替換的方式盡量減小視頻幀間的非線性運動，在計算原始路徑的時候采用相似變換以保證剛性變換，此后用更高自由度的單應(yīng)變換替換非關(guān)鍵幀，從而得到更好的穩(wěn)像效果。


通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
圖1為本發(fā)明提出的一種基于稀疏度和保真度約束的視頻穩(wěn)像方法的總體流程圖。圖2為本發(fā)明中分段處理視頻的示意圖。圖3為本發(fā)明中特征點提取與跟蹤的流程圖。圖4為本發(fā)明中一實施例的原始攝像機路徑與最優(yōu)攝像機路徑圖，其中圖(a)為水平方向攝像機路徑，圖(b)為豎直方向攝像機路徑。圖5為本發(fā)明中的截取窗口約束示意圖。圖6為本發(fā)明中一實施例的參數(shù)λ不同取值下所得最優(yōu)攝像機路徑結(jié)果比較圖，其中圖(a)為λ=0.1時的結(jié)果，圖(b)為λ =0.5時的結(jié)果，圖(C)為λ =1.0時的結(jié)果，圖(d)為λ =2.0時的結(jié)果。圖7為本發(fā)明中非線性效應(yīng)抑制示意圖。圖8為本發(fā)明中視頻穩(wěn)像效果圖與對比圖，其中圖8(a)為原始視頻序列，圖8 (b)為穩(wěn)像后序列，圖8(c)為Grundmann等人論文中方法的穩(wěn)像后序列。
具體實施例方式下面結(jié)合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領(lǐng)域的技術(shù)人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進。這些都屬于本發(fā)明的保護范圍。如圖1所示，本實施例提供一種基于稀疏度和保真度約束的視頻穩(wěn)像方法，具體實施細節(jié)如下，以下實施例沒有詳細說明的部分參照發(fā)明內(nèi)容進行:圖2為分段處理視頻的示意圖。長視頻可以被分為各個小段進行處理，以提高穩(wěn)像的效率，相鄰的兩段視頻必須有重疊的部分。把每一段視頻長度設(shè)為N，重疊部分的長度為K，則當(dāng)穩(wěn)像開始時，先處理前N段視頻，求出最優(yōu)路徑if，此時只對前N-K幀進行幀變換。接著處理第二段視頻時，同樣求出其最優(yōu)路徑/f〗。對于第二段視頻前K幀，它們的最優(yōu)路徑通過前后兩段視頻所求最優(yōu)路徑取加權(quán)平均得到，即:Pf= ViP^ + (I — ,) Zf)(I)其中t=N_K+l，…，N，而u i，i = I, 2，…，K則是權(quán)重，它們的數(shù)值為:u fi/K。接著對第二段視頻的前N-K幀進行幀變換。依次類推知道整個視頻處理完即可。圖3為特征點提取與跟蹤的流程圖。在對視頻幀進行特征點提取與跟蹤時，通常是在第一幀上提取一定數(shù)量的特征點，然后在后面的幀中對這些特征點進行跟蹤。若視頻中存在運動著的前景物體，按照上述處理會產(chǎn)生一定的問題:當(dāng)運動的前景物體掃過背景時，背景特征點可能會變?yōu)榍熬疤卣鼽c，因而導(dǎo)致跟蹤錯誤，從而產(chǎn)生誤差。為了解決該問題，在選取特征點時，讓特征點之間的間距盡量大一點，在整個圖像上分布較均勻。這樣某一塊區(qū)域特征點的數(shù)目不會很多，即使出現(xiàn)上述誤跟蹤情況，也只是很少一部分特征點的跟蹤出現(xiàn)差錯，對后面全局運動估計的影響不會很大。若要選取 的特征點數(shù)目定為100，備選設(shè)為200左右，則特征點最小間距可以為:
權(quán)利要求
1.一種基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于所述方法包括如下步驟: 第一步，把視頻幀分段，段與段之間有重合的幀； 第二步，選取當(dāng)前段相鄰幀之間的特征點對； 第三步，對第二步得到的特征點對進行全局局外點去除； 第四步，用第三步得到的特征點對擬合二維線性運動模型； 第五步，用第四步得到的線性運動模型估計原始攝像機路徑； 第六步，確定平滑路徑的目標函數(shù)和限制原始攝像機路徑變化的約束條件； 第七步，對第六步得到的最優(yōu)化問題求解，得到截取窗口變換矩陣； 第八步，用第四步得到的線性運動模型和第七步得到的變換矩陣去除視頻中的非線性效應(yīng)，得到新的變換矩陣； 第九步，用第八步得到的截取窗口變換矩陣對原始幀進行變換。
2.根據(jù)權(quán)利要求1所述的基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于，所述第二步特征點對的獲取中，每隔10幀重新選點進行跟蹤，并且特征點的間距要大于最小間距，最小間距由以下公式得到
3.根據(jù)權(quán)利要求1所述的基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于，所述第四步二維線性運動模型包括相似變換模型和單應(yīng)變換模型。
4.根據(jù)權(quán)利要求1或3所述的基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于，所述第五步原始攝像機路徑的估計由以下公式得到:Ct=F1F2-Ft 其中，Ct為第t幀的原始攝像機路徑矩陣，F(xiàn)t為第t幀到第t-Ι的二維相似運動模型。
5.根據(jù)權(quán)利要求1所述的基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于，所述第六步平滑路徑的目標函數(shù)由兩部分組成，一是代表路徑平滑度的LI范數(shù)項，一是代表視頻內(nèi)容保真度的L2范數(shù)項，表示為:
6.根據(jù)權(quán)利要求1或5所述的基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于，所述第七步求解時，相鄰片段重合的幀所對應(yīng)的最優(yōu)路徑由前后兩個片段求得的最優(yōu)路徑取加權(quán)平均得到，公式如下: 其中，if和分別表示前一段和當(dāng)前段重合幀的最優(yōu)路徑，而u 1表示權(quán)重，計算方法為:
7.根據(jù)權(quán)利要求1或3所述的基于稀疏度和保真度約束的視頻穩(wěn)像方法，其特征在于，所述第八步去除視頻中的非線性效應(yīng)包括以下步驟: 步驟1:每隔k=30幀設(shè)置一關(guān)鍵幀，關(guān)鍵幀的Pt，Bt不變，以保證剛性變換，兩個關(guān)鍵幀之間的中間幀做以下處理: 步驟2:把相鄰幀的最優(yōu)路徑誤差6=力記為殘余項Tt，并分解成以下形式: P-1Pt=Tt=B^StBl 步驟3:把相似變換矩陣Ft換成更多參數(shù)的單應(yīng)變換矩陣Ht，即有從而有 步驟4:從兩個方向進行替換，根據(jù)步驟3最終得到的公式，從當(dāng)前幀的前一關(guān)鍵幀計算出一個Bt，記為B/ ;從當(dāng)前幀的后一關(guān)鍵幀計算出一個Bt，記為對；` 步驟5:將 /和貧的相應(yīng)參數(shù)進行線性混合，得到新的Bt。
全文摘要
本發(fā)明公開一種基于稀疏度和保真度約束的視頻穩(wěn)像方法，包括第一步，把視頻幀分段，段與段之間有一定數(shù)目重合的幀；第二步，選取當(dāng)前段相鄰幀之間的特征點對；第三步，對特征點對進行全局局外點去除；第四步，用得到的特征點對擬合二維線性運動模型；第五步，估計原始攝像機路徑；第六步，確定平滑路徑的目標函數(shù)和限制原始攝像機路徑變化的約束條件；第七步，根據(jù)線性規(guī)劃的求解得到截取窗口變換矩陣；第八步，去除視頻中的非線性效應(yīng)；第九步，用截取窗口變換矩陣對原始幀進行變換。本發(fā)明在減小視頻抖動的同時，能夠根據(jù)用戶需要減小視頻內(nèi)容失真的程度，并對長視頻的穩(wěn)像有較好的效果。
文檔編號H04N7/50GK103139568SQ20131004619
公開日2013年6月5日 申請日期2013年2月5日 優(yōu)先權(quán)日2013年2月5日
發(fā)明者宋利, 瞿輝 申請人:上海交通大學(xué)