專利名稱：數(shù)字圖像穩(wěn)定方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字圖像穩(wěn)定方法和設(shè)備，用于從攝像機(jī)產(chǎn)生的 原始圖像序列中消除不希望的攝像機(jī)運(yùn)動(dòng)(稱為抖動(dòng))并獲得穩(wěn)定的 圖像序列，其中對(duì)所述原始序列采用穩(wěn)定運(yùn)算以消除所述抖動(dòng)。這種方法和設(shè)備可以用于如低/中端數(shù)字電影攝像機(jī)或者移動(dòng)電話。
背景技術(shù)：
眾所周知，數(shù)字圖像穩(wěn)定方法的目標(biāo)是消除不希望的攝像機(jī)運(yùn)動(dòng) 或抖動(dòng)，從而提供更舒適的視覺體驗(yàn)，產(chǎn)生的序列只顯示必要的攝像 機(jī)運(yùn)動(dòng)。抖動(dòng)定義為附加在攝像機(jī)的有意運(yùn)動(dòng)(特別是平移或者旋轉(zhuǎn)) 上的圖像的所有不希望的位置波動(dòng)。穩(wěn)定算法的處理有時(shí)是比較嚴(yán)格的。這些算法很難完全適合待穩(wěn) 定的各種輸入序列例如，單視點(diǎn)序列，全景鏡頭，使用者向前或向 后移動(dòng)是的序列等等。因此，需要更加靈活并對(duì)于多種輸入序列最優(yōu)的方法以及相應(yīng)的 設(shè)備。發(fā)明內(nèi)容因此本發(fā)明的目的是提出這樣一種設(shè)備。為了這個(gè)目的，本發(fā)明涉及說明書引言部分描述的設(shè)備，此外， 該設(shè)備的特征在于包括_初始級(jí)，在其中構(gòu)造具有第一預(yù)定特征集的第一運(yùn)動(dòng)濾波器、所述 缺省濾波器以及具有第二預(yù)定特征集的至少一個(gè)備選運(yùn)動(dòng)濾波器， 所述濾波器在所述穩(wěn)定算法中實(shí)現(xiàn)；-第一級(jí)，在其中估計(jì)所述攝像機(jī)的全局運(yùn)動(dòng)并且用所述缺省濾波器 對(duì)所述全局運(yùn)動(dòng)進(jìn)行濾波；-第二級(jí)，在其中提取來自所述原始序列和穩(wěn)定序列的預(yù)定參數(shù)，并 產(chǎn)生被稱為標(biāo)志的測(cè)量值，以評(píng)估穩(wěn)定質(zhì)量；以及-第三級(jí)，在其中將所述標(biāo)志與預(yù)定闡值進(jìn)行比較，如果所述標(biāo)志超 過所述閾值，則產(chǎn)生第一控制信號(hào)，否則產(chǎn)生第二控制信號(hào)，所述 第一控制信號(hào)強(qiáng)制所述穩(wěn)定算法使用備選濾波器，以提高穩(wěn)定質(zhì) 量，所述第二控制信號(hào)強(qiáng)制穩(wěn)定算法繼續(xù)使用所述缺省濾波器。 本發(fā)明的另一目的是提供可由這種設(shè)備實(shí)施的方法。 為此，本發(fā)明涉及說明書引言部分描述的方法，此外，該方法的特征在于包括-初始步驟，包括構(gòu)造具有第一預(yù)定特征集的第一運(yùn)動(dòng)濾波器、所述 缺省濾波器以及具有第二預(yù)定特征集的至少一個(gè)備選運(yùn)動(dòng)濾波器， 所述濾波器在所述穩(wěn)定算法中實(shí)現(xiàn)；_第一步驟，包括估計(jì)所述攝像機(jī)的全局運(yùn)動(dòng)并且用所述缺省濾波器 對(duì)所述全局運(yùn)動(dòng)進(jìn)行濾波；-第二步驟，包括提取來自所述原始序列和穩(wěn)定序列的預(yù)定參數(shù)，并 產(chǎn)生被稱為標(biāo)志的測(cè)量值，以評(píng)估穩(wěn)定質(zhì)量；以及-第三步驟，包括將所述標(biāo)志與預(yù)定閾值進(jìn)行比較，如果所述標(biāo)志超 過所述閾值，則產(chǎn)生第一控制信號(hào)，否則產(chǎn)生第二控制信號(hào)，所述 第一控制信號(hào)強(qiáng)制所述穩(wěn)定算法使用備選濾波器，以提高穩(wěn)定質(zhì) 量，所述第二控制信號(hào)強(qiáng)制穩(wěn)定算法繼續(xù)使用所述缺省濾波器。 根據(jù)該方法最重要的特征，使用和評(píng)估序列的固有特性，以提高穩(wěn)定效率。實(shí)際上，為了實(shí)施該方法，使用"環(huán)內(nèi)(iriloop)策略"。根據(jù) 該方法的重要特征，環(huán)路中的關(guān)鍵工具是評(píng)估序列固有的、對(duì)用戶感 知穩(wěn)定性產(chǎn)生影響的一些相關(guān)參數(shù)。為了達(dá)到這個(gè)目的，首先通過缺省的穩(wěn)定算法穩(wěn)定原始抖動(dòng)序列 (或其一部分)。然后考慮穩(wěn)定序列的全局運(yùn)動(dòng)和頻率特性，使調(diào)整算 法中的閾值/參數(shù)值，從而獲得更好的穩(wěn)定性。根據(jù)本發(fā)明的方法可以應(yīng)用于高/低/中端的數(shù)字?jǐn)z像機(jī)中作為動(dòng)態(tài)視頻穩(wěn)定工具，還可以在移動(dòng)電話、Key-ring、 PC程序等中實(shí)現(xiàn)。 本發(fā)明的其他特征參見從屬權(quán)利要求。


下文將參考附圖對(duì)本發(fā)明作詳細(xì)說明，本發(fā)明的其他目的、特征 和優(yōu)點(diǎn)將顯而易見，在附圖中_圖l示意性地示出了用于實(shí)現(xiàn)根據(jù)本發(fā)明優(yōu)選實(shí)施例的數(shù)字圖像穩(wěn)定方法的系統(tǒng)的結(jié)構(gòu)； -圖2示意性地詳細(xì)示出了圖1中的一個(gè)模塊，稱為"評(píng)估模塊"；以及-圖3是示出了本發(fā)明中環(huán)路的最優(yōu)使用的時(shí)間圖。
具體實(shí)施方式
在以下的描述中，本領(lǐng)域技術(shù)人員熟知的結(jié)構(gòu)和功能并沒有作詳 細(xì)說明，因?yàn)椴槐匾募?xì)節(jié)會(huì)使本發(fā)明不清楚。為了固定構(gòu)思，而非限制本發(fā)明的范圍，此后認(rèn)為抖動(dòng)圖像是由 電影攝像機(jī)(未示出)產(chǎn)生的。原始圖像序列和穩(wěn)定圖像序列都可以存儲(chǔ)在存儲(chǔ)裝置中，即模塊10和12。圖1示意性地示出了用于實(shí)現(xiàn)根據(jù)本發(fā)明的數(shù)字圖像穩(wěn)定(DIS) 方法的系統(tǒng)l的結(jié)構(gòu)(為了達(dá)到簡(jiǎn)化的目的，數(shù)字圖像穩(wěn)定方法此后 將稱為"DIS")。模塊11實(shí)現(xiàn)穩(wěn)定算法，并處理穩(wěn)定算法濾波器(模塊110)的實(shí) 現(xiàn)，之后將詳細(xì)說明。穩(wěn)定算法模塊11從原始(即由攝像機(jī)產(chǎn)生的抖動(dòng))序列10中創(chuàng) 建穩(wěn)定序列12，例如攝像機(jī)產(chǎn)生的抖動(dòng)序列10。圖像可以劃分成大的 像素區(qū)域，稱為"宏塊"。來自穩(wěn)定算法模塊11的一些相關(guān)序列參數(shù)， 如全局運(yùn)動(dòng)矢量，此后稱為"GMV"，或者每個(gè)宏塊的運(yùn)動(dòng)矢量，此 后稱為"BMV",被發(fā)送給并存儲(chǔ)于序列參數(shù)模塊13。然后，將它 們發(fā)送給評(píng)估模塊15 (輸出0;3)并進(jìn)行評(píng)估(圖2詳細(xì)示出了評(píng)估模塊15的不同電路)。根據(jù)該評(píng)估的結(jié)果，調(diào)整穩(wěn)定算法的新閾值， 從而更好地穩(wěn)定原始序列。評(píng)估模塊15中執(zhí)行的分析通過(對(duì)原始圖像序列IO和穩(wěn)定圖像序列12)使用如下不同特性的測(cè)量，得到視頻穩(wěn)定質(zhì)量的客觀測(cè)量公知的稱為連續(xù)信號(hào)的"峰值信噪比"或"PSNR"的參數(shù)、對(duì)沿序列 的運(yùn)動(dòng)矢量的頻率分析和對(duì)當(dāng)前圖像運(yùn)動(dòng)參數(shù)的分析。該操作是針對(duì) 每一幀執(zhí)行的，之后將詳細(xì)說明?；谶@個(gè)評(píng)估，對(duì)算法的穩(wěn)定參數(shù) 進(jìn)行動(dòng)態(tài)調(diào)整(針對(duì)每一幀或者由N個(gè)幀形成的組)。穩(wěn)定算法的運(yùn) 動(dòng)/抖動(dòng)濾波部分的可能調(diào)整、以及所評(píng)估的參數(shù)與對(duì)穩(wěn)定算法的交互 作用之間的關(guān)系將在后面詳細(xì)說明。這里將根據(jù)詳細(xì)的圖2說明評(píng)估模塊15。如上所述，評(píng)估模塊15 中執(zhí)行的分析通過(對(duì)原始圖像序列IO和穩(wěn)定圖像序列12)使用如 下不同特性的測(cè)量，得到視頻穩(wěn)定質(zhì)量的客觀測(cè)量連續(xù)圖像的 "PSNR"和對(duì)沿序列的"GMV"的頻率分析。模塊14 (見圖1 )包括用于存儲(chǔ)N個(gè)幀的存儲(chǔ)裝置。更具體的說， 模塊14包括原始緩沖器140，用于存儲(chǔ)來自原始圖像序列IO的幀； 以及穩(wěn)定緩沖器141，用于存儲(chǔ)來自穩(wěn)定圖像序列12的N個(gè)幀。將所 述N個(gè)幀的序列發(fā)送到評(píng)估模塊15 (分別是輸出O，和Ow),具體 是發(fā)送到所述模塊15中提供的分析塊16。通過使用基于原始圖像序列10和穩(wěn)定圖像序列12的運(yùn)動(dòng)-頻率內(nèi) 容、感官考慮以及常規(guī)均值"幀間變換保真度測(cè)量"的參數(shù)組合，將 多種測(cè)量組合起來形成"穩(wěn)定質(zhì)量度量"，此后稱為"SQM"。更具體的說，根據(jù)本發(fā)明方法的優(yōu)選實(shí)施例，"客觀視頻穩(wěn)定質(zhì) 量測(cè)量系統(tǒng)"，按照以下方法測(cè)量"SQM"?；谶B續(xù)的"GMV"值，運(yùn)動(dòng)頻譜被劃分為兩個(gè)能量帶， 一個(gè)為 高頻，典型地高于lHz，另一個(gè)為低頻，低于lHz(在該例中)。因此穩(wěn)定質(zhì)量的估計(jì)稱作五W/附加'o" — o/ — 5"to站&如'o" — ， 由下面的等式給出j&y/ /mWo/7—o/ — 5Va緣'加/o" 一 gwa"/y = (a0 + al * JSe,0W + a2 * ) * /7F+ (〃0 + 〃1 *+ 〃2 * &。ve) * (1)+ (,0 + yl* + ,2 * ^Aove) * re必F其中al和《2分別表示在考慮到幀間變換保真度(ITF)的情況 下Abe^和Aab。ve的相應(yīng)重要性，"0表示在整體測(cè)量中ITF的整體重 要性；戶l和々2分別表示在考慮到高頻衰減(redHF)的情況下Abel。w 和Aab。ve的相應(yīng)重要性，-0表示在整體測(cè)量中redHF的整體重要性； / 1和y2分別表示在考慮到低頻衰減(redLF)的情況下A^。w和Aab。ve 的相應(yīng)重要性，/0表示在整體測(cè)量中redLF的整體重要性。這些參數(shù) 是用實(shí)驗(yàn)的方法確定的。接下來會(huì)詳細(xì)說明其他參數(shù)-J。6。m和Aew表示兩個(gè)頻帶(例如，分別高于/低于lHz)的能量 在總運(yùn)動(dòng)能量中所占的比例；/^一五"erg);和Z^_^wgy是高頻和低頻 能量的絕對(duì)水平(level)。所述參數(shù)由下面兩個(gè)等式給出 爿 =朋—五野gy (2),i^^/F和/^^:F表示在所考慮的兩個(gè)頻帶上原始序列io和穩(wěn)定 序列12之間運(yùn)動(dòng)能量的衰減。這應(yīng)該是抖動(dòng)衰減的主要指示符，特別 是在高頻上。/rF表示索引，其是對(duì)兩個(gè)連續(xù)幀之間的亮度數(shù)據(jù)計(jì)算的標(biāo)準(zhǔn)"PSNR"。最終的索引是在整個(gè)滑動(dòng)測(cè)試窗口上(或者，在逐序列測(cè)量的情況下，在整個(gè)序列上)平均得到的。等式(4)給出了連續(xù)幀之間的"PNSR":2552層i :lO.bg,o~^- (4)其中 和^是當(dāng)前和連續(xù)幀的對(duì)應(yīng)像素。"幀間變換保真度"或"ITF"測(cè)量是根據(jù)連續(xù)圖像序列間的 <formula>formula see original document page 10</formula>， k為任意等級(jí)(rank))而計(jì)算的。 /7F索引由等式(5)給出 <formula>formula see original document page 10</formula>其中"6J^we表示序列中被測(cè)試部分的幀的數(shù)量。 考慮到從模塊13接收的序列參數(shù)(圖1:輸出Ou)以及從原始 緩沖器140 (輸出和穩(wěn)定緩沖器(輸出Ow)接收到的原始幀， 在分析塊16 (圖2)中計(jì)算上述參數(shù)。所述參數(shù)存儲(chǔ)在存儲(chǔ)裝置<formula>formula see original document page 10</formula> 中。上述存儲(chǔ)裝置的內(nèi)容被發(fā)送到測(cè)量計(jì)算模塊17。接下來將詳細(xì)說明圖1模塊11中實(shí)現(xiàn)的穩(wěn)定算法。穩(wěn)定算法通常 首先估計(jì)攝像機(jī)從一幀到下一幀的全局運(yùn)動(dòng)，得到"全局運(yùn)動(dòng)矢量" 或"GMV"。然后需要對(duì)這個(gè)運(yùn)動(dòng)進(jìn)行濾波，以消除不希望的分量或 抖動(dòng)。必須將這種分量與有意運(yùn)動(dòng)相分離?；旧?，通過獲取序列上 的絕對(duì)位移矢量值并使用低通濾波器，可以消除高頻抖動(dòng)，保留總體 趨勢(shì)。根據(jù)本發(fā)明的特征，使用了兩個(gè)第一濾波器，此后分別稱為濾波 器F/ZT五i^和F/丄7E&。在低通"GMV"濾波級(jí)中，對(duì)"GMV"曲 線進(jìn)行濾波并且在n幀上對(duì)其迸行時(shí)間上的累積。要應(yīng)用的校正是原 始累積曲線JMK(")和修正后的累積曲線」MFwo《")之間的差值，原 始累積曲線<formula>formula see original document page 10</formula>(6)修正后的積累曲線<formula>formula see original document page 10</formula> (7)也可能存在兩種運(yùn)動(dòng)平均濾波模式。使用濾波器P7丄7^A在時(shí)刻t執(zhí)行運(yùn)動(dòng)平均濾波。用M個(gè)在前 "GMV"的平均值取代"GMV"，因此對(duì)"GMV"的高頻分量進(jìn)行如 下濾波<formula>formula see original document page 10</formula> (8)使用濾波器F/ZTE/ s在時(shí)刻？執(zhí)行雙通帶運(yùn)動(dòng)平均濾波在相同的釆樣窗上對(duì)運(yùn)動(dòng)平均濾波后的"GMV" ，GMFJ "，再次進(jìn)行平均 C MF一do"WeJ / , = Average(GMFJ /々…GMK(9) 這個(gè)雙濾波后的"GMV"提供了比簡(jiǎn)單的運(yùn)動(dòng)平均濾波更平滑的結(jié)果。然后"運(yùn)動(dòng)矢量積分"提供了另外兩個(gè)運(yùn)動(dòng)濾波器的基礎(chǔ)，此后 稱為尸/Z7^ec和F/Z7^^。在這種情況下，使用阻尼因子對(duì)"GMV" 進(jìn)行積分，由此產(chǎn)生的積分運(yùn)動(dòng)矢量("IMV")指定了要應(yīng)用到當(dāng)前輸入圖像以建立穩(wěn)定序列的最終運(yùn)動(dòng)矢量校正 7MF, = a * W卜,+ G嫁， (10)其中《是阻尼因子<1(在0到1之間取值，取決于期望的穩(wěn)定度)。 根據(jù)本發(fā)明方法的特征，使用自適應(yīng)阻尼系數(shù)a，以滿足下列等式。/M^ = (GW,+GW,—,) * /MF,—, + GW (11)阻尼因子"取決于最后兩個(gè)"GMV"之和。這就允許跟蹤有意運(yùn) 動(dòng)的開始。a禾B(GMF,+GM^)之間的對(duì)應(yīng)關(guān)系表如下構(gòu)造-較小值的"GMV"和意味著較大的阻尼因子值。較大的阻尼值更強(qiáng)地穩(wěn)定序列，正如假設(shè)攝像機(jī)有意靜止不動(dòng)一樣。 -較大值的"GMV"和意味著較小的阻尼因子值，因?yàn)檩^小的阻尼值使得序列更加遵循原始運(yùn)動(dòng)。 使用兩個(gè)表-F/ZJ^i^:在這種情況下，構(gòu)建對(duì)應(yīng)關(guān)系表，以使穩(wěn)定序列盡可能 地穩(wěn)定原始運(yùn)動(dòng)。 一般而言，表中填充的是較大的阻尼因子值。-F/Z7^/ D:在這種情況下，構(gòu)建對(duì)應(yīng)關(guān)系表，以使穩(wěn)定序列更快地跟蹤較大的有意運(yùn)動(dòng)(表中填充的是比濾波器C中的阻尼因子值略小的阻尼因子值)。 下面將詳細(xì)說明環(huán)路交互(loop interaction)。在穩(wěn)定算法中使用的缺省"運(yùn)動(dòng)濾波"濾波器是F仏7E及c。依據(jù) 評(píng)估結(jié)果，穩(wěn)定算法可以使用不同的運(yùn)動(dòng)濾波器。首先，由評(píng)估模塊15 (更確切的說是由分析塊模塊(圖2))給出穩(wěn)定序列的測(cè)量或標(biāo)志。所述測(cè)量是由測(cè)量計(jì)算模塊17計(jì)算的，如上 所述，測(cè)量計(jì)算模塊17從模塊160到164接收參數(shù)/7F等。測(cè)量計(jì)算 模塊17的輸出發(fā)送到比較模塊19，與預(yù)定的閾值77i7 進(jìn)行比較。如 果測(cè)量超過該界限閾值7W及，這意味著穩(wěn)定結(jié)果是令人滿意的，無需 任何改變分支"YES"和第一輸出0/5上的信號(hào)被發(fā)送到位于穩(wěn)定 算法模塊11中的濾波器子模塊110。否則，將使用另一濾波器處理該序列分支"NO"。比較模塊 19第二輸出上的信號(hào)被發(fā)送回到濾波器動(dòng)作分析模塊18，該模塊18 也接收參數(shù)Aab。vj|] Abel。w。條件處理(switching)過程如下 如果A6e/。w〉77*Aa6。ve，那么使用濾波器F/Zr五i^或F/Z7^ s:如果A。6。ve>"，那么使用濾波器F/iT￡/ s，否則使用濾波器如果A&w〈r"A。^e，那么使用濾波器F/ZT^ c或F/丄ra^:如果A^。ve>n，那么使用濾波器F/i:r￡7 c,否則使用濾波器 ，D其中77、 77和"是實(shí)驗(yàn)確定的閾值。上述計(jì)算結(jié)果被發(fā)送到濾波器控制模塊110:輸出0'^上具有預(yù) 定格式的的信號(hào)，稱為"w《—F!7fer—Jc"o" we^age"。然后，穩(wěn)定算法模塊11考慮到從輸出0;5接收的信號(hào)值、或者從 評(píng)估模塊15的輸出0'u接收的信號(hào)值，對(duì)攝像機(jī)全局運(yùn)動(dòng)進(jìn)行濾波， 并且消除不希望的抖動(dòng)。因此，根據(jù)本發(fā)明方法的最重要特征，通過使用圖像序列的固有 特性及對(duì)它們進(jìn)行評(píng)估來完成所述消除，從而改善穩(wěn)定性。本發(fā)明的最佳應(yīng)用是使用閉合環(huán)路來實(shí)現(xiàn)環(huán)路交互。圖3是說明 了所述最佳應(yīng)用的時(shí)間圖。環(huán)路交互是使用閉合環(huán)路而動(dòng)態(tài)地完成的， 即，使用基于預(yù)定數(shù)量的連續(xù)幀(在圖3所示情況下是6個(gè)幀)的測(cè) 量，預(yù)定數(shù)量的連續(xù)幀被稱為"穩(wěn)定效率測(cè)量滑動(dòng)窗"W (z'是任意 等級(jí))。上面的線表示原始圖像序列的幀，下面的線表示穩(wěn)定序圖像列 的幀。初始化幀標(biāo)記為/F(上面的線)，第一穩(wěn)定幀標(biāo)記為SF,(下面的 線)。第一窗標(biāo)記為^。對(duì)該窗的任何幀，存在還未足夠處理以實(shí)現(xiàn) 正確的環(huán)內(nèi)(in-loop)穩(wěn)定控制的幀。從標(biāo)記為『2 (圖3中的虛線) 的第二窗的最末幀F(xiàn)開始，分析窗被填滿，因此環(huán)內(nèi)穩(wěn)定開始有效。每個(gè)窗包含相同數(shù)量的時(shí)隙(每個(gè)時(shí)隙對(duì)應(yīng)于兩個(gè)連續(xù)幀之間的 時(shí)間間隔)，也即相同數(shù)量的幀，但是隨著時(shí)間從產(chǎn)生的一個(gè)幀產(chǎn)生到 下一幀而移動(dòng)。例如，窗M包括原始幀1 (/F)到6，穩(wěn)定幀1到6， 窗『2包括原始幀和穩(wěn)定幀2-7 (F)等。上述機(jī)制允許實(shí)時(shí)地改變?cè)谠谀K11 (圖l)中實(shí)現(xiàn)的穩(wěn)定算法 的運(yùn)動(dòng)濾波部分。從前面的描述中可以看出，本發(fā)明很好地實(shí)現(xiàn)了其 設(shè)定的目標(biāo)。本發(fā)明DIS方法特別適合應(yīng)用于低/中端數(shù)字視頻攝像機(jī) 中作為動(dòng)態(tài)視頻穩(wěn)定工具，但它也可以內(nèi)置在移動(dòng)電話、Key-ring、 PC程序等等中。但是，需要注意到是，本發(fā)明并不限于以上詳細(xì)描述的實(shí)施例和 各種變化，在不背離本發(fā)明精神和范圍的前提下可以作改動(dòng)。如果單 個(gè)硬件或者軟件可以實(shí)現(xiàn)多種功能，那么采用硬件或軟件或者兩者， 存在很多實(shí)現(xiàn)根據(jù)本發(fā)明方法的功能的方式。本發(fā)明并不排除使用多 個(gè)硬件或軟件或者兩者的組合來實(shí)現(xiàn)功能，因此可以在不改變根據(jù)本 發(fā)明的DIS方法的同時(shí)形成一種單個(gè)功能。所述硬件或軟件可以通過 多種方式實(shí)現(xiàn)，例如分別利用有線電子電路或者利用適當(dāng)編程的集成
權(quán)利要求
1.一種數(shù)字圖像穩(wěn)定設(shè)備，用于從攝像機(jī)產(chǎn)生的原始圖像序列中消除不希望的、被稱為抖動(dòng)的攝像機(jī)運(yùn)動(dòng)并獲得穩(wěn)定的圖像序列，對(duì)所述原始序列采用穩(wěn)定算法(11)以消除所述抖動(dòng)，所述設(shè)備的特征在于包括-初始級(jí)，在其中構(gòu)造具有第一預(yù)定特征集的第一運(yùn)動(dòng)濾波器、所述缺省濾波器以及具有第二預(yù)定特征集的至少一個(gè)備選運(yùn)動(dòng)濾波器，所述濾波器在所述穩(wěn)定算法(11)中實(shí)現(xiàn)；-第一級(jí)，在其中估計(jì)所述攝像機(jī)的全局運(yùn)動(dòng)并且用所述缺省濾波器對(duì)所述全局運(yùn)動(dòng)進(jìn)行濾波；-第二級(jí)，在其中提取來自所述原始序列(10)和穩(wěn)定序列(12)的預(yù)定參數(shù)(13，14)，并產(chǎn)生被稱為標(biāo)志(17)的測(cè)量值，以評(píng)估穩(wěn)定質(zhì)量；以及-第三級(jí)(19)，在其中將所述標(biāo)志與預(yù)定閾值進(jìn)行比較，如果所述標(biāo)志超過所述閾值，則產(chǎn)生第一控制信號(hào)(O15)，否則產(chǎn)生第二控制信號(hào)(O′15)，所述第一控制信號(hào)(O15)強(qiáng)制所述穩(wěn)定算法(11)使用備選濾波器，以提高穩(wěn)定質(zhì)量，所述第二控制信號(hào)(O′15)強(qiáng)制穩(wěn)定算法(11)繼續(xù)使用所述缺省濾波器。
2. —種數(shù)字圖像穩(wěn)定方法，用于從攝像機(jī)產(chǎn)生的原始圖像序列中 消除不希望的、被稱為抖動(dòng)的攝像機(jī)運(yùn)動(dòng)并獲得穩(wěn)定的圖像序列，對(duì) 所述原始序列采用穩(wěn)定算法(11)以消除所述抖動(dòng)，所述方法的特征在于包括-初始步驟，包括構(gòu)造具有第一預(yù)定特征集的第一運(yùn)動(dòng)濾波器、所述 缺省濾波器以及具有第二預(yù)定特征集的至少一個(gè)備選運(yùn)動(dòng)濾波器，所述濾波器在所述穩(wěn)定算法(11)中實(shí)現(xiàn)； -第一步驟，包括估計(jì)所述攝像機(jī)的全局運(yùn)動(dòng)并且用所述缺省濾波器對(duì)所述全局運(yùn)動(dòng)進(jìn)行濾波； -第二步驟，包括提取來自所述原始序列(10)和穩(wěn)定序列(12)的預(yù)定參數(shù)(13， 14)，并產(chǎn)生被稱為標(biāo)志(17)的測(cè)量值，以評(píng)估 穩(wěn)定質(zhì)量；以及-第三步驟，包括將所述標(biāo)志與預(yù)定閾值進(jìn)行比較(19)，如果所述 標(biāo)志超過所述閾值，則產(chǎn)生第一控制信號(hào)((9/5)，否則產(chǎn)生第二控 制信號(hào)(O'")，所述第一控制信號(hào)(O")強(qiáng)制所述穩(wěn)定算法(11) 使用備選濾波器，以提高穩(wěn)定質(zhì)量，所述第二控制信號(hào)(0'/5)強(qiáng) 制穩(wěn)定算法(11)繼續(xù)使用所述缺省濾波器。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述圖像被劃分成 預(yù)定的較大像素區(qū)域，g卩"宏塊"，所述參數(shù)包括全局運(yùn)動(dòng)矢量和"宏 塊"矢量(13)。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述標(biāo)志(17)包 括基于對(duì)所述原始序列和穩(wěn)定序列執(zhí)行的測(cè)量的組合的穩(wěn)定質(zhì)量度 量，所述測(cè)量至少包括連續(xù)圖像的峰值信噪比和對(duì)沿預(yù)定數(shù)量圖像的 序列的所述全局運(yùn)動(dòng)矢量的頻率分析，對(duì)所述圖像原始序列和穩(wěn)定序 列均執(zhí)行所述測(cè)量。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法包括另一 步驟將所述預(yù)定數(shù)量圖像的序列的運(yùn)動(dòng)頻譜劃分成預(yù)定的兩個(gè)能量 帶，即第一低頻能量帶和第二高頻能量帶；根據(jù)連續(xù)的全局運(yùn)動(dòng)矢量 計(jì)算所述運(yùn)動(dòng)頻譜；所述穩(wěn)定質(zhì)量度量基于第一和第二參數(shù)的計(jì)算和 組合、第三和第四參數(shù)的計(jì)算和組合以及第五參數(shù)，第一和第二參數(shù) 分別稱為Ae/。w和A^e，分別表示所述第一和第二能量帶中的能量比 例，第三和第四參數(shù)表示在所述第一和第二頻帶上所述圖像原始序列 和穩(wěn)定圖像序列之間的運(yùn)動(dòng)能量衰減，第五參數(shù)稱作幀間變換保真度， 表示所述預(yù)定數(shù)量圖像的序列中連續(xù)圖像之間的所述峰值信噪比。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述高頻是高于lHz 的頻率，所述低頻是低于lHz的頻率。
7. 根據(jù)權(quán)利要求5或6所述的方法，其特征在于，設(shè)計(jì)被稱作 F仏7^i c的所述缺省運(yùn)動(dòng)濾波器的所述第一預(yù)定特征集，以獲得所述 攝像機(jī)運(yùn)動(dòng)的高穩(wěn)定性，并且所述第一預(yù)定特征集包括填充有高阻尼 因子值的對(duì)應(yīng)關(guān)系表。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于，設(shè)計(jì)被稱作F/丄7^/^ 的至少一個(gè)備選濾波器的所述第二預(yù)定特征集，以允許更快地跟蹤所 述攝像機(jī)的較大有意運(yùn)動(dòng)，并且所述第二預(yù)定特征集包括填充有阻尼因子的對(duì)應(yīng)關(guān)系表，該阻尼因子的值低于所述F/丄7^^;的阻尼因子的值。
9. 根據(jù)權(quán)利要求5和6所述的方法，其特征在于，所述初始步驟包 括構(gòu)造分別具有第三和第四特征集的另外兩個(gè)備選運(yùn)動(dòng)濾波器，所述 另外兩個(gè)備選運(yùn)動(dòng)濾波器分別稱為/^T五^和F/丄rE/^;設(shè)計(jì)所述第三 特征集，以對(duì)所述原始圖像序列執(zhí)行運(yùn)動(dòng)平均濾波，由預(yù)定數(shù)量的在 前全局運(yùn)動(dòng)矢量的平均值取代所述全局運(yùn)動(dòng)矢量，所述預(yù)定數(shù)量的在 前全局運(yùn)動(dòng)矢量表示采樣窗，對(duì)所述矢量的高頻分量進(jìn)行濾波；設(shè)計(jì) 所述第四特征集，以對(duì)所述原始圖像序列執(zhí)行雙通帶運(yùn)動(dòng)平均濾波， 由預(yù)定數(shù)量的在前全局運(yùn)動(dòng)矢量的平均值取代所述全局運(yùn)動(dòng)矢量，在 第一通帶中對(duì)所述矢量的高頻分量進(jìn)行濾波，在第二通帶中在相同的 采樣窗上對(duì)上述濾波后的運(yùn)動(dòng)矢量再次進(jìn)行濾波。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于，所述初始步驟包括 實(shí)驗(yàn)確定分別稱為T7、 r2和H的另外三個(gè)閾值；如果所述第一閾值被超過，則所述初始步驟包括使用分別稱為AeW和乏6。m的所述第一和第二參數(shù)來進(jìn)行依次比較的步驟-如果Ae/。w〉n^^。ve，則使用所述濾波器F/ZTEi^或F/17Ei^，并且如果A^。m〉77，則使用所述濾波器F/丄rE^，否則使用所述濾波器F/ZTE/^;以及 -如果AeW〈n^^。ve，則使用所述濾波器F/JL7^i c或F幾7Ei^，并且如果A^e〉n，則使用所述濾波器尸/丄7^/ec，否則使用所述濾波器尸/丄潔D。
11. 根據(jù)權(quán)利要求io所述的方法，其特征在于，所述采樣窗是包括恒定數(shù)量的時(shí)隙的滑動(dòng)窗(w， w， w)，每個(gè)時(shí)隙對(duì)應(yīng)于將所述原始序列(10)和穩(wěn)定序列(12)的兩個(gè)連續(xù)幀隔開的時(shí)間間隔，所述滑動(dòng)窗隨時(shí)間從一幀移動(dòng)到下一幀，以實(shí)時(shí)地執(zhí)行所述運(yùn)動(dòng)濾波。
全文摘要
本發(fā)明涉及一種從攝像機(jī)產(chǎn)生的原始圖像序列(10)中消除抖動(dòng)的數(shù)字圖像穩(wěn)定方法。對(duì)原始序列(10)采用了穩(wěn)定算法(11)。估計(jì)攝像機(jī)的全局運(yùn)動(dòng)并且用缺省的運(yùn)動(dòng)濾波器對(duì)其濾波(110)。從原始圖像序列(10)和穩(wěn)定圖像序列(12)中提取預(yù)定參數(shù)(13，140，141)。計(jì)算測(cè)量值，以評(píng)估(15)穩(wěn)定質(zhì)量，并將計(jì)算值與閾值相比較。根據(jù)評(píng)估的結(jié)果(O₁₅，O′₁₅)，穩(wěn)定算法(11)使用備選濾波器以改善穩(wěn)定質(zhì)量，或者繼續(xù)使用缺省濾波器。
文檔編號(hào)H04N5/232GK101238712SQ200680029254
公開日2008年8月6日 申請(qǐng)日期2006年8月9日 優(yōu)先權(quán)日2005年8月10日
發(fā)明者卡羅琳娜·米羅, 揚(yáng)·皮卡爾, 斯特凡娜·奧貝熱 申請(qǐng)人:Nxp股份有限公司