專利名稱：圖像序列中閃爍的檢測和抑制的制作方法
技術領域：
在此公開的本發(fā)明一般涉及視頻處理，更準確地，涉及視頻幀序列中非期望的短暫變化的連續(xù)檢測。具體地，本發(fā)明適合于檢測通過通信網(wǎng)絡進行流傳輸?shù)囊曨l幀序列中與混淆相關的假象(aliasing-related artefact)。有利地，本發(fā)明還提供了非期望的短暫變化的結(jié)合的檢測和抑制的方法和設備。
背景技術：
在運動圖像的播放期間(也就是說，靜止圖像(幀)序列在適當時間點連續(xù)呈現(xiàn))，觀眾有時會觀察到非期望的亮度變化，即“閃爍”(flicker)，其不會出現(xiàn)在描繪的場景中。如此處所使用的，場景(scene)是在記錄運動圖像的成像設備的視野中可見或部分可見的一個空間區(qū)域。盡管整個場景在給定時刻可能不可見，但是其能夠通過掃視(span) 在一個鏡頭期間被成功覆蓋。閃爍可能具有快到人眼感覺不到的劇烈振動的光源引起。然而，記錄包括以成像設備的幀速率(frame rate)對這種振動頻率進行采樣，通過采樣處理， 該振動頻率可能變?yōu)楦偷?、可見地感受到的頻率。

圖1示出了高頻信號的采樣(如圓圈所示)如何被解釋為來自低頻信號，反之亦然；這種現(xiàn)象就是混淆(aliasing)。人們可以區(qū)分不同種類的閃爍。在灰度級視頻序列中，閃爍是圖像信號的單信道的非故意的(并且通常是周期性的)變化。這種變化可能影響整個幀或者僅僅子區(qū)域，該子區(qū)域可能對應于具有特定亮度的空間區(qū)域。當運用彩色視頻技術時，振動的白色光源可能以不同于振動的彩色光源的方式來影響記錄的視頻序列。正如在接下來的幾個段落將會解釋的，對圖像分量的閃爍的精確解釋取決于所使用的精確彩色視頻格式。首先，如果視頻序列以線性原色分量編碼，例如RGB，那么在白色光源的情況下，非期望的振動將存在于所有顏色中。如果振動光源是彩色的，則將會給每個彩色分量按照光源顏色組成的比例貢獻振動條件(term)；例如，振動的紅色光源會主要貢獻RGB信號的R 分量，而較少貢獻G分量和B分量。其次，若干普遍彩色視頻格式基于三維YCbCr彩色空間。這種視頻格式包括一個亮度信道Y(對像素的亮度分量，或者輝度(brightness)分量編碼)和兩個色度信道Cb、 Cr (根據(jù)與白色的偏離，對像素的色度分量編碼)。亮度分量對應于灰度級視頻的單圖像信道；因此如果YCbCr彩色視頻信號將通過灰度級接收器重現(xiàn)，那么可以簡單地忽略信道 Cb、Cr。圖像分量(如關于常量、縮放、偏移等)的準確定義可能在不同的具體視頻格式之間變化，但是一般來說在原色格式和YCbCr格式之間存在明確的轉(zhuǎn)換(有時是線性轉(zhuǎn)換)。尤其是，所有三原色分量都為亮度做出積極(positive)貢獻，例如經(jīng)由線性關系Y = P R+Y G+β B，其中根據(jù)標準白色確定系數(shù)的相對值P >0, γ >0, β >0ο因此，不管導致閃爍的光源是白色還是彩色的，閃爍將自身顯現(xiàn)為亮度分量中的變化。另一方面，彩色光源也會導致Cb分量和/或Cr分量的振動。再次，還存在基于色調(diào)、飽和度和輝度三者的彩色視頻格式，特別是HSL、HSV、HLS、 HIS和HSB格式。一般來說，轉(zhuǎn)換到RGB格式或者自RGB格式的轉(zhuǎn)換伴隨著這一類的每種視頻格式。閃爍，至少白色閃爍，在光度/數(shù)值/輝度/強度信道(L或者V)中是可檢測的， 這將不與本公開的其它地方的亮度相區(qū)分。在前面段落的討論故意沒有將模擬格式與數(shù)字格式相區(qū)分，因為對于本公開的目的而言，數(shù)字格式可以看作模擬格式的量化版本。同樣地，除了線性版本之外，一些視頻格式可以存在于伽馬(gamma)壓縮或者部分伽馬壓縮版本中，例如R’ G’ B’和Y’ CbCr格式。 然而，視頻格式是否包括這種壓縮對于理解本發(fā)明是無關緊要的。因為觀眾會覺得閃爍令人煩惱或不快，所以在視頻處理領域已經(jīng)關注對閃爍進行檢測和校正。關于檢測，許多目前先進的方法都是基于傅立葉轉(zhuǎn)換的，其將信號分解為具有包括0在內(nèi)的不同頻率的分量的線性組合。基于不同頻率的相關重要性(正如傅立葉系數(shù)所示)，不論閃爍是否出現(xiàn)都能夠建立線性組合。根據(jù)這一原則的檢測方法如EP1324598中所示；該方法包括圖像信號的平均的離散傅立葉轉(zhuǎn)換。正如信號處理領域的普通技術人員所認識到的，傅立葉轉(zhuǎn)換涉及的算法有以下缺點 它們不能應用于非固定信號，例如由于非等距采樣導致幀速率可能隨時間變化的視頻信號； 它們不能解決在信號阱中的非正弦閃爍，因為基頻的能量在較高諧波會部分丟失；以及 它們可能推算起來很復雜。其它檢測方式可以基于對統(tǒng)計方差的計算。例如，在US2007/036213中公開的方法將較低閥值條件應用于方差以確定什么時候需要減少閃爍。部分地，由于方差的增加可能具有除閃爍以外的其它來源，因此眾所周知地，這種檢測方法會產(chǎn)生較大百分比的誤報。用于抑制或者消除閃爍的若干可用方法是基于閃爍序列中的每個幀相對參考幀進行校正。更確切地說，對于將校正的幀生成累積分布函數(shù)(⑶F)，或者用另一個名稱，累積直方圖，并且對于參考幀生成參考CDF。像素值隨后被調(diào)整以便校正幀的CDF近似地等于參考幀的CDF。一般來說，參考幀不必等于(除了由閃爍導致的變亮或者變暗)將校正的幀， 但是優(yōu)選地，應該對于背景、照明等描繪了相似的場景。US5793886中公開的方法提供了代表性的示例。為了生成參考CDF，該方法對于序列中的較早幀和較晚幀都計算CDF，隨后根據(jù)將校正的幀的位置將⑶F內(nèi)插。隨著消費者對寬帶互聯(lián)網(wǎng)連接的訪問的增加，不僅是IP語音技術，還有視頻電話和視頻會議在近年來廣泛流行。因為音頻和視頻數(shù)據(jù)在這里作為分組流而傳輸，因此發(fā)送和接收雙方都需要實時處理數(shù)據(jù)，而不是作為有限批處理(finite batch)。討厭的圖像閃爍可能出現(xiàn)在視頻電話中，正如出現(xiàn)在任何種類的運動圖像中一樣，但是檢測和解決閃爍的可用方法(見上)經(jīng)常是不合適的。更重要的是，除了上述方法，許多現(xiàn)有方法必須知道在流中的前面的幀和后面的幀。這些無關聯(lián)的(non-causal)處理方法無法用于沒有緩沖幀的實時事件，其中對幀進行緩沖延誤了數(shù)據(jù)流的傳輸。最小緩沖器長度是視頻序列的閃爍部分的最大期望持續(xù)時間加上每幀和閃爍部分末端的一個參考幀的處理(校正)時間。 在已經(jīng)存在用于隱蔽網(wǎng)絡抖動的一定延遲的、目前先進的互聯(lián)網(wǎng)通信的情況下，大多數(shù)用戶會發(fā)現(xiàn)不可接受的附加延遲。因此，緩沖將意味著重大缺陷。雖然本領域中已知用于在直播中檢測和/或抑制圖像閃爍的裝置，但是大多數(shù)這樣的設備因為其高復雜度而不能集成到消費產(chǎn)品中。類似地，致力于在記錄期間減少閃爍的方法可能預示著對高級光學硬件的訪問，例如自適應圖像傳感器和易調(diào)整的快門配置。 例如視頻電話服務的供應商無法設想這樣的硬件特征是可用的，而是不得不從任何服務的用戶所操作的設備那里接受圖像數(shù)據(jù)。最后，某些方法的絕對復雜性使其無法用于視頻電話。在正常加載的個人計算機上，相當精確的基于傅立葉的檢測方法可能占用大部分CPU 性能；至少，計算上復雜的方法意味著強迫視頻電話系統(tǒng)產(chǎn)生特別的質(zhì)量降低的風險，諸如幀速率的下降、圖像大小的減小等。

發(fā)明內(nèi)容
考慮到現(xiàn)有技術中檢測和抑制非期望的短暫變化的缺陷，本發(fā)明的目的是提供一種檢測(以及有利地，抑制)這種變化的可選技術，與現(xiàn)有技術的缺陷相比，本發(fā)明的技術的缺陷較少，特別是在實時執(zhí)行的時候。因此，根據(jù)第一方面，本發(fā)明提供了權利要求1所述的用于在視頻幀序列中檢測非期望的短暫變化的方法。根據(jù)第二方面，如在權利要求3所闡述的，提供了用于檢測非期望的短暫變化的設備(視頻幀接收器)。如在權利要求16中所限定的，根據(jù)本發(fā)明的第三方面，提供了用于檢測非期望的短暫變化的計算機程序產(chǎn)品。本領域技術人員將理解的是，在研究獨立權利要求時，根據(jù)發(fā)明的思想和實施例的檢測包括 在固定時間間隔取決于每次幀內(nèi)的像素的亮度來評估變量。數(shù)值形成變量的時間序列。適當?shù)?，在每個幀內(nèi)的像素子集的基礎上執(zhí)行評估，這通常提供了足夠準確的檢測。用于評估變量的像素集在幀之間可能是不變的。然而，自由選擇屬于這個集合的像素也可以有利于避免將可能導致錯誤檢測的分離物(outlier)(具有在數(shù)字上遠離其余數(shù)據(jù)的值的像素)貢獻給變量。 在變量的時間序列的基礎上估計全局亮度的變化頻率。舉例來說，如果變量與幀的全局亮度成比例，那么變量的時間序列的振動將具有與連續(xù)幀上的全局亮度相同的頻率。 估定全局亮度的變化頻率的估計是否接近任何期望的變化頻率，也就是說，全局亮度的變化頻率的估計是否與任何這樣的期望的變化頻率相差少于預定容差。如果發(fā)現(xiàn)滿足了最后的條件，則檢測到視頻序列中非期望的短暫亮度變化。當本發(fā)明的思想在具體實施為檢測算法、檢測器等時，提供了通過改變?nèi)莶疃軌驕蚀_地調(diào)諧的靈敏度的條件下的魯棒性，因此檢測既不過于寬容也不過于嚴苛。根據(jù)本發(fā)明的檢測在計算上是經(jīng)濟的，而且適于被實施為實時視頻處理組件，特別是與處理流式視頻數(shù)據(jù)的、基于互聯(lián)網(wǎng)的視頻電話系統(tǒng)有關的實時視頻處理組件。如果實施方式利用了可能涉及恢復時間序列中先前計算的值等的、該方法的連續(xù)性特征，則可以進一步降低復雜性和諸如存儲器空間的硬件要求。上述變量可以是對所有像素的亮度給出相等權重的幀均值，或者可以是加權均值。在本發(fā)明的實施例中，如用于檢測非期望的短暫亮度變化的設備，無論變量是否是(加權)均值，用于評估變量的功能部分被稱為幀平均器。上述變量適于估計全局亮度變化頻率，而非主要用于估計局部亮度變化。全局亮度變化可以自身顯現(xiàn)為幀序列中隨時間的總體輝度波動。與此相反，局部亮度變化可以看作是幀內(nèi)的空間輝度波動，例如線變化(line-wise variation)(線閃爍)。為了估計全局亮度變化的變化頻率，如在本公開其它部分中所討論的，計算在整個幀或在幀的代表性部分上的輝度平均可能是合適的。作為本發(fā)明的一個可選特征，通過計數(shù)每單位時間內(nèi)變量的時間序列多久與參考水平交叉來估計變化頻率；交叉數(shù)除以序列的持續(xù)時間是全局亮度變化頻率的估計。假設交叉計數(shù)捕獲了幀均值可能的振動行為，則參考水平的準確值并不是非常重要的。例如，參考水平可以選擇為全局均值，也就是說，在時間序列中最后幾個數(shù)值上取的平均。有利地， 可以通過限定全局均值周圍(分別地，零點周圍)的延遲區(qū)，而使得時間序列和參考水平的交點的計數(shù)(或者，時間序列減去參考水平的零交叉計數(shù))更加可靠。與第二公差相比更接近參考水平的時間序列中的值被認為是不可靠的，而其對計數(shù)可能的貢獻被忽略。相反， 考慮在時間序列中的下一個輸入(entry)。這樣，根據(jù)本發(fā)明的方法和設備對不準確測量的影響不那么敏感，否則不準確的測量可能導致不正確的檢測結(jié)果。作為本發(fā)明的、可以單獨使用或與其它可選特征相結(jié)合使用的另一個可選特征， 幀速率(獲取圖像的頻率)的值以及亮度頻率的值被確定。在這兩個頻率的基礎上確定期望的變化頻率。此處，亮度頻率與視頻序列中可見的物體或者表面的亮度相關。如果這個亮度是變化的以及(類)周期性的，則亮度頻率不是零。具有周期性變化的亮度的物體的例子包括熒光光源和被這些熒光光源照亮的物體。作為這種思想的概括，可以使用多個亮度頻率。需要強調(diào)的是，要求保護的方法也適用于具有可變幀速率的視頻序列。因此，所述方法應該基于幀速率的實際值確定期望的變化頻率，例如在計數(shù)零交叉的間隔上的局部均值幀速率。進一步需要注意的是，所述方法可以等效地以測量的變化頻率作為其起點，并基于此來確定那些已經(jīng)生成的可能的亮度頻率；然后估定實際亮度頻率是否與任意這些亮度頻率相差少于容差。正如前面部分中已經(jīng)指出的，本發(fā)明的目的是，HSL和類似圖像格式中的輝度(或者輝度、或者值、或者強度)信道等同于亮度信道。期望的變化頻率可以計算為從亮度頻率&相對于幀速率fs的混淆中得到的頻率分量。然后，對于整數(shù)N，通過Ifi-NfsI給出所有混淆的頻率分量?？紤]到混淆的頻率分量在以幀速率播放期間必須是可見的(即，根據(jù)尼奎斯特準則，其必須小于幀速率的一半)， 因此N必須滿足下面的條件
權利要求
1.一種在視頻幀序列中檢測非期望的短暫亮度變化的方法，該方法包括以下步驟 在固定時間間隔基于亮度評估變量，從而產(chǎn)生所述變量的時間序列；基于所述變量的時間序列，計算全局亮度的變化頻率的估計；以及確定所述全局亮度的變化頻率的估計是否與任何期望的變化頻率相差少于預定容差。
2.如權利要求1所述的方法，包括，在肯定所述變化頻率的估計與期望的變化頻率相差少于預定容差的情況下，抑制所述視頻幀序列中非期望的短暫亮度變化，該方法還包括以下步驟選擇將校正的幀集； 對于所述選擇的幀集中的每個幀對于至少一個圖像分量的實際值生成累積分布函數(shù)CDF ；以及對于每個像素和所述至少一個圖像分量中的每個圖像分量確定校正值，所述校正值使對于所述實際值讀取的CDF和對于所述校正值讀取的參考CDF之間的差異最小化，并且以所述校正值代替所述實際值，其中每個參考CDF基于對于更早的幀中相應圖像分量的值的CDF ；以及所述至少一個圖像分量包括以下中的至少一個 線性亮度， 線性原色， 伽馬壓縮亮度， 伽馬壓縮原色，以及以上兩個或更多個的線性組合。
3.—種適于在視頻幀序列中檢測非期望的短暫亮度變化的設備，該設備包括 幀平均器，用于在固定時間間隔基于亮度評估變量，從而產(chǎn)生所述變量的時間序列； 頻率估計器，用于接收所述變量的時間序列，并且計算全局亮度的變化頻率的估計；以及比較器，用于確定所述全局亮度的變化頻率的估計是否與任何期望的變化頻率相差少于預定容差。
4.如權利要求3所述的設備，其中，所述頻率估計器包括計數(shù)器，所述計數(shù)器適于對所述變量的時間序列在每單位時間內(nèi)對于參考水平的交叉進行計數(shù)。
5.如權利要求4所述的設備，還包括全局平均器，其用于接收所述變量的時間序列并且計算全局均值，其中所述參考水平是所述全局均值。
6.如權利要求4或5所述的設備，其中，如果所述變量的時間序列中的任意值與所述參考水平相差少于預定的第二容差，那么所述計數(shù)器適于忽略該值。
7.如權利要求3-6中任一項所述的設備，其中，所述變量是所述亮度的幀均值。
8.如權利要求3-7中任一項所述的設備，其中，所述幀是以幀速率獲得的，所述設備還包括預測器，其用于在所述幀速率的實際值以及所述視頻幀序列中出現(xiàn)的至少一個可見實體的亮度頻率的基礎上，計算至少一個期望的變化頻率。
9.如權利要求8所述的設備，其中，所述亮度頻率是電力頻率的倍數(shù)。
10.如權利要求8或9所述的設備，其中，所述預測器適于使用公式Ifi-NfsI來計算所述至少一個期望的變化頻率，其中A是亮度頻率，fs是幀速率，并且N是滿足以下條件的整數(shù)
11.如權利要求3-10中任一項所述的設備，還適于在所述比較器確定所述變化頻率的估計與期望的變化頻率相差少于所述預定容差的情況下，抑制所述視頻幀序列中非期望的短暫亮度變化，所述設備還包括幀選擇器，其用于選擇將校正的幀集；累積分布函數(shù)CDF發(fā)生器，其用于接收將校正的幀并生成與至少一個圖像分量的實際值有關的⑶F ；參考⑶F發(fā)生器，其用于從所述⑶F發(fā)生器接收多個將校正的⑶F，并且對于每個圖像分量基于與將校正的幀以前的幀中的這個圖像分量的值有關的CDF生成參考CDF ；以及校正器，其用于接收將校正的幀集中的每一幀、用于以校正值代替每個像素的實際值、 并且用于輸出校正幀， 其中所述校正值使對于所述實際值讀取的CDF和對于所述校正值讀取的參考CDF之間的差異最小化；以及所述至少一個圖像分量包括以下中的至少一個 線性亮度， 線性原色， 伽馬壓縮亮度， 伽馬壓縮原色，以及以上兩個或更多個的線性組合。
12.如權利要求11所述的設備，還包括濾波器，所述濾波器通過對與將校正的幀之前的幀中的這個圖像分量的值有關的CDF進行濾波、來生成對于這個圖像分量的參考CDF，所述濾波器具有低通特性。
13.如權利要求11或12所述的設備，其中，對于圖像分量的參考CDF是與所選擇的、將校正的幀集中的最早幀之前的幀中的這個圖像分量的值有關的CDF的平均。
14.如權利要求11-13中任一項所述的設備，還包括飽和補償器，其適于接收校正幀， 并且以變亮的值代替校正幀中所述圖像分量的每個校正值，其中所述變亮的值是min{(l+a )xcorr, ICMAX}， 其中是校正值，α是正數(shù)。
15.如權利要求3-14中任一項所述的設備，其中，所述視頻幀序列通過通信網(wǎng)絡進行流傳輸。
16.一種存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)，當在通用處理器上執(zhí)行所述計算機可執(zhí)行指令時，所述通用處理器執(zhí)行權利要求1的步驟。
全文摘要
本發(fā)明涉及在視頻幀序列中檢測非期望的短暫變化(閃爍)的方法、設備和計算機程序產(chǎn)品。在一個實施例中，將幀的亮度均值與參考水平相比較，并且將交叉頻率與諸如通過混淆的亮度頻率相關聯(lián)的頻率的、期望的變化頻率相比較。通過引入?yún)⒖妓街車难舆t區(qū)，可以改進交叉計數(shù)。在非期望的短暫變化的肯定檢測的情況下，還提供了使用累計分布函數(shù)的校正方法、設備和計算機程序產(chǎn)品。通過使非飽和像素變亮，或者通過以根據(jù)參考累積分布函數(shù)隨機采樣的值來代替飽和像素，減輕了閃爍引起的像素飽和的視覺損害。本發(fā)明提供了適于流視頻序列的實時處理的實施例。
文檔編號H04N7/01GK102461160SQ201080034903
公開日2012年5月16日 申請日期2010年6月2日 優(yōu)先權日2009年6月9日
發(fā)明者B.沃爾克, W.B.克萊恩 申請人:谷歌股份有限公司