專利名稱：使用空間和時間處理在視頻序列中的噪聲和/或閃爍減少的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及視頻序列的處理，更具體地說，本發(fā)明涉及減少視頻序列的噪聲 和/或閃爍。
背景技術(shù)：
蚊式噪聲和時間閃爍由于相機限制而在獲取期間產(chǎn)生。視頻處理途徑中的模塊 (例如壓縮、下采樣和上采樣)導致成塊偽像、混疊、振鈴現(xiàn)象和時間閃爍。圖像和視頻信號 處理如今廣泛用在多種應(yīng)用中。這些技術(shù)中的某些已經(jīng)用于減少噪聲和時間閃爍。

發(fā)明內(nèi)容
在此公開了一種方法和裝置，用于減少視頻序列中的閃爍和噪聲二者中的至少一 個。在一個實施例中，所述方法包括接收輸入視頻；以及使用空間和時間處理執(zhí)行操作以 減少所述輸入視頻中的噪聲和閃爍中的一個或兩者。


從以下給出的詳細描述以及從本發(fā)明的各個實施例的附圖將更充分地理解本發(fā) 明，然而，這些不應(yīng)看作將本發(fā)明限制為具體實施例，而是僅用于解釋和理解。圖IA-圖IB示出用于減少輸入視頻中的噪聲和/或閃爍的噪聲和閃爍減少模塊 的一個實施例。圖2示出用于對視頻序列執(zhí)行圖像處理的處理的一個實施例的流程圖。圖3A-圖3M示出對應(yīng)于子幀類型庫的掩模的示例。圖4示出當像素是按光柵掃描順序的編號時在像素i處的示例子幀。圖5是子幀類型選擇處理的一個實施例的流程圖。圖6是從過去輸出幀起的子幀形成處理的一個實施例的流程圖。圖7是空間變換選擇處理的一個實施例的流程圖。圖8是時間變換選擇處理的一個實施例的流程圖。圖9是用于閾值化變換系數(shù)的閾值化處理的一個實施例的流程圖。
圖10是用于組合子幀以創(chuàng)建幀的處理的一個實施例的流程圖。圖11示出單調(diào)遞減階梯函數(shù)。圖12是示出用于對視頻序列執(zhí)行圖像處理的處理的另一實施例的流程圖。圖13A-圖13E示出所選像素的示例子集。圖14是計算機系統(tǒng)的一個實施例的框圖。
具體實施例方式描述了一種用于壓縮/未壓縮視頻序列中的噪聲和/或閃爍減少的方法和裝置。 為此，視頻序列由有序放置的、在此稱為幀的多幅圖像構(gòu)成。在一個實施例中，在此所公開的技術(shù)包括但不限于從輸入視頻的當前幀選擇在 特定像素處的子幀，并且從滿足準則的輸出視頻的過去幀找到另一子幀；選擇像素自適應(yīng) 扭曲(warped)空間變換，并且將子幀變換到空間變換域；得到保留細節(jié)的自適應(yīng)閾值，并 且使用硬閾值化(如果變換系數(shù)的量值小于閾值，則設(shè)置為零)或其它閾值化技術(shù)(例如 軟閾值化)閾值化來自當前幀和過去幀的子幀的變換系數(shù)；使用時間變換進一步變換空間 變換系數(shù)，并且閾值化時間變換系數(shù)的所選子集；首先在時間上然后在空間上逆變換時間 變換系數(shù)，以得到屬于當前幀和過去幀二者的處理的子幀；以及組合屬于來自輸入視頻的 當前幀的處理的子幀，以獲得用于輸出視頻的當前幀。這些操作可以對于輸入視頻的所有 幀重復。在以下描述中，闡述大量細節(jié)來提供本發(fā)明的更透徹的解釋。然而，本領(lǐng)域技術(shù)人 員應(yīng)理解，可以在沒有這些具體細節(jié)的情況下實施本發(fā)明。在其它情況下，公知結(jié)構(gòu)和設(shè)備 以框圖形式而并非詳細地示出，以免模糊本發(fā)明。以下的詳細描述的某些部分是關(guān)于計算機存儲器內(nèi)對數(shù)據(jù)比特的操作的算法和 符號表示而提出的。這些算法描述和表示是數(shù)據(jù)處理領(lǐng)域技術(shù)人員用于將它們的工作的內(nèi) 容最有效地傳達給本領(lǐng)域其它技術(shù)人員的手段。算法在此通常被認為是帶來期望結(jié)果的自 身一致的步驟序列。各步驟是要求物理量的物理操控的步驟。通常，雖然并非必需的，但這 些量采用的形式是能夠被存儲、傳遞、組合、比較并且另外受操控的電信號或磁信號。通常 已經(jīng)證明方便的是，原則上出于共用的原因，將這些信號指代為比特、值、元素、符號、字符、 項、數(shù)字等。然而，應(yīng)注意，所有這些術(shù)語及相似的術(shù)語關(guān)聯(lián)于適當?shù)奈锢砹?，并且僅僅是應(yīng)用 于這些量的方便的標記。除非關(guān)于以下討論而明顯地另外具體聲明，否則應(yīng)理解，在整個說 明書中，利用例如“處理”或“計算”或“運算”或“確定”或“顯示”等的術(shù)語的討論指的是 計算機系統(tǒng)或相似的電子計算設(shè)備的動作或處理，所述計算機系統(tǒng)或相似的電子計算設(shè)備 操控計算機系統(tǒng)寄存器和存儲器內(nèi)的物理(電子)量所表示的數(shù)據(jù)，并且將其變換為計算 機系統(tǒng)存儲器或寄存器或其它這種信息存儲、傳輸或顯示設(shè)備內(nèi)的物理量所相似表示的其 它數(shù)據(jù)。本發(fā)明還涉及用于執(zhí)行在此的操作的裝置。該裝置可以因所需的目的而得以具體 地構(gòu)建，或者其可以包括由計算機中存儲的計算機程序有選擇地激活或者重新配置的通用 計算機。所述計算機程序可以存儲于計算機可讀存儲介質(zhì)中，例如但不限于任何類型的盤 (包括軟盤、光盤、CD-ROM和磁光盤)、只讀存儲器(ROM)、隨機存取存儲器(RAM)、EPR0M、EEPR0M、磁卡或光學卡、或適合于存儲電子指令的任何類型的介質(zhì)并且均耦合到計算機系 統(tǒng)總線。在此提出的算法和顯示并非固有地涉及任何特定計算機或其它裝置。可以通過根 據(jù)在此的教導的程序來使用各種通用系統(tǒng)，或者可能證明方便的是，構(gòu)建更專用的裝置來 執(zhí)行所需的方法步驟。各種所述系統(tǒng)所需的結(jié)構(gòu)將據(jù)以下描述而明顯。此外，本發(fā)明并非 是參照任何特定編程語言而描述的。應(yīng)理解，各種計算機編程語言可以用于實現(xiàn)在此描述 的本發(fā)明的教導。機器可讀介質(zhì)包括用于以機器(例如計算機)可讀的形式存儲或者發(fā)送信息的任 何機構(gòu)。例如，機器可讀介質(zhì)包括只讀存儲器(“ROM”)；隨機存取存儲器(“RAM”)；磁盤 存儲介質(zhì)；光存儲介質(zhì)；閃存設(shè)備；電、光、聲或其它形式的傳播信號(例如載波、紅外信號、 數(shù)字信號等)；等等。概述圖IA示出用于減少輸入視頻中的噪聲和/或閃爍的噪聲和閃爍減少模塊的一個 實施例。參照圖1A，噪聲和閃爍減少塊101接收輸入視頻100。輸入視頻100包括噪聲和/ 或閃爍。噪聲和閃爍減少塊101還接收可選參數(shù)的矢量(在此稱為0P)、以及閾值參數(shù)Γ、 Tsi / 。響應(yīng)于這些輸入，噪聲和閃爍減少塊101生成具有減少了的噪聲和閃爍的輸出視 頻 102。圖IB示出用于對視頻序列執(zhí)行圖像處理的處理的一個實施例的流程圖。處理由 處理邏輯執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計算機 系統(tǒng)或?qū)Ｓ脵C器上)、或二者的組合。參照圖1Β，處理開始于處理邏輯接收輸入視頻(處理塊111)。響應(yīng)于接收輸入視頻，處理邏輯執(zhí)行操作，以使用空間和時間處理減少輸入視頻 中的噪聲和閃爍中的一個或二者(處理塊112)。在一個實施例中，這些操作包括通過系 數(shù)的自適應(yīng)閾值化來應(yīng)用空間變換和時間變換。在一個實施例中，應(yīng)用空間變換和時間變 換包括將至少一個扭曲變換應(yīng)用于子幀，以創(chuàng)建變換系數(shù)。圖2示出用于對視頻序列執(zhí)行圖像處理的處理的一個實施例的更詳細的流程圖。 處理由處理邏輯執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用 計算機系統(tǒng)或?qū)Ｓ脵C器上)、或二者的組合。在以下描述的處理中，X表示來自受在此所描述的各技術(shù)所處理的輸入視頻的當 前幀，^表示在使用在此描述的各技術(shù)之后輸出的過去幀，f、fS1、fS2表示圖像處理過程所 使用的閾值參數(shù)。此外，可以提供包含其它可選參數(shù)的由OP所表示的矢量。用戶或算法可 以使用主觀/客觀質(zhì)量的優(yōu)化，使用基于模型的技術(shù)或者使用其它方法來確定最期望的參 數(shù)。也可以使用校準算法。這些算法也可以利用對于視頻處理管道或輸入視頻或者它們二 者的部分/完整知識。在一個實施例中，通過按光柵掃描順序布置像素來將所有視頻幀表 示為矢量，并且N表示每個視頻幀中的像素的數(shù)量。在已經(jīng)獲得幀χ之后，圖2的處理塊202的子幀選擇處理開始。子幀類型S定義 為M2Xl整數(shù)值矢量。為此，M可以是大于零的任何整數(shù)。{S^S^S3，...}是子幀類型庫。 對于其中像素按光柵掃描順序被編號的來自幀χ的所選像素的集合中的每個像素i，子幀類型Si選自所述庫，矢量Pi形成為Pi =i,.+ixT，其中，I是M2Xl矢量，其中所有元素等于 1。在一個實施例中，對于未選的像素,Pi是零矢量。所選像素的集合在矢量OP內(nèi)可以是預 定的或信號通知(signaled)的。在該實施例中，子幀被形成并且被處理，以用于圖像中的 每個像素。也就是說，所選像素的集合是幀中的像素的整個集合。然而，在另一實施例中， 可以僅對像素的所選集合而不對圖像中的所有像素執(zhí)行處理。該子集可以是預定的或作為 邊信息的一部分而被信號通知的。圖13A-E示出這些子集的示例；可以通過在此描述的各 種教導來使用其它子集。稱為子幀的M2X 1矢量Zi是以在與Pi的各元素對應(yīng)的各位置處 的幀χ的像素值形成的。像素i稱為子幀Zi的主元(Pivot)。圖4示出當像素按光柵掃描 順序被編號時在像素i處的示例子幀Zi。參照圖4，通過從“1”開始以此順序?qū)ο袼剡M行 編號來產(chǎn)生像素的光柵掃描排序。子幀示出為以像素i為主元。子幀被組織為M個矢量， 稱為扭曲行。第一扭曲行按順序具有子幀元素1至M ；第二扭曲行具有元素(M+1)至2M;以 此類推。在一個實施例中，M等于4，子幀類型庫對應(yīng)于圖3A-3M所示的掩模的集合。參照 圖3A-圖3M，通過該子幀庫，掩模對應(yīng)于箭頭所示的不同方向。圖3A中的掩模在此稱為常 規(guī)掩模，因為其對應(yīng)于常規(guī)的水平或垂直方向。其它掩模稱為方向性掩模，因為它們對應(yīng)于 非常規(guī)的方向。掩模中的像素(“a”至“P”)的差分位置Ω定義為Ω =Cc+WXCr，其中， W是幀y的寬度。Cc是從像素“a”的列開始向右水平移動以得到感興趣的當前像素的列所 需的列的數(shù)量。Ck是從像素“a”的行開始向下垂直移動以得到感興趣的當前像素的行所需 的行的數(shù)量。例如，在圖3H中的掩模的情況下，像素“C”具有Cc = -1*CK = 2。與掩模 對應(yīng)的子幀類型是包含從“a”到“P”排序的該掩模中的像素的差分位置的矢量。在一個實施例中，通過總是選取與常規(guī)掩模對應(yīng)的子幀類型來進行用于像素的子 幀類型的選取。在另一實施例中，對于每個所選像素，通過以下操作進行用于像素的子幀類 型的選取(1)對于每個子幀類型，在所形成的子幀上評估2-D DCT,以及(2)對于給定閾值 T，選取使得量值大于T的非零變換系數(shù)的數(shù)量最小化的子幀類型。在又一實施例中，通過 對于每個所選像素選取使得在所有扭曲行上平均化的像素值的扭曲行方差最小化的子幀 類型來進行用于像素的子幀類型的選取。在又一實施例中，通過對于KXL像素的塊具有用 于子幀類型的每個像素投票(基于使得在所有扭曲行上平均化的像素值的扭曲行方差最 小化的子幀類型)并且選取具有對于KXL(其中，K和L可以是大于0的任何整數(shù))塊中 的所有像素的最多投票的子幀類型，來進行用于像素的子幀類型的選取。在一個實施例中， K和L皆設(shè)置為4。在又一實施例中，通過對于每個像素形成KXL像素的塊并且使用該塊 中的在先投票方案選取子幀類型來進行用于像素的子幀類型的選取。在每種情況下，所選 取的子幀類型用于當前像素。因此，通過使用每個掩模的這些所測量的統(tǒng)計之一，執(zhí)行子幀 的選擇。注意，可以使用除了圖3A-圖3M中的掩模之外的掩模。圖5是子幀選擇處理的一個實施例的流程圖。處理由處理邏輯執(zhí)行，處理邏輯可 以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計算機系統(tǒng)或?qū)Ｓ脵C器上)、或二 者的組合。參照圖5，處理開始于處理邏輯接收幀χ并且確定子幀是否為像素自適應(yīng)的(處理 塊501)。如果子幀并非像素自適應(yīng)的，則處理邏輯選取用于所有像素的常規(guī)子幀類型(處理塊502)。如果幀χ的子幀是像素自適應(yīng)的，則處理邏輯對于每個像素標記使得扭曲行方 差最小的子幀類型(處理塊503)。使用上述子幀類型庫(510)來完成該操作。因此，對于 每個像素，標記使得子幀類型庫當中扭曲行方差最小的子幀類型。接下來，處理邏輯確定選取是否為基于塊的(處理塊504)。如果處理邏輯確定選 取是基于塊的，則處理邏輯對每個塊中的標記的每個子幀類型的像素的數(shù)量進行計數(shù)(處 理塊506)，并且對于在塊中的所有像素，處理邏輯選取該塊中的最多像素所標記的子幀類 型(處理塊507)。換句話說，如果選取是基于塊的，則對于該塊中的所有像素選取塊中的最 多像素所標記的子幀類型。如果處理邏輯確定選取不是基于塊的，則處理邏輯對于每個像 素選取該像素所標記的子幀類型(處理塊505)。換句話說，每個像素選取自身所標記的子 幀類型。對于每個像素的子幀類型的選取可以在矢量OP內(nèi)被信號通知。子幀類型Si用于形成矢量A = Si Χ ，其中，叫是整數(shù)，并且了是其中所有元素
等于1的M2Xl矢量。處理邏輯還在與A的元素對應(yīng)的位置處形成由具有過去輸出幀的像 素值J的4 (也是子幀)所表示的M2X 1矢量(處理塊203)。Hii的選取可以是以多種不同方式進行的。在替換實施例中，Hii的選取是通過以下 方式之一而得以執(zhí)行的i. Iiii = iii.從所有可能值選取叫，從而Zi與《之間的ρ-范數(shù)(； 20 ^^-&^最小化。iii.基于以上的“ii”選取叫，但將搜索集合限制為{J :j = i+jh+WXjv}，其中，W 是幀歹的寬度，并且jh，jv e {-J, -(J-I)，...，-1，0，1，...，J-l，J}。J是大于或等于零的 任何整數(shù)。在一個實施例中，當使用選項“iii”時，J的值被設(shè)置為2，并且使用2-范數(shù)。
i v.基于以上的“ i i i ”計算HIi，將值k = kh+ff X kv加到HIi，其中，W是幀歹的寬度， 并且&，<是從集合{-κ，-(κ-ι)，...，-1，0，1，...，κ-ι，κ}隨機生成的值。K是大于或等 于零的任何整數(shù)。Hii的選取可以在矢量OP內(nèi)被信號通知。在另一實施例中，在已經(jīng)使用例如但不限于強度補償和非線性預測過濾的各種技 術(shù)來處理過去輸出幀JJ以補償例如亮度改變和場景漸變的問題之后，形成子幀&。圖6是從過去輸出幀起的子幀形成處理的一個實施例的流程圖。處理由處理邏輯 執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計算機系統(tǒng)或?qū)?用機器上)、或二者的組合。參照圖6，處理開始于處理邏輯使用搜索集合{m1，m2，. . . }，并且對于每個值πΛ根 據(jù)以下公式計算貧ρ( = S^mjXl(處理塊 601)。接下來，處理邏輯使用藶從幀歹形成子幀處理塊602)。然后，對于每個j，處理 邏輯計算P-范數(shù)Wzi -I/\\
(處理塊 603)。在計算p-范數(shù)之后，處理邏輯選擇mk，從而其給出最小p-范數(shù)；將m,設(shè)置為等于 mk，根據(jù)以下公式設(shè)置瓦pt =si+mix\并且使用A形成子幀& (處理塊604)?？臻g變換選擇和應(yīng)用作為圖2的處理塊204，處理邏輯還執(zhí)行空間變換選擇和應(yīng)用。更具體地說，處理 邏輯使用像素自適應(yīng)扭曲空間變換印分別將子幀Zi和&變換為ei和巧。該變換稱為“扭曲”， 因為變換基礎(chǔ)的支持已經(jīng)扭曲，以匹配子幀形狀。該變換稱為像素自適應(yīng)的，因為在不同 像素處的主元化的子幀可以使用不同的變換，還有這樣的事實子幀類型的選取可以根據(jù) 像素而變化?？梢詮淖儞Q庫(例如可分離DCT、非可分離DCT、2-D Gabor小波、Steerable pyramids,2-D方向小波、Curvelets和Contourlets)選取禮。在一個實施例中，所使用的 空間變換是非自適應(yīng)方式的正交可分離2D-DCT。在另一實施例中，所使用的空間變換是非 自適應(yīng)方式的正交可分離2D-Hadamard變換。應(yīng)注意，可分離變換在其受扭曲之后變?yōu)椴豢煞蛛x的。變換的選取可以是事前固 定的，或者可以對于在不同像素處主元化的不同子幀是自適應(yīng)的。在自適應(yīng)的情況下，所選 取的變換是具有最少數(shù)量的絕對值大于主閾值f51的ei中的系數(shù)的變換。圖7示出用于子幀的空間變換選擇處理的一個實施例的流程圖。處理由處理邏輯 執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計算機系統(tǒng)或?qū)?用機器上)、或二者的組合。參照圖7，處理開始于處理邏輯測試變換是否為像素自適應(yīng)的(處理塊701)。這 種測試可以通過參照列表而得以執(zhí)行。在一個實施例中，列表可以使得變換為非自適應(yīng)的。 在另一實施例，列表可以在矢量0P內(nèi)被信號通知。如果處理邏輯確定變換為非自適應(yīng)的， 則處理邏輯選擇2-D正交可分離DCT，以用作變換印，通過將變換應(yīng)用于子幀Zi而生成變換 系數(shù)ei，并且通過將變換應(yīng)用于子幀巧而生成變換系數(shù)g (處理塊702)。如果處理邏輯確定變換是像素自適應(yīng)的，則對于變換庫{tf，H2，....}中的每個變 換tf (處理塊704)，處理邏輯使用公式計算變換系數(shù)ej eJ = HJXZi(處理塊703)。變換系數(shù)…對應(yīng)于變換Hj。接下來，對于每個j，處理邏輯對具有大于閾值fsl的絕對值的…中的系數(shù)的數(shù)量進 行計數(shù)(處理塊705)，并且從具有最少計數(shù)的變換的庫選取變換Hk，將變換印設(shè)置為與最 少計數(shù)對應(yīng)的變換(Hk)相等，然后設(shè)置系數(shù)ei等于變換系數(shù)ek，并且通過將變換印應(yīng)用于 子幀高而生成變換系數(shù)巧(處理塊706)?？臻g變換的選取可以在矢量0P內(nèi)被信號通知。閾值化作為圖2的處理塊204的一部分，處理邏輯還執(zhí)行閾值化。更具體地說，處理邏輯 對ei的所選元素應(yīng)用自適應(yīng)閾值A(chǔ)，以得到 。在一個實施例則，選擇ei的所有元素。在另一實施例中，選擇除了第一元素(通常是DC元素)之外的所有元素。在又一實施例中， 不選擇元素。還使用主閾值仏來閾值化變換系數(shù)ei，以得到化?？梢酝ㄟ^各種方式(例如硬
(x IJ > t
閾值化和軟閾值化)來完成閾值化操作。硬閾值化操作定義為^^^^一:^其中，T
x-T’x》T
是所使用的閾值。相似地，具有T作為閾值的軟閾值化操作定義為+
0，|x| < T在替換實施例中，按以下方式之一計算閾值 7；, = 0 fn = Tsx
( N \'Tn=f fsl，藝|丨 ~ejf其中，f ()表示函數(shù)。
V J=ly fn = /(f51,||e,.-之||2)其中，f ()表示函數(shù)。. fn = fsl X函數(shù)fO是圖11所示的單調(diào)遞減階梯函數(shù)。在一個實
施例中，函數(shù)(fi，f2，. . .，4和Ei，E2，. . .，En)的階梯位置在訓練集合上被調(diào)諧，從而實現(xiàn) 重構(gòu)圖像/視頻質(zhì)量的局部優(yōu)化。在一個實施例中，以硬閾值化來使用該閾值計算。 對&的可能值執(zhí)行搜索，以使得 中的非零元素的數(shù)量最小化，從而| |ei_ai| |2 <Elocal。E1()。al可以是邊信息的一部分，或者可以使用默認值。這可以看作對于算法的設(shè)置。 在一個實施例中，可以通過在訓練集合上調(diào)諧并且選取實現(xiàn)重構(gòu)圖像/視頻質(zhì)量的局部優(yōu) 化的值來獲得默認值。 對f21 ,…，^化勺可能值執(zhí)行聯(lián)合搜索以使得在所有！^曰！^，…， N}上求和的ak中的非零元素的總數(shù)量最小化，從而力|2 <￡gto6iri。Egl。bal可以是邊信
息的一部分，或者可以使用默認值。這可以看作對于算法的設(shè)置。在一個實施例中，可以通 過在訓練集合上調(diào)諧并且選取實現(xiàn)重構(gòu)圖像/視頻質(zhì)量的局部優(yōu)化的值來獲得默認值。&的值可以在矢量0P內(nèi)被信號通知。在另一實施例中，用于計算&的選項的選取 可以在矢量0P內(nèi)被信號通知。自適應(yīng)閾值應(yīng)用于巧的所選元素，以得到4。在一個實施例中，選擇&的所有元 素。在另一實施例中，選擇除了第一元素(通常是DC元素)之外的所有元素。在又一實施 例中，不選擇元素。還使用主閾值fS2來閾值化變換系數(shù)^，以得到巧?？梢酝ㄟ^各種方式(例 如上述硬閾值化和軟閾值化)來完成閾值化操作。在替換實施例中，按以下方式之一計算閾值& . Ti2 =0'Tn=TS2其中，f()表示函數(shù)。
=/(fS2’陣-引|2)其中，f()表示函數(shù)。函數(shù)f()是圖11所示的單調(diào)遞減階梯函數(shù)。函數(shù)憂，
f2，. . .，fn和Ei，E2，. . .，En)的階梯位置在訓練集合上被調(diào)諧，從而實現(xiàn)局部優(yōu)化。在一個 實施例中，使用該閾值計算，并且硬閾值化用于閾值化操作。 對f)2的可能值執(zhí)行搜索，以使得孓中的非零元素的數(shù)量最小化，從而
-a,f <Elocal。E1()。al可以是邊信息的一部分，或者可以使用默認值。這可以看作對于算法
的設(shè)置。在一個實施例中，可以通過在訓練集合上調(diào)諧并且選取實現(xiàn)重構(gòu)圖像/視頻質(zhì)量 的局部優(yōu)化的值來獲得默認值。 對(f12，f22 …，的可能值執(zhí)行聯(lián)合搜索以使得在所有ke {1，2，...，
N
N}上求和的_中的非零元素的總數(shù)量最小化，從而‘ <Eglota, Egl。bal可以是邊信
息的一部分，或者可以使用默認值。這可以看作對于算法的設(shè)置。在一個實施例中，可以通 過在訓練集合上調(diào)諧并且選取實現(xiàn)重構(gòu)圖像/視頻質(zhì)量的局部優(yōu)化的值來獲得默認值。在一個實施例中，:f;2的值在矢量0P內(nèi)被信號通知。在另一實施例中，用于計算 的選項的選取在矢量OP內(nèi)被信號通知。時間變換選擇和應(yīng)用處理塊205中的處理邏輯使用閾值化的結(jié)果(即矢量 和巧)來形成M2X2矩陣
Afe)]。在此，函數(shù)h()可以是單位函數(shù)或巧的所有元素的簡單線性比量以用于 匹配亮度改變，或者是更通用的函數(shù)，用于捕獲更復雜的場景特征，例如漸變。處理邏輯使 用像素自適應(yīng)時間變換&將《變換為bi點=承_xG,_。變換Gi可以是從變換庫選取的。變換 稱為像素自適應(yīng)的，因為在不同像素處主元化的子幀可以使用不同變換。在自適應(yīng)的情況 下，所選取的變換是具有最少數(shù)量的絕對值大于主閾值〒的bi中的系數(shù)的變換。圖8是時間變換選擇處理的一個實施例的流程圖。處理由處理邏輯執(zhí)行，處理邏 輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計算機系統(tǒng)或?qū)Ｓ脵C器上)、 或二者的組合。參照圖8，處理開始于處理邏輯測試變換是否為像素自適應(yīng)的(處理塊801)。這 種測試可以通過參照列表而得以執(zhí)行。在一個實施例中，列表可以使得變換為非自適應(yīng) 的。在另一實施例，列表可以在矢量0P內(nèi)信號通知。如果處理邏輯確定變換不是像素自 適應(yīng)的，則處理邏輯基于默認時間變換選擇變換G”并且通過將變換&應(yīng)用于矩陣5； 而生 成變換系數(shù)bj處理塊802)。在一個實施例中，所使用的默認時間變換是Haar變換，即
1 1
G,=
41V2 丄 __
42V2.
時間變換的選取可以在矢量0P內(nèi)信號通知c
如果處理邏輯確定變換是像素自適應(yīng)的，則對于變換庫{G1，G2，. . . }中的每個變 換G」(處理塊804)，處理邏輯使用如下公式計算變換系數(shù)bj b1 = aixGJ(處理塊so3)。變換系數(shù)W對應(yīng)于變換G」。接下來，對于每個j，處理邏輯對具有大于主閾值于的絕對值的W中的系數(shù)的數(shù)量 計算計數(shù)(處理塊805)，然后從具有最小計數(shù)的變換庫選取變換Gk，設(shè)置變換&等于與最 小計數(shù)對應(yīng)的變換(Gk)，然后設(shè)置系數(shù)h等于變換系數(shù)bk(處理塊806)。在時間變換之后的閾值化在生成變換系數(shù)、之后，使用〒閾值化變換系數(shù)bp以得到Ci (圖2的處理塊206)。 可以通過各種方式(例如上述硬閾值化和軟閾值化)來完成閾值化操作。閾值化的選取可 以在矢量0P內(nèi)被信號通知。在一個實施例中，如圖9所示使用硬閾值化。參照圖9，硬閾值化是由處理邏輯執(zhí) 行的，處理邏輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計算機系統(tǒng)或?qū)?用機器上)、或二者的組合。硬閾值化開始于使用主閾值〒和系數(shù)h作為輸入，并且處理邏 輯對于每個元素G bi根據(jù)以下等式計算對應(yīng)元素G c,叫。,y<f(處理塊901)。以此方式，處理邏輯將絕對值小于主閾值f的所有系數(shù)設(shè)置為零， 并且這些系數(shù)存儲為Ci。在一個實施例中，事先選擇的、的某些元素沒有被閾值化并且直接被拷貝到(^中 它們的相應(yīng)位置。在特定實施例中，、的第一列的元素未被閾值化。未被閾值化的元素的 集合的選取可以在矢量0P內(nèi)被信號通知。在一個實施例中，元素Cij G Ci是通過使用等式Cij = C^a^+a^而被可選地增 強的，其中，參數(shù)a J0> a u在訓練集合上被調(diào)諧，從而實現(xiàn)重構(gòu)圖像/視頻質(zhì)量的局部優(yōu)化。 注意，這種操作出現(xiàn)在圖2中的處理塊206之后。在一個實施例，參數(shù)可以在矢量0P內(nèi)被 信號通知。逆變換在閾值化之后，處理邏輯使用(？廣對系數(shù)進行逆變換(通過時間變換)，以獲得 孓g.j-c,)^,-1 (處理塊加7)。處理邏輯還對屯應(yīng)用逆變換(空間)珥‘，以獲得處 理的子幀毛(處理塊208)。在一個實施例中，在不使用通過先前迭代而輸出的過去幀的情況下處理當前幀。 在該實施例中，不計算矢量& 、$和矩陣《bt、c.A。矢量屯作為屯=a,被獲得，并且逆 變換(空間)7/,—1應(yīng)用于屯，以獲得處理的子幀財^ = H-'xd, )o在另一實施例中，可以使用作為圖像處理的結(jié)果而輸出的過去幀的集合{歹,旯...}， 而不是僅使用緊接著的過去輸出幀歹。設(shè)NPF表示集合中過去幀的數(shù)量。在此情況下，集合中的每個過去幀以相同方式貢獻于a;的一列，如上所述。輸出幀歹以巧的形式貢獻于第二 列，輸出幀f以冢的形式貢獻于第三列，以此類推。在一個實施例中，孓、1^、(^和屯的大小是 M2X (Npf+1)，而 Gi 的大小是(Npf+1) X (Npf+1)。組合子幀在將逆變換應(yīng)用于閾值系數(shù)之后，以加權(quán)方式組合所有處理的子幀，以形成幀y。 在一個實施例中，對于每個處理的子幀之計算權(quán)重Wi。
在替換實施例中，按以下方式之一計算基于ei和％的權(quán)重
Wj = 1
Wi = f(ei,ai)其中，f()表示函數(shù)。
1 丨丨 ,|2
MSE 選項 1 =
1
||2
e,
> e
其中，emin是常數(shù)。
Ik-a』<e
e
L-P范數(shù)(P彡0)選項1牝=
a,-
1
Ikll >"n
其中，nmin是常數(shù)。 調(diào)諧權(quán)重選項 1 = ft(aj |0)其中，ft()表示從集合{1，2，. . .，M2} (| aj |0 的可能值的集合)到W，l]的映射。ft()是使用優(yōu)化算法(例如模擬退火(simulated annealing))而被調(diào)諧的，以得到關(guān)于訓練視頻集合的最佳性能(使用例如PSNR的矩陣或 使用主觀得分而測量的)。
在其它實施例中，可以按以下方式之一計算用于基于h和Ci進行加權(quán)的權(quán)重 = f(bijCi)其中，f()表示函數(shù)。
MSE 選項 2 =
1
-’ h-4>
e
r i丨丨
其中，emin是常數(shù)。
L-p范數(shù)(p彡0)選項2 =
>n
其中，nmin是常數(shù)。
k <n
n
min
nun 調(diào)諧權(quán)重選項 2 = ft( cj |0)其中，ft()表示從集合{1，2，. . .，2M2} (| cj |0 的可能值的集合)到w，i]的映射。fi()是使用優(yōu)化算法(例如模擬退火)而被調(diào)諧的， 以得到關(guān)于訓練視頻集合的最佳性能(使用例如PSNR的矩陣或使用主觀得分而測量的)。映射ft()和/或計算的權(quán)重可以在矢量OP內(nèi)被信號通知。處理的子幀(對應(yīng)于所有像素)組合在一起，以通過加權(quán)方式形成y。對于 其為第j像素的值)描述該處理的一個實施例。1.設(shè)置7」=0和11」=0，其中，11」是第]_像素的歸一化系數(shù)。2.對于每個處理的子幀之
a.如果像素j是？1的一部分，則i. k = Pi中的像素j的位標。ii. yj=yj，其中，&是處理的子幀；^中的像素j的值。iii. rij = rij+Wj
yj3. yj =—圖10是用于組合所有處理的子幀以形成幀y的處理的一個實施例的流程圖。處 理由處理邏輯執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等)、軟件(例如運行在通用計 算機系統(tǒng)或?qū)Ｓ脵C器上)、或二者的組合。參照圖10，處理開始于，對于幀y中的每個像素m= 1 N將其值ym及其歸一化 因子nm設(shè)置為零(處理塊1001)。接下來，處理邏輯將像素位標j和子幀位標i歸一化為 1 (處理塊1002)。在初始化之后，處理邏輯確定是否像素j G Pi(處理塊1003)。如果是，則處理過 渡到處理塊1004。如果否，則處理過渡到處理塊1005。在處理塊1004，在一個實施例中，處理邏輯使用為中像素j的值知并且使用上述權(quán) 重K來更新&和~。在一個實施例中，根據(jù)以下計算權(quán)重 =
-，lle.-af >en
II||2， II ' Ml mm
iinii
12
——， IK
^min在處理塊1004，k等于Pi中的像素j的位標。在一個實施例中，處理邏輯基于以 下等式更新和~ yj = yj + wixzikrij = rij+Wi在處理邏輯更新&和~之后，處理過渡到處理塊1005。在處理塊1005，處理邏輯檢查是否位標i = N，幀中的像素的總數(shù)。如果是，則處 理過渡到處理塊1007。如果否，則處理過渡到處理塊1006。在處理塊1006，位標增加1，處 理過渡到處理塊1003。在處理塊1007之后，處理邏輯根據(jù)以下等式更新yj
y, yj=-nj在更新yj之后，處理邏輯設(shè)置位標i等于1 (處理塊1008)，并且檢查位標j是否 等于N(處理塊1009)。如果是，則處理結(jié)束。如果否，則處理過渡到處理塊1010，此時，位 標j增加1。在將位標j增加1之后，處理過渡到處理塊1003。幀y是與當前輸入幀x對應(yīng)的輸出。如果存在更多的幀待處理，則處理邏輯更新 當前輸入幀X，將y拷貝成J，并且重復圖2所示的處理(處理塊212)。在一個實施例中，幀y在像素域或變換域經(jīng)歷進一步的圖像/視頻處理。在一個實 施例中，對幀y執(zhí)行非銳化掩模，以增強高頻細節(jié)。在另一實施例中，從幀y形成多個大小 PXP像素的塊，其中，P是整數(shù)，并且每個PXP塊f經(jīng)歷塊變換，例如2-D DCT、2-D Hadamard等，以產(chǎn)生另一 PXP塊h。PXP塊h的元素h(i，j)，0彡i，j彡P(guān)-1受處理，以形成增強的 PXP塊《，從而h(i，j) =h(i，j)*a (i，j)。在替換實施例中，可以按以下方式之一計算增 強因子a (i，j)a. a (i，j) = a0*(i+j)e + aib. a (i，j) = a Q*i0*js + a !其中，參數(shù)(a。、ai、0和S)在訓練集合上調(diào)諧，從而實現(xiàn)重構(gòu)圖像/視頻質(zhì)量 的局部優(yōu)化。在一個實施例，參數(shù)可以在矢量0P內(nèi)被信號通知。注意，上述操作出現(xiàn)在圖 2的處理塊210之后。增強的PXP塊被逆變換并且組合，以形成幀y的增強版本。替換圖像處理實施例。在替換實施例中，圖2描述的處理可以修改為得到更低復雜度的算法，下文中稱 為更低復雜度技術(shù)。圖12中的流程圖示出更低復雜度技術(shù)。在該實施例中，幀y是與當前 輸入幀x對應(yīng)的更低復雜度技術(shù)的輸出，如果存在更多的幀待處理，則我們更新當前輸入 幀x，將y拷貝成P ,并且重復圖12所示的處理。參照圖12，處理開始于處理邏輯使用當前輸入幀x和過去輸出幀形成幀歹，從而y(j) = * - , * y{j + m) jeZ,\<j<H*W,其中，wz、wy是實數(shù)，m是整數(shù)(處理塊1201)。為此，記號(j)表示感興趣的幀中 的像素j的值(按光柵掃描順序而編號的)。例如，歹(5)表示幀的第5像素的值。在一個 實施例中，wz = 0. 5并且wy = 0. 5。在一個實施例，值在矢量OP內(nèi)被信號通知。在替換實施例中，可以按以下方式之一進行m的選取i. m = 0ii.從所有可能值選取m，從而$的P-范數(shù)(P彡0) 最小化。iii.基于以上” ii”選取m，但將搜索集合限制為{j :j = jh+WXjv}，其中，W是幀 x的寬度，并且jh，jv g {-j, -a-D，...，-i，o，1，...，j-i，j}。j是大于或等于零的任何整數(shù)。在一個實施例，m的選取可以在矢量0P內(nèi)被信號通知。在另一實施例中，使用^的處理版本而非來形成幀歹，以補償例如亮度改變和場 景漸變的問題，其中，處理包括例如但不限于強度補償和非線性預測過濾的各技術(shù)。處理邏輯在與Pi的元素對應(yīng)的位置處形成具有幀x的像素值的、稱為子幀的M2X1 矢量z」。像素i稱為子幀Zi的主元(處理塊1202)。4 (也是子幀)所表示的M2X 1矢量 是在與Pi的元素對應(yīng)的位置處以幀歹的像素值形成的(處理塊1202)。處理邏輯選擇空間變換禮，并且將空間變換應(yīng)用于子幀以分別得到矢量^ 和司(處理塊1203)。處理邏輯使用上述相同處理從fsl計算自適應(yīng)閾值&，并且將自適應(yīng)閾值:f^應(yīng)用于
ei的所選元素，以得到 (處理塊1203)。在一個實施例則，選擇力的所有元素。在另一實 施例中，選擇除了第一元素(通常是DC元素)之外的所有元素?？梢酝ㄟ^各種方式(例如 上述硬閾值化和軟閾值化)來完成閾值化操作。在將自適應(yīng)閾值&應(yīng)用于ei的所選元素之后，處理邏輯使用&i、并且使用閾值f形成矢量屯(處理塊1204)。設(shè)aij、eij、5和知分別表示矢量ai、ei、馬和屯中的第j元 素，其中，je {1，2，...，M2}。在替換實施例中，按以下方式之一計算值di1: 在一個實施例中，用于計算的選項的選取在矢量0P內(nèi)信號通知。然后，處理邏輯將逆空間變換應(yīng)用于矢量屯以產(chǎn)生子幀毛(處理塊1205)，其余處 理塊1206、1207、1208和1209如圖2中它們各自的對等部分209、210、211和212那樣操作， 以完成處理。對于上述實施例，可選參數(shù)矢量0P或其部分可以通過包括但不限于編解碼 器、相機、超級分辨率處理器等的任何模塊而被信號通知。用于構(gòu)建參數(shù)矢量0P的 一種簡單方式如下使用矢量中的兩個元素來信號通知每個選取。對于第n選取，
<9P(2* -l) =
f0，選取沒有被信號通知 I 1,選取被信號通知
和0P(2*n)=表示所述選取的值。0P(2*n)需要被
設(shè)置，并且僅當0P(2*n-l) = 1時被使用。在此描述的技術(shù)可以用于以任何色彩表示方式(包括，但不限于RGB、YUV、YCbCr、 YCoCg和CMYK)來處理視頻序列。各技術(shù)可以應(yīng)用于色彩表示方式中的色彩信道的任何子 集(包括空集合或所有信道集合)。在一個實施例中，僅YUV色彩表示方式中的“Y”信道是 使用在此描述的技術(shù)而被處理的。使用2-D低通濾波器(例如LeGall 5/3小波的LL帶濾 波器)對U和V信道進行濾波。在此描述的技術(shù)可以用于僅處理視頻序列中的預先選定的幀集合。在一個實施例 中，其它幀被處理。在另一實施例中，屬于視頻序列的一個或多個部分的所有幀被處理。為 處理所選擇的幀的集合可以在0P內(nèi)被信號通知。除了將在此描述的各技術(shù)應(yīng)用于壓縮/未壓縮視頻序列之外，各技術(shù)還可以應(yīng)用 于經(jīng)受了例如非線性去噪濾波的后處理的壓縮視頻序列。此外，各技術(shù)可以應(yīng)用于通過對 低分辨率壓縮/未壓縮視頻序列進行超級分辨而獲得的視頻序列。各技術(shù)也可以應(yīng)用于幀 率轉(zhuǎn)換模塊已經(jīng)處理或?qū)⒁幚淼囊曨l序列。計算機系統(tǒng)的示例圖14是示例性計算機系統(tǒng)的框圖，其可以執(zhí)行在此描述的一個或多個操作。參照 圖14，計算機系統(tǒng)1400可以包括示例性客戶機或服務(wù)器計算機系統(tǒng)。計算機系統(tǒng)1400包 括用于傳遞信息的通信機構(gòu)或總線1411、以及用于處理信息的與總線1411耦合的處理器 1412。處理器1412包括微處理器，但不限于微處理器，例如Pentium 、PowerPC , Alpha 寸。系統(tǒng)1400還包括耦合到總線1411的隨機存取存儲器(RAM)或其它動態(tài)存儲設(shè)備 1404 (稱為主存儲器)，用于存儲信息以及待由處理器1412執(zhí)行的指令。主存儲器1404還 可以用于在處理器1412執(zhí)行指令期間存儲臨時變量或其它中間信息。計算機系統(tǒng)1400還包括耦合到總線1411的只讀存儲器(ROM)和/或其它靜態(tài) 存儲設(shè)備1406，用于存儲靜態(tài)信息和用于處理器1412的指令；以及數(shù)據(jù)存儲設(shè)備1407，例 如磁盤或光盤及其對應(yīng)盤驅(qū)動器。數(shù)據(jù)存儲設(shè)備1407耦合到總線1411，用于存儲信息和指 令。計算機系統(tǒng)1400也可以耦合到顯示設(shè)備1421 (例如陰極射線管(CRT)或液晶顯 示器(LCD))，所述顯示設(shè)備1421耦合到總線1411，用于將信息顯示給計算機用戶。字母數(shù) 字輸入設(shè)備1422包括字母數(shù)字和其它鍵，它也可以耦合到總線1411，用于將信息和命令選 擇傳遞給處理器1412。附加用戶輸入設(shè)備是光標控制器1423(例如鼠標，軌跡球、軌跡板、 指示筆或光標方向鍵)，光標控制器1423耦合到總線1411，用于將方向信息和命令選擇傳 遞給處理器1412，并且用于控制顯示1421上的光標移動?？梢择詈系娇偩€1411的另一設(shè)備是硬拷貝設(shè)備1424，其可以用于在介質(zhì)(例如紙 張、膜或相似類型的介質(zhì))上標記信息?？梢择詈系娇偩€1411的另一設(shè)備是有線/無線通 信能力1425，用于到電話或手持掌上設(shè)備的通信。注意，系統(tǒng)1400的任何或所有組件以及關(guān)聯(lián)硬件可以用在本發(fā)明中。然而，可以 理解，計算機系統(tǒng)的其它配置可以包括所述設(shè)備中的某些或全部。雖然在已經(jīng)閱讀前面的描述之后本發(fā)明的很多改動和修改對于本領(lǐng)域技術(shù)人員 將毫無疑問地變得清楚，但應(yīng)理解，通過說明的方式的示出和描述的任何特定實施例絕非 意圖被看作是限制性的。因此，對于各個實施例的細節(jié)的參考并非意圖限制權(quán)利要求的范 圍，權(quán)利要求本身僅記載了被看作對于本發(fā)明必要的那些特征。
權(quán)利要求
一種方法，包括接收輸入視頻；以及使用空間和時間處理執(zhí)行操作以減少所述輸入視頻中的噪聲和閃爍中的一個或兩者。
2.一種制造的物品，具有一個或多個計算機可讀存儲介質(zhì)，其中存儲指令，當由系統(tǒng)執(zhí) 行時，所述指令使得所述系統(tǒng)執(zhí)行包括以下步驟的方法接收輸入視頻；以及使用空間和時間處理執(zhí)行操作以減少所述輸入視頻中的噪聲和閃爍中的一個或兩者。
全文摘要
在此公開了一種方法和裝置，用于減少視頻序列中的閃爍或噪聲二者中的至少一個。在一個實施例中，所述方法包括接收輸入視頻；以及使用空間和時間處理執(zhí)行操作以減少所述輸入視頻中的噪聲和閃爍中的一個或兩者。
文檔編號H04N7/26GK101933330SQ200980103952
公開日2010年12月29日 申請日期2009年2月2日 優(yōu)先權(quán)日2008年2月5日
發(fā)明者C·S·文, M·R·賽凡拉, O·G·古勒尤茲, S·卡紐姆里, 藤林曉 申請人:株式會社Ntt都科摩