具有減少色彩分辨率的視頻流的自適應(yīng)處理的制作方法
【專利摘要】在此說明一具有減少色彩分辨率的自適應(yīng)處理數(shù)字圖像的方法。一來源裝置藉由重新對映視頻幀的亮度分量與色度分量來預(yù)先處理具有減少色彩分辨率的一視頻幀，并編碼該預(yù)先處理的視頻幀。來源裝置將視頻幀的一掃描線上的一半的亮度分量重新對映至一來源線的數(shù)據(jù)通道至一編碼器，并將該掃描線上該視頻幀的另一半亮度分量重新對映至該來源線的另一數(shù)據(jù)通道。該來源裝置將該對應(yīng)的色度分量重新對映至一來源線的一第三數(shù)據(jù)通道。藉由同樣方式地使用一數(shù)據(jù)通道去傳輸色度分量，該分辨率使一視頻編/解碼器(codec)，不需在編碼前轉(zhuǎn)換該數(shù)字圖像至全彩分辨率，能自適應(yīng)編碼一具有減少色彩分辨率的數(shù)字圖像。
【專利說明】
具有減少色彩分辨率的視頻流的自適應(yīng)處理
技術(shù)領(lǐng)域
[0001]本發(fā)明的實(shí)施例大體上是有關(guān)于數(shù)字媒體的內(nèi)容處理的領(lǐng)域，特定而言是有關(guān)于具有減少色彩分辨率的視頻流的自適應(yīng)處理。
【背景技術(shù)】
[0002]在現(xiàn)代數(shù)字語音/視頻接口系統(tǒng)中透過一視頻通道傳輸視頻數(shù)據(jù)一般來說是受到一些儲存與傳輸?shù)南拗?，例?網(wǎng)路頻寬。為提供高分辨率視頻內(nèi)容，正發(fā)展新的電視與視頻格式。然而，因?yàn)閷χг邤?shù)據(jù)率(data rate)的需求，這樣的發(fā)展帶出語音/視頻接口標(biāo)準(zhǔn)的新挑戰(zhàn)。視頻壓縮工具(也稱為視頻編/解碼器(video codecs)，例如編碼器與解碼器，通常使用在語音/視頻接口標(biāo)準(zhǔn)以藉由壓縮視頻數(shù)據(jù)的信號來減少傳輸于一語音/視頻通道上的數(shù)據(jù)率。
[0003]另一數(shù)據(jù)減量技術(shù)是藉由色度子取樣(chromasubsampling)去減少視頻數(shù)據(jù)的信號中比亮度(明亮)信息低的色度(色彩)信息的分辨率。色度子取樣的范例包含YCbCr色彩空間的4: 2:2與4:2: O。色度子取樣在編碼視頻數(shù)據(jù)的信號時使用較全色度分辨率(例如:4:4:4取樣比例)視頻數(shù)據(jù)的信號更少的位元，在維持可接受的視覺品質(zhì)時使視頻傳輸更有效率。然而，目前已存在的視頻壓縮編/解碼器的編碼程序通常只接受在全分辨率(例如:4:4:4抽樣比例)上的視頻數(shù)據(jù)信號。換言之，若一視頻信號使用其他取樣比例，例如:4:2:2或4:2:0，該信號在編碼前必須轉(zhuǎn)換至4:4:4,如此可能會增加計算復(fù)雜度與效能延遲。

【發(fā)明內(nèi)容】

[0004]在此描述一種在一視頻接口環(huán)境(video interface environment)中自適應(yīng)處理一具有減少色彩分辨率的數(shù)字圖像的方法，例如:在YCbCr色彩空間的4: 2:0子取樣比例。藉由一般配置以使用一數(shù)據(jù)通道去傳輸色度像素，該解決方法使一視頻編/解碼器，不需在編碼前轉(zhuǎn)換該數(shù)字圖像至全彩分辨率，能自適應(yīng)編碼一具有減少色彩分辨率的數(shù)字圖像。
[0005]上述解決方法的一來源裝置藉由重新對映視頻幀的亮度分量與色度分量來預(yù)先處理具有減少色彩分辨率的一視頻幀，幷編碼該預(yù)先處理的視頻幀。在一實(shí)施例中，該來源裝置具有一預(yù)先處理模組與一編碼器。預(yù)先處理模組將視頻幀分成多重子畫面并重新對映視頻幀的每一子畫面內(nèi)的色度分量與亮度分量。舉例而言，預(yù)先處理模組將在視頻幀的一子畫面的一掃描線上的亮度分量重新對映至一編碼器的一數(shù)據(jù)通道，并將在掃描線上的另一半亮度分量重新對映至編碼器的另一數(shù)據(jù)通道。來源裝置將對應(yīng)的色度分量重新對映至編碼器的一第三數(shù)據(jù)通道。
[0006]上述解決方法的一接收裝置(sink device)隨后處理一具減少色彩分辨率的一已編碼視頻幀。在一實(shí)施例中，接收裝置具有一解碼器與一后處理模組。該后處理模組接收已解碼視頻幀幷根據(jù)數(shù)據(jù)結(jié)構(gòu)的重新對映方式重新對映該已解碼視頻幀的亮度分量與色度分量。依據(jù)該重新對映，該后處理重建一具有適當(dāng)格式化的減少色彩分辨率視頻幀。
【附圖說明】
[0007]本發(fā)明各種實(shí)施例藉由實(shí)例所闡明，而非用以限制本發(fā)明。后附圖示中的圖片如標(biāo)號，指類似的元件。
[0008]圖1為根據(jù)一實(shí)施例闡明一視頻接口環(huán)境的方框圖。
[0009]圖2為根據(jù)一實(shí)施例闡明一視頻接口環(huán)境具有以4:2:0取樣比例格式的輸入數(shù)據(jù)的方框圖。
[0010]圖3為根據(jù)一實(shí)施例闡明一視頻幀分為多個子畫面的方框圖。
[0011]圖4A闡明在預(yù)先處理前一視頻幀的亮度分量。
[OO12 ]圖4B根據(jù)一實(shí)施例闡明在預(yù)先處理后，已闡明于圖4A視頻幀的亮度分量。
[0013]圖5為根據(jù)一實(shí)施例闡明在一接收裝置上對于后處理一視頻幀像素的亮度分量與色度分量的一方法流程圖。
[0014]圖6根據(jù)一實(shí)施例顯示一視頻幀的對應(yīng)的色度分量后處理的一范例。
[0015]圖7根據(jù)一實(shí)施例顯示一數(shù)據(jù)結(jié)構(gòu)的一范例，該數(shù)據(jù)結(jié)構(gòu)呈現(xiàn)一具有預(yù)先處理的亮度分量與對應(yīng)的色度分量。
[0016]圖8為根據(jù)一實(shí)施例闡明在一來源裝置上對于一視頻幀像素的預(yù)先處理亮度分量與色度分量的一方法流程圖。
【具體實(shí)施方式】
[0017]本發(fā)明提供一方法允許只接受全彩分辨率視頻，例如:4:4:4取樣比例，的一視頻壓縮編/解碼器，去處理具有減少色彩分辨率的視頻，例如:4:2:0取樣比例。本發(fā)明實(shí)施例藉由將該視頻幀像素的亮度與色度分量重新對映至一壓縮編碼器的三個輸入通道上，在視頻幀每一部分內(nèi)重新對映之前維持該色度與亮度分量空間關(guān)系，來預(yù)先處理一4: 2:0取樣視頻幀。
[0018]在此所使用的“網(wǎng)路”或“通訊網(wǎng)路”意指在使用任何各式技術(shù)，例如串線ATA(Serial ATA，SATA)、幀信息結(jié)構(gòu)(Frame Informat1n Structure，F(xiàn)IS)等，于各裝置間用以傳遞數(shù)字媒體內(nèi)容(包括音樂、語音/視頻、游戲、照片/圖片，與其他)的互連網(wǎng)。一網(wǎng)路包含一區(qū)域網(wǎng)路(Local Area Network，LAN)、廣域網(wǎng)路(Wide Area Network,WAN)、都會區(qū)域網(wǎng)路(Metropolitan Area Network，MAN)、內(nèi)部網(wǎng)路，網(wǎng)際網(wǎng)路等。在一網(wǎng)路內(nèi)，某些網(wǎng)路裝置可為媒體內(nèi)容的一來源，例如一數(shù)字電視調(diào)諧器(digital televis1n tuner)、纜線式機(jī)上盒(cable set-top box)、手持裝置(例如:個人數(shù)字助理(per sonal deviceassistant，PDA)、視頻儲存伺服器、和其他來源裝置。這類裝置在此歸類為“來源裝置(source devices)”或“傳輸裝置(transmitting devices)”。其他裝置可接收、顯示、使用、或儲存媒體內(nèi)容，例如一數(shù)字電視、家用劇場系統(tǒng)、游戲系統(tǒng)、視頻與語音儲存伺服器，諸如此類。此類裝置在此歸類為“接收裝置(sink devices or receiving devices)”。
[0019]在此所使用的一“視頻接口環(huán)境”指的是一環(huán)境包含耦合至一視頻通道的一來源裝置與一接收裝置。一視頻接口環(huán)境的一例為一高分辨率多媒體接口(High-Definit1nMultimedia Interface,HDMI)，在HDMI環(huán)境，一來源裝置(例如一DVD撥放器)系配置以根據(jù)在一 HDMI通道上或一 MHL3通道上而提供根據(jù)HDMI協(xié)定編碼的媒體內(nèi)容至一來源裝置(例如電視或其他顯示器)。
[0020]應(yīng)注意的是，一些裝置可執(zhí)行多重媒體功能，例如一纜線式機(jī)上盒，其可以作為一接收器(從一纜線頭尾端接受信息)以及作為一傳輸器(傳輸信息至一電視)，反之亦然。在一些實(shí)施例中，來源裝置與接收裝置可共同置于一單一區(qū)域網(wǎng)路。在其他實(shí)施例中，這些裝置可跨越多重網(wǎng)路段，例如藉由在區(qū)域網(wǎng)路間穿隧的方式。應(yīng)注意，雖然預(yù)先處理具有減少色彩分辨率的一視頻幀與后處理該視頻幀系在此敘述于一視頻接口環(huán)境的內(nèi)容中，在此描述的預(yù)先處理與后處理技術(shù)仍可應(yīng)用于在一來源裝置與一接受裝置間的其他數(shù)據(jù)轉(zhuǎn)換類型，例如在一網(wǎng)路環(huán)境內(nèi)的網(wǎng)路數(shù)據(jù)，諸如此類。
[0021 ]圖1根據(jù)一實(shí)施例闡明一視頻接口環(huán)境的方框圖。圖1所述的環(huán)境包含一來源裝置100，藉由一數(shù)據(jù)傳輸通道108耦合至一接收裝置105。來源裝置100包含一圖像來源102、一預(yù)先處理模組104以及一編碼器106。接收裝置包含一后處理模組112以及一顯示模組114。圖1的環(huán)境的其他實(shí)施例能包含與在此闡明不同的及/或附加的元件。舉例而言，數(shù)據(jù)傳輸通道108能為視頻的任一適合類型或通訊通道，例如一 HDMI通道、一 MHL3通道或其他串聯(lián)式通道。
[0022]該圖像來源102可以為一非暫態(tài)計算機(jī)可讀取儲存媒體，例如一記憶體，加以配置以儲存一或多個視頻及/或數(shù)字圖像，用來傳輸至接收裝置105。圖像來源102也能加以配置以存取儲存于來源裝置100外部的視頻。舉例而言，藉由網(wǎng)際網(wǎng)路或一些其他類型的網(wǎng)路，從一外部視頻伺服器通信地耦合至來源裝置100。在此處所揭露的“數(shù)字內(nèi)容”或“數(shù)字媒體內(nèi)容”，一般來說指為任何機(jī)器可讀取與機(jī)器可儲存的事物。數(shù)字內(nèi)容能包含，舉例而言，視頻、語音或一語音與視頻的組合。可替代地，數(shù)字內(nèi)容可為一靜態(tài)圖像，例如一 JPEG或GIF或一文字檔案。為了簡化與說明一實(shí)施例，來自圖像來源102的數(shù)字內(nèi)容將以一“視頻”或“視頻檔案”為代表，而幷非限制能加以處理的數(shù)字內(nèi)容型態(tài)的專門用語。因此，在此描述用以預(yù)先處理與后處理一視頻幀像素的操作，能加以應(yīng)用至任一數(shù)字內(nèi)容的類型，包括視頻與其他數(shù)字內(nèi)容的合適類型例如語音檔案(例如:音樂、廣播、語音書，諸如此類)。
[0023]預(yù)先處理模組104從圖像來源102接收在YCbCr色彩空間上具有全彩分辨率(例如:4:4:4取樣比例)或減少色彩分辨率(例如:4:2:0取樣比例)的一輸入視頻幀。對于具有減少色彩分辨率的該視頻幀，預(yù)先處理模組104根據(jù)一數(shù)據(jù)結(jié)構(gòu)的重新排序方式，重新排序視頻幀的亮度與色度像素，將視頻幀的亮度與色度像素重新對映至編碼器106的三個輸入通道。編碼器106編碼已預(yù)先處理視頻幀，且只接受具有全彩分辨率4:4:4子取樣比例的視頻幀。下圖2、圖4A、圖4B、圖5以及圖6進(jìn)一步說明預(yù)先處理模組104。
[0024]編碼器106配置以編碼已經(jīng)由預(yù)先處理模組104預(yù)先處理過的視頻幀。在一實(shí)施例中，編碼器106只接受以4:4:4子取樣比例的全彩分辨率視頻幀。編碼器106可具有一記憶體或儲存媒體，配置以緩沖部分或全部視頻幀，其中視頻幀由編碼器106所編碼。編碼器106能執(zhí)行任何合適型態(tài)的編碼，舉例而言，編碼意圖去減少傳輸視頻幀的品質(zhì)，例如視頻電子標(biāo)準(zhǔn)協(xié)會(Video Electronics Standards Associat1n，VESA)的顯不串流壓縮標(biāo)準(zhǔn)(Display Stream Compress1n ,DSC)及其他諸如此類，編碼意圖去保護(hù)視頻數(shù)據(jù)免于非法復(fù)制或截取，例如高分辨率內(nèi)容保護(hù)(High-Definit1n Content Protect1n，HDCP)及其他諸如此類，或是以上兩種的任意組合。編碼器106的實(shí)施例可以使用任何已知于此領(lǐng)域中的一般技術(shù)的視頻壓縮方案，包含，舉例而言，離散余弦轉(zhuǎn)換(Discrete CosineTransform,DCT)、小波轉(zhuǎn)換(wavelet transform)、量化(quantizat1n)，以及熵編碼(entropy encoding)。編碼器106根據(jù)一語音/視頻接口協(xié)定，例如:一HDMI協(xié)定，加以配置以傳輸已編碼視頻數(shù)據(jù)，通過傳輸通道108，傳送至接收裝置105的解碼器110。
[0025]解碼器系配置以用來解碼從編碼器106接收的一已編碼視頻幀。在一實(shí)施例中，解碼器110可以具有一記憶體或儲存媒體，用來配置以緩沖部分或全部視頻幀，其中視頻幀由解碼器110所解碼。解碼器110所執(zhí)行的解碼過程為由編碼器106所執(zhí)行編碼過程的每一階段的反向(除了在有損壓縮(lossy compress1n)的量化階段(quantizat1n stage))。舉例而言，解碼器110執(zhí)行逆DCT/小波轉(zhuǎn)換、逆量化以及熵解碼，以解碼一已編碼幀來重建原來輸入視頻幀。對于另一例來說，相對于編碼器106根據(jù)該VESA/DSC編碼標(biāo)準(zhǔn)來編碼視頻幀，解碼器110根據(jù)VESA/DSC編碼標(biāo)準(zhǔn)執(zhí)行解碼程序。
[0026]后處理模組112從解碼器110接收一已解碼視頻幀并判定是否去重組該已解碼視頻幀的像素。為響應(yīng)一已解碼的具有減少色彩分辨率視頻幀，后處理模組112執(zhí)行與預(yù)先處理模組104相同的動作-一但以反向的順序。舉例而言，后處理模組112在傳輸視頻幀的像素至顯示模組114之前，根據(jù)一數(shù)據(jù)結(jié)構(gòu)的重新排序方式，重新排序視頻幀的像素。
[0027]顯示模組114系配置以用來顯示后處理模組112所處理的視頻幀?？商娲?，顯示模組能儲存從后處理模組112所接收的視頻幀，或能輸出視頻幀至(舉例而言)一外部顯示器、儲存器或裝置(例如一手機(jī)裝置)。
[0028]圖2為根據(jù)一實(shí)施例闡明一視頻接口環(huán)境具有以4:2:0取樣比例格式化輸入數(shù)據(jù)的方框圖。圖2的環(huán)境包含藉由一傳輸通道108耦合至一接收裝置105的一來源裝置100。來源裝置100包括一預(yù)先處理模組104與一編碼器106。接收裝置105包含一視頻解碼器110與一后處理模組112。來源裝置100接收一 4:2:0格式圖像/視頻幀202，例如:具有以4:2:0子取樣比例的一減少色彩的解析分辨率的一視頻串流的一視頻幀，預(yù)先處理視頻幀并編碼視頻幀。已編碼視頻幀系通過傳輸通道108傳輸至接收裝置105。接收裝置105解碼所接收的視頻幀并后處理已解碼幀，以重建一 4:2:0格式化視頻幀204以顯示。
[0029]以4:2:0子取樣比例格式的該視頻幀202具有多重數(shù)量的像素，其視頻幀的大小為分辨率所決定。視頻幀202的每一像素由一亮度信號和色度信號所組成。注意到，亮度信號較色度信號更顯著地重要，所以能使用較低分辨率的色度信號去達(dá)成更有效的數(shù)據(jù)減量。在圖2中闡明的實(shí)施例，在一像素的亮度與色度信號的間的子取樣比例系儲存在三個數(shù)據(jù)通道Y、Cb以及Cr的Y:Cb:Cr格式中，其中Y代表亮度信號而Cb與Cr代表色度信號。4:2:0子取樣比例指出色度信號(由Cb與Cr表示)對照于亮度信號具有一一半水平分辨率以及一一半垂直分辨率。
[0030]預(yù)先處理模組104接收4:2:0格式化視頻幀202，將亮度像素與色度像素分開并重新對映亮度像素與色度像素至三個像素數(shù)據(jù)通道，也就是通道1、通道2以及通道3。預(yù)先處理模組104能使用任何已知關(guān)于色彩空間轉(zhuǎn)換與將像素的亮度信號分離自像素的色度信號的技術(shù)。現(xiàn)有方法的一視頻壓縮編/解碼器方法正常來說接受在Y、Cb、Cr格式中以4:4:4子取樣比例的視頻數(shù)據(jù)，其中編/解碼器將亮度像素對應(yīng)至Y通道，色度Cb像素映至Cb通道，以及色度Cr映至Cr通道。為了使編碼器106去編碼4:2:0格式視頻幀，預(yù)先處理模組104將亮度像素重新對映至兩數(shù)據(jù)通道與將色度信息(Cb與Cr)重新對映至第三通道，并以數(shù)據(jù)結(jié)構(gòu)(代表已預(yù)先處理視頻幀)所定義的一特定順序，來表示重新排序的像素的亮度與色度分量(如下圖7所顯示)。
[0031]編碼器106接收由預(yù)先處理模組104預(yù)先處理的視頻幀202，編碼視頻幀202并傳輸已編碼視頻幀經(jīng)過傳輸通道108至接收裝置105。解碼器110解碼已接收的視頻幀，接著傳送已解碼視頻幀至該后處理模組112，根據(jù)從來源裝置100所接收并重新排序的數(shù)據(jù)結(jié)構(gòu)，重建一4:2:0格式化視頻幀204以顯示。
[0032]—視頻幀的像素在掃描線上的Y、Cr，與Cb數(shù)據(jù)通道具有一以位置為依據(jù)的相對空間關(guān)系，定義了一像素位置相對于視頻幀的其他像素位置。為了編碼一 4:2:0格式視頻幀，預(yù)先處理模組104在重新排序像素后，保存了像素間的原始空間關(guān)系。在一實(shí)施例中，預(yù)先處理模組104將一視頻幀分為多重的子畫面，其中每一個子畫面皆為視頻幀的一部分。圖3為根據(jù)一實(shí)施例闡明一視頻幀分為許多相等大小子畫面的方框圖。預(yù)先處理模組104將視頻幀302分為四個子畫面，304a-304h。每一子畫面有一具多重像素的矩型框且每一子畫面在預(yù)先處理及后處理時系獨(dú)立于其他子畫面。子畫面的數(shù)量及子畫面的大小可為配置所設(shè)定，換言之，不同實(shí)施例依圖3所闡明方式，可能有不同數(shù)目的子畫面與其不同的大小。為了編碼一4: 2:0格式化視頻幀，預(yù)先處理模組104將每一個子畫面內(nèi)的4:2:0格式化視頻幀重新對映至三個輸入通道到達(dá)編碼器106，并在重新排序每一子畫面的像素后保存像素的原始空間關(guān)系。
[0033]圖4A闡明預(yù)先處理前的一視頻幀的亮度分量。在圖4A，水平亮度分量的分辨率(Y分量)以參數(shù)h代表分量的數(shù)量。圖4A顯示Y分量的四線，線0(410a)、線1(41013)、線2(410(3)，線3(41Od)。在每一線的該Y分量根據(jù)一掃描光柵視頻幀的一掃描線來固定位置，所以在掃描線上第一個分量系為YO，掃描線上最后一個分量為Yh-1。
[0034]圖4B根據(jù)一實(shí)施例闡明在預(yù)先處理后，已闡明于圖4A視頻幀的亮度分量。在圖4B的例子顯示三來源線，42(^、42013、420(3，其中每一列對映至兩個編碼處理通道，￥通道與03通道，以用來輸入Y分量的掃描線(顯示于圖4A)至一編碼器，例如:圖2的編碼器106。預(yù)先處理模組104將掃描線上Y分量的一半對映至一編碼器的Y處理輸入，一半對映至一編碼器的一 Cb通道輸入。如圖4A顯示的全部水平分辨率，每一個數(shù)據(jù)通道有一半水平分辨率。舉例而言，假設(shè)在圖4B的來源線420a系為了輸入圖4A線410a的Y分量，預(yù)先處理模組104將在線410a左半部Y分量(也就是分量YO至Yh/2-l)對映至編碼器420a的Y通道，并將在線410a右半部Y分量(也就是分量Y2/h至Yh)對映至編碼器420a的Cb通道。預(yù)先處理模組104將掃描線上Y分量分裂成兩個串流而沒有改變一子畫面范圍內(nèi)兩個串流中每一個分量的相對空間位置。在對映后，掃描線上Y分量中原始空間關(guān)系維持著Y分量的每一半。預(yù)先處理模組104同樣地對映至Y分量的其他線，例如:Y分量的410b線對映至來源線420b與Y分量的410c線對映至來源線420c。
[0035]為了對映一視頻幀的一子畫面的對應(yīng)色度分量至一數(shù)據(jù)通道，預(yù)先處理模組104使用一來源線的一第三數(shù)據(jù)通道。Cb與Cr分量代表色度分量，在一實(shí)施例中，預(yù)先處理模組104將色度分量的第一型態(tài)，例如:Cb分量，對映至一來源線的第三數(shù)據(jù)通道，并且將色度分量的第二型態(tài)，例如:Cr分量，對映至下一來源線的一第三數(shù)據(jù)通道。
[0036]圖6根據(jù)一實(shí)施例顯不一視頻幀的對應(yīng)色度分量后處理的一范例。在圖6所闡明的范例顯示一視頻幀的兩色度子畫面，子畫面602與子畫面604。每一個子畫面有一水平分辨率與一垂直分辨率，其為8-像素高(亦即具有8列像素分量)。如上所述，該子畫面的高度典型上地可程序化。色度分量被預(yù)先處理的兩子畫面的順序系從子畫面602的第一來源線(來源線O)至子畫面604的最后來源線(來源線15)。
[0037]如圖6所顯示，預(yù)先處理模組104重新排序所插入的色度分量至八個連續(xù)線已用于的度分量的每一型態(tài)。舉例而言，所有插入的Cb分量在一子畫面602重新排序，所有插入的Cr分量同樣地在一子畫面604重新排序，如上所述，預(yù)先處理模組104從其他子畫面的處理獨(dú)立地產(chǎn)生每一子畫面。因?yàn)橐蛔赢嬅鎯?nèi)色度分量的所有線皆具有相通色度分量，例如，在子畫面內(nèi)602所有Cb分量與在子畫面內(nèi)604所有Cr分量，所以此獨(dú)立性可使在子畫面內(nèi)色度分量的空間關(guān)系能保存。
[0038]圖7根據(jù)一實(shí)施例顯示一視頻幀像素具有已預(yù)先處理的亮度分量與對應(yīng)的色度分量的范例。在圖7中的范例，Y分量代表的亮度分量系根據(jù)圖4B闡明的實(shí)施例加以預(yù)先處理；Cb與Cr分量代表的色度分量系根據(jù)圖6闡明的實(shí)施例加以預(yù)先處理。相似于圖6的該子畫面，在圖7的子畫面高度為8。預(yù)先處理模組104從第一個輸入視頻幀的16線建立第一個兩子畫面的編碼器的通道1、2與3。對于第一個子畫面，在通道I的數(shù)據(jù)(也就是Y通道)來自于輸入線O至7的左半部，在通道2的數(shù)據(jù)(也就是Cb通道)來自于于該輸入列O至7的右半部。而在通道3的數(shù)據(jù)(也就是Cr通道)來自于輸入幀的第一個前8個偶數(shù)色度線，且皆為Cb分量。對于第二個子畫面，在通道I的數(shù)據(jù)來自于輸入線8至15的左半部，在通道2的數(shù)據(jù)來自于于輸入線8至15的右半部。而在通道3的數(shù)據(jù)來自于輸入幀的第一個前8個奇數(shù)的色度線，且皆為Cb分量。后處理器模組112執(zhí)行與預(yù)先處理模組在此所描述的相同動作，但以反向的順序。
[0039]在圖7的范例具有三數(shù)據(jù)輸入單元。每一數(shù)據(jù)輸入單元具有三數(shù)據(jù)通道，Y通道、Cb通道以及Cr通道，以輸入預(yù)先處理模組104所重新排序的分量至一編碼器，例如:圖2中編碼器106<Xb通道依慣例地被設(shè)計用以輸入Cb色度成分，為預(yù)先處理模組104所使用，用來輸入在一掃描線上一第二半部Y分量，例如:來源線O的Cb通道。預(yù)先處理模組104重新對映對應(yīng)的色度分量至一來源線的一第三數(shù)據(jù)通道，例如:來源線O的Cr通道與來源線2的Cr通道。預(yù)先處理模組104更跨過兩子畫面重新排序相同類型的色度像素，例如:在一子畫面的所有Cb分量與在其他子畫面所有Cr分量。
[0040]在一實(shí)施例中，預(yù)先處理模組104產(chǎn)生一數(shù)據(jù)結(jié)構(gòu)以紀(jì)錄一4:2:0格式化視頻幀像素的亮度與色度分量的重新排序。用于視頻幀的數(shù)據(jù)結(jié)構(gòu)可包含將一亮度分量的掃描線信息對映至其對應(yīng)亮度分量的來源線，例如:掃描線(0，Yleft-half)映至掃描線(0，Cb)。同樣地，用于視頻幀的數(shù)據(jù)結(jié)構(gòu)也可以包含將一色度分量的掃描線的信息對于色度像素與色度分量的型態(tài)(例如:Cb像素或Cr分量)對映至其對映來源線。為因應(yīng)視頻幀分為子畫面以及在子畫面上執(zhí)行重新對映，數(shù)據(jù)結(jié)構(gòu)紀(jì)錄每個子畫面的重新排序信息。紀(jì)錄對映的數(shù)據(jù)結(jié)構(gòu)可以與已編碼視頻一起傳輸或藉由編碼器分開而傳輸至接收裝置105。
[0041]圖8為根據(jù)一實(shí)施例闡明在一來源裝置上對于一視頻幀像素的預(yù)先處理亮度分量與色度分量的一方法的流程圖。首先，一來源裝置的一預(yù)先處理模組，例如:在圖2上來源裝置100的預(yù)先處理模組104，在步驟810中，接收一圖像，例如:以4: 2:0子取樣比例的一視頻幀，并在步驟820中，提取視頻幀的亮度信號與色度信號。在一實(shí)施例中，預(yù)先處理模組104可將視頻幀分為多重子畫面并在多個單位的子畫面上處理視頻像素的亮度與色度分量。接收的視頻幀的每一子畫面代表視頻幀的一部份并具有以像素分量的數(shù)量來表示的一可配置高度。
[0042]在步驟830中，預(yù)先處理模組將在視頻幀掃描線上亮度分量重新排序至一編碼器的兩數(shù)據(jù)通道。編碼器的兩個數(shù)據(jù)通道各接受原始來源線的一半亮度分量;其中一個數(shù)據(jù)通道包含在掃描線上另一半的亮度分量，數(shù)據(jù)通道慣例地加以使用以輸入色度分量，例如:對應(yīng)的Cb分量，至一編碼器。
[0043]在步驟840中，預(yù)先處理模組也重新排序?qū)τ车纳确至俊Ｔ谝粚?shí)施例中，當(dāng)藉由群集同樣類型的色度成分，例如:Cb或Cr分量，至他們各自的子畫面來維持在相關(guān)的掃描線上色度分量的原始空間關(guān)系，預(yù)先處理模組104將該色度分量重新對映至編碼器的一第三數(shù)據(jù)通道。在步驟850中，預(yù)先處理模組104產(chǎn)生一數(shù)據(jù)結(jié)構(gòu)以記錄亮度成分與色度成分的重新排序信息。數(shù)據(jù)結(jié)構(gòu)能為幀基(frame based)或子畫面基(subpicture based)。來源裝置的一編碼器，例如:圖2中的來源裝置106的編碼器106，在步驟860中，根據(jù)產(chǎn)生的數(shù)據(jù)結(jié)構(gòu)編碼該幀并傳輸已編碼幀至一接收裝置，例如:圖2中的接收裝置105。
[0044]圖5為根據(jù)一實(shí)施例闡明在一接收裝置上對于后處理一視頻幀像素的亮度分量與色度分量的一方法流程圖。首先，一來源裝置的解碼器，例如:在圖2中的接收裝置105的解碼器110，在步驟510中，從來源裝置接收一已編碼圖像并在步驟520中解碼已接收的圖像。將已解碼影樣的分量經(jīng)由三數(shù)據(jù)通道傳輸至一后處理模組，例如:在圖2中后處理模組112。在步驟530中，后處理模組112提取一數(shù)據(jù)結(jié)構(gòu)，此數(shù)據(jù)結(jié)構(gòu)系為亮度分量與色度分量的對映方式，在步驟540中，后處理模組112并從解碼器接收亮度分量與色度分量。
[0045]在步驟550中，后處理模組112根據(jù)接收的數(shù)據(jù)結(jié)構(gòu)，重新排序映在解碼器的兩數(shù)據(jù)通道上亮度分量對映的一掃描線上一Y通道上的亮度分量。在步驟560中，后處理模組112重新排序在數(shù)據(jù)通道上對應(yīng)的色度分量的兩色度線，一為Cb分量，一為Cr分量。在步驟570中，后處理模組112在重新排序后重建570該圖像，其中重建圖像系顯示為一適當(dāng)?shù)?:2:0格式。
[0046]對于上述實(shí)施例的先前描述已為闡明的目的而呈現(xiàn)出來;在此無意以精確形式揭露來概括而論或限制該實(shí)施例。在此相關(guān)領(lǐng)域的技術(shù)人員能領(lǐng)會依照上述揭露的許多的修正與延伸系為可行。
[0047]此說明一些部分以在信息系統(tǒng)上操作的演算法或符號表示來描述實(shí)施例。這些演算法的描述與表示常見地使用于在該數(shù)據(jù)處理領(lǐng)域的技術(shù)，以有效率地傳達(dá)他們的工作本質(zhì)至此領(lǐng)域的其他技術(shù)。這些操作，以功能地、運(yùn)算地或邏輯地描述，藉由計算機(jī)程序或?qū)Φ鹊碾娮与娐?、微指?microcode)，諸如此類，可合理實(shí)施。此外，有時為了提供方便，將這些操作的安排模組化，而幷不失去普及性。所描述的操作與它們相關(guān)的模組可加以實(shí)施在軟體上、韌體、硬體或其中任何組合。在此領(lǐng)域的其一尋常技術(shù)者將可知該硬體、所述模組的實(shí)施，包含至少一處理器與一記憶體，該記憶體包含用以執(zhí)行所描述該模組功能的指令。
[0048]在此描述的任一步驟、操作或方法，可與一或多硬體或軟體模組，隨著其他裝置或與其他裝置組合，加以執(zhí)行或?qū)嵤?。在一?shí)施例中，一軟體模組與一計算機(jī)程序產(chǎn)品加以實(shí)施，該計算機(jī)程序包含一具有計算機(jī)程序碼的一計算機(jī)可讀取媒體，且能藉由一計算機(jī)處理器加以執(zhí)行任何或所有步驟、操作，或所敘述的程序。
[0049]實(shí)施例也可對應(yīng)到一裝置，用來執(zhí)行在此的操作。該裝置可為所需的用途特別地建設(shè)，及/或應(yīng)包含一通常用途的運(yùn)算裝置，該運(yùn)算裝置藉由一儲存在計算機(jī)里的計算機(jī)程序選擇性地啟動或重新配置。此計算機(jī)程序應(yīng)儲存在一非暫態(tài)、有形體計算機(jī)可讀取儲存媒體，或是任何合適的媒體總類，以儲存電子指令，而上述所提及的媒體可耦合至一計算機(jī)系統(tǒng)匯流排。此外，任何運(yùn)算系統(tǒng)的規(guī)格應(yīng)包含一單一處理器或可為一內(nèi)部結(jié)構(gòu)，該內(nèi)部結(jié)構(gòu)使用多重處理器設(shè)計來增加運(yùn)算能力。
[0050]實(shí)施例也可對應(yīng)至一產(chǎn)品，由在此敘述的一運(yùn)算處理所生產(chǎn)。此一產(chǎn)品可包含一運(yùn)算處理產(chǎn)生的信息，該信息可儲存在一非暫態(tài)、實(shí)體計算機(jī)可讀取儲存媒體幷可包含一計算機(jī)程序產(chǎn)品的任何實(shí)施例或其他在此敘述的數(shù)據(jù)組合。
[0051]最后，使用在規(guī)格的語言基本上以可讀性與指導(dǎo)性的用途作為選擇，且不應(yīng)選擇來描述或限制發(fā)明性的主體事實(shí)。本實(shí)施例的范圍不為在此敘述性的描述所限制，也不為在此應(yīng)用的任何范圍所限制。因此，本實(shí)施例的揭露意圖在于說明而非限制。
【主權(quán)項(xiàng)】
1.一種編碼一數(shù)字圖像的方法，其特征在于，該方法包含: 接收一復(fù)數(shù)個像素的該數(shù)字圖像，其每一像素具有一亮度分量與兩色度分量； 從該復(fù)數(shù)個像素中提取亮度分量與色度分量； 重新排序該亮度分量與重排序該色度分量；以及 依據(jù)亮度分量的重新排序與色度分量的重新排序，產(chǎn)生一數(shù)據(jù)結(jié)構(gòu)以表示該數(shù)字圖像。2.根據(jù)權(quán)利要求1所述的編碼一數(shù)字圖像的方法，其特征在于，還包含根據(jù)該數(shù)據(jù)結(jié)構(gòu)以編碼該數(shù)字圖像。3.根據(jù)權(quán)利要求1所述的編碼一數(shù)字圖像的方法，其特征在于，該復(fù)數(shù)個像素中的每一個為一樣本格式，該像素的兩色度分量在水平和垂直方向以該像素的亮度分量的一半樣本率來取樣。4.根據(jù)權(quán)利要求1所述的編碼一數(shù)字圖像的方法，其特征在于，該數(shù)字圖像的該復(fù)數(shù)個像素以根據(jù)該復(fù)數(shù)個像素的一掃描線的一順序接收，而每一掃描線具有一預(yù)先決定的水平分辨率。5.根據(jù)權(quán)利要求1所述的編碼一數(shù)字圖像的方法，其特征在于，該亮度分量的重新排序包含: 對于在一掃描線上所接收的一復(fù)數(shù)個像素: 分離掃描線上該復(fù)數(shù)個像素的復(fù)數(shù)個亮度分量為兩部分，其中每一部分具有在該掃描線上該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量的一半； 從三個數(shù)據(jù)通道中選擇兩個數(shù)據(jù)通道，其中該三個數(shù)據(jù)通道配置以傳輸在掃描線上的該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量與色度分量； 提供該所選擇數(shù)據(jù)通道的一上的該復(fù)數(shù)個亮度分量的第一部分；以及 提供該所選擇數(shù)據(jù)通道的另一上的該復(fù)數(shù)個亮度分量的第二部分。6.根據(jù)權(quán)利要求1所述的編碼一數(shù)字圖像的方法，其特征在于，該數(shù)字圖像系劃分為一復(fù)數(shù)個子畫面，每一子畫面具有該數(shù)字圖像上對應(yīng)至水平分辨率的一局部水平分辨率，且每一子畫面具有該數(shù)字圖像上對應(yīng)至垂直分辨率的一局部垂直分辨率。7.根據(jù)權(quán)利要求1所述的編碼一數(shù)字圖像的方法，其特征在于，進(jìn)一步包含在重新排序后，在一子畫面內(nèi)維持每一像素分量的空間關(guān)系，使得該子畫面內(nèi)的獨(dú)立像素分量的該空間關(guān)系與子畫面內(nèi)對應(yīng)的獨(dú)立分量的空間關(guān)系相等。8.一種解碼一已編碼的數(shù)字圖像的方法，其特征在于，該方法包含: 接收一復(fù)數(shù)個像素的該已編碼數(shù)字圖像，每一像素具有一亮度分量與兩色度分量； 從該復(fù)數(shù)個像素中提取亮度分量與色度分量； 根據(jù)一數(shù)據(jù)結(jié)構(gòu)敘述的一重新排序，以重新排序該亮度分量與重新排序該色度分量；以及 依據(jù)該數(shù)字圖像的該復(fù)數(shù)個亮度分量與該復(fù)數(shù)個色度分量的該重新排序，重新建構(gòu)一具有減少色彩分辨率的一數(shù)字圖像。9.根據(jù)權(quán)利要求8所述的解碼一已編碼的數(shù)字圖像的方法，其特征在于，該亮度分量的重新排序包含: 選擇兩個數(shù)據(jù)通道上該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量，其中每一數(shù)據(jù)通道在一掃描線上具有該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量的一半；以及 根據(jù)該數(shù)據(jù)結(jié)構(gòu)敘述的重新排序，重新排序在該掃描線上該所選擇的亮度分量。10.一種非暫態(tài)計算機(jī)可讀取媒體，其特征在于，其儲存可執(zhí)行性計算機(jī)程序指令，以編碼一數(shù)字圖像，該計算機(jī)程序指令包含執(zhí)行時使得一計算機(jī)處理器: 接收一復(fù)數(shù)個像素的該已編碼數(shù)字圖像，每一像素具有一亮度分量與兩色度分量； 從該復(fù)數(shù)個像素中提取亮度分量與色度分量； 依據(jù)亮度分量的重新排序與色度分量重新排序，產(chǎn)生一數(shù)據(jù)結(jié)構(gòu)以表現(xiàn)該數(shù)字圖像。11.根據(jù)權(quán)利要求10所述的計算機(jī)可讀取媒體，其特征在于，還包含計算機(jī)程序指令執(zhí)行時使得一計算機(jī)處理器根據(jù)該數(shù)據(jù)結(jié)構(gòu)以編碼該數(shù)字圖像。12.根據(jù)權(quán)利要求10所述的計算機(jī)可讀取媒體，其特征在于，該復(fù)數(shù)個像素中的每一個為一樣本格式，該像素的兩色度分量在水平和垂直方向以該像素的亮度分量的一半樣本率來取樣。13.根據(jù)權(quán)利要求10所述的計算機(jī)可讀取媒體，其特征在于，該數(shù)字圖像的該復(fù)數(shù)個像素以根據(jù)該復(fù)數(shù)個像素的一掃描線的一順序接收，而每一掃描線具有一預(yù)先決定的水平分辨率。14.根據(jù)權(quán)利要求10所述的計算機(jī)可讀取媒體，其特征在于，該計算機(jī)程序指令系用來重新排序該亮度分量，該亮度分量包含該指令執(zhí)行時使得一計算機(jī)處理器: 對于在一掃描線上所接收的一復(fù)數(shù)個像素: 分離在掃描線上該像素的亮度分量為兩部分，其中每一部分具有在該掃描線上該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量的一半； 從三個數(shù)據(jù)通道中選擇兩個數(shù)據(jù)通道，其中該三個數(shù)據(jù)通道系配置以傳輸在掃描線上該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量與色度分量； 提供該所選擇數(shù)據(jù)通道的一上的該復(fù)數(shù)個亮度分量的第一部分；以及 提供該所選擇資通道的另一上的該復(fù)數(shù)個亮度分量的第二部分。15.根據(jù)權(quán)利要求10所述的計算機(jī)可讀取媒體，其特征在于，該數(shù)字圖像劃分為一復(fù)數(shù)個子畫面，每一子畫面具有該數(shù)字圖像上對應(yīng)至水平分辨率的一局部水平分辨率，且每一子畫面具有該數(shù)字圖像上對應(yīng)至垂直分辨率的一局部垂直分辨率。16.根據(jù)權(quán)利要求1O所述的計算機(jī)可讀取媒體，其特征在于，進(jìn)一步包含計算機(jī)程序指令，用來在重新排序后，在一子畫面內(nèi)維持每一像素分量的空間關(guān)系，使得該子畫面內(nèi)的獨(dú)立像素分量的該空間關(guān)系與子畫面內(nèi)對應(yīng)的獨(dú)立分量的空間關(guān)系相等。17.一種非暫態(tài)計算機(jī)可讀取媒體，其特征在于，其儲存可執(zhí)行性計算機(jī)程序指令，以解碼一已編碼的數(shù)字圖像，該計算機(jī)程序指令包含執(zhí)行時使得一計算機(jī)處理器: 接收一復(fù)數(shù)個像素的該已編碼數(shù)字圖像，每一像素具有一亮度分量與兩色度分量； 從該復(fù)數(shù)個像素中提取亮度分量與色度分量； 根據(jù)一數(shù)據(jù)結(jié)構(gòu)敘述的一重新排序，以重新排序該亮度分量與重新排序該色度分量；以及 依據(jù)該數(shù)字圖像的該復(fù)數(shù)個亮度分量與該復(fù)數(shù)個色度分量的該重新排序，重新建構(gòu)一具有減少色彩分辨率的數(shù)字圖像。18.根據(jù)權(quán)利要求17所述的計算機(jī)可讀取媒體，其特征在于，該計算機(jī)程序指令用來重新排序該亮度分量，包含執(zhí)行時使得一計算機(jī)處理器: 選擇兩個數(shù)據(jù)通道上該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量，其中每一數(shù)據(jù)通道具在掃描線上的該復(fù)數(shù)個像素的該復(fù)數(shù)個亮度分量的一半；以及 根據(jù)該數(shù)據(jù)結(jié)構(gòu)敘述的重新排序方式，重新排序在掃描線上該所選擇的亮度分量。
【文檔編號】H04N19/186GK106031168SQ201580009702
【公開日】2016年10月12日
【申請日】2015年2月19日
【發(fā)明人】L·A·湯普森
【申請人】美國萊迪思半導(dǎo)體公司