具備高清晰度和高動態(tài)范圍能力的視頻解碼器的制造方法
【專利摘要】由于我們需要一種新的改進(jìn)且非常不同的色彩編碼空間以便能夠如實(shí)地對當(dāng)前出現(xiàn)的高動態(tài)范圍視頻進(jìn)行編碼以用于在諸如SIM2顯示器之類的出現(xiàn)的HDR顯示器上的良好質(zhì)量呈現(xiàn)，我們圍繞該新的色彩空間提出了各種新的解碼器，其允許簡化的處理、特別是與彩色處理分開的所有非彩色方向（即輝度）優(yōu)化的處理，以及重構(gòu)HDR圖像的增加的質(zhì)量。這是由視頻解碼器（350）實(shí)現(xiàn)的，該視頻解碼器（350）具有用于接收通過視頻傳輸系統(tǒng)發(fā)射或在視頻存儲產(chǎn)品上接收到的視頻信號（S_im）的輸入端（358），其中像素色彩是用非彩色luma（Y'）坐標(biāo)和兩個色度坐標(biāo)（u'',v''）進(jìn)行編碼的，視頻解碼器包括縮放單元（356），其被布置成通過用非彩色luma進(jìn)行縮放而將色度色彩變換成輝度相關(guān)色度色彩表示。
【專利說明】
具備高清晰度和高動態(tài)范圍能力的視頻解碼器
技術(shù)領(lǐng)域
[0001] 針對潛在地應(yīng)處理高清晰度(高銳度)和高動態(tài)范圍（高和低亮度)兩者的未來要 求，本發(fā)明設(shè)及用于將視頻(即靜止圖像的集合)解碼的方法和裝置。特別地，解碼器基于新 的色彩空間定義而工作。
【背景技術(shù)】
[0002] 自十九世紀(jì)W來，一直在驅(qū)動坐標(biāo)的RGB空間中表示加色再現(xiàn)W便生成紅色、綠色 和藍(lán)色原色光輸出。因?yàn)榻o予運(yùn)些不同的原色不同的強(qiáng)度（線性輝度)是在所謂的色域（由 可能的最大驅(qū)動(例如Rmax)定義的=個矢量獲得的菱形形狀，所述可能的最大驅(qū)動針對例 如255的代碼R'max可W是例如在顯示器上呈現(xiàn)的30 nit)內(nèi)實(shí)現(xiàn)所有色彩的方式，其與比 如XYZ的某個一般色彩空間中的特定顯示器或編解碼器RGB原色相對應(yīng)?；蛘哳愃频乜蒞在 從原色導(dǎo)出的另一線性空間（例如XYZ或UVW)中定義此類色彩。運(yùn)是用矢量的線性組合完成 的，即可W通過將另一色彩空間定義中的舊的一些矢量與轉(zhuǎn)換矩陣相乘來計算新的色彩坐 標(biāo)。
[0003] 除具有場景且特別是對色彩發(fā)生顯示(RGB)進(jìn)行即時建模的場景中的任何色彩的 良好比色定義之外，第二個感興趣的問題是如何根據(jù)某些設(shè)想的用途、特別是色彩圖像從 內(nèi)容產(chǎn)生側(cè)至內(nèi)容消費(fèi)側(cè)(例如TV或計算機(jī)等)的傳輸W及運(yùn)些色彩的處理(諸如完成計算 所需的硬件的復(fù)雜性等）開發(fā)實(shí)用的色彩定義或空間。具有僅對輝度Y進(jìn)行編碼的非彩色 (achromatic)方向現(xiàn)在是有用的，并且在歷史上是黑白電視所必需的，因?yàn)橐曈X系統(tǒng)還具 有用于此的單獨(dú)處理通道(并且另外其具有較低分辨率色彩路徑）。運(yùn)是通過將色域放在其 尖端(其是黑色的，在圖Ia中用黑點(diǎn)來表示)上而獲得的。當(dāng)與參考監(jiān)視器(或者在參考未定 義的情況下信號被發(fā)送到其的任何監(jiān)視器)相關(guān)聯(lián)時，色彩表示空間的色域是色域101。在 同樣的基本原理中，還可W想象理論原色，其可W變成無限亮，導(dǎo)致圓錐形狀102。根據(jù)運(yùn)種 原理定義了若干色彩空間，尤其是在頂側(cè)上再次地收縮成白色的封閉色彩空間，因?yàn)樗鼈?例如對著色也有用，在著色中必須將純色與白色和黑色混合，并且不能變得高于紙白色(例 如，孟塞爾(Munsell)色彩樹、NCS和Coloroid是此類(雙）圓錐色彩空間的示例，并且CffiLUV 和CIELAB是開放圓錐體）。
[0004] 在電視世界及其視頻編碼中，出現(xiàn)了圍繞此基本原理的特定的一組色彩空間。因 為CRT具有相當(dāng)于輸出輝度(其近似為輸入驅(qū)動電壓的平方)的伽馬(gamma)值(并且對于單 獨(dú)的色彩通道而言是相同的，因?yàn)閷?shí)際上非線性性最初來自于電子槍物理學(xué)），所W決定對 此進(jìn)行預(yù)補(bǔ)償，并向電視接收機(jī)發(fā)送信號，其被定義為線性照相機(jī)信號的近似平方根(用虛 線來表示編碼信號量，例如R'是R的平方根，R是由照相機(jī)捕捉的場景中的紅色的量，并且在 例如[0，0.7Volt]的范圍內(nèi)）。現(xiàn)在因?yàn)樾枰诂F(xiàn)有的黑白傳輸系統(tǒng)(NTSC或PAL)上進(jìn)行構(gòu) 建，所W還利用使用非彩色（"黑白"）坐標(biāo)W及兩個色彩信息載送信號R-Y、B-Y(然后可W從 其導(dǎo)出G-Y)的此基本原理。雖然色彩信息信號理想地應(yīng)僅傳達(dá)彩色信息，但由于非線性量 的近似組合，它們也載送輝度信息，運(yùn)在所有數(shù)學(xué)等式被再次顛倒的情況下其中不應(yīng)存在 問題，但是實(shí)際上可能是個問題。還請注意比如R-Y的信號隨著輝度而線性地增長(或者在 R'-Y'的情況下非線性地，但是它們?nèi)噪S著Y'增長），運(yùn)就是為什么用復(fù)合措辭色度來表示 它們。線性系統(tǒng)中的刊尋可計算為a*R+b*G+c地，其中，a、b和C是取決于原色的精確色彩位置 (或者事實(shí)上其光譜光發(fā)射形狀)的常數(shù)。
[0005] 然而，完成運(yùn)些簡單的矩陣化計算W獲得導(dǎo)出的坐標(biāo)R'、G'、B'（即平方根信號）的 非線性空間中的非彩色分量。雖然色域的菱形形狀(即，外邊界)未被此類數(shù)學(xué)運(yùn)算改變，但 其內(nèi)部的所有色彩的位置/定義都改變(它們通過用非線性函數(shù)進(jìn)行壓縮和拉伸而移位）。 運(yùn)特別地意味著￥'=曰*3'+扣6'+的8'不再是傳達(dá)所有色彩的精確輝度的真實(shí)輝度信號，運(yùn) 就是為什么將其稱為Iuma的原因（一般地可W將Iuma稱為線性輝度的任何非線性編碼或者 甚至輝度的任何線性編碼）。
[0006] 運(yùn)就是到最近為止的全部(在用于將本發(fā)明的實(shí)施例置于現(xiàn)有技術(shù)的上下文中的 鳥廠水平上），并且其構(gòu)成若干視頻編碼標(biāo)準(zhǔn)的基礎(chǔ)，比如MPEG中的一些，我們將把其稱為 LD財示準(zhǔn)，因?yàn)樗鼈冊谂c我們可W從對象(諸如在紙張上印刷的墨水(其通常必須落在100% 左右到〇.5%)W及可能的某些顯示器，其可W創(chuàng)建略微更亮和更暗的像素色彩)獲得的反射 率類似的范圍內(nèi)善于編碼輝度。
[0007] 然而，最近出現(xiàn)了開始將所謂的高動態(tài)范圍(皿R)視頻材料編碼的期望。運(yùn)些是被 編碼成優(yōu)選地在與傳統(tǒng)顯示器(例如1-100 nit CRT TV或0.1-500 nit LCD TV)相比具有 增加的輝度對比度能力、通常具有至少1000 nit的白色峰值且常常也具有較暗的黑色的顯 示器上呈現(xiàn)的視頻圖像。由于現(xiàn)實(shí)世界場景包含對比度高得多的平均輝度區(qū)域(例如在亮 光照和深陰影中，或者甚至本身出現(xiàn)在圖像中的光源的非常高的輝度），將對在高質(zhì)量顯示 器上呈現(xiàn)所有此場景細(xì)節(jié)有用的編碼圖像還應(yīng)W足夠高的精度包含所有此信息。例如，包 含室內(nèi)和陽光充足的室外對象兩者的場景可具有1000: IW上且達(dá)到10,000的畫面內(nèi)輝度 對比度比，因?yàn)楹谏赏ǔ７瓷淙瓷浒咨?%且甚至0.5%，并且取決于室內(nèi)幾何結(jié)構(gòu)（例 如被大部分屏蔽了室外光照且因此僅被間接地照射的長廊），室內(nèi)照度通常是室外照度的 k*l/100。
[000引對此進(jìn)行研究讓我們理解必須針對HDR重新思考并重新定義（并且可能當(dāng)不存在 很好的命名法時甚至重命名）用于視頻中的比色法中的若干很久W來既定的事實(shí)。特別地， 使世界中的對象的輝度或諸如紅色之類的其色彩的色彩分量與Iuma代碼相關(guān)的函數(shù)不再 需要也甚至不可W是平方根，而是必須是另一函數(shù)，可能取決于我們想要編碼的場景種類 的特定細(xì)節(jié)W及呈現(xiàn)硬件的技術(shù)限制等。因此，我們將在本文中針對沿著非彩色軸的所有 計算(亮度確定)信號使用單詞luma,而無論什么映射函數(shù)被用于將輝度映射到luma,并且 然后我們將把Y'視為表示色彩的物理輝度Y的技術(shù)編碼。運(yùn)意味著我們甚至可W使用輝度 本身作為其本身的信號編碼，并且當(dāng)我們說到Iuma時將假設(shè)設(shè)及運(yùn)一點(diǎn)，W避免我們的實(shí) 施例的令人乏味的語言組成（即使在該實(shí)施例中我們使用Y來表示Iuma Y'被選擇為輝度的 特殊情況，運(yùn)應(yīng)是更清楚且復(fù)雜的雙重組成）。
[0009]然而，色彩分量的任何非線性定義(除其過分簡化的線性推導(dǎo)之外）導(dǎo)致所謂的恒 定輝度問題，因?yàn)槟承┹x度信息不在Y'中而是相反地在色度坐標(biāo)化、化中。運(yùn)些被定義為Cr =m*(R'-Y'）和化=n*(B '-Y'），并且在本文中我們將把它們稱為色度，因?yàn)樗鼈冸S著色彩 的增加的輝度而變大（某些人也使用術(shù)語色品（chroma))。因此，運(yùn)些坐標(biāo)對于它們具有一 定的色彩方面，但是運(yùn)也與亮度方面混合(在屯、理視覺上，運(yùn)本身并不壞，因?yàn)槎嗖市砸彩?隨著亮度增加的表觀因素）。如果精確地完成相同的逆向解碼，則該問題將不會如此壞，但 是對在此類系統(tǒng)中編碼的色彩的任何變換(其也構(gòu)成當(dāng)前MPEG標(biāo)準(zhǔn)的基礎(chǔ))產(chǎn)生比如例如 輝度和色彩誤差的問題。特別地，運(yùn)例如在將色度進(jìn)行子采樣至更低分辨率時發(fā)生，在運(yùn)種 情況下，失去的任何信息就失去了（并且不能簡單地被估計回來）。該問題隨著更加高度非 線性的輝度至Iuma映射或者皿R所需的光電傳遞函數(shù)OETF而加劇(注意，實(shí)際上，我們認(rèn)為 從其反向（參考E0W)開始色彩定義系統(tǒng)是有利的）。但是即使對于LDR視頻編碼而言，Y化Cb 也不可能是用W根據(jù)所有要求來表示色彩的最佳可能色彩空間，但是其是我們可W容忍的 實(shí)用的一個色彩空間。
[0010] 另一個問題是尤其是對于線性系統(tǒng)而言，而且甚至對于非線性色彩編碼中的色度 而言，如果例如Rmax是大的，則坐標(biāo)可W增加至相當(dāng)大，要求許多比特用于編碼或處理1C。 或者換言之，色度空間需要許多比特W便能夠針對非常小的色度值仍然具有足夠的精度， 如皿R信號的情況一樣，但是其可W通過定義根據(jù)R來定義R'的強(qiáng)烈非線性Iuma曲線等來部 分地緩解。
[0011] 在理論比色法中存在第二種色彩空間拓?fù)洌▓D化），但是其存在較少的變體。如果 我們將線性色彩投影到單位平面1〇5(或圖6中的602)，則我們得到類型x=X/(X+Y+Z)和y=Y/ (X+Y+Z)的透視變換（并且對于例如Cl化UV: u=U/W+V+W)等而言相同）。由于然后z = l-x- y ，所 W 我們只需要兩個此類色度坐標(biāo)。此類空間的優(yōu)點(diǎn)是其將圓錐體變換成有限寬度圓 筒。即，可W將單個色度(x，y)或(u，v)與被某個光照射的特定光譜反射曲線的對象相關(guān)聯(lián)， 并且此值然后獨(dú)立于輝度Y，即其定義對象的色彩，無論多少光落在其上面。由于用相同光 譜特性的更多光進(jìn)行的照射而引起的變亮僅僅是色彩平行于圓筒的非彩色軸向上的移位。 然后為了人們更容易理解而用量主導(dǎo)波長和純度或者更多人類屯、理視覺量色調(diào)(hue)和飽 和度來一般地描述此類色度。用于任何可能色調(diào)的最大飽和度是用形成馬蹄形邊界103的 單色色彩獲得的，并且用于特定加性顯示（或色彩空間）的每個色調(diào)的最大飽和度由RGBS 角形確定。事實(shí)上，需要3D視圖，因?yàn)榧有栽佻F(xiàn)或色彩空間的色域104是帳篷形狀的，白色峰 值W是其中所有色彩通道（即RGB局部顯示子像素 S元組中的局部像素)被最大限度地驅(qū)動 的條件。
[0012] 現(xiàn)在我們的研究已經(jīng)讓我們一如下所述一考慮附加的色彩量，正常地沒有人在此 類技術(shù)中使用該附加色彩量，并且甚至不具有公認(rèn)的技術(shù)名稱（因此我們需要在運(yùn)里定義 某種命名法W能夠簡明地描述我們實(shí)施例的W下教導(dǎo)）。還可W將它們通常稱為色度的某 個變體，但是在可能出現(xiàn)混淆的情況下，我們將把它們稱為Iuma縮放的色度坐標(biāo)(因?yàn)樗?Iuma在特定技術(shù)編碼中潛在地也是輝度），或者還可W將它們視為并稱為Iuma無關(guān)的色度 坐標(biāo)或動態(tài)范圍無關(guān)的色度坐標(biāo)，其對于需要能夠處理像素輝度的至少一個高動態(tài)范圍的 系統(tǒng)而言是重要的，尤其是當(dāng)還需要處理其它動態(tài)范圍時，例如當(dāng)將HDR分級轉(zhuǎn)換成LDR分 級時（雖然在外觀上存在由Iuma映射函數(shù)確定的明顯差異，但運(yùn)些可W通過使兩個分級都 采取相同的相對數(shù)值表示來表示）。
[0013] 如在圖6中看到的，它們具有與色度類似的性質(zhì)，并且也是有界的，但是不在[0，1] 區(qū)間中，而是例如對于實(shí)際系統(tǒng)而言在[0,7引區(qū)間中。實(shí)際上，我們可W為其設(shè)計例如12比 特代碼定義，其細(xì)節(jié)與解釋本發(fā)明無關(guān)。它們被進(jìn)行Iuma縮放，因?yàn)樗鼈儽怀齏luma Y'（或 Y)，例如，非線性紅色分量(具有無論什么OEW)被縮放W產(chǎn)生R'/Y'，或者CIE X坐標(biāo)被縮放 而變成X/Y等。運(yùn)對應(yīng)于不到[1，1，1 ]對角線色彩平面602的投影，而是對應(yīng)于經(jīng)歷Y= 1的色 彩平面。換言之，我們可W用新坐標(biāo)X_C/Y-C、Y_C/Y-^PZ_C/Y-巧旨定色彩C= (X_C，Y_C, Z-C)的色彩矢量。由于第二分量始終是I，所W可W理解實(shí)際上只需要兩個坐標(biāo)W穿過色彩 平面601，但是也可W指定冗余S元組色彩定義，比如(R/Y，G/Y，B/Y)。
[0014] 縮放或透視變換現(xiàn)在并不是通過原點(diǎn)至平面602,而是到平面601。然而，適用相同 的數(shù)學(xué)原理，并且可W將已縮放XX坐標(biāo)視為乂_0與1/￥_(：的乘法，或者換言之xx/l=X_C/Y_ C。因此可W再次地通過與luma Y'相乘來獲得原始3D色彩矢量。
[0015] 下面我們將使用的非常重要的性質(zhì)是運(yùn)些Iuma縮放的坐標(biāo)現(xiàn)在是Iuma或輝度無 關(guān)的。運(yùn)在我們想要轉(zhuǎn)到具有可變輝度特性的所有種類的HDR技術(shù)時是非常重要的，并且運(yùn) 些見識允許我們構(gòu)建新的技術(shù)系統(tǒng)(運(yùn)也是需要的，因?yàn)長DR技術(shù)不可簡單地映射到HDR技 術(shù)）。因此它們在某個"僅彩色"維度上存在。事實(shí)上，如可W看到的，平面601中的色彩C的色 彩坐標(biāo)CC的位置并未通過延長使得該色彩更亮的矢量C而改變。雖然色彩平面601中的實(shí)際 位置仍取決于輝度值Y，但其僅取決于X/Y的比，因此通過用XYZ靈敏度函數(shù)加權(quán)而獲得基于 光譜的比例，其是純彩色表征，正如眾所周知且正常地使用的（x，y)色度一樣。因此，還可W 在601平面中完成色彩變換，比如例如新的原色坐標(biāo)系統(tǒng)中的重新代碼化，因?yàn)楸热缋?Rmax的所有原色在平面601中具有其等效投影(err)。
[0016] 為了簡單起見，我們僅描寫了用于輝度Y的情況，但是在我們的研究期間，我們已 認(rèn)識到加 W必要的變更，我們還可W通過使用沿著非彩色軸（Y軸）的某些被不同定義的 Iuma函數(shù)(比如例如log gamma函數(shù))來用Iuma縮放的色度坐標(biāo)來指定色彩。運(yùn)意味著投影 到某個其它Y' = l平面，但是只要我們知道如何再次地向外投影到色彩C即可，原理是類似 的。我們還可W將運(yùn)些色彩表示稱為么正表示，因?yàn)樯势矫娼?jīng)歷Y=I,但是將使用更加適 當(dāng)?shù)拿鸌uma縮放。如我們在下面的實(shí)際實(shí)施例細(xì)節(jié)中看到的，運(yùn)對于設(shè)計非常有用的新 色彩處理系統(tǒng)而言是非常有用的。
[0017] 在歷史上，由于正當(dāng)?shù)脑颍娨暪こ處煆牟徽J(rèn)為或者明確地拒絕圓筒空間表示 對于他們而言不是非常有用。此外，對于作為例如NTSC或BT. 709的派生物的電視/視頻(例 如各種MPEG及其它數(shù)字壓縮標(biāo)準(zhǔn)的Y'化化）而言，基于色度的色彩空間實(shí)際上已經(jīng)足夠好 了，但是存在若干已知的問題，特別是由于不適當(dāng)?shù)姆蔷€性性(例如如果某個操作在色彩分 量上完成，則輝度改變，或者當(dāng)僅僅想要改變飽和度(或更好的色品）時色調(diào)改變等)而引起 的各種色彩通道的混合?；谏鹊纳士臻g（比如Yxy或Lu'v'）從未被使用或可信地設(shè)想 并開發(fā)用于圖像傳輸，而僅僅用于科學(xué)圖像分析。
[0018] 然而，最近由于對高動態(tài)范圍(HDR)視頻材料進(jìn)行編碼的需要，實(shí)驗(yàn)和設(shè)想并未僅 僅導(dǎo)致新問題和對技術(shù)原理的見識，而是甚至引導(dǎo)飛利浦研究人員W非尋常的方式開始思 考原理，并且甚至設(shè)想先驗(yàn)?zāi)吧模ㄏ闰?yàn)假設(shè)為不適當(dāng)?shù)?方式來著手處理運(yùn)些原理。
[0019] 我們需要提到先前研究的一個進(jìn)一步線路W最終使得能夠呈現(xiàn)圖像，其中太陽實(shí) 際上看起來將其光線投射到室外對象上，或者燈實(shí)際上看起來發(fā)光，運(yùn)設(shè)及到首先更好的 照相機(jī)捕捉，然后中間技術(shù)的更好處理，諸如最佳色彩分級和編碼W用于存儲或傳輸，并且 然后是最終更好的顯示器呈現(xiàn)。針對靜止圖片，開發(fā)了編解碼器，其對線性色彩坐標(biāo)進(jìn)行編 碼(例如僅僅W高精度對場景色彩的XYZ坐標(biāo)進(jìn)行編碼的大比特字），但是在運(yùn)可W針對單 個靜止圖片完成的情況下，針對視頻，速度和若干硬件考慮(例如，處理IC的成本或抓磁盤 上的空間）不允許或者至少勸阻使用此類編碼。即，從實(shí)踐的觀點(diǎn)，業(yè)界需要用于HDR視頻的 不同編解碼器。
[0020] 現(xiàn)在已對新型HDR編碼(和解碼)策略進(jìn)行研究，在本申請中，我們集中于用于特別 地處理銳度方面的新要求和解決方案，并且得到最佳圖像處理鏈。向和從RGB、XYZ的轉(zhuǎn)換W 及比如例如化V的某種輝度-彩色色彩表示當(dāng)W全分辨率完成時可全部是很好的，并且在沒 有比如例如DCT系數(shù)的DCT轉(zhuǎn)換和量化之類的進(jìn)一步處理的情況下，實(shí)際上我們想要我們的 方法的典型實(shí)施例W類似于傳統(tǒng)MPEG的編碼結(jié)構(gòu)對數(shù)據(jù)進(jìn)行編碼(如在容器中）。運(yùn)些對色 彩分量應(yīng)用子采樣，即無論我們在那些分量中放入哪個智能最佳定義的信號，在未被從傳 統(tǒng)編碼器修改很多的IC拓?fù)渲?，運(yùn)些分量將被進(jìn)行子采樣(例如到4:2:0)，并且因此我們必 須從將此考慮在內(nèi)并且在運(yùn)些情況下最佳地工作(特別是給出良好的銳度W及很少的由于 非彩色輝度與彩色信息之間的串?dāng)_而引起的輝度偽像)的技術(shù)開始。
[0021] G.W. Larson在"LogLuv Encoding for Full-gamut, High dynamic range images''，Journal of Graphics Tools, association for computing machinery, vol. 3, no. 1，22化n. 1999, pp. 15-31介紹了用于諸如例如來自計算機(jī)生成或者來自照片 掃描的皿R靜止圖像的編碼的概念。他們使用純對數(shù)映射來根據(jù)輝度確定luma,運(yùn)將允許輝 度的38數(shù)量級的編碼，但運(yùn)對于通常將在約0.001 nit與10000 nit之間工作的實(shí)際顯示系 統(tǒng)而言略微過分（即，純對數(shù)函數(shù)并不是最佳函數(shù)，特別地，其可在圖像的關(guān)鍵部分上顯示 出條帶，特別是如果必須用很少的比特（比如對于Iuma L通道而言的8或10比特)對數(shù)據(jù)進(jìn) 行編碼的話）。它們通過使用CIE 1976 UV坐標(biāo)對彩色信息進(jìn)行編碼。他們WTIFF格式對此 數(shù)據(jù)進(jìn)行編碼，對相鄰像素 Iuma的集合進(jìn)行游程長度壓縮。他們還考慮到可W從用于顯示 伽馬幕函數(shù)變換的R'、G'、B'坐標(biāo)S者之中取公共Iuma縮放因數(shù)，因此可W在歸一化R'G'B' 坐標(biāo)的空間中工作，其可W是用=個第一查找表根據(jù)u、v坐標(biāo)確定的，并通過在顯示伽馬表 示中應(yīng)用公共縮放因數(shù)而對輝度相關(guān)R'G'B'驅(qū)動值(RcUGcUBd)進(jìn)行縮放。然后可W在第四 查找表LT化e)中實(shí)現(xiàn)任何期望的色值(tone)映射函數(shù)。然而，雖然運(yùn)教導(dǎo)了全分辨率Luv對 比RGB或XYZ空間中的所需映射，但沒有教導(dǎo)關(guān)于如果想要W對銳度和非線性色彩分量串?dāng)_ 的影響被最小化的方式進(jìn)行下采樣的話需要做什么。
[0022] R. Mantiuk等人的('Perception-motivated high dynamic range video encoding''，ACM transactions on graphics, vol. 23, no. 3, I Aug. 2004, pp. 733- 744教導(dǎo)了另一HDR編碼技術(shù)，也適合于HDR視頻編碼。他們介紹了另一類似于log的曲線W 定義其對輝度進(jìn)行編碼的luma,并且還使用UV作為色度坐標(biāo)。他們完全W標(biāo)準(zhǔn)MPEG-4編碼 拓?fù)鋵Υ诉M(jìn)行編碼，并且教導(dǎo)了如何針對HDR對量化進(jìn)行優(yōu)化。雖然此YCrCb激發(fā)的編碼對 色彩分量使用2X空間子采樣，但Manti址并未教導(dǎo)關(guān)于如果想要針對特定皿R編碼技術(shù)(特 別是其類似于log的Iuma定義代碼分配函數(shù))得到最佳視覺質(zhì)量，應(yīng)如何最佳地完成下采樣 和上采樣的任何特定細(xì)節(jié)。
[0023] US2013/0156311 (Choi)討論了針對經(jīng)典的類似于PAU合并在MPEG編碼中）的 Y化Cb色彩定義而不僅僅針對LDR的色彩串?dāng)_問題。
[0024] 運(yùn)些具有Iuma Y'，其是用用于某個白點(diǎn)的線性原色權(quán)值計算的，但是應(yīng)用于非線 性R'、G'、B'值。然后，黃-藍(lán)色(yellow-bluish)分量被計算為適當(dāng)縮放的B'-Y'，并且對色 彩的綠-紅色（greenish-reddish)貢獻(xiàn)被計算為R'-Y'。由于所有坐標(biāo)都是在非線性伽馬 2.2表示而不是線性的表示中計算的，所W某些輝度信息漏泄（串?dāng)_)到色彩分量中。如果相 反地完成理想重構(gòu)，則運(yùn)將不是問題，但是如果某些信息由于例如色度系數(shù)的子采樣而丟 失(其然后對應(yīng)于也丟棄某些高頻輝度信息），則可能存在問題。運(yùn)可W導(dǎo)致銳度的損失，而 且是斑馬條紋類型的圖案或類似高頻圖像內(nèi)容上的色彩誤差。在LDR視頻編碼中，運(yùn)通常不 被視為主要問題，并且對PAL中的最壞問題的解決方案之一是制作人讓演員們帶上無條紋 衣服。然而，由于HDR的任意和強(qiáng)非線性函數(shù)，可W研究出，問題有時可能被嚴(yán)重地加劇。初 步也不清楚要做什么。Choi針對LDR情形提出了幾個供替換的YCrCb編碼。在其系統(tǒng)的技術(shù) 約束下，他發(fā)現(xiàn)了針對強(qiáng)烈紅色、品紅色或紫色的大多數(shù)問題。如果他檢測到運(yùn)些，則其可 W從線性XYZ空間導(dǎo)出其它編碼，運(yùn)些分量被更好地去相關(guān)并導(dǎo)致較少的串?dāng)_問題。例如他 提出了另一化g通道，其現(xiàn)在不是經(jīng)典的R'-Y'，而是替代地G'-Y'。在某些情況下，運(yùn)可被用 作更好的替換方案，雖然其導(dǎo)致需要適當(dāng)進(jìn)行標(biāo)志W(wǎng)指示使用哪個定義的非標(biāo)準(zhǔn)編碼器。 他還提出了對X、Y、Z系數(shù)應(yīng)用相同的經(jīng)典2.2伽馬，定義基于非線性X'Y'Z'的色度，并將那 些置于YCr饑編碼器的彩色色彩分量中。而且在運(yùn)里并未具體地教導(dǎo)關(guān)于將需要如何精確 地或者按照哪個拓?fù)漤樞蛲瓿刹噬硬蓸印?br>[00巧]W02010/104624是另一Luv HDR編碼系統(tǒng)，具有對數(shù)Iuma的另一定義，并且沒有關(guān) 于子采樣的特定教導(dǎo)。
[0026] 由于一切都在移動到新HDR圖像編碼時嚴(yán)重改變，并且雖然當(dāng)想要另外服從在已 重新定義所需的編解碼器比色法之后可W將一切放入傳統(tǒng)"LDR" MPEG容器中的約束時將認(rèn) 為不太嚴(yán)重地更加如此，所W連續(xù)地發(fā)現(xiàn)關(guān)于編碼的新方面和問題，運(yùn)然后需要研究W及 進(jìn)一步的發(fā)明和優(yōu)化。特別地，在現(xiàn)在嚴(yán)重的非線性性下應(yīng)使用來自傳統(tǒng)LDR子采樣的哪些 教導(dǎo)并非是微不足道的，并且運(yùn)必須被仔細(xì)地研究并優(yōu)化，特別是如果想要實(shí)現(xiàn)從四倍分 辨率或UHD開始的希望高分辨率的話?？蒞容易地定義4X更多的像素，但是運(yùn)些也應(yīng)始終 被填充適當(dāng)?shù)南袼刂狄粺o論在新系統(tǒng)中完成什么類似于經(jīng)典運(yùn)算的東西一使得不會在運(yùn) 些銳利容器中意外地創(chuàng)建不合理地模糊的圖像，因?yàn)槿缓笤趯?shí)際的實(shí)踐中仍不具有比皿明 顯更好的系統(tǒng)。為此，我們發(fā)明并在下面提出了 W下實(shí)施例。

【發(fā)明內(nèi)容】

[0027] 給定我們在皿R編碼中具有的更復(fù)雜約束，如上所述的現(xiàn)有技術(shù)YCbCr色彩空間甚 至在具有某些修改的情況下不再是最佳的，特別是用于圖像的較暗部分的行為(在HDR中， 流行的場景例如是具有明亮的燈的黑暗地下室，但是在任何情況下將在統(tǒng)計上存在與針對 LDR經(jīng)典低動態(tài)范圍圖像相比而言的輝度范圍的下部中的更大量的顯著像素)不是最佳的。 并且，由于針對HDR我們想要具有對Iuma代碼分配函數(shù)(其定義所捕捉或分級的輝度Y到代 碼Y'的映射，該代碼Y'取決于每個情況下需要或期望什么而對它們進(jìn)行表示，參見例如 W02012/147022)的自由控制，所W與Y'化化的平方根相比而言O(shè)ETF或EOTF的更加嚴(yán)重的非 線性本質(zhì)將使得經(jīng)典電視編碼Iuma-輝度空間（比如圖Ia的示例性的一個)的錯誤行為表現(xiàn) 得非常不適當(dāng)。特別地，運(yùn)將在從4:4:4到4:2:0對色彩信號進(jìn)行空間子采樣時、而且也由于 與改變色彩坐標(biāo)有關(guān)的許多其它原因而會發(fā)生。許多研究者已集中于找到最佳比色變換， 即是否定義使用盡可能高效的代碼的良好Iuma代碼分配函數(shù)，例如由于其模仿人類視覺系 統(tǒng)沿著要編碼輝度的高動態(tài)范圍的響應(yīng)，或者集中于在LDR顯示或照片打印的有限動態(tài)范 圍容量中模擬HDR外觀所需的色值映射，然而對不是針對靜止照片、而是針對電視/視頻處 理系統(tǒng)的典型特定細(xì)節(jié)來優(yōu)化HDR鏈的實(shí)際繁瑣細(xì)節(jié)的研究很少，特別是色度分量的子采 樣的新問題，因?yàn)樗鼈兪呛芫弥坝捎谌祟愐曈X系統(tǒng)到1950年代的電視顯示要求的當(dāng)時映 射特定細(xì)節(jié)W及用W產(chǎn)生質(zhì)量結(jié)果的良好圖像處理拓?fù)涞拇_定而被選擇的。
[00%]當(dāng)我們談?wù)撁驲編碼時，有技術(shù)的讀者應(yīng)理解的是運(yùn)些提出的實(shí)施例當(dāng)然也可W 對例如包含在HDR編碼中的、可從HDR圖像分級等導(dǎo)出的LDR圖像進(jìn)行編碼，但是運(yùn)些系統(tǒng)與 傳統(tǒng)系統(tǒng)相比應(yīng)在技術(shù)上被如此修改，使得它們也可W處理最難處理的實(shí)際皿R圖像，其具 有實(shí)際上高的動態(tài)范圍（例如，具有20000 nit或W上的對象的原始場景，可通過將最亮對 象分級到該范圍中而被轉(zhuǎn)換成具有比方說5000或10000 nit的最大輝度的實(shí)際有美感的主 輝度范圍，并且然后用具有有例如1000 nit的最大值的相應(yīng)輝度范圍的編解碼器W及相應(yīng) 的優(yōu)化代碼分配函數(shù)進(jìn)行實(shí)際編碼W根據(jù)輝度來確定luma)、全部沿著Iuma范圍的精密地 分級的對象色彩、優(yōu)選地低條帶(和甚至優(yōu)選地電路的低復(fù)雜性W及比特分配和快速計算） 等。
[0029] 我們下面描述的實(shí)施例解決了電視編碼(或處理）的大部分問題，尤其是對于HDR 視頻而言，無論是針對類似于通過DVD廣播的消費(fèi)者通信，還是類似于到電影院的傳輸?shù)膶?業(yè)視頻通信，特別是借助于高動態(tài)范圍視頻解碼器(350)，其具有用于接收通過視頻傳輸系 統(tǒng)發(fā)射或在視頻存儲產(chǎn)品上接收到的圖像的視頻信號（S_im)的輸入端(358)，其中像素色 彩是用非彩色luma(Y'）坐標(biāo)和兩個色度坐標(biāo)(u''，v''）進(jìn)行編碼的，視頻解碼器按照處理 順序包括:首先，空間上采樣單元(913)，其被布置成隨著色度坐標(biāo)(u''，v''）增加圖像分量 的分辨率，其次，色彩變換單元(909)，其被布置成針對增加分辨率色度分量圖像的像素將 色度坐標(biāo)變換成=個輝度無關(guān)的紅色、綠色和藍(lán)色色彩分量，所述色彩分量被定義成使得 此類色彩的最大可能Iuma是1.0, W及第=，輝度縮放單元(930)，其被布置成通過用基于非 彩色luma(Y'）坐標(biāo)計算的公共Iuma因數(shù)進(jìn)行縮放而將=個輝度無關(guān)的紅色、綠色和藍(lán)色色 彩分量變換成輝度相關(guān)的紅色、綠色和藍(lán)色色彩表示。
[0030] 上采樣最佳地在色度表示中完成，該色度表示仍是最中性和動態(tài)范圍相關(guān)的。然 而，它可W用相應(yīng)的最佳處理拓?fù)湓谟杏蒙榷x的若干變體中完成。
[0031] 技術(shù)人員將理解高動態(tài)范圍視頻意味著什么，即其對至少1000 nit的對象輝度進(jìn) 行代碼化，與被針對100 nit的最大（白色)對象亮度而被分級的傳統(tǒng)LDR視頻形成對比。技 術(shù)人員還應(yīng)清楚的是我們可W用我們在拓?fù)渲邪l(fā)現(xiàn)期望的任何一個(非彩色Huma進(jìn)行縮 放。例如，如果我們只需從已編碼Iuma無關(guān)色度轉(zhuǎn)到類似于XYZ的設(shè)備無關(guān)空間，則非彩色 Iuma可W是據(jù)此進(jìn)行縮放的非彩色luma?；蛘呷绻覀冃枰苯拥剞D(zhuǎn)到顯示驅(qū)動坐標(biāo)，貝U 我們可W例如采取中性場景外觀分級，并且然后最終所使用的非彩色I(xiàn)uma將是由用于輸入 圖像所選代碼分配策略的非彩色I(xiàn)uma和用于顯示的非彩色I(xiàn)uma(其可W是伽馬2.4,而且也 可W是別的東西，例如將觀看環(huán)境特定細(xì)節(jié)考慮在內(nèi)）兩者構(gòu)成的非彩色luma。而且，我們 可W將來自分級器的特定分級外觀期望考慮在內(nèi)，并且然后采取確定最終Iuma縮放函數(shù) (930)、^及來自分級器的某個自定義色值映射曲線的單位，例如遵循例如胖02014/056679 的原理。重要的是存在某個Iuma曲線，其將針對此像素確定要使用的某個縮放因數(shù)。但是此 拓?fù)湓试S我們例如突然地快速改變所連接的新的(可能是第二)顯示器，W便根據(jù)其特定細(xì) 節(jié)(比如其峰值亮度或新分級外觀)而被提供服務(wù)，或者例如觀看者經(jīng)由其遙控器來設(shè)置不 同的亮度偏好，運(yùn)將影響不同于較暗像素的較亮像素等。
[0032] 有用的實(shí)施例是視頻解碼器(350)，其中輸入圖像的色度坐標(biāo)(u''，v''）被定義成 針對具有在闊值luma(E'）W下的luma(Y'）的像素具有最大飽和度，該最大飽和度隨著像素 luma(Y'）在闊值luma(E'）W下的量單調(diào)遞減。
[0033] 運(yùn)是類似于log的Iuma-色度類型的實(shí)際皿R編碼，但是特別適合于將其在類似 MPEG編碼/解碼拓?fù)渲惺褂?，因?yàn)槠渚徑饬酸槍Ψ浅０档膮^(qū)域的高比特率要求的問題，所述 非常暗的區(qū)域由于代碼分配函數(shù)的高線性性可在相對高的Iuma下終止，但仍是相當(dāng)有噪聲 的，因?yàn)椴⒎潜挥糜趧?chuàng)建皿R內(nèi)容的每個照相機(jī)(被制造商說成是皿R)在其最低Iuma部分中 都是那么高質(zhì)量的，即最暗的色彩可包含相當(dāng)多的噪聲，運(yùn)不需要不必要地耗費(fèi)各種傳輸 介質(zhì)（例如比如抓磁盤的存儲器產(chǎn)品或衛(wèi)星信道或者低比特率因特網(wǎng)連接等）上的稀有的 比特預(yù)算?？臻g向上縮放然后可W在已將特殊新型色度變換成傳統(tǒng)色度之后發(fā)生，其一般 地導(dǎo)致簡單且廉價的拓?fù)洌蛘呱踔粮哔|(zhì)量的變體，其圍繞著新型色度圖像或其更多修 改進(jìn)行工作，并且對那些色度圖像進(jìn)行上采樣。技術(shù)人員應(yīng)充分理解將如何始終在(u，v)平 面中定義飽和度，即運(yùn)將是距例如D65的預(yù)定白點(diǎn)（uw，vw)的一定距離，并且該距離通常是 分量差U-UW和V-W的平方的平方根。
[0034] 另一有用的視頻解碼器(350)實(shí)施例按照處理順序的包括W下單元:首先，向下縮 放器(910)，其被布置成用子采樣因數(shù)對luma(Y'）的輸入分量圖像進(jìn)行空間子采樣，然后， 增益確定器(911)，其被布置成基于該子采樣圖像中的每個像素的luma(Y''2k)來確定第一 增益(gl)，然后是乘法縮放器(912)，其被布置成將色度坐標(biāo)與第一增益相乘W產(chǎn)生中間色 度(U' ''，V' ''），在并行處理分支中包括：向上縮放器(916)，其被布置成用同一子采樣因數(shù) 對luma(Y''2k)的子采樣圖像再次地進(jìn)行向上縮放；W及第二增益確定器(915)，其被布置 成基于重新上采樣的Iuma圖像的luma(Y''4k)來計算第二增益(g2)，然后主要處理分支還 包括:上采樣器(913)，其被布置成將中間色度(U' ' '，V' ' '）上采樣至luma(Y'）的輸入分量 圖像的分辨率;然后是第二增益乘法器(914)，其被布置成將向上縮放的色度分量圖像的色 度與第二增益(g2)相乘。
[0035] 另一有用的視頻解碼器實(shí)施例通過如果色彩具有低于闊值E' '的Iuma Y' '則用衰 減函數(shù)使u'v'坐標(biāo)衰減W及如果色彩具有高于闊值E''的Iuma Y''則用提升函數(shù)來提升U' V'坐標(biāo)，來對根據(jù)CIE 1976 u'，v'坐標(biāo)定義的中間色度(11'''，乂'''）進(jìn)行工作。
[0036] -種高度動態(tài)范圍視頻解碼的方法，包括： 接收通過視頻傳輸系統(tǒng)發(fā)射或在視頻存儲產(chǎn)品上接收到的圖像的視頻信號(S_im)，其 中像素色彩是用非彩色luma(Y'）坐標(biāo)和兩個色度坐標(biāo)(U' '，V' '）進(jìn)行編碼的，所述方法按 照處理順序還包括:空間上采樣W隨著色度坐標(biāo)(U' '，V' '）增加圖像分量的分辨率，其次， 針對增加分辨率色度分量圖像的像素將色度坐標(biāo)變換成=個輝度無關(guān)的紅色、綠色和藍(lán)色 色彩分量，所述色彩分量被定義成使得此類色彩的最大可能Iuma是1.0; W及第S，通過用 基于非彩色luma(Y'）坐標(biāo)計算的公共Iuma因數(shù)進(jìn)行縮放而將=個輝度無關(guān)的紅色、綠色和 藍(lán)色色彩分量變換成輝度相關(guān)的紅色、綠色和藍(lán)色色彩表示。
[0037] -種視頻解碼的方法，還包括W被定義成針對具有在闊值luma(E'）W下的Iuma (Y'）的像素具有隨著像素 luma(Y'）在闊值luma(E'）W下的量單調(diào)遞減的最大飽和度的格 式來接收兩個色度坐標(biāo)(U' '，v' '），W及在執(zhí)行空間上采樣之前將運(yùn)些色度坐標(biāo)(u' '，v' '） 轉(zhuǎn)換成標(biāo)準(zhǔn)CIE 1976 UV色度。
[0038] 對應(yīng)于此，在內(nèi)容分布側(cè)的是視頻編碼器（300)，其被布置成對輸入視頻進(jìn)行編 碼，該輸入視頻的像素色彩被W任何輸入色彩表示(X，Y，Z)編碼成視頻信號(S_im)，該視頻 信號包括圖像，該圖像的像素色彩被W在由非彩色luma(Y'）坐標(biāo)和兩個輝度無關(guān)的色度坐 標(biāo)(U' '，V' '）定義的色彩編碼進(jìn)行編碼，視頻編碼器還包括格式化器，其被布置成諸如例如 W由比如AVC(肥64)或肥V(XH265)等MPEG標(biāo)準(zhǔn)定義的格式將信號5_1111格式化成進(jìn)一步適合 于通過傳輸網(wǎng)絡(luò)的視頻傳輸或者在比如藍(lán)光盤的視頻存儲存儲器產(chǎn)品上的存儲。
[0039] 雖然并不是嚴(yán)格地必需的，由于我們的實(shí)施例的核屯、元素是在用于傳輸?shù)臒o論什 么視頻編碼中使用Yuv色彩編碼技術(shù)，所W我們設(shè)計了我們的技術(shù)和實(shí)施例，使得它們可W 容易地適合于傳統(tǒng)編碼框架。特別地，格式化器可只做如在例如經(jīng)典肥VC編碼中的任何事 (假定Y和UV圖像是正常YCrCb圖像，其在被直接顯示的情況下當(dāng)然將看起來是奇怪的，但是 它們僅僅是被打包到運(yùn)些現(xiàn)有技術(shù)中W便稍后通過色彩映射轉(zhuǎn)換成正確的圖像，導(dǎo)致至少 在短期內(nèi)的部署系統(tǒng)的高效可再使用性）。運(yùn)意味著格式化器將一方面完成比如例如DCT編 碼和算術(shù)編碼的數(shù)據(jù)縮減處理，并且另一方面填充所有種類的報頭及其它元數(shù)據(jù)，如對于 生成此類肥VC編碼的任何實(shí)際變體而言典型的那樣。其細(xì)節(jié)對于清楚地闡述本實(shí)施例中的 任何一個不是必要的。我們想要補(bǔ)充的是在我們的HDR框架中我們還已發(fā)明了用于導(dǎo)出更 多色彩分級的可能性(或者用于給定呈現(xiàn)情況的適當(dāng)外觀，例如在700 nit顯示器上，其根 據(jù)本化V編碼從例如2000 nit參考輝度范圍編碼的圖像開始），運(yùn)通常將在元數(shù)據(jù)編碼色彩 映射函數(shù)的情況下發(fā)生，格式化器還可^在5_1111中對其若干變體進(jìn)行編碼(或者類似地可 與5_1111相關(guān)聯(lián)，運(yùn)意味著最遲在需要處理時，可W從某個元數(shù)據(jù)源獲得元數(shù)據(jù)數(shù)據(jù)）。
[0040] Yuv編碼是一種奇妙的編碼，特別地由于其可W對許多場景進(jìn)行編碼，因?yàn)槠渚?有一甚至在獨(dú)立的通道上一寬的色域編碼能力W及更重要地可自由分配的非彩色通道兩 者，其與YCrCb相反地可W被容易地調(diào)諧到特定HDR情形可能期望的無論什么東西(甚至對 于來自電影的僅單個場景而言，可W選擇用于從Iuma定義將可呈現(xiàn)輝度的專用E0TF)。
[0041 ] 化V空間可W比任何YCrCb空間甚至更加高度非線性，但是由于彩色和非彩色通道 的良好解禪，可W更好地處理問題(與加法Y化化系統(tǒng)形成對比的此乘法系統(tǒng)本質(zhì)上也更適 合于色彩形成，其中對象光譜對輸入的光光譜和量進(jìn)行建模）。
[0042] 然而，我們必須解決許多問題W便能夠用此系統(tǒng)(像是特別地針對較暗色彩的噪 聲問題，其被視為勸阻設(shè)想對實(shí)際視頻編解碼器中的此化V具有任何良好用途的化V的嚴(yán)重 問題)進(jìn)行工作，但是那也帶來更多優(yōu)點(diǎn)。
[0043] 如我們在某些W下實(shí)施例中將看到的，可W設(shè)計系統(tǒng)，其中分別地在用于例如動 態(tài)范圍變換的非彩色通道(例如通過至少針對其最暗部分使HDR分級圖像變亮而獲得LDR外 觀)或者用于純彩色運(yùn)算（比如用于視覺吸引或色彩色域映射的飽和度改變等）的彩色通道 上的物理裝置(例如IC)的單獨(dú)單元和部分中完成任何色彩操縱，無論是技術(shù)性質(zhì)的（諸如 到另一系統(tǒng)的轉(zhuǎn)換)還是美感性質(zhì)的（比如色彩分級）。
[0044] 由于場景的圖像中的彩色和非彩色信息的有意義的去相關(guān)，我們還發(fā)現(xiàn)良好的壓 縮行為，因?yàn)槲覀兊膶?shí)施例與最近出現(xiàn)的用于對HDR進(jìn)行編碼的其它系統(tǒng)（例如Dolby的系 統(tǒng))相比針對類似的比特率實(shí)現(xiàn)了高視覺質(zhì)量，并且我們設(shè)法緩解了那些系統(tǒng)的問題，比如 色彩串?dāng)_，運(yùn)例如導(dǎo)致運(yùn)樣的事實(shí)，即在深藍(lán)色線和淺灰色線的斑馬圖案中，子采樣時的深 藍(lán)色影響最終子采樣色彩超過其應(yīng)該的，導(dǎo)致不正確的色彩。
[0045] 在若干實(shí)施例中，我們還設(shè)法配置了處理管線，使得與其它系統(tǒng)（比如例如YCrCb 或線性色彩的一些系統(tǒng))相比，可W在需要較小的字長度W便對例如要相加或相乘的值進(jìn) 行編碼的色彩空間中完成運(yùn)算。
[0046] 因此核屯、優(yōu)點(diǎn)是化V代碼化被發(fā)射，并且特別地，可W定義此信號，使得沒有輝度 信息丟失，使得至少不存在在接收機(jī)側(cè)不知道在例如非彩色通道中究竟丟失了什么信息的 問題，運(yùn)將影響甚至嘗試W最佳質(zhì)量(特別是最高銳度）W及最小的色彩改變(例如，至少小 區(qū)域的錯誤色調(diào)或飽和度)或稱色來重構(gòu)原始圖像的最智能的未來算法。
[0047] 解碼器的有用實(shí)施例包括色度基礎(chǔ)變換單元(352)，其被布置成在Iuma縮放2或3 維色彩表示中進(jìn)行到新色彩表示的變換，該新色彩表示優(yōu)選地是Iuma縮放(R，G，B)的色彩 表示。運(yùn)具有優(yōu)點(diǎn)，即可W保持在簡單的空間中完成所有色彩處理，運(yùn)可需要更小的比特 字、更簡單的處理(例如，2D LUT而不是3D等）。用2維Iuma縮放表示，我們意指僅具有兩個坐 標(biāo)的一個，例如R VY'和G VY'（也可W將u，v視為Iuma縮放表示，如果其處于對角線色彩平 面的對角線），并且S維的一個是例如(R-Y)/Y、(G-Y)/Y、（B-Y)/Y(即，事實(shí)上一切都在2D空 間中，但是我們引入了第=冗余坐標(biāo)，因?yàn)槲覀冊谵D(zhuǎn)到3D色彩空間時需要它）。我們可W由 此映射到最終需要的設(shè)備相關(guān)色彩表示。雖然化V原則上可W處理人類可W看到的所有色 彩，并且自然對象理論上可W例如用激光器來實(shí)現(xiàn)，但是實(shí)際色彩集合通常是用多個原色 系統(tǒng)定義的，比如例如RGB或具有額外黃色(顯示器驅(qū)動或照相機(jī)測量的）坐標(biāo)等的RGBYel。 因此我們的(輸入)色彩實(shí)際上可全部落在例如Rec. 2020色域中。但是那不一定如此重要， 更重要的是為了使用色彩，我們必須將它們映射到設(shè)備相關(guān)的表示，通常是RGB(或者通常 是R'G'B'，將適當(dāng)?shù)娘@示EOTF考慮在內(nèi)）。因此，解碼器(在其實(shí)際上證明其本身的無論什么 實(shí)際技術(shù)配置或裝置或裝置系統(tǒng)中）需要完成到比方說化ED顯示器或LCD投影儀的特定 RGB原色的某種色彩基礎(chǔ)變換。
[0048] 其它有用實(shí)施例(無論是僅僅表明本附加技術(shù)解決方案還是與任何先前的原理組 合)包括空間上采樣單元(353)，其被布置成通過應(yīng)用內(nèi)插函數(shù)來獲得在輸入圖像的那些的 中間的像素值來增加具有色度坐標(biāo)(U''）的像素的輸入圖像的分辨率，空間上采樣單元 (353)位于在縮放單元(356)之前的色彩處理管線中的位置處。通常在當(dāng)前和可能許多未來 視頻編碼中，對色彩通道進(jìn)行子采樣，因此由于用于當(dāng)前處理Cr化色彩分量圖像的可用結(jié) 構(gòu)當(dāng)前被例如4:2:0子采樣，因此我們的UV分量將需要如此，如果我們想要對其進(jìn)行處理并 存儲于在傳統(tǒng)系統(tǒng)（比如AVC或肥VC)中可用的系統(tǒng)中。然而，那意味著我們將在彩色信息中 丟失某些分辨率。但是用非彩色亮度確定高分辨率圖像的稍后乘法縮放的優(yōu)點(diǎn)是與YCrCb 系統(tǒng)相比，我們恢復(fù)了幾乎所有的我們的原始銳度。請注意，雖然我們用作為編碼分辨率的 4K超皿的示例進(jìn)行闡述，但我們的發(fā)明對較高或較低的分辨率也起作用，例如用此特殊化V 色彩處理來改善正常皿(2k)信號的最終銳度，無論是用LDR還是皿R輝度動態(tài)范圍。因此化V 編碼W及在本文中教導(dǎo)的用于編碼器或解碼器處的信號處理的特定實(shí)施例在期望改善LDR 系統(tǒng)時也工作良好，雖然它們最初是針對皿R編碼發(fā)明并設(shè)計的。
[0049] 解碼器的有利實(shí)施例包括動態(tài)范圍縮放單元（356)，允許將Iuma縮放色彩表示 ((R-YVY)轉(zhuǎn)換成Iuma相關(guān)的色彩表示（（R-Y))。因此在已完成了 "動態(tài)范圍盲（blind)" luma縮放表示中的所有期望處理之后，我們可最終轉(zhuǎn)換成期望的動態(tài)范圍。并且運(yùn)不需要 是固定的（例如，5000 nit參考輝度空間或其中的線性RGB驅(qū)動或者使得能夠?qū)崿F(xiàn)此參考空 間中的色彩在顯示器上的呈現(xiàn)的R'G'B'驅(qū)動坐標(biāo)表示），而是可W是被最佳地確定W驅(qū)動 例如1000 nit中間動態(tài)范圍顯示器的空間。因此此類顯示器上的最佳外觀所需的所有亮度 處理都可W通過例如經(jīng)由最佳選擇的EOTF 354對乘法356應(yīng)用期望的Iuma值來完成。
[0050] 雖然某些實(shí)施例可轉(zhuǎn)到線性RGB色彩表示(某些顯示器可優(yōu)選諸如輸入，如果我們 的解碼器常駐于例如機(jī)頂盒中的話），但如例如圖9中所示的其它實(shí)施例可W將旁路中所需 的計算直接地朝著顯示器-伽馬空間Y'分組（與Y''區(qū)別開，其通常是針對編碼最佳感知 Iuma空間，即其中我們使用例如1 Og gamma EOTF而不是伽馬2.2的一個）。運(yùn)還允許使用比 如例如用于R/Y分量的12比特的字長度，例如用于R VY'分量的12-14位(其與例如針對比如 R的分量可能需要24比特字的純線性色彩空間計算相比是高效的表示）W及用于Y'_4k計算 值的12比特和用于R'顯示驅(qū)動色彩坐標(biāo)的12-14比特。對應(yīng)于Y'值的我們的Y''值通?？杀?僅用10或12比特如實(shí)地編碼。并且用W從u'v'表示轉(zhuǎn)到例如R VY'等的各種運(yùn)算在某些實(shí) 施例中可經(jīng)由（可能在針對不同情況的若干運(yùn)算之間可選擇)2D至3D LUT來實(shí)現(xiàn)，而其他實(shí) 施例可W完成函數(shù)計算，所述函數(shù)可能是可即時地(on the fly)參數(shù)化的。
[0051] 還請注意我們具有不應(yīng)被混淆的u，v的若干變體。單劃U'已被給定給在1976年由 CIE標(biāo)準(zhǔn)化的u'v'符號。我們用雙劃U''來記錄我們的版本，其是Crayon空間重新定義的UV 空間，即針對較暗色彩尖端逐漸變小。
[0052] 用S劃U' ''，V' ''表示的是再次地完全不同的色彩空間。它實(shí)際上不再是基于u，v 的（圓筒形)空間，雖然其仍保留某些方面，比如特定的馬蹄形狀。但是我們再次地使其成為 圓錐形的，因?yàn)槲覀兤谕?在內(nèi)部，當(dāng)僅完成上采樣時，不在例如通過廣播的信號傳輸中）再 次地在上采樣中具有某種輝度相關(guān)性，其理想地應(yīng)在線性空間中發(fā)生。
[0053] 此Y' 'U' ' 'V' ' '空間或其相應(yīng)U' ' '，V' ' '平面不像當(dāng)前色彩技術(shù)中的任何東西。它 們?nèi)Q于我們定義成現(xiàn)在非彩色Y''軸的任何東西（如所述，原則上，運(yùn)甚至不需要是連續(xù) 的，并且我們可W例如將太陽定義成代碼1020,其中代碼1019表示1000 OX較暗輝度）。因 此，代碼最大值(Y''max)可W是任何東西，并且在其W下的代碼可W表示任何輝度分布采 樣。因此，圓錐可W是高度非線性的一個(雖然簡單地隨Iuma Y''而線性地改變，但當(dāng)在具 有在第=軸上的輝度的空間中描繪時，其可能被嚴(yán)重地彎曲），但是其仍保保留運(yùn)樣的性 質(zhì)，即U'''和V'''值隨著其所屬的像素的Iuma而增長，如我們將用圖9闡明的，運(yùn)對于獲得 更好質(zhì)量的上采樣而言是非常有用的性質(zhì)，導(dǎo)致高頻結(jié)構(gòu)中的較暗色彩的最終色彩中的貢 獻(xiàn)的較少主導(dǎo)性。
[0054] 其它感興趣實(shí)施例例如： 一種視頻解碼方法，包括： -接收視頻信號(S_im)，其被W適合于通過視頻傳輸系統(tǒng)發(fā)射或在視頻存儲產(chǎn)品上接 收的格式編碼，并且經(jīng)由此類傳輸或存儲產(chǎn)品連接被接收，其中像素色彩是用非彩色I(xiàn)uma (Y'）坐標(biāo)和兩個色度坐標(biāo)(U' '，V' '）進(jìn)行編碼的，W及 -通過用非彩色I(xiàn)uma進(jìn)行縮放而在Iuma相關(guān)的色彩表示中對基于色度的色彩進(jìn)行變 換。
[0055] -種視頻解碼的方法包括在對Iuma相關(guān)的色彩表示進(jìn)行縮放之前將輸入色度坐 標(biāo)變換成另一 luma縮放的色彩表示，諸如例如(R/Y，G/Y，B/Y)。
[0056] 有技術(shù)的讀者應(yīng)因此理解的是到若干可能的感興趣色彩表示的若干映射是可能 的，但是我們闡述了RGB族中的有用的一個。如果接收設(shè)備直接地期望一般的例如XYZ色彩 編碼，則解碼器可能不會經(jīng)由RGB前進(jìn)，但是在某些變體中其可W例如轉(zhuǎn)到UVW。
[0057] -種視頻解碼的方法包括對加性再現(xiàn)色彩通道(R/Y、G/Y、B/Y)的Iuma縮放的表示 應(yīng)用諸如例如幕函數(shù)的非線性映射函數(shù)W獲得另一Iuma縮放的表示(R'/Y'、G'/Y'、B'/Y)。 W運(yùn)種方式，我們可W預(yù)先變換到例如呈現(xiàn)系統(tǒng)的期望非線性特性。我們預(yù)先計算可能的 東西作為么正色彩平面601中的等效非線性映射，其在之前并未設(shè)想，但是具有若干優(yōu)點(diǎn)， 諸如不那么昂貴的計算。
[0058] 一種視頻解碼的方法包括在處理序列系列中首先對Iuma縮放的色彩表示的空間 進(jìn)行向上縮放，并且其次對Iuma相關(guān)色彩表示進(jìn)行縮放。運(yùn)為我們給出了彩色部分中的簡 單向上縮放，而從非彩色編碼(Y''_4k)的幾乎全分辨率的還原。
[0059] 視頻編碼器(300)包括空間向下采樣器(302)，其對在線性色彩空間（X，Y，Z)中編 碼的輸入和輸出信號起作用。運(yùn)保證向下采樣在正確的線性空間（例如不是非線性YCrCb) 中完成，即由于運(yùn)些XYZ信號被最佳地采樣，因此從其導(dǎo)出的表示U '，V '也將如此。
[0060] 然而，在解碼器側(cè)，我們故意地設(shè)計了最佳實(shí)施例W對高度非線性的彩色信號(在 某些實(shí)施例中比如例如u，v)完成上采樣，但是如我們下面闡明的，我們將我們的技術(shù)設(shè)計 成很好地完成該操作。
[0061 ] -種視頻編碼的方法，包括： -接收視頻作為輸入，該視頻的像素色彩被用任何輸入色彩表示(X，Y，Z)進(jìn)行編碼；W 及 -將該輸入視頻編碼成視頻信號(S_im)，其包括圖像，在該圖像中像素色彩被W在由 非彩色luma(Y'）坐標(biāo)和兩個輝度無關(guān)色度坐標(biāo)(U' '，V' '）定義的色彩編碼進(jìn)行編碼，視頻 信號S_im進(jìn)一步被針對通過傳輸網(wǎng)絡(luò)的傳輸或在視頻存儲存儲器產(chǎn)品（比如例如藍(lán)光盤） 上的存儲而適當(dāng)?shù)馗袷交?br>[0062] -種計算機(jī)程序產(chǎn)品，其包括代碼，該代碼使得處理器能夠執(zhí)行實(shí)現(xiàn)我們在本文 的教導(dǎo)中教導(dǎo)或建議的任何實(shí)施例的任何方法。
[0063] 所有運(yùn)些實(shí)施例都可W被實(shí)現(xiàn)為許多其它變體、方法、信號(無論是通過網(wǎng)絡(luò)連接 發(fā)射或被存儲）、計算機(jī)程序，并且有技術(shù)的讀者在理解我們的教導(dǎo)之后將理解在各種實(shí)施 例中哪些元素可W被組合或不組合等。
【附圖說明】
[0064] 參考下文描述的實(shí)施方式和實(shí)施例且參考附圖，根據(jù)本發(fā)明的方法和裝置的運(yùn)些 及其它方面將是清楚明白的并得到闡述，所述附圖僅僅充當(dāng)舉例說明更一般的概念的非限 制性特定圖示，并且其中使用虛線來指示組件是可選的，無虛線組件不一定是必不可少的。 還可W將虛線用于指示將被解釋成是必不可少的元件被隱藏在對象的內(nèi)部，或者是用于諸 如例如對象/區(qū)域的選擇的無形事物（W及它們?nèi)绾卧陲@示器上顯示）。
[00化]在附圖中： 圖1示意性地圖示出用于現(xiàn)有技術(shù)色彩空間，圓錐和圓筒的兩個不同拓?fù)洌?圖2示意性地圖示出用于視頻的示例性通信系統(tǒng)(例如通過電纜電視系統(tǒng)似及我們的 編碼器的實(shí)施例和我們的解碼器的實(shí)施例； 圖3示意性地圖示出我們介紹的新的蠟筆狀色彩空間，其對于將色彩編碼有用，特別是 當(dāng)設(shè)及到與DCT編碼相同或類似的種類的數(shù)據(jù)壓縮時； 圖4示意性地示出了我們的解碼器的其它實(shí)施例，其可W通過對我們的連接系統(tǒng)中的 可選虛線組件進(jìn)行切換來形成； 圖5示意性地示出了被應(yīng)用于優(yōu)化蠟筆狀色彩空間的下部中的色彩的修正數(shù)學(xué)，其對 應(yīng)于單元410的動作； 圖6給出了我們在我們的視頻或圖像編碼中使用的某些新比色概念的某些幾何說明； 圖7示意性地示出了我們可W用來定義具有其尖端的各種銳度或純度(和黑色處的寬 度)的Y' 'U' 'V' '蠟筆色彩空間的有用變體的某些附加方式； 圖8示意性地僅僅示出了通?？蒞如何確定艾普西隆(epsilon)位置的闡述性示例，在 該艾普西隆位置處，我們的圓筒形蠟筆上部開始其尖端，該尖端朝著小飽和度的(U' '，V' '） 色彩收縮，即朝著某個白點(diǎn)或者更準(zhǔn)確地某個黑點(diǎn)收縮； 圖9示意性地示出了另一可能解碼器(在具有編碼器的系統(tǒng)中），其特別地W取決于Y'' 而不是例如Y的衰減對尖端進(jìn)行縮放，并且向產(chǎn)生(U' ''，V' ''）色度坐標(biāo)的圓錐形空間中 引入蠟筆的再成形； 圖10示意性地示出了如通常在此類編碼器中使用的兩個增益函數(shù)； 圖11示意性地示出了更簡單的解碼器方案； 圖12示意性地示出了特別地產(chǎn)生線性R、G、B輸出的解碼器； 圖13示意性地示出了基于=劃線U' ' '、v' ''的空間和平面，由于缺少現(xiàn)有的措辭但要 求閱讀的簡單性，我們將其命名為乂onon空間"（圓錐形狀蠟筆尖端UV空間的收縮）；W及 圖14示意性地示出了優(yōu)選標(biāo)準(zhǔn)化地使用實(shí)施例來對色度坐標(biāo)u'v'或比如例如Y的其它 色彩坐標(biāo)進(jìn)行分辨率縮放。
【具體實(shí)施方式】
[0066]圖2示出了根據(jù)新發(fā)明的原理且符合新的蠟筆形Y' 'U' 'V' '色彩空間定義的編碼 系統(tǒng)(編碼器W及可能的所附解碼器)的第一示例性實(shí)施例，具有視頻編碼器300W及特定 解碼器305。我們假設(shè)編碼器經(jīng)由輸入連接308從視頻源301獲得視頻輸入，該視頻源310W CIE 格式供應(yīng)視頻圖像，該CIE XYZ格式是設(shè)備無關(guān)的線性色彩編碼。當(dāng)然，解碼器可包 括或者被連接到完成典型的視頻轉(zhuǎn)換的其它單元，比如例如從化e址XR格式或某個RAW照相 機(jī)格式等的映射。當(dāng)我們說視頻時，我們假設(shè)有技術(shù)的讀者理解還可存在視頻解碼方面，比 如例如設(shè)及到的逆向DCT變換和產(chǎn)生一組所需的任何東西，在該組圖像中像素被編碼為(X， Y，Z)的色彩，運(yùn)是解釋我們發(fā)明的實(shí)施例的細(xì)節(jié)所需的部分。當(dāng)然，還可W針對在RGB原色 被標(biāo)準(zhǔn)化的情況下從另一線性色彩空間（比如例如(R，G，B))開始導(dǎo)出我們在下面從(X，Y， Z)開始提出的等式，但我們將從普遍已知的CIE XYZ空間開始解釋我們的實(shí)施例。關(guān)于美感 部分，我們將假設(shè)源301遞送主HDR分級，其將是例如被至少一個色彩分級器重新著色W得 到正確美感外觀(例如將柔和的藍(lán)天轉(zhuǎn)換成好看的略帶紫色的天空）的電影，但是輸入當(dāng)然 可W是時間上連續(xù)相關(guān)的圖像的任何集合，諸如例如照相機(jī)RAW輸出或者要升級的傳統(tǒng)LDR (低動態(tài)范圍）電影等。我們還將假設(shè)輸入處于高質(zhì)量分辨率，比如例如4K，但是有技術(shù)的讀 者將理解的是其它分辨率是可能的，并且尤其是我們的實(shí)施例尤其適合于處理針對不同色 彩分量的各種分辨率。
[0067] 通常，雖然是可選地，空間子采樣單元302將在執(zhí)行色度方面的色彩信息的確定之 前對信號進(jìn)行向下轉(zhuǎn)換，因?yàn)檠劬ι市畔⒉荒敲疵翡J，并且因此可W節(jié)約用于色度圖 像的分辨率，并且例如將兩個色度分量圖像分交錯在單個中成為編碼圖片(我們已開發(fā)了 我們的系統(tǒng)，使得此進(jìn)一步編碼可W用傳統(tǒng)編碼器（比如例如類似于MPEG的編碼器（比如 AVC編碼器））來完成，即通過進(jìn)行DCT等）。例如，空間子采樣單元(302)可在兩個方向上使用 子采樣因數(shù)ss = 2, W從4:4:4轉(zhuǎn)到4:2:0。
[0068] 現(xiàn)在，針對色度確定單元310輸入此原始或降低分辨率(X，Y，Z)_xK信號（其中X表 示任意分辨率，例如從原始8K至輸入2K，W便確定彩色信息）。在我們的實(shí)施例中，我們不使 用色度型色彩空間，而是基于色度的色彩空間，因?yàn)檫\(yùn)具有某些非常有利的性質(zhì)。然而，標(biāo) 準(zhǔn)色度空間（即色度平面+某個輝度或Iuma或光度軸)不能被很好地使用，尤其是對于HDR 視頻編碼而言。
[0069] 雖然原則上可W使用其它色度平面定義，但是我們在本闡述中將假設(shè)我們使我們 的定義基于CIE的1976 Y'u'v'空間或者更確切地其色度平面，然而我們將通過我們因此將 用雙右上標(biāo)(U' '，V' '）來指示的色度坐標(biāo)的新定義來對其進(jìn)行再成形。
[0070] 如果將使用經(jīng)典的CIELUV 1976定義(有用地重新公式化）：
[等式1] 結(jié)果得到的色彩空間和其中的已編碼色彩將具有某些良好的性質(zhì)。首先，一個非常強(qiáng) 大且有用的性質(zhì)是已將Iuma從色彩的純彩色性質(zhì)（即，與色度相反，其也仍包含某些輝度信 息）解禪（即對輝度或屯、理視覺上重申的亮度進(jìn)行編碼的坐標(biāo)）。通過在過去幾年中的進(jìn)一 步思考和實(shí)驗(yàn)，發(fā)明人及其同事獲得了更深的見識，即此解禪具有對于尤其是皿R視頻編碼 而言至關(guān)重要的性質(zhì):可W使用任何代碼分配函數(shù)或光電子轉(zhuǎn)換函數(shù)EOCF來對所需輝度進(jìn) 行編碼（無論是由照相機(jī)捕捉的那些或其分級，還是將由接收到視頻的顯示器輸出的那 些），例如非常高伽馬的那些或者甚至彎曲的那些，比如S形狀，或者甚至不連續(xù)的那些（可 W將Iuma想象成與色度相關(guān)聯(lián)的某個"偽輝度"）。運(yùn)個"不關(guān)屯、性質(zhì)"還意味著我們可W僅 在彩色"單位輝度"平面中將某些期望的處理(無論是編碼還是例如色彩處理，比如重新分 級W獲得另一外觀)解禪，不管沿著Iuma軸的輝度的彎曲是什么。運(yùn)還導(dǎo)致運(yùn)樣的見識，即 皿R編碼W及甚至其它外觀的編碼(到用于例如需要最佳地呈現(xiàn)不同的動態(tài)范圍的某個HDR 圖像的中間動態(tài)范圍顯示器的所需驅(qū)動分級的可調(diào)諧性)變得相對簡單，因?yàn)樾枰粋€圖 像來對空間對象紋理結(jié)構(gòu)進(jìn)行編碼，運(yùn)可W用(u''，v''）和某個參考陰影(Y'）來完成，并且 可W通過首先進(jìn)行Y'的主導(dǎo)重新定義(例如，快速第一伽馬映射)且然后是進(jìn)一步所需處理 W在(U' '，V' '）方向上實(shí)現(xiàn)最佳外觀來轉(zhuǎn)換到其它照明情況。
[0071] 因此我們將假設(shè)光電子轉(zhuǎn)換單元304應(yīng)用任何預(yù)選的感興趣色彩分配函數(shù)。運(yùn)可 W是經(jīng)典的伽馬2.2函數(shù)，但是對于皿R而言，較高的伽馬是優(yōu)選的?；蛘呶覀兛蒞使用 Dolby的PQ函數(shù)?；蛘呶覀兛墒褂茫?br>[等式2] 其中，m和丫是常數(shù)，并且V被定義為(Y-Y_black)/(Y_white-Y_black)。
[0072] 請注意，非彩色軸的任意性意味著原則上我們還可W使用線性輝度，并且可W通 過使用輝度闊值定義而不是Iuma闊值定義來重新制定例如我們的編碼器權(quán)利要求。因此在 圖2的解碼器中，輸入Y'通常具有某個最佳的HDR EOTF(其大致上對應(yīng)于非常高的伽馬，比 如例如8.0)，并且雙劃指示例如伽馬2.2顯示域中的紅色或Y''值。請注意，我們的原理通過 使用用于解碼器輸入上的Y'的EOTF的伽馬2.2(rec. 709，BT 1886)定義W及其它變體而可 W同樣地對LDR輝度范圍材料起作用。
[0073] 此編碼的另一優(yōu)點(diǎn)是色度保持在同一寬度尺寸內(nèi)，無論輝度是什么。運(yùn)意味著與 基于色度的色彩空間形成對比，我們始終可W將相同數(shù)量的比特用于對色度進(jìn)行編碼，并 且色彩空間的垂直穿過始終具有更好的精度。與對于色度分量需要超過10且優(yōu)選地12比特 的Y'化Dx色彩編碼相反，我們可W W僅10比特獲得高質(zhì)量，并且甚至用化k特獲得合理的質(zhì) 量。我們例如可W在可能色度的最大范圍內(nèi)均勻地分配比特，u=[0,0.7]，v=[0.0.6]，或者 是略微更緊的邊界，例如[0,0.623]、[0.016, 0.587](我們甚至可W剪去某些不常見的非 常飽和的色彩，但是對于寬色域編碼而言，如果包括所有的可能物理色彩可能是有用的）。
[0074] 解禪的另一優(yōu)點(diǎn)是運(yùn)優(yōu)美地實(shí)現(xiàn)了不僅具有皿R(即亮輝度和/或大輝度對比度 比）編碼、而且具有寬色域色彩編碼的期望，因?yàn)?U''，V''）可W本質(zhì)上對可實(shí)現(xiàn)的任何色 度進(jìn)行編碼。在在我們的新蠟筆狀色彩空間定義中RGB顯示將具有如在圖Ib中一樣的帳篷 形狀但其底部部分現(xiàn)在被配合(擠入)在底部尖端中的情況下，我們還可W使用我們的編碼 色彩來驅(qū)動由例如紅色、黃色、淡黃-綠色、綠色、藍(lán)綠色、藍(lán)色W及紫羅蘭色激光器制成的 多原色顯示器，其可呈現(xiàn)非常飽和且明亮的色彩。
[0075] 由于我們實(shí)際上僅具有色度方面的彩色信息，所W解決的另一主要問題是我們可 W避免在色彩邊界處發(fā)生的大的色彩串?dāng)_問題，尤其是在經(jīng)典的基于色度的電視編碼(例 如1像素寬暗紅色和淺灰色線或者互補(bǔ)色的條紋圖案）中，例如當(dāng)設(shè)及到子采樣時。使用Y' 化Dx空間可引入主要的色彩誤差(例如，暗紅色/淺灰色線交錯轉(zhuǎn)換成奇異的明亮澄色）。首 先在線性XYZ域中進(jìn)行子采樣且然后使用我們的(U' '，V' '）的我們的實(shí)施方式創(chuàng)建正常的 色彩，盡管有彩色信息的4:2:0編碼。
[0076] 然而，此類圓筒形Y'u'v'編碼的缺點(diǎn)是由于除WY(或者實(shí)際上(X+15Y+3Z)，暗色 變成非常有噪聲的，運(yùn)增加基于變換的編碼器所需的比特率。因此，我們已重新定義色彩空 間定義和因此的定義從(X，Y，Z)到(U''，V''）的映射的相應(yīng)透視變換，使得編碼器可W用新 的視頻編碼優(yōu)美地處理此問題，即不求助于比如例如去噪等所有種類的其它伎倆。
[0077] 我們的新的透視變換導(dǎo)致如圖3a中所示的蠟筆狀色彩空間。底部部分已在尺寸被 放大的情況下示出W能夠?qū)ζ溥M(jìn)行描繪，因?yàn)殄F形尖端將僅針對最暗的可編碼色彩發(fā)生， 落在底部部分化中。用此部分對應(yīng)于預(yù)定闊值Iuma E'，并且鑒于輝度方向的分離及其可隨 意選擇的OETF，用任何選擇E '還對應(yīng)于闊值輝度E的唯一值，其可W通過對E '應(yīng)用OECF函數(shù) 的逆、即EOCF(電光轉(zhuǎn)換函數(shù))來確定。E或E'例如可在編碼器和解碼器的硬件中被固定(普 遍可用的值），或者其可根據(jù)情況來選擇，并且例如與信號共同傳輸，例如存儲在存儲視頻 的抓盤上。E的值通?？稍诜秶鶾0.01，10]或更優(yōu)選地[0.01，5]nit內(nèi)，經(jīng)由除W色彩空間 的白色峰值而被轉(zhuǎn)換成么正表示。因此可W通過說明蠟筆尖端中的色域的邊界朝著固定值 收縮來更確切地說明沒有用于特定輸入色彩的色彩編碼可W在色度大于(u_xx，v_xx)的情 況下發(fā)生的事實(shí)。運(yùn)可W通過使用飽和度3〇^(加''~2+〇^''~2)來^數(shù)學(xué)方式定義，其中 山1' '=11' '-11' '_w、dv' '=v' '-V' '_*和(11' '_w,v' '_w)是參考白色的色度。色域的馬蹄形外邊 界針對每個色調(diào)（角度)確定最大可能飽和度(針對該主波長或"色調(diào)"的單色色彩）。如我們 看到的，運(yùn)些外邊界對具有在E'W上的Iuma Y'的色彩保持相同，但針對具有在E'W下的 Iuma的色彩變小。我們已示出了用于紫色的最大飽和度如何保持在E'W上的相同5_地，并 且在此蠟筆色彩空間的示例性實(shí)施例中隨Y'而減小，并被重命名為5_61^，在E'W下。運(yùn)具有 優(yōu)點(diǎn)，即，雖然有噪聲，但用于暗色的此重定義的小色度不能消耗太多的比特。另一方面，在 E'W上，我們找到色度的良好性質(zhì)，即其被完美且很好地均勻地從輝度信息縮放解禪。
[0078] 因此，編碼器必須應(yīng)用透視映射來獲得U' '、v' '，其實(shí)現(xiàn)了此行為(實(shí)現(xiàn)運(yùn)一點(diǎn)的 等式的任何定義將滿足我們的新編碼技術(shù)的期望特性）。在圖3b中示出了實(shí)現(xiàn)運(yùn)一點(diǎn)的一 個方式，并且其使編碼器對具有在E'W下的Iuma的色彩的飽和度應(yīng)用非單位增益g(Y'）。優(yōu) 選地，解碼器然后應(yīng)用反向增益（即如果旨_611(30(161'是0.5，則旨_(16(30(161'是2.0)來獲得用于 重構(gòu)色彩的原始色彩飽和度。
[0079] 我們已示出了線性示例，但是可W使用其它函數(shù)，諸如例如:g(y)= 0,如果y<0;g (y)=y*(2-y)，如果0<=y<e，g(y)=l，如果y〉=e，其中y是luma Y'的任何適當(dāng)表示。或者查找 表可W用于gain(Y'）。
[0080] 因此，可 W完成色度空間公式化，為：（11''，￥''）= (11'_\￥，￥'_\￥)+邑(7)*[(11'，￥'）- (u'_w, v'_w)]，其中v'_w)是用于某個預(yù)定白點(diǎn)的色度。
[0081] 用W實(shí)現(xiàn)蠟筆狀色彩空間的有利實(shí)施例將對定義色度的透視變換中的較低輝度 的定義進(jìn)行重新編碼。
[等式3]。
[0082] 如果我們定義適當(dāng)?shù)腉(Y)函數(shù)，即較低Y區(qū)域中的適當(dāng)形狀，我們可W根據(jù)期望來 調(diào)諧色度值，即其中的蠟筆尖端的寬度輪廓。因此，我們看到從線性色彩不平衡(X-Y)、（Z- Y)導(dǎo)出色度W及影響縮放的此G因數(shù)。針對中性色彩(X = Y = Z),尖端將使飽和度按比例縮 小至其針對(乂，￥，2) = (0,0,0)的最低白點(diǎn)(11''，乂''）= (4/19,9/19)。
[0083] 蠟筆尖端的G(Y)實(shí)現(xiàn)僅僅是實(shí)現(xiàn)其的一個容易方式，因?yàn)榭蒞存在用于做到運(yùn)一 點(diǎn)的其它方式，例如通過使用類似于Y或Y'的其它相關(guān)函數(shù)，只要編碼空間色域的幾何形狀 行為類似即可。
[0084] 非常簡單的可能（可選)實(shí)施例是我們已在圖2中示出的實(shí)施例，即使用Max(Y，E) 作為用于G(Y)的類別函數(shù)。
[0085] 我們的編碼器的有利地簡單的實(shí)施例首先通過矩陣化單元303來完成矩陣化W確 定X-Y和Z-Y值，例如在2K分辨率圖像中。由透視變換單元306施加的透視變換然后是上述變 換，但是在圖2實(shí)施例中，我們已用在最大計算單元305外面且由其執(zhí)行的max函數(shù)來分割蠟 筆錐形，由此在透視等式的最后一項(xiàng)的位置處填充結(jié)果。最后，編碼器進(jìn)一步在格式化器 307中根據(jù)任何預(yù)先存在的（或能夠被用于視頻傳輸?shù)奈磥硪曨l編碼標(biāo)準(zhǔn)，例如MPEG標(biāo)準(zhǔn)） 策略來對包含Y '和(U ' '，V ' '）的圖像進(jìn)行編碼和格式化，并將其編碼在視頻信號S_im中，可 能連同元數(shù)據(jù)MET-起，諸如例如在其上完成編碼分級或者針對其而言完成編碼分級的參 考顯示器的白色峰值，并且可能還有用于E或類似地E'的所選值。即，格式化器假定如在 MPEG中那樣分量是Rec.709伽馬Y'和化，Cb交錯(子）圖像，雖然實(shí)際上根據(jù)我們的發(fā)明實(shí) 施例的原理那些將包含色度的某個U' '，V' '變體，并且根據(jù)我們愿意使用的無論什么EOTF 的無論什么Y' ' Iuma非彩色值(例如，如在未預(yù)先公開的US61/990138中描述的log gamma 的一個，US61/990138的教導(dǎo)針對允許將其包括在此的那些管轄范圍被包括在此，或者用于 皿R圖像編碼的任何其它適當(dāng)?shù)腅0TF，或者LDR圖像編碼，或者可受益于本化V編碼的任何其 它圖像編碼）。當(dāng)然，比如艾普西隆的值(E或E''）對于LDR或皿R而言可W是不同的。
[0086] 此視頻信號S_im然后可W經(jīng)由輸出端309被發(fā)送到視頻傳輸系統(tǒng)320上的任何接 收裝置，其非限制性地可W是例如包含視頻的存儲器產(chǎn)品，比如抓盤或固態(tài)存儲器卡或者 任何網(wǎng)絡(luò)連接，比如例如衛(wèi)星TV廣播連接，或者因特網(wǎng)網(wǎng)絡(luò)連接等。作為通過任何網(wǎng)絡(luò)進(jìn)行 的替代，還可將視頻先前存儲在某個存儲設(shè)備399上，其可在期望的任何時間充當(dāng)視頻源， 例如用于通過因特網(wǎng)的按需視頻。
[0087] 接收到此信號，我們已在圖2中示出了視頻解碼器360的第一可能實(shí)施例，其可能 被合并在同一總體系統(tǒng)中，例如當(dāng)分級器想要檢查當(dāng)在特定呈現(xiàn)情況(例如在昏暗環(huán)境中 的5000 nit HDR顯示器或者在黑暗環(huán)境下的1200nit顯示器等）中呈現(xiàn)時其分級將看起來 像什么，或者此接收機(jī)可位于另一位置上并為另一實(shí)體或個人所擁有。非限制性地，此解碼 器360可構(gòu)成例如電視或顯示器、機(jī)頂盒、計算機(jī)、電影院中的數(shù)字電影處理單元等的一部 分。
[0088] 解碼器將理想地主要(但不一定)精確地將在編碼器處完成的處理顛倒，W還原原 始色彩，其本身不需要在XYZ中來表示，但是可直接地變換成顯示器370所需的某個顯示器 相關(guān)的色彩空間（通常是RGB)中的某些驅(qū)動色彩坐標(biāo)，但是運(yùn)還可W是多原色坐標(biāo)。因此根 據(jù)輸入358,第一信號路徑將Iuma Y'圖像發(fā)送到電光轉(zhuǎn)換單元354,其應(yīng)用作為OECF的逆的 ￡(^^，^還原用于像素的原始輝度￥。再次地，如果我們已使用蠟筆色彩空間的1曰^"，6)定 義，則可選地可包括最大值計算單元355,并且否則在由逆透視變換單元351應(yīng)用的數(shù)學(xué)函 數(shù)中考慮到飽和度減小。
[0089] 此單元將例如計算下式：
良P，運(yùn)些是僅彩色量(注意，還可W將它們視為X-Y/Max(Y，E))，但是那并不要緊，因?yàn)?它們是非彩色量，僅可從(U''，V''）色度導(dǎo)出），無論像素的色彩具有什么輝度。它們?nèi)孕枰?在稍后乘W正確的輝度，W獲得純色。
[0090] 運(yùn)個的分子是線性X、Y和Z坐標(biāo)的線性組合。因此我們可W對此進(jìn)行矩陣化，W獲 得線性R、G、B坐標(biāo)，但是仍被適當(dāng)?shù)妮x度參考為縮放因數(shù)。運(yùn)是由矩陣化單元352實(shí)現(xiàn)的，產(chǎn) 生(R-Y)/Y、（G-Y)/Y和(B-YVY作為輸出。如技術(shù)人員已知的，映射矩陣的系數(shù)取決于所使 用的實(shí)際原色，針對色彩空間的定義，例如E腳原色（到顯示器的實(shí)際原色的轉(zhuǎn)換可W在稍 后由色域映射單元360來完成，其也應(yīng)用顯示器的OETF來在實(shí)際驅(qū)動值(R' '，G' '，B' '）中對 其進(jìn)行預(yù)先補(bǔ)償）（例如，運(yùn)可W是顯示器370,其預(yù)期Rec. 709編碼，或者其可W是比如例 如用于SIM2的復(fù)雜驅(qū)動方案，但是運(yùn)超出了我們的發(fā)明的教導(dǎo)）。我們已使用雙右上標(biāo)來清 楚地強(qiáng)調(diào)運(yùn)不是色彩空間的而是顯示器的代碼分配函數(shù)的非線性性，并且〇61。_(1是特定的 連接顯示器的所需非線性光電傳遞函數(shù)。如果我們在編碼器中完成空間子采樣，則上采樣 單元353將把信號轉(zhuǎn)換成例如4K分辨率。請注意，此子采樣已被故意地置于處理鏈中的此位 置W具有更好的色彩串?dāng)_性能?，F(xiàn)在，通過與適當(dāng)?shù)妮x度(例如Max(Y，E))相乘來獲得線性 差值(色度)R-Y等。最后通過將每個像素的線性輝度與運(yùn)些色度相加(加法器357)，我們獲 得線性(R，G，B)色彩坐標(biāo)，其在輸出端359上輸出。
[0091] 針對HDR視頻在線性空間中完成該計算的缺點(diǎn)是需要20(或更多）比特字W便能夠 表示百萬：1(或10000:0.Ol nit)對比度比像素輝度。
[0092] 發(fā)明人還認(rèn)識到所需的計算可W在顯示器的伽馬轉(zhuǎn)換Iuma域中完成，其具有減小 的最大Iuma對比度比。運(yùn)用圖4的示例性解碼器示出。因此，現(xiàn)在再次地用皿R-EOTF來定義 Y'，但是現(xiàn)在定義蠟筆尖端，并在顯示器伽馬域中針對實(shí)際上需要的Iuma相關(guān)色彩表示(在 顯示器伽馬2.2域中的R' '等)進(jìn)行的重新縮放中使用，即其非彩色軸被根據(jù)例如10比特伽 馬2.2代碼分配進(jìn)行彎曲和重新采樣。
[0093] 運(yùn)些解碼器可W對在新的蠟筆狀色彩空間中編碼的信號W及對在任何其它Y'ab 空間中編碼的信號起作用，因?yàn)槲ㄒ坏囊笫俏覀儗'軸解禪。
[0094] 根據(jù)圖4的解碼器與根據(jù)圖2的那些解碼器的差別是現(xiàn)在在顯示器的非線性域中 完成輝度縮放(用例如Max(Y，E))，即具有被適當(dāng)?shù)乜s放W便供特定設(shè)想或連接的顯示器使 用的非色彩方向。我們需要計算相應(yīng)的E''，因?yàn)镮uma現(xiàn)在將采取不同的表示，用雙右上標(biāo) 來表示，其是通過首先對被根據(jù)視頻編解碼器編碼W用于傳輸(無論是經(jīng)由存儲還是直接 地）的Iuma應(yīng)用E0CF、并且然后顯示器相關(guān)光電轉(zhuǎn)換單元402(注意，運(yùn)將實(shí)現(xiàn)幕函數(shù)，運(yùn)也 是為什么我們使用措辭OETF而不是OECF的原因）產(chǎn)生對于設(shè)想顯示器而言正確的Iuma Y' ' (即如果連接的顯示器是黑白顯示器，并被運(yùn)些Y''驅(qū)動，則畫面將看起來是正確的）而獲得 的。實(shí)際上，單元354和402當(dāng)然可被組合成一個，例如應(yīng)用一個參數(shù)等式或LUT等?，F(xiàn)在我們 確實(shí)看到在運(yùn)些解碼器實(shí)施例中，在該新(最終巧' ' Iuma域中由乘法器405來完成乘法。運(yùn) 要求對彩色管線的相應(yīng)改變，即第一部分與在圖2中相同，首先引入加法器403, W添加（1， 1，1)而獲得已縮放的S個色彩坐標(biāo)(3/￥，6/￥，8/￥)。運(yùn)些還必須被變換到顯示器非線性域， 如果應(yīng)用適當(dāng)?shù)睦?.2伽馬（即，（3/￥)'' = (1?''/￥''）= (1?/￥)~1/2.2等），則其證明是正確 的。如果需要，可再次地存在結(jié)果得到的此圖像的空間向上縮放。
[00M]簡單的解碼器將忽視Max(Y，E)，并且僅僅用Y' '進(jìn)行縮放，使得僅針對最暗的色彩 實(shí)現(xiàn)某些小色彩誤差，如果E被選擇成小的（例如0.05 nit),運(yùn)是可接受的。更高級的解碼 器將再次地在完成乘法之前應(yīng)用max函數(shù)?，F(xiàn)在優(yōu)選地，甚至更加高級的解碼器然后也用色 彩偏移確定單元410來進(jìn)行最終色彩修正，W由于現(xiàn)在在伽馬域中而不是線性域中工作的 非線性性而使得具有在E' ' W下的luma的色彩幾乎完全準(zhǔn)確。
[0096] 色彩偏移確定單元410優(yōu)選地確定W下各項(xiàng)： 化=Max (0，1 - C R * Y''）* Min (Y''- D''，0)，cR是常數(shù)，例如2.0,并且D''是 闊值常數(shù)，優(yōu)選地等于E''，并且對于用于具有其各自的cg、cb的綠色和藍(lán)色圖像的dg和化 而旨是類似的。 dg= Max (0， 1 - C G * Y，，） * Min (Y，，- D，，， 0)， 化=Max (0，1 - C B * Y''）* Min (Y''- D''，0)，W獲得最終的色彩坐標(biāo)R''或 者說G' '、B' '，運(yùn)對于較低Y' '值而言也是良好的。在圖5中示出了此修正的示例，產(chǎn)生曲線 501，從將從不進(jìn)行附加修正的簡化解碼器得到的不正確值（曲線502)開始。點(diǎn)線503是理論 目標(biāo)，并且看到幾乎與修正的結(jié)果并置。輸入是從乘法器得到的中間(R' '，G' '，B' '）_Im值， 并且圖表的輸出是用于在加法器406之后輸出的最終值。圖表示出了用于色彩坐標(biāo)中的一 個(例如紅色）的表現(xiàn)。
[0097] 如何解碼器將最終每個像素產(chǎn)生所需的R''、G''和''W便驅(qū)動顯示器。雖然我們 的蠟筆狀色彩空間主要對傳送或存儲例如高動態(tài)范圍的視頻感興趣，但硬件塊或軟件存在 于比如接收機(jī)/解碼設(shè)備的各種設(shè)備中，其也可被用于完成處理，例如將傳統(tǒng)LDR視頻分級 成適合于皿R呈現(xiàn)的一個或多個。
[0098] 雖然如在圖3中概念地示出的蠟筆版本充當(dāng)實(shí)施例，但可W定義不同的且更適當(dāng) 的Y' 'U' 'V' '蠟筆空間。衰減一或乘WY/艾普西隆或Y' V艾普西隆' '一至(接近)零存在的 問題是必須在接收機(jī)處W無限的增益放大。在沒有任何誤差的最終精確的系統(tǒng)中，將不存 在問題，因?yàn)樵诮邮諜C(jī)側(cè)可W重新獲得原始的u'v'（如根據(jù)CIE 1976)。然而實(shí)際上必須將 典型的技術(shù)限制考慮在內(nèi)。另一方面，將存在UV坐標(biāo)上的誤差du和dv，其特別地主要來自于 暗區(qū)域中的照相機(jī)噪聲。但是運(yùn)些通過衰減被顯著地減少。但是由于所使用的編碼技術(shù)，可 W進(jìn)一步存在色度誤差。幸運(yùn)地，那些通常將沒有那么大，并不太值得注意，因?yàn)樗鼈儍H僅 是通常無論如何是暗色的的東西的僅微小的變色，因此眼睛不會如此好地注意到略微淺綠 色與略微淺藍(lán)黑色之間的差。然而，更嚴(yán)重的問題是在接收機(jī)處的Y''通道上也可W存在誤 差，并且由于它們在乘法縮放中，運(yùn)些在數(shù)學(xué)上更加嚴(yán)重?？赡茉谶€原的u'v'且甚至無效的 非物理值中具有嚴(yán)重的飽和度誤差。因此我們需要使用更純的蠟筆尖端慮及該誤差。在圖 7a中，我們參見線性衰減因數(shù)(僅僅針對Iuma代碼Y '-T的較低值，其中T是比方說例如16的 黑色水平），對比我們在1/128下剪裁的那個(我們已用128對圖表進(jìn)行縮放，因此變成1)。
[0099] 我們將對此使用的用于衰減的數(shù)學(xué)公式于是為： Atten = clip(l，Y'VE''，1/K),其中K可W是例如 128。
[0100] 在運(yùn)里，我們看到對于其中Y''在E''W下的蠟筆尖端區(qū)域而言，通過該除法的相 乘實(shí)現(xiàn)了線性衰減，其在它們相等且蠟筆的垂直圓筒邊界繼續(xù)的情況下當(dāng)然變成1，但是我 們可W通過乘Wl而明確地使衰減局限于最低限度地?zé)o衰減。更感興趣的方面是對128的限 審IJ。對線性函數(shù)(701)求逆W獲得放大增益W取消衰減W重新獲得正確的u'，v'值，我們針 對該乘法增益當(dāng)然獲得雙曲線，該雙曲線為曲線704,我們現(xiàn)在看到其被剪裁到最大值而不 是到無窮大。然而，因此我們定義衰減，無論是剪裁還是未剪裁的，實(shí)際上重要的是對接收 機(jī)處的重新提升的增益進(jìn)行剪裁(例如，gain(Y''）= CLIP (1，E''/ Y''，K=128))。由于 無論什么u' '，v' '值，例如不管(0,0)還是被用某個小的誤差（即產(chǎn)生(du，dv)而不是(0,0)) 擾亂，我們絕不應(yīng)在接收機(jī)處過多地提升u''，v''重構(gòu)，特別是如果du或dv是大的。甚至更 好的策略是然后進(jìn)行如在曲線702中的軟剪裁，運(yùn)是可W通過使得增益曲線的最低部分遵 循線性路徑(如在曲線704中）且優(yōu)選地具有相對小的斜率而容易地設(shè)計的。不太小，因?yàn)槿?后我們并未充分地使U ' V '值衰減，并且過多地對照相機(jī)噪聲進(jìn)行編碼，運(yùn)增加我們所需的 編碼比特預(yù)算或在圖像的其它部分中產(chǎn)生壓縮偽像。但斜率并不太大，因?yàn)槿缓笕绻邮?機(jī)在其Y' '值方面產(chǎn)生誤差dY' '，則運(yùn)可W導(dǎo)致與獲得正確的U'，V'像素色彩所需的非常不 同的增益提升(g+dg)，即產(chǎn)生過度飽和重構(gòu)色彩，或者因?yàn)閐u'一般不需要等于dv'而產(chǎn)生 僅僅某個大的色彩誤差。因此此傾斜部分應(yīng)按每個系統(tǒng)進(jìn)行平衡，或者對于許多典型未來 系統(tǒng)而言平均地是很好的。在圖7c中示出了可W選擇的各種斜率(具有約256的E''的10比 特Y''示例），其中現(xiàn)在在對數(shù)而不是線性軸系統(tǒng)中示出了增益函數(shù)（因此雙曲線形狀已改 變）。705在運(yùn)里是線性曲線，752是略微軟剪裁增益曲線，并且753是略微更加軟剪裁的曲 線。由于運(yùn)正是被發(fā)射的我們的u'v'色彩的定義，所W接收機(jī)必須知道使用了哪個蠟筆尖 端函數(shù)，即此信息也必須被發(fā)射，并且存在完成此操作的各種方式。例如S_im中的元數(shù)據(jù)可 包含LUT，其指定例如接收機(jī)必須使用的特定增益函數(shù)(對應(yīng)于內(nèi)容創(chuàng)建者通過例如在一個 或多個顯示器上觀看典型重構(gòu)質(zhì)量而使用的所選衰減函數(shù)）?；蛘咛鎿Q地，可發(fā)送函數(shù)的參 數(shù)函數(shù)描述。例如如果我們知道蠟筆尖端的上部區(qū)域保持線性的，則我們只需對尖端的最 底部分進(jìn)行編碼，并且我們可W例如發(fā)送軟剪裁偏差在該處開始的點(diǎn)（例如P'和P) W及函 數(shù)描述，例如線性段的斜率等。除運(yùn)些簡單且有利的變體之外，技術(shù)人員應(yīng)理解的是可W存 在用W定義蠟筆尖端的各種其它方式。
[0101] 圖8給出了關(guān)于如何確定用于E''的良好位置的示例。我們現(xiàn)在假設(shè)我們進(jìn)行尖端 定義，Y''現(xiàn)在是我們的皿R-EOTF定義的luma,并且因此E''也是如此。我們假設(shè)我們具有例 如用于5000 nit參考監(jiān)視器的HDR編碼。假設(shè)具有將把其置于白色峰值的約1/1000處的大 約10比特水平的噪聲的典型照相機(jī)材料，即我們件假設(shè)在5000 nit顯示器上呈現(xiàn)的5 nit W下，我們將看到大量噪聲，其將在MPEG DCT編碼之前需要u'v'的衰減。我們可W計算對于 例如12比特Iuma(最大值代碼4096)而言，艾普西隆E' '將是1024,運(yùn)將把其被置于代碼軸 的25%處。運(yùn)將看起來是高的，但是記住皿R Iuma代碼分配的EOTF是高度非線性的，因此25% 的Iuma代碼實(shí)際上是相當(dāng)暗的。約5nit，或者實(shí)際上0.1% luma。運(yùn)可W在圖8中看到，其中 我們已在本示例中描繪了我們的優(yōu)選解碼器增益函數(shù)801和編碼器衰減函數(shù)802W及HDR EOTF 803。艾普西隆點(diǎn)E' '是其中水平線變成斜線的地方，并且根據(jù)E0TF，我們可W將其理 解為落在約1000 Iuma代碼(或25%)或5nit輝度上。如果具有清楚得多的主信號（例如來自 更好的未來照相機(jī)或計算機(jī)圖形發(fā)生器），則可W計算類似的策略，并且可W針對更嚴(yán)重的 數(shù)字(DCT或其它，例如小波)編碼及其設(shè)想噪聲等設(shè)計類似的蠟筆尖端衰減策略。
[0102] 圖9示出了另一感興趣解碼器實(shí)施例902,特別地引入了U' ''，V' ''概念，其解決了 另一問題，即u，v向上轉(zhuǎn)換中的較暗Y' '，u'v'（或U' '，V' '）色彩的突出影響。編碼器901實(shí)際 上與上文所述的相同，并且使用例如一個固定的或任何可變的軟剪裁尖端蠟筆空間定義W 及衰減因數(shù)計算器(903)中的其相應(yīng)衰減策略。
[0103] 解碼器現(xiàn)在具有某些差異。首先，當(dāng)然，由于我們現(xiàn)在定義蠟筆尖端，Y ''在運(yùn)里是 基于HDR-EOTF的Iuma(在實(shí)驗(yàn)研究之后，發(fā)現(xiàn)其比例如輝度更適用，因?yàn)檫\(yùn)是實(shí)際上定義 Y' 'u'v'或Y' 'U' 'V' '色彩的東西）。在此圖中使用單劃來指示顯示器伽馬Iuma空間。其次， 我們已使空間向上縮放器移動W方便地在U，v定義中（但實(shí)際上在運(yùn)里在U' ' 'V' 劃線 UV平面中）工作。
[0104] 類似地，如在其它解碼器實(shí)施例中，向下縮放器必須對在發(fā)射的色彩編碼中接收 到的Iuma Y''（其在全分辨率上(例如4K))向下縮放至接收到的已編碼U''和V''圖像的向 下縮放分辨率。增益確定器911類似于圖2中的那個(355)，但是現(xiàn)在可W處理更一般的函 數(shù)。取決于輸入Y_xk值，針對乘法縮放器912輸出某個增益g(Y_xk)。我們現(xiàn)在優(yōu)選地在本實(shí) 施例中具有W下增益函數(shù)。在實(shí)驗(yàn)上，我們發(fā)現(xiàn)如果僅在尖端中用Y''的線性函數(shù)進(jìn)行縮 放，并且然后將此類縮放色彩的U' '，V' '值與另一色彩的其它U' '，V' '值混合，然后暗色在 結(jié)果得到的色彩中占主導(dǎo)，運(yùn)引入誤差。最開始可能傾向認(rèn)為(u，v)圖像可W如同任何其它 圖像一樣被進(jìn)行上采樣，因?yàn)槠浔硎緢鼍皩ο蟮牟牧系墓庾V濾波行為，并且對象空間紋理 將簡單地是可內(nèi)插的。但是難對付的事(devil)在非線性中，其現(xiàn)在在乘法中（無論是對象 光譜乘W光照，還是如在運(yùn)些技術(shù)表示中，Iuma縮放色度乘W實(shí)際像素 luma)。因此，應(yīng)實(shí)際 上在線性空間中完成比如幾何分辨率向上和向下縮放的線性函數(shù)，并且雖然我們已（如上 所述，由于與將圖像向上處理至高動態(tài)輝度范圍的能力有關(guān)的若干原因）使我們的技術(shù)實(shí) 施例調(diào)理至對u，v彩色色彩編碼維度起作用，但我們需要找到使得系統(tǒng)表現(xiàn)得更像線性系 統(tǒng)的策略(至少在其中要求此類線性行為的地方處的處理鏈內(nèi)部）。我們通過使用增益函數(shù) 來做到運(yùn)一點(diǎn)，該增益函數(shù)并未針對在E''W上的Y''保持等于一(如在圖8中），而是其中增 益斜率（W及僅解碼器的增益斜率，編碼器保持不變并保持比如例如802的形狀，其針對較 高的Y''變成1，或者換言之傳輸色彩空間保持具有尖端和然后的垂直圓筒壁的蠟筆形狀） W超過艾普西隆的Y' VE' '乘法而繼續(xù)。它還可針對那些較高Y' '值變成某個其它形狀(例 如W抵消產(chǎn)生Y''的EOTF的非線性性的特定細(xì)節(jié)），但是在研究中我們發(fā)現(xiàn)直到Y(jié)''_max的 簡單的線性繼續(xù)很好地工作。針對優(yōu)選增益的此繼續(xù)形狀函數(shù)在圖10中被示為1001。
[0105] 實(shí)際上，由于發(fā)射機(jī)已針對Y''<E''應(yīng)用增益策略的一部分，其是衰減，所W我們 只需針對在E'' W上的像素 Iuma提升色度即可。運(yùn)是在增益確定器911中用針對Y'' <=E'' 產(chǎn)生1的第一增益函數(shù)1002實(shí)現(xiàn)的（由于已經(jīng)由發(fā)射機(jī)使得那些u''、v''值是正確的，并且 我們將再使用那些值，即保持蠟筆空間的尖端形狀在E''W下W用于Conon空間的定義），但 定義在E' ' W上的線性增益提升，并且具有相同的斜率，即Y' VE' '。
[0106] 與那些增益相乘（當(dāng)被視為圖13中的蠟筆空間時）將創(chuàng)建Y' 'U' ' 'V' ''的色彩空 間，我們將把其稱為Conon空間。用于具有Y''>E''的色彩的色度被提升超過CIE U' V '的正 常范圍（即，我們現(xiàn)在修改在形成尖端的E''W下和W上（形成圓錐邊界)兩者的定義。因此 較高Y''的色彩(在E''W上的區(qū)域）中與較低Y''色彩相比在Conon空間中在對角線上移位， 即使其具有相同的u'v'或U' '，V' '坐標(biāo)(我們將其在圖3中通過將色彩1302的U' '_2和V' '_2 給予色彩1301來示出）。實(shí)際上，在我們的技術(shù)中實(shí)際上使用的是[U'''，V''']色彩平面， 并且特別地用于Y''_x的那個是零。因此運(yùn)意味著具有甚至相同色度（u'v'）的第二色彩 (u'''_2，v'''_2)將落在外面，即具有高于的值。因此現(xiàn)在任何明亮的 色彩與暗色相比在內(nèi)插中獲得更多權(quán)值(其中問題是在線性光中暗色將幾乎不帶來混合體 的任何變化，但是當(dāng)獨(dú)立于Y''時，將其色度混合給予它們在混合中的過多的重要性），獲得 接近于其在理論上應(yīng)是的上采樣結(jié)果。因此上采樣器913在Conon平面1310: [U' ''，V' 0中工作。當(dāng)然，為了然后得回正確的u'v'色度，我們優(yōu)選地但并非針對所需的所有實(shí)施例 取消針對Y' '〉E' '的對其的提升。運(yùn)可W由補(bǔ)償增益乘法器914完成，其從增益確定器915獲 得來自比如1001的函數(shù)的增益，其同時地修正蠟筆尖端中的發(fā)射機(jī)衰減W及針對Y''〉E'' 的中間提升。然而，由于此增益現(xiàn)在必須對(u'，v'）_4k的增加分辨率進(jìn)行工作，所W我們需 要4k分辨率Y''圖像。雖然可W實(shí)現(xiàn)其它變體，但如果向上縮放器916再次地對來自向下縮 放器910的向下縮放Y''_xk圖像進(jìn)行向上縮放，則我們發(fā)現(xiàn)質(zhì)量是最佳的。請注意，現(xiàn)在編 碼器具有向下縮放器999并且用于Y''_4k的解碼器向下具有縮放器910,并且優(yōu)選地其使用 同一算法，該算法優(yōu)選地被標(biāo)準(zhǔn)化。信號中的元數(shù)據(jù)可W定義一個或若干可編索引向下縮 放算法，但是由于運(yùn)處于我們的蠟筆空間定義的核屯、處，所W優(yōu)選地僅一個變體被標(biāo)準(zhǔn)化。 例如，元數(shù)據(jù)指定UV_DOWN=[ 1，1，1，。且1^_陽={ 1，3，9}。一般地，運(yùn)將是函數(shù)的唯一標(biāo)識符 W及一組權(quán)值。
[0107]我們已在圖14中示出了優(yōu)選算法。針對下采樣，我們僅可使用具有等于1/4的全部 4個抽頭的濾波器將下采樣u'v'值定位于中間。針對上采樣，我們可取決于每個上采樣點(diǎn)有 多接近于下采樣網(wǎng)格(參見圖14b)上的最近鄰點(diǎn)（例如，針對最近對比最遠(yuǎn)而采取比例9比 一等)而使用抽頭。
[010引現(xiàn)在在向上縮放后面，其中我們回到已還原的Y''u'v'空間中，還可W完成許多感 興趣的東西。我們一般地可W首先在任何Iuma縮放色彩表示中完成所有期望的彩色變換。 并且然后完成任何亮度影響變換，比如到具有其相應(yīng)Iuma相關(guān)線性或非線性=色色彩空間 的某個一般或特定(例如到1500 nit MDR顯示器的映射)情況的動態(tài)范圍變換。在解碼器實(shí) 施例902中，我們示出了用W直接地映射到某個顯示器的伽馬域顯示器驅(qū)動坐標(biāo)R'G'B'的 廉價方式。示例性地，運(yùn)可設(shè)及到色彩變換器920(在本示例中被布置成映射到X/Y，即使得 UV返回到Iuma縮放的基于XYZ的3D色彩平面定義，或某個其它變換）、色彩變換器921(在本 示例中投影到色彩表示R/Y等）、非線性色彩變換器922(在本示例中被布置成應(yīng)用從R/Y到 R VY'的Iuma縮放色彩平面之間的非線性映射，其實(shí)際上在此表示中實(shí)現(xiàn)顯示器OETF的轉(zhuǎn) 換(或者實(shí)際上逆E0TF，即逆伽馬，即例如逆平方根）。由于我們的Y''u''v''系統(tǒng)的極好的 解禪，還可W將所有所需的非彩色處理分組為一個最終映射(例如LUT)，由色值映射器930 實(shí)現(xiàn)。在運(yùn)種情況下，我們向其加載概念子單元931(其在我們的HDR-EOTF定義Iuma代碼Y'' 與輝度Y之間重新映射）W及通過對輝度應(yīng)用用于顯示器的OETF而朝向顯示器空間Y'的映 射932。但是在運(yùn)里可W實(shí)現(xiàn)許多更多的色值映射單元(無論確實(shí)實(shí)際上作為同一或不同映 射硬件中的連續(xù)計算，還是僅僅一次的單個級聯(lián)映射），例如分級器可實(shí)現(xiàn)微調(diào)，其在我們 例如將在例如3000 nit參考顯示器上分級的Y' 'U' 'V' '圖像移動至實(shí)際的例如250 nit顯 示器時對其品味進(jìn)行編碼。此函數(shù)然后可例如在Iuma軸的某個重要子區(qū)域中使對比度衰減 (我們可W將其假設(shè)為是[0，1])，即存在大約比方說例如0.2的強(qiáng)斜率。我們還可W添加例 如用于近似不同的周圍觀看環(huán)境所需的效果的伽馬?？蒞完成Iuma的所有種類的更多調(diào) 諧，例如W補(bǔ)償我們在被合并到本文中的未預(yù)先公開的PCT/IB2014/0558848中公開的TDR 型編碼等，最終達(dá)到期望的Y' luma, W便導(dǎo)出要在比如例如RGB或XYZ的設(shè)備無關(guān)表示中或 者是用于驅(qū)動特定顯示器的最佳設(shè)備相關(guān)的表示(比如R'G'B'）中呈現(xiàn)的最終色彩。
[0109]圖11示出了另一實(shí)施例，其在HDR圖像重構(gòu)質(zhì)量方面略微不那么準(zhǔn)確，但是在硬件 方面更廉價。我們在運(yùn)里具有像在圖9中一樣的類似組件，再次地在u，v上具有上采樣，但是 現(xiàn)在是在已還原的u'v'坐標(biāo)上。在運(yùn)里用皿R-EOTF確定的Iuma Y' '對蠟筆尖端進(jìn)行衰減和 提升，并且不存在在Y''〉E''的情況下針對色度的改變。因此增益確定器1101的gain2函數(shù) 簡單地是發(fā)射機(jī)衰減確定單元1102所使用的函數(shù)的逆形狀(1/衰減）。
[0110] 圖12是另一解碼器實(shí)施例，其再次地實(shí)現(xiàn)類似教導(dǎo)，但現(xiàn)在其輸出線性RGB坐標(biāo)， 并且因此Iuma縮放色彩平面實(shí)施例現(xiàn)在是輝度縮放類別實(shí)施例，具有色彩映射器1205W及 色彩映射器1206。向上縮放器1204像在圖11中一樣對u'v'工作。增益確定單元1202如在圖9 中類似地工作，其是已剪裁的線性增益或軟剪裁變體。然而，在運(yùn)里我們已表明艾普西隆 E''可根據(jù)解碼器是在處理LDR還是HDR圖像(或者甚至潛在地在中間的某個東西）而改變。 因此輸入的Y''U''V''值僅僅是用于兩種情況的YCrCb MPEG值的正常范圍內(nèi)的值，但是實(shí) 際上在像素色彩中的東西(其在其HDR圖像編碼時將顯示為例如黑暗地下室的暗得多的圖 像，即其在例如輝度1%或例如1200的IumaW下的直方圖的顯著百分比）是不同的。并且解碼 器知道其是正在處理LDR圖像還是皿R圖像。在本示例中，E''的不同值（在圖12中表示為 (LDR)對比化DR))被輸入到解碼器(例如來自S_im中的元數(shù)據(jù)），其可W將其用來對所需的 增益函數(shù)形狀進(jìn)行參數(shù)重構(gòu)。同樣的內(nèi)容在色值映射器1208中示出，其針對HDR情形對比 LDR情形可W使用不同的函數(shù)。當(dāng)然，由于如果我們需要驅(qū)動例如800 nit顯示器，則我們是 否獲得比方說黑暗地下室場景的暗HDR版本(在運(yùn)種情況下，色值映射必須使圖像的較暗區(qū) 域略微變亮，因?yàn)?00 nit監(jiān)視器不如例如對于其而言皿R分級圖像最佳的5000 nit參考監(jiān) 視器那么亮），對比當(dāng)解碼器獲得100 nit參考LDR輸入Y''u''v''圖像時，其已變亮(在運(yùn)種 情況下，可能需要黑暗的變暗W使得它們在800 nit顯示器上更加逼真地暗，并且場景中的 燈然后相對更亮因此更凸出（popping))，用W獲得最佳外觀的處理將是不同的。下采樣器 1201和乘法縮放器1203在運(yùn)里可W與已描述的相同。
[0111] 在本文中公開的算法組件可(完全或部分地)實(shí)際上被實(shí)現(xiàn)為硬件(例如，專用IC 的一部分)或者作為在特殊數(shù)字信號處理器或通用處理器等上運(yùn)行的軟件。
[0112] 技術(shù)人員從我們的介紹應(yīng)可理解哪些組件可W是可選的改進(jìn)并可W與其它組件 相組合地實(shí)現(xiàn)，W及方法的（可選)步驟如何對應(yīng)于裝置的各部件，并且反之亦然。在本申請 中的詞語"裝置"被W其最寬泛意義使用，即允許實(shí)現(xiàn)特定目標(biāo)的一組構(gòu)件，并且因此可W 是IC(的小電路部分)或者專用設(shè)備(諸如具有顯示器的設(shè)備)或聯(lián)網(wǎng)系統(tǒng)的一部分等。"布 置"也意圖在最寬泛意義上使用，因此其可特別地包括單個裝置、裝置的一部分、合作裝置 (的一部分)的集合等。
[0113] 應(yīng)將計算機(jī)程序產(chǎn)品表示理解成包含使得通用或?qū)Ｓ锰幚砥髟谝幌盗械募虞d步 驟(其可包括中間轉(zhuǎn)換步驟，諸如到中間語言W及最終處理器語言的翻譯)之后能夠向處理 器中輸入命令并執(zhí)行本發(fā)明的任何特性函數(shù)的命令的集合的任何物理實(shí)現(xiàn)。特別地，可將 計算機(jī)程序產(chǎn)品實(shí)現(xiàn)為諸如例如磁盤或磁帶之類的載體上的數(shù)據(jù)、存在于存儲器中的數(shù) 據(jù)、經(jīng)由有線或無線網(wǎng)絡(luò)連接傳播的數(shù)據(jù)或在紙上的程序代碼。除程序代碼之外，還可將程 序所需的特性數(shù)據(jù)體現(xiàn)為計算機(jī)程序產(chǎn)品。
[0114] 本方法的操作所需的某些步驟可存在于處理器的功能中而不是在計算機(jī)程序產(chǎn) 品中描述，諸如數(shù)據(jù)輸入和輸出步驟。
[0115] 應(yīng)注意的是上述實(shí)施例舉例說明而不是限制本發(fā)明。在技術(shù)人員可W容易地認(rèn)識 提出的示例到權(quán)利要求的其它區(qū)域的映射的情況下，我們?yōu)榱撕喢髌鹨姸瓷钊氲靥岬剿?有運(yùn)些選項(xiàng)。除如在權(quán)利要求中組合的本發(fā)明的元素的組合之外，元素的其它組合是可能 的。可W在單個專用元件中實(shí)現(xiàn)元件的任何組合。
[0116]權(quán)利要求中的括號內(nèi)的任何參考標(biāo)號并不意圖用于限制權(quán)利要求。
【主權(quán)項(xiàng)】
1. 一種視頻解碼器(350)，其具有用于接收通過視頻傳輸系統(tǒng)發(fā)射或在視頻存儲產(chǎn)品 上接收到的圖像的高動態(tài)范圍視頻信號（S_im)的輸入端(358)，其中像素色彩是用非彩色 luma(Y'）坐標(biāo)和兩個色度坐標(biāo)(u' '，v' '）進(jìn)行編碼的，所述視頻解碼器按照處理順序包括： 首先，空間上采樣單元(913)，其被布置成隨著色度坐標(biāo)(u''，v''）增加圖像分量的分辨率； 其次，色彩變換單元(909)，其被布置成針對增加分辨率色度分量圖像的像素將色度坐標(biāo)變 換成三個輝度無關(guān)的紅色、綠色和藍(lán)色色彩分量，所述色彩分量被定義成使得此類色彩的 最大可能luma是1 ·0,以及第三，輝度縮放單元(930)，其被布置成通過用基于非彩色luma (Y'）坐標(biāo)計算的公共luma因數(shù)進(jìn)行縮放而將三個輝度無關(guān)的紅色、綠色和藍(lán)色色彩分量變 換成輝度相關(guān)的紅色、綠色和藍(lán)色色彩表示。2. 如權(quán)利要求1所述的視頻解碼器(350)，其中輸入圖像的色度坐標(biāo)(u''，v''）被定義 成針對具有在閾值luma(E '）以下的luma(Y'）的像素具有最大飽和度，該最大飽和度隨著像 素 luma(Y'）在閾值luma(E'）以下的量單調(diào)遞減。3. 如權(quán)利要求2所述的視頻解碼器（350)，其中按照處理順序包括：首先，向下縮放器 (910)，其被布置成用子采樣因數(shù)對luma(Y'）的輸入分量圖像進(jìn)行空間子采樣;然后，增益 確定器(911)，其被布置成基于該子采樣圖像中的每個像素的luma(Y''2k)來確定第一增益 (gl);然后，乘法縮放器(912)，其被布置成將色度坐標(biāo)與第一增益相乘以產(chǎn)生中間色度 (u' ''，v' ''），在并行處理分支中包括：向上縮放器(916)，其被布置成用同一子采樣因數(shù)對 luma(Y''2k)的子采樣圖像再次地進(jìn)行向上縮放；以及第二增益確定器(915)，其被布置成 基于重新上采樣的luma圖像的luma(Y' '4k)來計算第二增益(g2);然后主要處理分支還包 括:上采樣器(913)，其被布置成將中間色度(u' ' '，v' ' '）上采樣至luma(Y'）的輸入分量圖 像的分辨率;然后，第二增益乘法器(914)，其被布置成將向上縮放的色度分量圖像的色度 與第二增益(g2)相乘。4. 如權(quán)利要求3所述的視頻解碼器，其中通過如果色彩具有低于閾值E''的luma Y'' 則用衰減函數(shù)使u'v'坐標(biāo)衰減以及如果色彩具有高于閾值E' '的luma Y' '則用提升函數(shù)來 提升u'v'坐標(biāo)，而根據(jù)CIE 1976 u'，v'坐標(biāo)來定義中間色度(u'''，v'''）。5. -種高度動態(tài)范圍視頻解碼的方法，包括： 接收通過視頻傳輸系統(tǒng)發(fā)射或在視頻存儲產(chǎn)品上接收到的圖像的視頻信號(S_im)，其 中像素色彩是用非彩色luma(Y'）坐標(biāo)和兩個色度坐標(biāo)(u' '，v' '）進(jìn)行編碼的，所述方法按 照處理順序還包括:空間上采樣以隨著色度坐標(biāo)U' '，v' '）增加圖像分量的分辨率;其次， 針對增加分辨率色度分量圖像的像素將色度坐標(biāo)變換成三個輝度無關(guān)的紅色、綠色和藍(lán)色 色彩分量，所述色彩分量被定義成使得此類色彩的最大可能luma是1.0;以及第三，通過用 基于非彩色luma(Y'）坐標(biāo)計算的公共luma因數(shù)進(jìn)行縮放而將三個輝度無關(guān)的紅色、綠色和 藍(lán)色色彩分量變換成輝度相關(guān)的紅色、綠色和藍(lán)色色彩表示。6. 如權(quán)利要求5所述的視頻解碼的方法，包括：以被定義成針對具有在閾值luma(E'） 以下的luma(Y'）的像素具有隨著像素 luma(Y'）在閾值luma(E'）以下的量單調(diào)遞減的最大 飽和度的格式來接收兩個色度坐標(biāo)U' '，v' '），以及在執(zhí)行空間上采樣之前將這些色度坐 標(biāo)(11''，￥''）轉(zhuǎn)換成標(biāo)準(zhǔn)0；^ 1976 11￥色度。7. -種包括代碼的計算機(jī)程序產(chǎn)品，該代碼當(dāng)在處理器上被執(zhí)行時執(zhí)行權(quán)利要求5或 權(quán)利要求6的所有方法步驟。
【文檔編號】H04N9/67GK105981361SQ201580009609
【公開日】2016年9月28日
【申請日】2015年2月21日
【發(fā)明人】J.H.C.J.斯特斯森, R.J.范德維勒尤坦, J.G.R.V.莫里克, R.尼蘭德
【申請人】皇家飛利浦有限公司