自適應(yīng)分區(qū)編碼的制作方法
【專利摘要】雖然與輪廓分區(qū)相比基于楔形波的分區(qū)似乎代表了一方面為邊信息速率與另一方面為能夠?qū)崿F(xiàn)的分區(qū)可能性變化之間的更好的權(quán)衡，但是將對分區(qū)的約束減輕至分割必須為楔形波分區(qū)的程度的能力使得能夠?qū)χ丿B空間采樣紋理信息應(yīng)用相對不復(fù)雜的統(tǒng)計分析，以獲得用于深度/視差映射的雙分割的良好預(yù)測器。因而，根據(jù)第一方:面，在存在圖片形式的同位紋理信息的情況下，確：切地增加了使傳訊開銷減小的自由。另一方面涉j及節(jié)省與傳訊支持不規(guī)則分區(qū)的相應(yīng)編碼模式有'關(guān)的邊信息速率的可能性。I
【專利說明】自適應(yīng)分區(qū)編碼
[0001] 本發(fā)明涉及使用輪廓（contour)塊分區(qū)或允許高自由度的塊分區(qū)的樣本陣列編 碼。
[0002] 許多編碼方案使用將樣本陣列細分成塊來壓縮樣本陣列數(shù)據(jù)。樣本陣列可以限定 對紋理的空間采樣即圖片，但是當(dāng)然可以使用相似的編碼技術(shù)諸如深度映射等來壓縮其他 的樣本陣列。由于通過各個樣本陣列被空間采樣的信息的性質(zhì)不同，所以不同的編碼構(gòu)思 最適合不同種類的樣本陣列。然而，與樣本陣列的種類無關(guān)地，這些編碼構(gòu)思中的許多編碼 構(gòu)思都使用塊細分（block-subdivisioning)以將單獨編碼選項分配給樣本陣列的塊，從 而找到一方面為用于對分配給單獨塊的編碼參數(shù)進行編碼的邊信息速率與用于對由于錯 誤預(yù)測相應(yīng)塊而產(chǎn)生的預(yù)測殘差進行編碼的殘差編碼速率之間的良好權(quán)衡，或在殘差編碼 或無殘差編碼的情況下找到速率/失真意義上的良好組成。
[0003] 通常，塊為矩形或方形形狀。明顯地，有利的是能夠使編碼單位（塊）的形狀適應(yīng) 于待編碼的樣本陣列的內(nèi)容。然而不幸的是，使塊或編碼單位的形狀適應(yīng)于樣本陣列內(nèi)容 涉及花費（spend)用于塊分區(qū)傳訊（signal)的另外的邊信息。已發(fā)現(xiàn)對塊的楔形波型分 區(qū)為可能的塊分區(qū)形狀與所涉及的邊信息開銷之間的適當(dāng)折衷。楔形波型分區(qū)導(dǎo)致將塊分 區(qū)成例如可以使用特定編碼參數(shù)的楔形波分區(qū)。
[0004] 然而，甚至對楔形波分區(qū)的約束也導(dǎo)致用于傳訊塊的分區(qū)的大量的另外的開銷， 因此有利的是手頭上具有如下更有效的編碼構(gòu)思：其使得能夠以更高效的方式在樣本陣列 編碼中獲得對塊進行分區(qū)的較高自由度。
[0005] 該目的是通過未決的獨立權(quán)利要求的主題來實現(xiàn)的。
[0006] 基于本發(fā)明的主要構(gòu)思為：與輪廓分區(qū)相比，盡管基于楔形波的分區(qū)似乎代表了 一方面為邊信息速率與另一方面為能夠?qū)崿F(xiàn)的分區(qū)可能性變化之間的較好的權(quán)衡，但是將 對分區(qū)的約束減輕至分區(qū)必須為楔形波分區(qū)的程度的能力使得能夠?qū)χ丿B空間采樣紋理 信息應(yīng)用相對不復(fù)雜的統(tǒng)計分析，從而得到用于深度/視差映射中雙分割的良好預(yù)測器。 從而，根據(jù)第一方面，只要存在采用圖片形式的同位紋理信息，就能夠確切地增加使傳訊開 銷減小的自由。
[0007] 本發(fā)明的另一方面所基于的另一個想法為：根據(jù)剛剛概述的構(gòu)思，基于圖片內(nèi)的 同位參考塊得到雙分割以及隨后將該雙分割轉(zhuǎn)移至深度/視差映射的當(dāng)前塊上，該剛剛概 述的構(gòu)思僅在下述情況下是合理的：實現(xiàn)對深度/視差映射的當(dāng)前塊的內(nèi)容的良好近似的 似然性足夠高以使得調(diào)整（justify)對應(yīng)編碼選項標(biāo)識符的相應(yīng)預(yù)定值的保留，以便觸發(fā) 該雙分割轉(zhuǎn)移模式。換句話說，在無論如何都非常不可能選擇相應(yīng)的雙分割轉(zhuǎn)移的情況下， 通過避免在對該編碼選項標(biāo)識符進行熵編碼時需要考慮用于深度/視差映射的當(dāng)前塊的 編碼選項標(biāo)識符的相應(yīng)預(yù)定值，可以節(jié)省邊信息速率。
[0008] 另外的子方面為從屬權(quán)利要求的主題。
[0009] 下面關(guān)于附圖來對本發(fā)明的優(yōu)選實施方式進行更詳細的描述，在附圖中：
[0010] 圖1示出了根據(jù)示例的其中可建立本發(fā)明的實施方式的多視圖編碼器的框圖； [0011] 圖2示出了用于說明跨視圖和視頻深度/視差邊界再利用信息的多視圖信號的一 部分的示意圖；
[0012] 圖3示出了適于圖1的解碼器的框圖；
[0013] 圖4示出了方形塊在連續(xù)信號空間（左）和離散信號空間（右）中的楔形波分 區(qū)；
[0014] 圖5示出了楔形波塊分區(qū)的六個不同方位的示意圖；
[0015] 圖6示出了針對塊尺寸為4X4(左）、8X8(中間）以及16X16(右）的楔形波分 區(qū)圖案的示例；
[0016] 圖7示出了使用楔形波模型通過組合分區(qū)信息和CPV(分區(qū)區(qū)域中深度信號的平 均值）進行的深度信號近似；
[0017] 圖8示出了楔形波分區(qū)圖案的生成；
[0018] 圖9示出了方形塊在連續(xù)信號空間（左）和離散信號空間（右）中的輪廓分區(qū)；
[0019] 圖10示出了針對塊尺寸為8X8的輪廓分區(qū)圖案的示例；
[0020] 圖11示出了使用輪廓模型通過組合分區(qū)信息和CPV(分區(qū)區(qū)域中深度信號的平均 值）進行的深度信號近似；
[0021] 圖12示出了針對上方參考塊是楔形波分區(qū)類型（左）或規(guī)則幀內(nèi)方向類型（右） 的情形的楔形波分區(qū)（藍色）的幀內(nèi)預(yù)測；
[0022] 圖13示出了根據(jù)紋理亮度參考而對楔形波（藍色）和輪廓（綠色）分區(qū)信息的 預(yù)測；
[0023] 圖14示出了塊分區(qū)的CPV :根據(jù)相鄰塊的鄰近樣本（左）和塊的橫截面（右）的 CPV預(yù)測，其中示出了不同CPV類型之間的關(guān)系；
[0024] 圖15示出了基于紋理亮度方差的模式預(yù)選；
[0025] 圖16示出了根據(jù)實施方式的解碼器的框圖；
[0026] 圖17示出了適于圖16的編碼器的框圖；
[0027] 圖18示出了根據(jù)實施方式的解碼器的框圖；
[0028] 圖19示出了適于圖18的編碼器的框圖；
[0029] 圖20示出了根據(jù)實施方式的解碼器的框圖；
[0030] 圖21示出了適于圖20的編碼器的框圖；
[0031] 圖22示出了根據(jù)實施方式的解碼器的框圖；
[0032] 圖23示出了適于圖22的編碼器的框圖；
[0033] 圖24示出了根據(jù)實施方式的解碼器的框圖；以及
[0034] 圖25示出了適于圖24的編碼器的框圖。
[0035] 本發(fā)明的優(yōu)選實施方式的下面的描述開始于可有利地使用本發(fā)明的實施方式的 可能的環(huán)境。具體地，關(guān)于圖1至圖3來描述根據(jù)實施方式的多視圖編解碼器。然而，應(yīng)當(dāng) 強調(diào)的是，后文中描述的實施方式不限于多視圖編碼。不過，可以更好地理解以下進一步描 述的一些方面，并且這些方面在與多視圖編碼或者更確切地說尤其與深度映射的編碼一起 使用時具有特殊的協(xié)同作用。因此，在圖1至圖3之后，描述繼續(xù)進行對不規(guī)則塊分區(qū)及其 涉及的問題的介紹。該描述參考圖4至圖11并且形成用于此后所描述的本發(fā)明的實施方 式的描述的基礎(chǔ)。
[0036] 如剛剛所述，以下進一步概述的實施方式在圖像和視頻編碼應(yīng)用中使用非矩形或 不規(guī)則塊分區(qū)和建模函數(shù)，并且特別適用于對諸如用于表示場景的幾何結(jié)構(gòu)的深度映射的 編碼，盡管這些實施方式也可適用于常規(guī)的圖像和視頻編碼。以下進一步概述的實施方式 還提供了用于在圖像和視頻編碼應(yīng)用中使用非矩形塊分區(qū)和建模函數(shù)的構(gòu)思。這些實施方 式特別適用于對（用于表示場景的幾何結(jié)構(gòu)）深度映射的編碼，而且還適用于常規(guī)的圖像 和視頻編碼。
[0037] 在多視圖視頻編碼中，將視頻場景的（被多個攝像機同時捕獲到的）兩個或更多 個視圖編碼在單個比特流中。多視圖視頻編碼的主要目標(biāo)是通過提供3d觀看印象來向最 終用戶提供高級多媒體體驗。如果對兩個視圖進行編碼，則可以在（具有眼鏡的）常規(guī)立體 顯示器上顯示兩個重構(gòu)視頻序列。然而，需要使用用于常規(guī)立體顯示器的眼鏡對于用戶而 言常常是麻煩的。使得能夠在無眼鏡情況下實現(xiàn)高質(zhì)量立體觀看印象是當(dāng)前最重要的研究 和發(fā)展課題。用于這樣的自動立體顯示器的有前景的技術(shù)基于雙凸透鏡系統(tǒng)。在原理上， 按照使得同時顯示視頻場景的多個視圖的方式在常規(guī)顯示器上安裝柱面透鏡的陣列。每個 視圖顯示在小椎體中，使得用戶的每只眼睛看見不同的圖像；該效果在無特殊眼鏡的情況 下產(chǎn)生了立體印象。然而，這樣的自動立體顯示器通常需要相同視頻場景的10至30個視 圖（如果進一步改進技術(shù)則會需要甚至更多的視圖）。還可以將多于2個的視圖用于向用 戶提供以交互方式選擇針對視頻場景的視點的可能性。然而，與常規(guī)的單視圖（2d)視頻相 t匕，對視頻場景的多個視圖的編碼急劇增大所需要的位速率。通常，所需要的位速率隨著編 碼視圖的數(shù)目而以近似線性的方式增大。用于減少自動立體顯示器的傳送數(shù)據(jù)量的構(gòu)思包 括：傳送僅小數(shù)目的視圖（或許2至5個視圖），而且另外傳送所謂的深度映射，所述深度 映射表示用于一個或更多個視圖的圖像樣本的深度（真實世界對象距攝像機的距離）。鑒 于小數(shù)目的編碼視圖和對應(yīng)的深度映射，可以通過適合的渲染（rendering)技術(shù)在接收機 側(cè)產(chǎn)生高質(zhì)量中間視圖（位于編碼視圖之間的虛擬視圖）_以及在某種程度上還有相對攝 像機陣列的一端或兩端的另外的視圖。
[0038] 在圖像和視頻編碼的現(xiàn)有技術(shù)中，通常將圖片或用于圖片的樣本陣列的具體集合 分解成與特定編碼參數(shù)關(guān)聯(lián)的塊。該圖片通常包括多個樣本陣列（亮度和色度）。另外，圖 片還可以與另外的輔助樣本陣列關(guān)聯(lián)，該另外的輔助樣本陣列可以例如指定透明度信息或 深度映射。通常將每個圖片或樣本陣列分解成塊。通過圖片間預(yù)測或圖片內(nèi)預(yù)測來預(yù)測所 述塊（或樣本陣列的對應(yīng)塊）。塊可以具有不同的尺寸，并且可以為方形或矩形。將圖片分 區(qū)成塊可以通過語法（syntax)來固定，或者可以（至少部分地）在比特流內(nèi)被傳訊。常常 傳送：傳訊針對預(yù)定尺寸的塊進行細分的語法元素。例如，為了預(yù)測的目的，這樣的語法元 素可以指定是否或如何將塊細分成更小的塊且與編碼參數(shù)關(guān)聯(lián)。針對塊的所有樣本（或樣 本陣列的對應(yīng)塊），以一定的方式指定對關(guān)聯(lián)的編碼參數(shù)的解碼。在示例中，使用如下預(yù)測 參數(shù)的相同集合來預(yù)測塊中的所有樣本：諸如參考索引（標(biāo)識已編碼圖片集合中的參考圖 片）、運動參數(shù)（指定針對塊在參考圖片與當(dāng)前圖片之間的運動的測量）、用于指定內(nèi)插濾 波器的參數(shù)、幀內(nèi)預(yù)測模式等。運動參數(shù)可以用具有水平分量或垂直分量的位移矢量或者 用包括六個分量的高階運動參數(shù)諸如仿射運動參數(shù)來表示。還可能的是，具體的預(yù)測參數(shù) (諸如參考索引和運動參數(shù)）的多于一個的集合與單個塊關(guān)聯(lián)。在該情況下，針對這些具體 的預(yù)測參數(shù)的每個集合，生成用于該塊（或樣本陣列的對應(yīng)塊）的單個中間預(yù)測信號，并通 過包括疊加中間預(yù)測信號的組合來建立最終預(yù)測信號。對應(yīng)的加權(quán)參數(shù)以及潛在地還有恒 定偏移（該恒定偏移相加至與加權(quán)和）對于圖片、或參考圖片或參考圖片集合可以是被固 定的，或者可以將它們包括在用于對應(yīng)塊的預(yù)測參數(shù)集合中。通常對原始塊（或樣本陣列 的對應(yīng)塊）與它們的預(yù)測信號之間的差-還稱為殘差信號-進行變換并量化。常常將二維 變換應(yīng)用于殘差信號（或用于殘差塊的對應(yīng)樣本陣列）。針對變換編碼，還可以在應(yīng)用變換 之前拆分使用了預(yù)定參數(shù)的特定集合的塊。變換塊可以等于或小于用于預(yù)測的塊。還可能 的是，變換塊包括用于預(yù)測的塊中的多于一個的塊。不同的變換塊可以具有不同的尺寸，并 且變換塊可以表示方形或矩形塊。在變換之后，對所得到的變換系數(shù)進行量化，并獲得所謂 的變換系數(shù)水平。對變換系數(shù)水平以及預(yù)測參數(shù)、如果存在的話還有細分信息進行熵編碼。
[0039] 而且，現(xiàn)有技術(shù)的編碼技術(shù)諸如ITU-T Rec.H. 264 |IS0/IEC JTC11449610或用于 HEVC的當(dāng)前運行模型還適用于深度映射，還特別設(shè)計了編碼工具以用于對自然視頻的編 碼。深度映射作為自然視頻序列的圖片具有不同的特性。例如，深度映射包含較少的空間細 節(jié)。它們主要通過尖銳邊緣（其表示對象邊界）和幾乎恒定或慢變的樣本值的較大區(qū)（其 表示對象區(qū)）來表征。如果通過應(yīng)用被特別設(shè)計用于利用深度映射性質(zhì)的編碼工具來對深 度映射進行更高效地編碼，則可以改進使用深度映射的多視圖視頻編碼的總編碼效率。
[0040] 為了用作針對可以有利地使用本發(fā)明的后續(xù)說明的實施方式的可能編碼環(huán)境的 基礎(chǔ)，以下關(guān)于圖1至圖3來進一步描述可能的多視圖編碼構(gòu)思。
[0041] 圖1示出了根據(jù)實施方式的用于對多視圖信號進行編碼的編碼器。圖1的多視圖 信號以10示意性地表示為包括兩個視圖12 1和122，然而圖1的實施方式使用較高數(shù)目的 視圖也是可行的。此外，根據(jù)圖1的實施方式，每個視圖12 1和122包括視頻14和深度/視 差映射數(shù)據(jù)16,然而以下進一步描述的實施方式的有利原理中的許多有利原理在與視圖不 包括任何深度/視差映射數(shù)據(jù)的多視圖信號結(jié)合使用的情況下也會是有利的。
[0042] 相應(yīng)視圖121和122的視頻14表示沿著不同投影/觀看方向的共同場景的投影 的時空采樣。優(yōu)選地，視圖12i和12 2的視頻14的時間采樣速率彼此相等，然而不是必須 需要滿足該約束。如圖1所示，優(yōu)選地，每個視頻14包括每個幀與相應(yīng)的時間戳t、t-1、 關(guān)聯(lián)的幀序列。在圖1中，用來表示視頻幀。每個幀vi;t表示在相應(yīng) 的時間戳t沿著相應(yīng)的觀看方向的場景i的空間采樣，并且由此包括一個或更多個樣本陣 列，例如像針對亮度樣本的一個樣本陣列和關(guān)于色度樣本的兩個樣本陣列，或僅亮度樣本 或針對其他顏色分量（諸如RGB顏色空間的顏色分量等）的樣本陣列。一個或更多個樣本 陣列的空間分辨率既可以在一個視頻14內(nèi)不同又可以在不同的視圖12i和12 2的視頻14 內(nèi)不同。
[0043] 類似地，深度/視差映射數(shù)據(jù)16表示沿著視圖121和122的相應(yīng)觀看方向測量的、 共同場景的場景對象的深度的時空采樣。深度/視差映射數(shù)據(jù)16的時間采樣速率可以等 于或者可以不同于與圖1所描繪的視圖相同的視圖的關(guān)聯(lián)視頻的時間采樣速率。在圖1的 情況下，每個視頻幀v已與相應(yīng)視圖12i和12 2的深度/視差映射數(shù)據(jù)16的相應(yīng)深度/視 差映射d相關(guān)聯(lián)。換句話說，在圖1的不例中，視圖i和時間戮t的每個視頻巾貞v i;t具有與 其關(guān)聯(lián)的深度/視差映射di;t。關(guān)于深度/視差映射d的空間分辨率，如以上關(guān)于視頻幀所 指出的那樣，同樣可適用。即，空間分辨率可以在不同視圖的深度/視差映射之間不同。
[0044] 為了有效地壓縮多視圖信號10,圖1的編碼器將視圖12i和122并行地編碼至數(shù) 據(jù)流18中。然而，再利用用于對第一視圖12i進行編碼的編碼參數(shù)，以采用與待在對第二 視圖1?進行編碼中使用的第二編碼參數(shù)相同的參數(shù)或預(yù)測所述第二編碼參數(shù)。通過該措 施，圖1的編碼器利用這樣的事實，根據(jù)所述事實，視圖12i和12的并行編碼導(dǎo)致編碼器類 似地確定針對這些視圖的編碼參數(shù)，使得可以有效地利用這些編碼參數(shù)之間的冗余以增大 壓縮率或速率/失真比（其中失真被測量為例如兩個視圖的平均失真，以及速率被測量為 整個數(shù)據(jù)流18的編碼速率）。
[0045] 具體地，圖1的編碼器總體上用附圖標(biāo)記20來表示，并且包括用于接收多視圖信 號10的輸入和用于輸出數(shù)據(jù)流18的輸出。如可以在圖2中觀察到的，圖1的編碼器20包 括針對每個視圖12i和12 2的兩個編碼分支，即針對視頻數(shù)據(jù)的一個編碼分支和針對深度/ 視差映射數(shù)據(jù)的另一個編碼分支。因此，編碼器20包括針對視圖1的視頻數(shù)據(jù)的編碼分支 22 Vil、針對視圖1的深度視差映射數(shù)據(jù)的編碼分支22^、針對第二視圖的視頻數(shù)據(jù)的編碼分 支22v， 2以及針對第二視圖的深度/視差映射數(shù)據(jù)的編碼分支2242。以相似方式構(gòu)造這些 編碼分支22中的每個編碼分支。為了描述編碼器20的構(gòu)造和功能，從編碼分支22 Vil的構(gòu) 造和功能開始下面的描述。該功能對于所有分支22是共同的。此后，討論分支22的單獨 特性。
[0046] 編碼分支22νΛ用于對多視圖信號12的第一視圖12i的視頻11進行編碼，并且因 此分支22 Vil具有用于接收視頻的輸入。除此之外，分支22Vil包括按照提到的順序彼此 串聯(lián)連接的：減法器24、量化/變換模塊26、去量化/逆變換模塊28、加法器30、進一步處 理模塊32、解碼圖片緩沖器34、進而彼此并聯(lián)連接的兩個預(yù)測模塊36和38、以及連接在一 方面為預(yù)測模塊36和38的輸出與另一方面為減法器24的反相輸入之間的組合器或選擇 器40。組合器40的輸出還連接至加法器30的另一輸入。減法器24的非反相輸入接收視 頻IV
[0047] 編碼分支22Vil的元件24至40協(xié)作使得對視頻進行編碼。該編碼以特定部分 為單位對視頻進行編碼。例如，在對視頻進行編碼時，將幀分割成段諸如塊或 其他的樣本組。該分割可以是隨時間推移而恒定的，或者可以在時間上變化。此外，該分割 可以為編碼器和解碼器默認已知的，或者可以在數(shù)據(jù)流18內(nèi)被傳訊（signal)。該分割可以 是使幀成為塊的規(guī)則分割（諸如按行和列的塊的非重疊布置），或者可以是成為大小變化 的塊的基于四叉樹的分割。在圖1至圖3的下面描述中，在減法器24的非反相輸入處進入 的視頻的當(dāng)前編碼段被稱為視頻11的當(dāng)前塊。
[0048] 預(yù)測模塊36和38用于預(yù)測當(dāng)前塊，并且為此目的，預(yù)測模塊36和38使其輸入連 接至解碼圖片緩沖器34。實際上，預(yù)測模塊36和38二者使用駐留在解碼圖片緩沖器34中 的視頻的先前重構(gòu)部分，以預(yù)測進入減法器24的非反相輸入的當(dāng)前塊。在這方面，預(yù)測 模塊36用作根據(jù)視頻的相同幀的空間上相鄰、已重構(gòu)的部分來空間上預(yù)測視頻的 當(dāng)前部分的幀內(nèi)預(yù)測器，而預(yù)測模塊38用作根據(jù)視頻的先前重構(gòu)幀來時間上預(yù)測當(dāng)前 部分的幀間預(yù)測器。模塊36和38二者執(zhí)行基于特定的預(yù)測參數(shù)或通過特定的預(yù)測參數(shù)描 述的預(yù)測。更確切地說，后者的參數(shù)由編碼器20在一些優(yōu)化架構(gòu)中確定，所述優(yōu)化架構(gòu)用 于在一些約束諸如最大比特率下或無任何約束情況下對一些優(yōu)化目標(biāo)進行優(yōu)化，諸如對速 率/失真比進行優(yōu)化。
[0049] 例如，幀內(nèi)預(yù)測模塊36可以確定針對當(dāng)前部分的空間預(yù)測參數(shù)，諸如視頻的 相同幀的相鄰的、已重構(gòu)的部分的內(nèi)容被擴展/復(fù)制到當(dāng)前部分中以預(yù)測當(dāng)前部分所沿循 的幀內(nèi)預(yù)測方向。
[0050] 幀間預(yù)測模塊38可以使用運動補償，以使得根據(jù)先前重構(gòu)幀來預(yù)測當(dāng)前部分，與 之相關(guān)的幀間預(yù)測參數(shù)可以包括運動矢量、參考幀索引、關(guān)于當(dāng)前部分的運動預(yù)測細分信 息、假設(shè)數(shù)目或其任意組合。
[0051] 組合器40可以組合由模塊36和38提供的預(yù)測中的一個或更多個，或者僅選擇其 中之一。組合器或選擇器40將所得到的當(dāng)前部分的預(yù)測分別轉(zhuǎn)發(fā)至減法器24的反相輸入 和加法器30的另一輸入。
[0052] 在減法器24的輸出處，輸出當(dāng)前部分的預(yù)測的殘差，并且量化/變換模塊36被 配置成通過對變換系數(shù)進行量化來變換該殘差信號。該變換可以為任意譜分解變換，諸如 DCT。由于量化而導(dǎo)致量化/變換模塊26的處理結(jié)果為不可逆的。就是說，產(chǎn)生了編碼損 失。模塊26的輸出為待在數(shù)據(jù)流內(nèi)傳送的殘差信號42i。不是所有塊都會經(jīng)歷殘差編碼。 反而，一些編碼模式會抑制殘差編碼。
[0053] 在模塊28中對殘差信號42i進行去量化和逆變換以盡可能重構(gòu)殘差信號，S卩，使 得與量化噪聲無關(guān)地對應(yīng)于減法器24所輸出的殘差信號。加法器30通過求和來將該重構(gòu) 殘差信號與當(dāng)前部分的預(yù)測進行組合。其他的組合也將是可行的。例如，根據(jù)替選方案，減 法器24可以操作為用于按比率測量剩余物的除法器，并且加法器可以被實現(xiàn)為用于重構(gòu) 當(dāng)前部分的乘法器。因而，加法器30的輸出表示當(dāng)前部分的初步重構(gòu)。然而，模塊32中的 進一步處理可以可選地用于增強該重構(gòu)。這樣的進一步處理可以例如包括去塊和自適應(yīng)濾 波等。目前為止可得到的所有重構(gòu)被緩存在解碼圖片緩沖器34中。從而，解碼圖片緩沖器 34緩存視頻11的先前重構(gòu)幀、以及當(dāng)前部分所屬的當(dāng)前幀的先前重構(gòu)部分。
[0054] 為了使解碼器能夠根據(jù)數(shù)據(jù)流18重構(gòu)多視圖信號，量化/變換模塊26將殘差信 號42i轉(zhuǎn)發(fā)至編碼器20的復(fù)用器44。同時，預(yù)測模塊36將幀內(nèi)預(yù)測參數(shù)46i轉(zhuǎn)發(fā)至復(fù)用器 44,幀間預(yù)測模塊38將幀間預(yù)測參數(shù)48i轉(zhuǎn)發(fā)至復(fù)用器44,并且進一步處理模塊32將進一 步處理參數(shù)5(^轉(zhuǎn)發(fā)至復(fù)用器44,復(fù)用器44又對所有這些信息進行復(fù)用或?qū)⑵洳迦霐?shù)據(jù)流 18中。
[0055] 如從根據(jù)圖1的實施方式的以上討論變得清楚的，編碼分支22Vil對視頻的編 碼為自包含式，在于該編碼獨立于深度/視差映射數(shù)據(jù)16i和其他視圖12 2中的任意視圖的 數(shù)據(jù)。從更一般的觀點來看，編碼分支22νΛ可以被認為是通過下述操作將視頻編碼至 數(shù)據(jù)流18中：確定編碼參數(shù)，并且基于第一編碼參數(shù)，根據(jù)在對當(dāng)前部分進行編碼之前被 編碼器20編碼至數(shù)據(jù)流18中的、視頻的先前編碼部分來預(yù)測視頻的當(dāng)前部分，并 確定該當(dāng)前部分的預(yù)測的預(yù)測誤差以獲得校正數(shù)據(jù)，即以上提到的殘差信號42 lt)將編碼參 數(shù)和校正數(shù)據(jù)插入到數(shù)據(jù)流18中。
[0056] 剛剛提到的通過編碼分支22vy插入到數(shù)據(jù)流18中的編碼參數(shù)可以包括以下內(nèi)容 中的一個、其組合或全部：
[0057] -首先，如之前簡要討論的，針對視頻的編碼參數(shù)可以限定/傳訊對視頻1七的 中貞的分割。
[0058] -此外，編碼參數(shù)可以包括編碼模式信息，該編碼模式信息表示針對每個段或當(dāng)前 部分要使用哪個編碼模式來預(yù)測相應(yīng)段，諸如幀內(nèi)預(yù)測、幀間預(yù)測或其組合。
[0059] -編碼參數(shù)還可以包括剛剛提到的預(yù)測參數(shù)，諸如針對通過幀內(nèi)預(yù)測來預(yù)測的部 分/段的幀內(nèi)預(yù)測參數(shù)和針對幀間預(yù)測部分/段的幀間預(yù)測參數(shù)。
[0060] -然而，編碼參數(shù)可以另外包括進一步處理參數(shù)5〇i，該進一步處理參數(shù)5〇i向解碼 側(cè)傳訊如何在使用用于預(yù)測視頻的當(dāng)前部分或后續(xù)部分的已重構(gòu)部分之前進一步處理 視頻的已重構(gòu)部分。這些進一步處理參數(shù)5〇i可以包括標(biāo)引相應(yīng)濾波器或濾波系數(shù)等 的索引。
[0061] -預(yù)測參數(shù)46i和48i以及進一步處理參數(shù)5〇i甚至可以另外包括子分割數(shù)據(jù)，使 得相對于限定模式選擇的粒度或限定完全獨立分割的前述分割來限定進一步子分割，例如 用于在進一步處理內(nèi)針對幀的不同部分應(yīng)用不同的自適應(yīng)濾波器。
[0062] -編碼參數(shù)還可以影響對殘差信號的確定，并且從而為殘差信號42i的一部分。例 如，由量化/變換模塊26輸出的譜變換系數(shù)水平可以被認為是校正數(shù)據(jù)，而同樣可以在數(shù) 據(jù)流18內(nèi)傳訊量化步長，并且量化步長參數(shù)可以被認為是編碼參數(shù)。
[0063]-編碼參數(shù)還可以限定下述預(yù)測參數(shù)：所述預(yù)測參數(shù)對以上討論的第一預(yù)測階段 的預(yù)測殘差的第二階段預(yù)測進行限定。在這方面可以使用幀內(nèi)/幀間預(yù)測。
[0064] 為了提高編碼效率，編碼器20包括編碼信息交換模塊52,該編碼信息交換模塊52 接收所有編碼參數(shù)和影響模塊36、38和32內(nèi)的處理或受所述處理影響的另外信息，如用 從相應(yīng)的模塊向下指向編碼信息交換模塊52的垂直延伸箭頭所示意性表示的。編碼信息 交換模塊52負責(zé)在編碼分支22之間共享編碼參數(shù)和可選地另外的編碼信息，使得分支可 以根據(jù)彼此預(yù)測或采用編碼參數(shù)。在圖1的實施方式中，為此在多視圖信號10的視圖12i 和1?的數(shù)據(jù)實體（即視頻和深度/視差映射數(shù)據(jù)）之間限定了順序。具體地，第一視圖 的視頻在第一視圖的深度/視差映射數(shù)據(jù)16i之前，第一視圖的深度/視差映射數(shù) 據(jù)埤之后是第二視圖12 2的視頻142，并且然后是第二視圖122的深度/視差映射數(shù)據(jù)162 等。這里應(yīng)當(dāng)指出，多視圖信號10的數(shù)據(jù)實體之間的該嚴(yán)格順序不需要嚴(yán)格應(yīng)用于對整個 多視圖信號10的編碼，而為了更便于討論，下面假定該順序為恒定的。自然地，數(shù)據(jù)實體之 間的順序還限定了與數(shù)據(jù)實體相關(guān)聯(lián)的分支22之間的順序。
[0065] 如以上已經(jīng)指出的，另外的編碼分支22諸如編碼分支22^22。和22d， 2與編碼分 支22νΛ相似地起作用，使得分別對相應(yīng)的輸入16^142和162進行編碼。然而，由于剛剛提 到的相應(yīng)地在視圖12i和122的視頻和深度/視差映射數(shù)據(jù)之間的順序以及在編碼分支22 之間限定的對應(yīng)順序，編碼分支22 41例如具有附加的自由來預(yù)測待用于對第一視圖12i的 深度/視差映射數(shù)據(jù)16i的當(dāng)前部分進行編碼的編碼參數(shù)。這是因為不同視圖的視頻和深 度/視差映射數(shù)據(jù)之間的前述順序。例如，允許這些實體中的每個實體使用其自身及其在 這些數(shù)據(jù)實體之中按照前述順序的在前的實體的已重構(gòu)部分而被編碼。因此，在對深度/ 視差映射數(shù)據(jù)16i進行編碼時，允許編碼分支22 41使用從對應(yīng)的視頻的先前重構(gòu)部分 已知的信息。分支2241如何利用視頻的重構(gòu)部分以預(yù)測深度/視差映射數(shù)據(jù)16i的、 使得能夠獲得對深度/視差映射數(shù)據(jù)16i的壓縮的更好的壓縮率的一些性質(zhì)，在理論上是 不受限制的。編碼分支22 41例如能夠預(yù)測/采用如上所述在對視頻進行編碼時所涉及 的編碼參數(shù)，使得獲得用于對深度/視差映射數(shù)據(jù)16i進行編碼的編碼參數(shù)。在采用情況 下，可以抑制在數(shù)據(jù)流18內(nèi)傳訊關(guān)于深度/視差映射數(shù)據(jù)16i的任何編碼參數(shù)。在預(yù)測情 況下，可以在數(shù)據(jù)流18內(nèi)必須傳訊僅關(guān)于這些編碼參數(shù)的預(yù)測殘差/校正數(shù)據(jù)。以下也進 一步描述了用于編碼參數(shù)的這樣的預(yù)測/采用的示例。
[0066] 值得注意的是，除了上面關(guān)于模塊36和38所描述的模式之外，編碼分支2241還 可以具有可用于對深度/視差映射16i的塊進行編碼的另外的編碼模式。以下進一步描述 這樣的另外的編碼模式，并且這樣的另外的編碼模式涉及不規(guī)則塊分區(qū)模式。在可替選視 圖中，如下所述的不規(guī)則分區(qū)可以視作將深度/視差映射細分成塊/分區(qū)的繼續(xù)。
[0067] 在任何情況下，針對后續(xù)的數(shù)據(jù)實體即第二視圖122的視頻142和深度/視差映射 數(shù)據(jù)162，存在另外的預(yù)測能力。關(guān)于這些編碼分支，其幀間預(yù)測模塊不僅能夠執(zhí)行時間預(yù) 測而且能夠執(zhí)行視圖間預(yù)測。與時間預(yù)測相比，對應(yīng)的幀間預(yù)測參數(shù)包括相似的信息，即每 視圖間預(yù)測段、視差矢量、視圖索引、參考幀索引、和/或假設(shè)數(shù)目的指示，即例如參與通過 求和形成視圖間幀間預(yù)測的幀間預(yù)測的數(shù)目的指示。這樣的視圖間預(yù)測不僅可用于關(guān)于視 頻14 2的分支22v，2,而且可用于關(guān)于深度/視差映射數(shù)據(jù)162的分支22 i2的幀間預(yù)測模塊 38。自然地，這些視圖間預(yù)測參數(shù)還表示可以用作用于采用/預(yù)測可能的第三視圖的后續(xù) 視圖數(shù)據(jù)的基礎(chǔ)的編碼參數(shù)，然而圖1中未示出該可能的第三視圖。
[0068] 由于以上措施，進一步降低待被復(fù)用器44插入到數(shù)據(jù)流18中的數(shù)據(jù)量。具體地， 可以通過采用在前的編碼分支的編碼參數(shù)或經(jīng)由復(fù)用器44僅將相對于在前的編碼分支的 預(yù)測殘差插入到數(shù)據(jù)流28中，來大大減少編碼分支2241、22ν，2和22 i2的編碼參數(shù)的量。由 于在時間預(yù)測與視圖間預(yù)測之間選擇的能力，也可以降低編碼分支22v， 2和22d，2的殘差數(shù) 據(jù)423和42 4的量。殘差數(shù)據(jù)量的減少過度補償了區(qū)分時間預(yù)測模式與視圖間預(yù)測模式時 的附加的編碼效果。
[0069] 為了更詳細地說明編碼參數(shù)采用/預(yù)測的原理，參照圖2。圖2示出了多視圖信 號10的不例性部分。圖2把視頻巾貞v1;t不出為被分割成段或部分60a、60b和60c。為了簡 化，示出了幀Vl，t的僅三個部分，然而該分割可以無縫且無間隙地將幀分成段/部分。如之 前所提到的，對視頻幀 Vl，t的分割可以在時間上固定或變化，并且可以在數(shù)據(jù)流內(nèi)傳訊或不 傳訊該分割。圖2示出了使用來自視頻11的任意參考幀的重構(gòu)版本（在本情況下為示例 性幀Vm)的運動矢量62a和62b來對部分60a和60b進行時間預(yù)測。如現(xiàn)有技術(shù)所已知 的，視頻的幀之間的編碼順序可以不與這些幀之間的呈現(xiàn)順序一致，并且因此，參考幀 可以按照呈現(xiàn)時間順序64達到當(dāng)前幀' t。例如，部分60c為幀內(nèi)預(yù)測參數(shù)被插入到數(shù)據(jù) 流18中的幀內(nèi)預(yù)測部分。
[0070] 在對深度/視差映射dlit進行編碼時，編碼分支22^可以按照下面關(guān)于圖2例舉 的以下方式中的一種或更多種利用上述可能性。
[0071] -例如，在對深度/視差映射d1;t進行編碼時，編碼分支22d>1可以米用如編碼分支 22 v，i使用的視頻幀' t的分割。因此，如果在針對視頻幀' t的編碼參數(shù)內(nèi)存在分割參數(shù)， 則可以避免針對深度/視差映射數(shù)據(jù)d1;t再傳送分割參數(shù)?？商孢x地，編碼分支22 d;1可以 通過經(jīng)由數(shù)據(jù)流18傳訊相對于視頻幀的分割的偏差來使用視頻幀的分割作為針對 待用于深度/視差映射d lit的分割的基礎(chǔ)/預(yù)測。圖2示出了編碼分支2241使用視頻幀Vl 的分割作為深度/視差映射dlit的預(yù)分割的情況。就是說，編碼分支22^根據(jù)視頻't的 分割采用預(yù)分割或根據(jù)該視頻' t的分割來預(yù)測預(yù)分割。
[0072] -此外，編碼分支22d>1可以根據(jù)分配給視頻巾貞v1;t中相應(yīng)的部分60a、60b和60c 的編碼模式來采用或預(yù)測深度/視差映射dlit的部分66a、66b和66c的編碼模式。在視頻 幀' t與深度/視差映射< t之間的分割不同的情況下，可以控制根據(jù)視頻幀't對編碼模 式的采用/預(yù)測，以使得根據(jù)視頻幀的分割的同位部分來獲得該采用/預(yù)測。同位的 適當(dāng)限定如下。針對深度/視差映射dlit中的當(dāng)前部分的視頻幀vlit中的同位部分可以例 如為下述部分：其包括在深度/視差映射d 1;t中的當(dāng)前幀的左上角處的同位位置。在預(yù)測 編碼模式的情況下，編碼分支22^可以傳訊相對于在數(shù)據(jù)流18內(nèi)顯式傳訊的視頻幀內(nèi) 的編碼模式的、深度/視差映射dy的部分66a至66c的編碼模式偏差。
[0073] -就關(guān)注預(yù)測參數(shù)而言，編碼分支22^具有空間上采用或預(yù)測用于對相同的深度 /視差映射dlit內(nèi)的相鄰部分進行編碼的預(yù)測參數(shù)或者根據(jù)用于對視頻幀的同位部分 60a至6c進行編碼的預(yù)測參數(shù)來采用或預(yù)測上述預(yù)測參數(shù)的自由。例如，圖2示出了深度 /視差映射d lit的部分66a為幀間預(yù)測部分，并且可以根據(jù)視頻幀的同位部分60a的運 動矢量62a來采用或預(yù)測對應(yīng)的運動矢量68a。在預(yù)測的情況下，僅運動矢量差作為幀間預(yù) 測參數(shù)48 2的一部分被插入到數(shù)據(jù)流18中。
[0074] -在編碼效率方面，將有利的是，編碼分支2241具有使用不規(guī)則塊分區(qū)來細分深 度/視差映射41的預(yù)分割的段的能力。以下進一步描述的實施方式所涉及的一些不規(guī)則 塊分區(qū)模式根據(jù)相同視圖的重構(gòu)圖片導(dǎo)出分區(qū)信息諸如楔形波分隔線70。通過該措 施，深度/視差映射d 1;t的預(yù)分割的塊被細分。例如，將深度/視差映射d1;t的塊66c細分 成兩個楔形波形狀的分區(qū)72a和72b。編碼分支22 41可以被配置成單獨地對這些子段72a 和72b進行編碼。在圖2的情況下，示例性地示出了使用相應(yīng)的運動矢量68c和68d來幀 間預(yù)測子段72a和72b二者。根據(jù)部分3和4,編碼分支22^可以具有在用于不規(guī)則塊分 區(qū)的若干編碼選項之間進行選擇以及將該選擇作為數(shù)據(jù)流18內(nèi)的邊信息傳訊至解碼器的 自由。
[0075] 在對視頻142進行編碼時，除了可用于編碼分支22νΛ的編碼模式選項之外，編碼分 支22 v，2還具有視圖間預(yù)測的選項。
[0076] 圖2示出了例如使用視差矢量76、根據(jù)第一視圖視頻1七的時間上對應(yīng)的視頻幀 vlit來對視頻幀的分割的部分64b進行視圖間預(yù)測。
[0077] 不管該差異如何，編碼分支22v，2可以另外地利用可用于視頻幀和深度/視差 映射d lit的編碼的所有信息，諸如，特別是在這些編碼中所使用的編碼參數(shù)。因此，根據(jù)時間 上對準(zhǔn)的視頻幀Vy和深度/視差映射dy的同位部分60a和66a的各自的運動矢量62a 和68a中的任意一個或其組合，編碼分支22v，2可以采用或預(yù)測包括針對視頻幀v2， t的時間 上幀間預(yù)測部分74a的運動矢量78在內(nèi)的運動參數(shù)。如果有的話，則可以關(guān)于針對部分 74a的幀間預(yù)測參數(shù)來傳訊預(yù)測殘差。在這方面，應(yīng)當(dāng)記得，已經(jīng)根據(jù)運動矢量62a本身對 運動矢量68a進行了預(yù)測/采用。
[0078] 如以上關(guān)于深度/視差映射dlit的編碼所述采用/預(yù)測用于對視頻幀v2， t進行編 碼的編碼參數(shù)的其他可能性也同樣可適用于編碼分支22v，2對視頻幀v 2，t的編碼，然而由于 視頻幀和對應(yīng)的深度/視差映射dlit二者的編碼參數(shù)是可用的，所以增多了模塊52分 發(fā)的可用的共同數(shù)據(jù)。
[0079] 然后，類似于編碼分支22d;1對深度/視差映射d1;t的編碼，編碼分支22 d，2對深度 /視差映射進行編碼。例如關(guān)于根據(jù)相同視圖122的視頻幀v 2，t進行的所有編碼參數(shù) 采用/預(yù)測的事件，這也是成立的。然而，另外，編碼分支22 42具有還根據(jù)已用于對在前的 視圖12i的深度/視差映射dlit進行編碼的編碼參數(shù)采用/預(yù)測編碼參數(shù)的機會。另外，編 碼分支22i2可以使用如關(guān)于編碼分支22v，2說明的視圖間預(yù)測。
[0080] 在描述了圖1的編碼器20之后，應(yīng)當(dāng)指出，可以將該編碼器20實現(xiàn)為軟件、硬件 或固件，即可編程硬件。盡管圖1的框圖顯示出編碼器20在結(jié)構(gòu)上包括并行編碼分支，即 針對多視圖信號10的視頻和深度/視差數(shù)據(jù)中每個存在一個編碼分支，然而不必是這樣的 情況。例如，被配置成執(zhí)行元件24至40的任務(wù)的軟件例程、電路部分或可編程邏輯部分分 別可以順序地使用以完成針對每個編碼分支的任務(wù)。在并行處理中，可以在并行處理器核 上或在并行運行電路上執(zhí)行并行編碼分支的處理。
[0081] 圖3示出了能夠?qū)?shù)據(jù)流18進行解碼以根據(jù)數(shù)據(jù)流18來重構(gòu)與由多視圖信號表 示的場景對應(yīng)的一個或若干個視圖視頻的解碼器的示例。在很大程度上，圖3的解碼器的 結(jié)構(gòu)和功能與圖20的編碼器相似，使得盡可能地再利用圖1的附圖標(biāo)記來表示以上關(guān)于圖 1所提供的功能描述還適用于圖3。
[0082] 圖3的解碼器總體上以附圖標(biāo)記100來表示，并且包括用于數(shù)據(jù)流18的輸入和用 于輸出前述一個或若干個視圖102的重構(gòu)的輸出。解碼器100包括解復(fù)用器104和用于由 數(shù)據(jù)流18表示的多視圖信號10 (圖1)的每個數(shù)據(jù)實體的一對解碼分支106、以及視圖提取 器108和編碼參數(shù)交換器110。如圖1的編碼器的情況，解碼分支106包括具有相同互連 的相同解碼元件，因此關(guān)于負責(zé)第一視圖12i的視頻的解碼的解碼分支106 Vil代表性地 描述所述解碼分支106。具體地，每個編碼分支106包括與復(fù)用器104的相應(yīng)輸出連接的 輸入、以及與視圖提取器108的相應(yīng)輸入連接的輸出，用以向視圖提取器108輸出多視圖信 號10的相應(yīng)數(shù)據(jù)實體，即解碼分支106 νΛ的情況下的視頻。在中間，每個編碼分支106 包括串聯(lián)連接在復(fù)用器104與視圖提取器108之間的去量化/逆變換模塊28、加法器30、 進一步處理模塊32以及解碼圖片緩沖器34。加法器30、進一步處理模塊32和解碼圖片緩 沖器34連同后面為組合器/選擇器40的預(yù)測模塊36和38的并聯(lián)連接一起形成環(huán)，預(yù)測 模塊36和38按照提到的順序連接在解碼圖片緩沖器34與加法器30的另一輸入之間。如 通過使用與圖1的情況下的附圖標(biāo)記相同的附圖標(biāo)記所表示的，解碼分支106的元件28至 40的結(jié)構(gòu)和功能與圖1中的編碼分支的對應(yīng)元件的相似之處在于：解碼分支106的元件利 用數(shù)據(jù)流18內(nèi)傳達的信息來模仿編碼過程的處理。自然地，解碼分支106僅關(guān)于編碼器20 所最終選擇的編碼參數(shù)來逆轉(zhuǎn)（reverse)編碼過程，而圖1的編碼器20必須找到某種優(yōu)化 意義上的編碼參數(shù)的最優(yōu)集合，諸如在可選地進行了特定的約束（諸如最大比特率等）的 情況下對速率/失真成本函數(shù)進行優(yōu)化的編碼參數(shù)。
[0083] 解復(fù)用器104用于將數(shù)據(jù)流18分發(fā)至各個解碼分支106。例如，解復(fù)用器104向 去量化/逆變換模塊28提供殘差數(shù)據(jù)42i，向進一步處理模塊32提供進一步處理參數(shù)5〇i， 向幀內(nèi)預(yù)測模塊36提供幀內(nèi)預(yù)測參數(shù)46i，并向幀間預(yù)測模塊38提供幀間預(yù)測模塊48 lt) 編碼參數(shù)交換器110像圖1中的對應(yīng)模塊52那樣的起作用，使得在各個解碼分支106之間 分發(fā)共同編碼參數(shù)和其他的共同數(shù)據(jù)。
[0084] 視圖提取器108接收并行解碼分支106重構(gòu)的多視圖信號，并從該多視圖信號中 提取與由外部提供的中間視圖提取控制數(shù)據(jù)112規(guī)定的視角或視圖方向?qū)?yīng)的一個或若 干個視圖102。
[0085] 由于解碼器100相對于編碼器20的對應(yīng)部分的相似構(gòu)造，以與以上描述相似的方 式來說明解碼器100的直至視圖提取器108的接口的功能。
[0086] 實際上，解碼分支106νΛ和106^ -起用于通過下述操作根據(jù)數(shù)據(jù)流18重構(gòu)多視 圖信號10的第一視圖12i :根據(jù)包含在數(shù)據(jù)流18中的第一編碼參數(shù)（諸如42i內(nèi)的定標(biāo)參 數(shù)、參數(shù)46^48^5(^，以及第二分支16^的編碼參數(shù)的對應(yīng)的未采用參數(shù)和預(yù)測殘差，即 422、參數(shù)46 2、482、502)，根據(jù)多視圖信號10的（在第一視圖12i的當(dāng)前部分的重構(gòu)之前根據(jù) 數(shù)據(jù)流18重構(gòu)的）先前重構(gòu)部分來預(yù)測第一視圖12i的當(dāng)前部分，并使用同樣包含在數(shù)據(jù) 流18中的、即在和42 2內(nèi)的第一校正數(shù)據(jù)來校正第一視圖的當(dāng)前部分的預(yù)測的預(yù) 測誤差。當(dāng)解碼分支106νΛ負責(zé)對視頻進行解碼時，編碼分支106 41承擔(dān)用于對深度/ 視差映射數(shù)據(jù)16i進行重構(gòu)的責(zé)任。參見例如圖2 :解碼分支106Vil通過下述操作根據(jù)數(shù)據(jù) 流18重構(gòu)第一視圖12i的視頻:根據(jù)從數(shù)據(jù)流18讀取的對應(yīng)編碼參數(shù)（即42i內(nèi)的定 標(biāo)參數(shù)、參數(shù)46^48^5(^)，根據(jù)多視圖信號10的先前重構(gòu)部分來預(yù)測視頻的當(dāng)前部分 諸如60a、60b或60c，并使用從數(shù)據(jù)流18獲得的對應(yīng)校正數(shù)據(jù)即根據(jù)42i內(nèi)的變換系數(shù)水 平來校正該預(yù)測的預(yù)測誤差。例如，解碼分支l〇6 Vil以段/部分為單位使用視頻幀之間的 編碼順序來處理視頻，并且對于對幀內(nèi)的段進行編碼，這些幀的段之間的編碼順序如同 編碼器的對應(yīng)編碼分支的情況一樣。因此，視頻的所有先前重構(gòu)部分可用于針對當(dāng)前部 分的預(yù)測。針對當(dāng)前部分的編碼參數(shù)可以包括以下參數(shù)中的一個或更多個：幀內(nèi)預(yù)測參數(shù) 5〇i、幀間預(yù)測參數(shù)48i以及用于進一步處理模塊32的濾波參數(shù)等。用于校正該預(yù)測誤差的 校正數(shù)據(jù)可以用殘差數(shù)據(jù)42i內(nèi)的譜變換系數(shù)水平來表示。并不需要全部傳送這些編碼參 數(shù)中的所有編碼參數(shù)?？梢愿鶕?jù)視頻的相鄰段的編碼參數(shù)來空間預(yù)測這些編碼參數(shù)中 的一些編碼參數(shù)?？梢詫⒗缬糜谝曨l的運動矢量作為視頻的相鄰部分/段的運 動矢量之間的運動矢量差在比特流內(nèi)傳送。
[0087] 就關(guān)注第二解碼分支106^而言，該第二解碼分支106^不僅訪問如在數(shù)據(jù)流18 內(nèi)傳訊并通過解復(fù)用器104分發(fā)給相應(yīng)的解碼分支10641的殘差數(shù)據(jù)422以及對應(yīng)的預(yù)測 和濾波參數(shù)，即未通過跨視圖間邊界被預(yù)測的編碼參數(shù)，而且間接訪問經(jīng)由解復(fù)用器104 提供給解碼分支1〇6νΛ的編碼參數(shù)和校正數(shù)據(jù)、或如經(jīng)由編碼信息交換模塊110分發(fā)的根 據(jù)該編碼參數(shù)和校正數(shù)據(jù)可導(dǎo)出的任何信息。因而，解碼分支1〇6 41根據(jù)經(jīng)由解復(fù)用器104 轉(zhuǎn)發(fā)給針對第一視圖12i的這對解碼分支106νΛ和106^的編碼參數(shù)的一部分來確定其用 于重構(gòu)深度/視差映射數(shù)據(jù)16i的編碼參數(shù)，該編碼參數(shù)的一部分與尤其專用于并轉(zhuǎn)發(fā)給 解碼分支1〇6 νΛ的這些編碼參數(shù)的一部分部分地重疊。例如，解碼分支106^根據(jù)一方面為 在48i內(nèi)顯式傳送的運動矢量62a，例如作為相對幀 Vl，t的另一個相鄰部分的運動矢量差， 以及另一方面為在482內(nèi)顯式傳送的運動矢量差，來確定運動矢量68a。另外地或可替選地， 解碼分支1〇6 41可以使用如以上關(guān)于對楔形波分隔線的預(yù)測所描述的視頻的重構(gòu)部分 來導(dǎo)出如以上關(guān)于解碼該深度/視差映射數(shù)據(jù)16i所簡要指出且以下將更詳細概述的不規(guī) 則塊分區(qū)。
[0088] 更確切地說，解碼分支106^通過利用編碼參數(shù)來根據(jù)數(shù)據(jù)流重構(gòu)第一視圖12i的 深度/視差映射數(shù)據(jù)，所述編碼參數(shù)為至少部分地根據(jù)解碼分支106Vil所使用的編碼參 數(shù)而預(yù)測（或根據(jù)其而采用）的編碼參數(shù)和/或根據(jù)解碼分支l〇6Vil的解碼圖片緩沖器34 中的視頻的重構(gòu)部分而預(yù)測的編碼參數(shù)。可以經(jīng)由解復(fù)用器104從數(shù)據(jù)流18獲得編 碼參數(shù)的預(yù)測殘差?？梢匀康鼗蜿P(guān)于另一基礎(chǔ)（即參照用于對深度/視差映射數(shù)據(jù)16i 本身的先前重構(gòu)部分的任意部分進行編碼所使用的編碼參數(shù)）在數(shù)據(jù)流108內(nèi)傳送用于解 碼分支1〇641的其他編碼參數(shù)。基于這些編碼參數(shù)，解碼分支10641根據(jù)深度/視差映射數(shù) 據(jù)16i的（在深度/視差映射數(shù)據(jù)16i的當(dāng)前部分的重構(gòu)之前由解碼分支106d;1根據(jù)數(shù)據(jù) 流18而重構(gòu)的）先前重構(gòu)部分來預(yù)測深度/視差映射數(shù)據(jù)的當(dāng)前部分，并且使用相應(yīng) 的校正數(shù)據(jù)42 2來校正深度/視差映射數(shù)據(jù)16i的當(dāng)前部分的預(yù)測的預(yù)測誤差。
[0089] 如以上關(guān)于編碼已描述的，針對第二視圖122的這對解碼分支106v， 2和106d，2的功 能與針對第一視圖12i的功能相似。兩個分支協(xié)作以利用自己的編碼參數(shù)來根據(jù)數(shù)據(jù)流18 重構(gòu)多視圖信號10的第二視圖1?。這些編碼參數(shù)中的僅下述部分需要經(jīng)由解復(fù)用器104 被傳送并分發(fā)給這兩個解碼分支106 v，2和106i2中的任意一個：其是跨視圖與142之間 的視圖邊界未被采用/預(yù)測，并且可選地為視圖間預(yù)測部分的殘差。根據(jù)多視圖信號10的 (在第二視圖1?的相應(yīng)當(dāng)前部分的重構(gòu)之前由解碼分支106中的任意一個根據(jù)數(shù)據(jù)流18 而重構(gòu)的）先前重構(gòu)部分來預(yù)測第二視圖1?的當(dāng)前部分，并因此使用由解復(fù)用器104轉(zhuǎn) 發(fā)給這對解碼分支106 v，2和106d，2的校正數(shù)據(jù)即423和42 4來校正預(yù)測誤差。
[0090] 解碼分支1〇642可以至少部分地通過根據(jù)以下內(nèi)容的采用/預(yù)測來確定其編碼參 數(shù)：解碼分支l〇6 v，p 106d l和106v 2中的任何一個所使用的編碼參數(shù)，重構(gòu)視頻142和/或 第一視圖12i的重構(gòu)深度/視差映射數(shù)據(jù)16i。例如，關(guān)于根據(jù)視頻、深度/視差映射數(shù) 據(jù)16i和視頻14 2或其適當(dāng)子集中的任何一個的同位部分是否將采用或預(yù)測針對當(dāng)前部分 80b的編碼參數(shù)，以及關(guān)于根據(jù)所述同位部分將采用或預(yù)測針對該當(dāng)前部分80b的編碼參 數(shù)的哪個部分，數(shù)據(jù)流18可以針對深度/視差映射數(shù)據(jù)16 2的當(dāng)前部分80b進行傳訊。這 些編碼參數(shù)中的關(guān)注的部分可以涉及例如運動矢量諸如84、或視差矢量諸如視差矢量82。 此外，可以通過解碼分支106 d，2導(dǎo)出諸如與不規(guī)則分區(qū)的塊相關(guān)的其他編碼參數(shù)。
[0091] 在任何情況下，多視圖數(shù)據(jù)10的重構(gòu)部分到達視圖提取器108,其中，在該視圖提 取器108中，包含在其中的視圖為用于新視圖的視圖提取的基礎(chǔ)，即例如與這些新視圖關(guān) 聯(lián)的視頻。該視圖提取可以包括或涉及通過使用與視頻和14 2關(guān)聯(lián)的深度/視差映射 數(shù)據(jù)而對視頻11和142的再投影。坦白講，在將視頻再投影到另一個中間視圖時，與該視 頻的對應(yīng)于位置更遠離觀看者位置的場景部分的部分相比，該視頻的對應(yīng)于位置更接近觀 看者的場景部分的部分沿著視差方向（即觀看方向差矢量的方向）偏移得更多。
[0092] 應(yīng)當(dāng)提到的是，解碼器不必包括視圖提取器108。更確切地講，可以不存在視圖提 取器108。在該情況下，解碼器100僅用于重構(gòu)視圖％和122中的任意一個，諸如它們中的 一個、若干個或全部視圖。在針對單獨視圖12i和122不存在深度/視差數(shù)據(jù)的情況下，然 而視圖提取器108可以通過利用使相鄰視圖的對應(yīng)部分彼此相關(guān)的視差矢量來執(zhí)行中間 視圖提取。使用這些視差矢量作為與相鄰視圖的視頻關(guān)聯(lián)的視差矢量場的支持視差矢量， 該視圖提取器108可以通過應(yīng)用該視差矢量場根據(jù)相鄰視圖12i和12 2的這樣的視頻來建 立中間視圖視頻。例如，設(shè)想視頻幀v2，t的部分/段的50%被視圖間預(yù)測。就是說，對于該 部分/段的50%，將存在視差矢量。對于剩余部分，可以由視圖提取器108通過空間意義上 的內(nèi)插/外插來確定視差矢量。還可以使用利用針對視頻14 2的先前重構(gòu)幀的部分/段的 視差矢量的時間內(nèi)插。然后可以根據(jù)這些視差矢量來使視頻幀v2， t和/或參考視頻幀 失真以產(chǎn)生中間視圖。為此，根據(jù)在第一視圖12i的視圖位置與第二視圖1?的視圖位置之 間的該中間視圖的中間視圖位置來定標(biāo)視差矢量。以下更詳細地概述關(guān)于該過程的細節(jié)。 [0093] 然而，在考慮僅對包括視頻和對應(yīng)的深度/視差映射數(shù)據(jù)的一個視圖（諸如以上 概述的實施方式的第一視圖12^進行編碼的情況下，可以有利地在圖1至圖3的架構(gòu)中使 用以下概述的實施方式。在該情況下，傳送的信號信息即單個視圖121可以稱為視圖合成 適應(yīng)信號，即使得能夠?qū)崿F(xiàn)視圖合成的信號。視頻連同深度/視差映射數(shù)據(jù)16i使視圖 提取器108能夠通過利用深度/視差映射數(shù)據(jù)16i將視圖12i再投影到相鄰新視圖中來執(zhí) 行某種視圖合成。再有，通過使用不規(guī)則塊分區(qū)來獲得編碼效率增益。從而，可以在獨立于 上述視圖間編碼信息交換方面的單視圖編碼構(gòu)思內(nèi)使用以下進一步描述的不規(guī)則塊分區(qū) 實施方式。更確切地說，可以將圖1至圖3的以上實施方式變化至失去分支22、100 vAu和 關(guān)聯(lián)的視圖1?的程度。
[0094] 從而，圖1至圖3示出了針對可以有利地使用后續(xù)說明的不規(guī)則塊分區(qū)的多視圖 編碼構(gòu)思的示例。然而，再次強調(diào)的是，不管樣本陣列是否為深度/視差映射，都還可以結(jié) 合其他種類的樣本陣列編碼來使用以下描述的編碼模式。以下描述的編碼模式中的一些編 碼模式甚至不會使深度/視差映射與對應(yīng)的紋理映射一起共存是必要的。
[0095] 具體地，以下概述的實施方式涉及如下的一些編碼模式：通過這些編碼模式，用將 信號的樣本分成兩個樣本集合且用恒定樣本值來表示每個樣本集合的模型來表示塊的信 號。以下說明的編碼模式中的一些編碼模式可以被用于直接表示塊的信號，或者可以被用 于生成針對該塊的預(yù)測信號，然后進一步通過對另外的殘差信息（例如變換系數(shù)水平）進 行編碼來細化（refine)該預(yù)測信號。如果將后續(xù)說明的編碼模式中的一個編碼模式應(yīng)用于 深度信號，則除了其他的有利方面之外，還會由于主要通過慢變區(qū)域和慢變區(qū)域之間的尖 銳邊緣來表征深度信號的事實而產(chǎn)生優(yōu)點。雖然可以用變換編碼方法（即，基于DCT)來高 效地表示慢變區(qū)域，但是兩個幾乎恒定的區(qū)域之間的尖銳邊緣的表示需要大量待編碼的變 換系數(shù)。如關(guān)于以下概述的實施方式中的一些實施方式所描述的，可以通過使用將塊分成 兩個區(qū)域且每個區(qū)域具有恒定樣本值的模型來更好地表示包含邊緣的這樣的塊。
[0096] 下面，將更詳細地描述本發(fā)明的不同實施方式。在部分1和2中，描述了用于將塊 分區(qū)成樣本值恒定的兩個區(qū)域的基本構(gòu)思。部分3描述了用于具體說明可以如何將塊分區(qū) 成不同區(qū)域以及需要傳送什么參數(shù)以用于表示該分區(qū)以及針對該區(qū)域的樣本值的不同實 施方式。
[0097] 實施方式包括如下構(gòu)思：用于獨立于任何其他塊來傳訊分區(qū)信息的構(gòu)思、用于基 于針對空間上相鄰的塊的傳送數(shù)據(jù)來傳訊分區(qū)信息的構(gòu)思、以及用于基于與待編碼的深度 映射關(guān)聯(lián)的已傳送紋理圖片（常規(guī)的視頻圖片）來傳訊分區(qū)信息的構(gòu)思。從而，部分4關(guān) 于與用于處理不規(guī)則定位塊的一些實施方式有關(guān)的恒定樣本值、模式信息、和分區(qū)信息的 編碼來描述本發(fā)明的實施方式。
[0098] 雖然下面的描述主要針對于深度映射的編碼（特別是在多視圖視頻編碼的上下 文中）并且下面的描述基于給定的深度塊，但是針對常規(guī)視頻編碼也可以應(yīng)用本發(fā)明的若 干實施方式。因此，如果用通用術(shù)語"信號塊"來替換術(shù)語"深度塊"，則可以將該描述應(yīng)用 于其他信號類型。此外，下面的描述有時專注于方形塊，但是本發(fā)明也可以應(yīng)用于矩形塊或 其他連接或簡單連接的樣本集合。
[0099] 1.楔形波
[0100] 在諸如圖1至圖3所示的基于塊的混合視頻編碼中，例如，將幀細分為矩形塊。通 常，這些塊為方形，并且針對每個塊的處理遵循相同的功能結(jié)構(gòu)。注意，雖然本部分中的大 多數(shù)示例使用方形塊，但是楔形波塊分區(qū)和所有相關(guān)的方法不限于方形塊，而是可以用于 任何矩形塊尺寸。
[0101] 1.1楔形波塊分區(qū)
[0102] 楔形波塊分區(qū)的基本原理為將塊200的區(qū)分成用線201分隔的兩個區(qū)域202a、 202b，如圖4所示，其中這兩個區(qū)域用Pi和P 2來標(biāo)記。通過都定位在塊邊界上的起點S和 終點E來確定該分隔線。有時，在下面將區(qū)域Pi稱為楔形波分區(qū)202a，而將區(qū)域P 2稱為楔 形波分區(qū)202b。
[0103] 針對連續(xù)信號空間（參見圖4,左側(cè)），起點位置為S(xs，ys)，并且終點位置為 E (xE, yE)，這二者均限于塊尺寸〇彡義彡113和〇彡7彡713(其中，坐標(biāo)之一必須等于最小值 (〇)或最大值（&或^))。根據(jù)這些限定，分隔線的等式如下：
[0104]
【權(quán)利要求】
1. 一種用于根據(jù)數(shù)據(jù)流（304)來重構(gòu)與圖片（215)相關(guān)聯(lián)的深度/視差映射（213)的 預(yù)定塊（210)的解碼器，所述解碼器被配置成： 通過在所述圖片（215)的與所述預(yù)定塊（210)同位的參考塊（216)內(nèi)把所述圖片 (215)二值化，來分割所述參考塊（216)，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分 割； 將所述圖片的所述參考塊（216)的雙分割空間轉(zhuǎn)移至所述深度/視差映射（213)的所 述預(yù)定塊（210)上，以獲得所述預(yù)定塊（210)的第一分區(qū)（202a)和第二分區(qū)（202b);以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 解碼。
2. 根據(jù)權(quán)利要求1所述的解碼器，被配置成：在二值化中，以所述參考塊（216)的二維 細分的拼接片在所述參考塊（216)內(nèi)單獨地檢查所述圖片（215)的值，以確定相應(yīng)值大于 還是小于相應(yīng)預(yù)定值，使得所述圖片（215)的所述參考塊（216)的所述第一分區(qū)和所述第 二分區(qū)中的每個分區(qū)（218'）是一起完全覆蓋所述圖片（215)的所述參考塊（216)且彼此 互補的拼接片（608)的集合。
3. 根據(jù)權(quán)利要求2所述的解碼器，被配置成：在二值化中，以樣本分辨率在所述參考塊 內(nèi)單獨地檢查所述圖片的值，使得每個拼接片對應(yīng)于所述參考塊的樣本位置。
4. 根據(jù)權(quán)利要求1至3中任一項所述的解碼器，被配置成：在二值化中，對所述二值化 的結(jié)果應(yīng)用形態(tài)孔填充和/或低通濾波，以獲得所述參考塊（216)到所述第一分區(qū)和所述 第二分區(qū)的所述雙分割。
5. 根據(jù)權(quán)利要求1至4中任一項所述的解碼器，被配置成：在二值化中，確定所述圖片 (215)的所述參考塊（216)的重構(gòu)樣本值的集中趨勢的測量，并通過將所述圖片（215)的所 述參考塊（216)的每個重構(gòu)樣本值與取決于所確定的所述測量的相應(yīng)閾值進行比較來執(zhí) 行所述二值化。
6. 根據(jù)權(quán)利要求1至5中任一項所述的解碼器，被配置成使得所述分割、空間轉(zhuǎn)移和預(yù) 測形成第一組編碼選項中的一個編碼選項，所形成的編碼選項不是第二組編碼選項的一部 分，其中所述解碼器還被配置成： 確定所述圖片（215)的所述參考塊（216)內(nèi)的樣本的值的離差；以及 從所述數(shù)據(jù)流接收編碼選項標(biāo)識符， 在所述離差超過預(yù)定閾值的情況下將所述編碼選項標(biāo)識符用作對所述第一組編碼選 項的索引，其中如果所述索引指向所述一個編碼選項，則對所述預(yù)定塊執(zhí)行所述分割、空間 轉(zhuǎn)移和預(yù)測，而在所述離差在所述預(yù)定閾值之后的情況下將所述編碼選項標(biāo)識符用作對所 述第二組編碼選項的索引。
7. -種用于根據(jù)數(shù)據(jù)流來重構(gòu)與圖片相關(guān)聯(lián)的深度/視差映射的預(yù)定塊的解碼器，所 述解碼器被配置成： 根據(jù)所述圖片（215)的與預(yù)定塊同位的參考塊（216)內(nèi)所述圖片（215)的紋理特征來 分割所述參考塊（216)，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊（210)上，以獲得所述預(yù)定塊的第一分區(qū)和第二分區(qū)；以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 解碼， 其中所述解碼器被配置成使得所述分割、空間轉(zhuǎn)移和解碼形成所述解碼器的第一組 編碼選項中的一個編碼選項，所形成的編碼選項不是所述解碼器的第二組編碼選項的一部 分，其中所述解碼器還被配置成： 確定所述圖片（215)的所述參考塊（216)內(nèi)的樣本的值的離差；以及 從所述數(shù)據(jù)流取出編碼選項標(biāo)識符， 在所述離差超過預(yù)定閾值的情況下將所述編碼選項標(biāo)識符用作對所述第一組編碼選 項的索引，其中如果所述索引指向所述一個編碼選項，則對所述預(yù)定塊（210)執(zhí)行所述分 害!]、空間轉(zhuǎn)移和解碼，而在所述離差在所述預(yù)定閾值之后的情況下將所述編碼選項標(biāo)識符 用作對所述第二組編碼選項的索引。
8. 根據(jù)權(quán)利要求7所述的解碼器，其中所述解碼器被配置成通過熵解碼來取出所述編 碼選項標(biāo)識符。
9. 根據(jù)權(quán)利要求1至8中任一項所述的解碼器，還被配置成在所述解碼器的預(yù)測環(huán)中 使用所述預(yù)定塊作為參考。
10. 根據(jù)前述權(quán)利要求中任一項所述的解碼器，其中所述解碼器被配置成：在對所述 預(yù)定塊（210)進行解碼時， 通過將第一恒定分區(qū)值分配給所述樣本陣列的位于所述第一楔形波分區(qū)（202a)內(nèi)的 樣本（203)并將第二恒定分區(qū)值分配給所述樣本陣列的位于所述第二楔形波分區(qū)（202b) 內(nèi)的樣本（203)，來預(yù)測所述預(yù)定塊（210)。
11. 根據(jù)權(quán)利要求10所述的解碼器，其中所述解碼器被配置成： 在預(yù)測所述預(yù)定塊時，將所述樣本陣列的鄰接所述預(yù)定塊的相鄰樣本中的每個相鄰樣 本與所述第一楔形波分區(qū)和所述第二楔形波分區(qū)中的相應(yīng)的楔形波分區(qū)進行關(guān)聯(lián)，使得每 個相鄰樣本鄰接與其關(guān)聯(lián)的楔形波分區(qū)；以及通過將與所述第一分區(qū)相關(guān)聯(lián)的所述相鄰樣 本的值的平均值分配給所述樣本陣列的位于所述第一分區(qū)內(nèi)的樣本，并將與所述第二分區(qū) 相關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給所述樣本陣列的位于所述第二分區(qū)內(nèi)的樣本， 來預(yù)測所述預(yù)定塊。
12. 根據(jù)權(quán)利要求10和11中任一項所述的解碼器，被配置成： 通過對與所述第一分區(qū)相關(guān)聯(lián)的所述相鄰樣本的值的所述平均值應(yīng)用在細化信息內(nèi) 的第一細化值、和/或?qū)εc所述第二分區(qū)相關(guān)聯(lián)的所述相鄰樣本的值的所述平均值應(yīng)用在 細化信息內(nèi)的第二細化值，來細化所述預(yù)定塊的預(yù)測。
13. 根據(jù)權(quán)利要求12所述的解碼器，被配置成： 在應(yīng)用所述第一細化值和/或所述第二細化值時，分別將所述第一細化值和/或所述 第二細化值與關(guān)聯(lián)于所述第一分區(qū)的所述相鄰樣本的值的所述平均值和/或關(guān)聯(lián)于所述 第二分區(qū)的所述相鄰樣本的值的所述平均值進行線性組合。
14. 根據(jù)權(quán)利要求12或13所述的解碼器，被配置成： 在應(yīng)用所述第一細化值和/或所述第二細化值時，從所述數(shù)據(jù)流取出所述第一細化值 和/或所述第二細化值，并使用量化步長來定標(biāo)所取出的所述第一細化值和/或所述第二 細化值，所述量化步長取決于在所述數(shù)據(jù)流內(nèi)傳送與所述樣本陣列相關(guān)聯(lián)的預(yù)定空間采樣 分量所采用的參考量化步長。
15. 根據(jù)權(quán)利要求14所述的解碼器，其中所述樣本陣列為深度映射，并且所述解碼器 被配置成使用所述參考量化步長以根據(jù)比特流重構(gòu)與所述深度映射相關(guān)聯(lián)的紋理樣本陣 列。
16. -種用于將與圖片相關(guān)聯(lián)的深度/視差映射的預(yù)定塊編碼至數(shù)據(jù)流中的編碼器， 所述編碼器被配置成： 通過在所述圖片的與所述預(yù)定塊同位的參考塊內(nèi)把所述圖片二值化來分割所述圖片 的所述參考塊，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊上，以獲得所述預(yù)定塊的第一分區(qū)和第二分區(qū)；以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 編碼。
17. -種用于將與圖片相關(guān)聯(lián)的深度/視差映射的預(yù)定塊編碼至數(shù)據(jù)流中的編碼器， 所述編碼器被配置成： 根據(jù)所述圖片（215)的與預(yù)定塊同位的參考塊（216)內(nèi)的紋理特征來分割所述圖片 (215)的所述參考塊（216)，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊上，以獲得所述預(yù)定塊的第一分區(qū)和第二分區(qū)；以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 編碼， 其中所述編碼器被配置成使得所述分割、空間轉(zhuǎn)移和編碼形成所述編碼器的第一組 編碼選項中的一個編碼選項，所形成的編碼選項不是所述編碼器的第二組編碼選項的一部 分，其中所述編碼器還被配置成： 確定所述圖片（215)的參考塊（216)內(nèi)的樣本的值的離差；以及 將編碼選項標(biāo)識符編碼至所述數(shù)據(jù)流（304)中， 在所述離差超過預(yù)定閾值的情況下將所述編碼選項標(biāo)識符用作對所述第一組編碼選 項的索引，其中如果所述索引指向所述一個編碼選項，則對所述預(yù)定塊（210)執(zhí)行所述分 害!]、空間轉(zhuǎn)移和編碼，而在所述離差在所述預(yù)定閾值之后的情況下將所述編碼選項標(biāo)識符 用作對所述第二組編碼選項的索引。
18. -種用于根據(jù)數(shù)據(jù)流（304)來重構(gòu)與圖片（215)相關(guān)聯(lián)的深度/視差映射（213) 的預(yù)定塊（210)的方法，包括 ： 通過在所述圖片（215)的與所述預(yù)定塊（210)同位的參考塊（216)內(nèi)把所述圖片 (215)二值化來分割所述圖片（215)的所述參考塊（216)，以獲得所述參考塊到第一分區(qū)和 第二分區(qū)的雙分割； 將所述圖片的所述參考塊（216)的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射（213) 的所述預(yù)定塊（210)上，以獲得所述預(yù)定塊（210)的第一分區(qū)（202a)和第二分區(qū)（202b); 以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 解碼。
19. 一種用于根據(jù)數(shù)據(jù)流來重構(gòu)與圖片相關(guān)聯(lián)的深度/視差映射的預(yù)定塊的方法，包 括： 根據(jù)所述圖片（215)的與預(yù)定塊同位的參考塊（216)內(nèi)所述圖片（215)的紋理特征來 分割所述圖片（215)的參考塊（216)，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊上，以獲得所述預(yù)定塊的第一分區(qū)和第二分區(qū)；以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 解碼， 其中執(zhí)行所述方法，使得所述分割、空間轉(zhuǎn)移和解碼形成第一組編碼選項中的一個編 碼選項，所形成的編碼選項不是所述方法的第二組編碼選項的一部分，其中所述方法還包 括： 確定所述圖片（215)的所述參考塊（216)內(nèi)的樣本的值的離差；以及 從所述數(shù)據(jù)流（304)取出編碼選項標(biāo)識符， 在所述離差超過預(yù)定閾值的情況下將所述編碼選項標(biāo)識符用作對所述第一組編碼選 項的索引，其中如果所述索引指向所述一個編碼選項，則對所述預(yù)定塊（210)執(zhí)行所述分 害!]、空間轉(zhuǎn)移和解碼，而在所述離差在所述預(yù)定閾值之后的情況下將所述編碼選項標(biāo)識符 用作對所述第二組編碼選項的索引。
20. -種用于將與圖片相關(guān)聯(lián)的深度/視差映射的預(yù)定塊編碼至數(shù)據(jù)流中的方法，包 括： 通過在所述圖片的與所述預(yù)定塊同位的參考塊內(nèi)把所述圖片二值化來分割所述圖片 的所述參考塊，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊上，以獲得所述預(yù)定塊的第一分區(qū)和第二分區(qū)；以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 編碼。
21. -種用于將與圖片相關(guān)聯(lián)的深度/視差映射的預(yù)定塊編碼至數(shù)據(jù)流中的方法，包 括： 根據(jù)所述圖片（215)的與預(yù)定塊同位的參考塊（216)內(nèi)所述圖片（215)的紋理特征來 分割所述圖片（215)的參考塊（216)，以獲得所述參考塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊上，以獲得所述預(yù)定塊的第一分區(qū)和第二分區(qū)；以及 以第一楔形波分區(qū)（202a)和第二楔形波分區(qū)（202b)為單位對所述預(yù)定塊（210)進行 解碼， 其中執(zhí)行所述方法，使得所述分割、空間轉(zhuǎn)移和編碼形成所述方法的第一組編碼選項 中的一個編碼選項，所形成的編碼選項不是所述方法的第二組編碼選項的一部分，其中所 述方法還包括： 確定所述圖片（215)的所述參考塊（216)內(nèi)的樣本的值的離差；以及 將編碼選項標(biāo)識符編碼至所述數(shù)據(jù)流（304)中， 在所述離差超過預(yù)定閾值的情況下將所述編碼選項標(biāo)識符用作對所述第一組編碼選 項的索引，其中如果所述索引指向所述一個編碼選項，則對所述預(yù)定塊（210)執(zhí)行所述分 害!]、空間轉(zhuǎn)移和編碼，而在所述離差在所述預(yù)定閾值之后的情況下將所述編碼選項標(biāo)識符 用作對所述第二組編碼選項的索引。
22. -種具有程序代碼的計算機程序，所述程序代碼用于當(dāng)所述程序代碼在計算機上 運行時執(zhí)行根據(jù)權(quán)利要求18或21中任一項所述的方法。
【文檔編號】H04N19/593GK104221379SQ201280066907
【公開日】2014年12月17日 申請日期:2012年11月9日 優(yōu)先權(quán)日:2011年11月11日
【發(fā)明者】菲利普·默克勒, 克里斯蒂安·巴特尼克, 哈里希蘭·拉克什曼, 德特勒夫·馬爾佩卡斯滕·穆勒, 托馬斯·維甘德格哈德·特希 申請人:弗蘭霍菲爾運輸應(yīng)用研究公司