本技術(shù)涉及發(fā)送設(shè)備、發(fā)送方法和接收設(shè)備，更具體地，涉及將預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)連同基本格式圖像數(shù)據(jù)一起發(fā)送的發(fā)送設(shè)備等。

背景技術(shù)：

在過去，將高質(zhì)量格式圖像數(shù)據(jù)與基本格式圖像數(shù)據(jù)一起發(fā)送，并且接收側(cè)選擇性地使用基本格式圖像數(shù)據(jù)或高質(zhì)量格式圖像數(shù)據(jù)，這種技術(shù)是公知的。例如，專利文獻(xiàn)1公開了一種技術(shù)，該技術(shù)以可擴(kuò)展(scalable)方式執(zhí)行媒體編碼、產(chǎn)生用于低分辨率視頻服務(wù)的基本層的流和用于高分辨率視頻服務(wù)的擴(kuò)展層的流，并且發(fā)送包含流的廣播信號。需注意，作為高質(zhì)量格式，除了高分辨率之外，還存在高幀頻率、高動態(tài)范圍、寬色域、高位長度等。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)1：日本專利申請國家公布(公開)第2008-543142號。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明待解決的問題

本技術(shù)的一個目標(biāo)是成功地將預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)連同基本格式圖像數(shù)據(jù)一起發(fā)送。

問題的解決方案

本技術(shù)的一個概念在于

一種發(fā)送設(shè)備，包括：

圖像編碼單元，其生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流；以及

發(fā)送單元，其發(fā)送包括由圖像編碼單元生成的基本視頻流和擴(kuò)展視頻流的預(yù)定格式的容器；

其中，圖像編碼單元將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。

在本技術(shù)中，圖像編碼單元生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流。例如，對于基本格式圖像數(shù)據(jù)，執(zhí)行在基本格式圖像數(shù)據(jù)內(nèi)的預(yù)測編碼處理。另外，對于高質(zhì)量格式圖像數(shù)據(jù)，執(zhí)行在高質(zhì)量格式圖像數(shù)據(jù)內(nèi)的預(yù)測編碼處理或者利用基本格式圖像數(shù)據(jù)或其他高質(zhì)量格式圖像數(shù)據(jù)執(zhí)行幀間預(yù)測編碼處理(inter-predictive encoding process)。

發(fā)送單元發(fā)送包括由圖像編碼單元生成的基本視頻流和擴(kuò)展視頻流的預(yù)定格式的容器。例如，容器可為在數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流(MPEG-2TS)。另外，例如，容器可為用于因特網(wǎng)傳送的MP4或任何其他格式的容器。

圖像編碼單元將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。例如，編碼圖像數(shù)據(jù)可以具有NAL單元結(jié)構(gòu)，并且圖像編碼單元可以將識別信息插入到NAL單元的頭部中。在這種情況下，例如，圖像編碼單元可以使用NAL單元的所述頭部的“nuh_layer_id”字段來插入所述識別信息。此外，在這種情況下，例如，圖像編碼單元可以使用NAL單元的頭部的“nuh_layer_id”字段和“nuh_temporal_id_plus1”字段插入識別信息。

如上所述，在本技術(shù)中，將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。因此，接收側(cè)可以基于識別信息通過對預(yù)定編碼圖像數(shù)據(jù)選擇性地執(zhí)行解碼處理而易于獲得根據(jù)顯示能力的圖像數(shù)據(jù)。

需注意，在本技術(shù)中，例如，還可以包括信息插入單元，其將信息插入到容器的層中，所述信息定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式。在這種情況下，例如，容器可為MPEG2-TS，信息插入單元可以將信息插入到與存在于節(jié)目映射表下的視頻流相對應(yīng)的視頻基本流循環(huán)中。在這種情況下，接收側(cè)可以預(yù)先檢測編碼圖像數(shù)據(jù)的格式，所述編碼圖像數(shù)據(jù)的格式由插入到在容器的層中的編碼圖像數(shù)據(jù)中的識別信息指示。

另外，本技術(shù)的另一個概念在于

接收設(shè)備，包括：

接收單元，其接收預(yù)定格式的容器，所述容器包括包含基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流，

其中，識別對應(yīng)格式的識別信息被插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的編碼圖像數(shù)據(jù)中；以及

處理單元，其基于識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。

在本技術(shù)中，接收單元接收包括基本視頻流和擴(kuò)展視頻流的預(yù)定格式的容器。這里，基本視頻流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)。擴(kuò)展視頻流包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)。

識別對應(yīng)格式的識別信息被插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的編碼圖像數(shù)據(jù)中。例如，編碼圖像數(shù)據(jù)可以具有NAL單元結(jié)構(gòu)，并且識別信息可以插入到NAL單元的頭部中。處理單元基于識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。

如上所述，在本技術(shù)中，基于用于識別對應(yīng)格式的識別信息和顯示能力信息而處理包括在接收的容器中的擴(kuò)展視頻流，所述識別信息插入到基本格式圖像數(shù)據(jù)的和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。因此，可以選擇性地執(zhí)行對預(yù)定編碼圖像數(shù)據(jù)的解碼處理，且因此可以根據(jù)顯示能力易于獲得圖像數(shù)據(jù)。

需注意，在本技術(shù)中，例如，定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式的信息可以插入到容器的層中，并且處理單元可以基于插入到容器的層中的信息檢測編碼圖像數(shù)據(jù)的格式，該編碼圖像數(shù)據(jù)由插入到編碼圖像數(shù)據(jù)中的識別信息指示。

此外，本技術(shù)的一個概念在于

一種發(fā)送設(shè)備，包括：

圖像編碼單元，其生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每一個的編碼圖像數(shù)據(jù)的視頻流；以及

發(fā)送單元，其發(fā)送包括由圖像編碼單元生成的視頻流的預(yù)定格式的容器，

其中，圖像編碼單元將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。

在本技術(shù)中，圖像編碼單元生成包括基本格式圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每一個的編碼圖像數(shù)據(jù)的視頻流。例如，對于基本格式圖像數(shù)據(jù)，執(zhí)行在基本格式圖像數(shù)據(jù)內(nèi)的預(yù)測編碼處理。此外，對于高質(zhì)量格式圖像數(shù)據(jù)，執(zhí)行在高質(zhì)量格式圖像數(shù)據(jù)內(nèi)的預(yù)測編碼處理或者利用基本格式圖像數(shù)據(jù)或其他高質(zhì)量格式圖像數(shù)據(jù)執(zhí)行幀間預(yù)測編碼處理。

發(fā)送單元發(fā)送包括由圖像編碼單元生成的視頻流的預(yù)定格式的容器。例如，容器可為在數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流(MPEG-2TS)。此外，例如，容器可為用于因特網(wǎng)傳送的MP4或任何其他格式的容器。

圖像編碼單元將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)中和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的所述編碼圖像數(shù)據(jù)中。例如，編碼圖像數(shù)據(jù)可以具有NAL單元結(jié)構(gòu)，并且圖像編碼單元可以將識別信息插入到NAL單元的頭部中。在這種情況下，例如，圖像編碼單元可以使用NAL單元的所述頭部的“nuh_layer_id”字段來插入所述識別信息。此外，在這種情況下，例如，圖像編碼單元可以使用NAL單元的頭部的“nuh_layer_id”字段和“nuh_temporal_id_plus1”的字段插入識別信息。

如上所述，在本技術(shù)中，識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。因此，接收側(cè)可以基于識別信息通過對預(yù)定編碼圖像數(shù)據(jù)選擇性地執(zhí)行解碼處理而易于獲得根據(jù)顯示能力的圖像數(shù)據(jù)。

需注意，在本技術(shù)中，例如，還可以包括信息插入單元，其將信息插入到容器的層中，所述信息定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式。在這種情況下，例如，容器可為MPEG2-TS，且信息插入單元可以將信息插入到與存在于節(jié)目映射表下的視頻流相對應(yīng)的視頻基本流循環(huán)中。在這種情況下，接收側(cè)可以預(yù)先檢測編碼圖像數(shù)據(jù)的格式，所述編碼圖像數(shù)據(jù)由插入到在容器的層中的編碼圖像數(shù)據(jù)中的識別信息指示。

此外，本技術(shù)的另一個概念在于

接收設(shè)備，包括：

接收單元，其接收包括視頻流的預(yù)定格式的容器，所述視頻流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每個的編碼圖像數(shù)據(jù)，

其中，將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的編碼圖像數(shù)據(jù)中；和

處理單元，其基于識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。

在本技術(shù)中，接收單元接收包括視頻流的預(yù)定格式的容器，其中，所述視頻流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每一個的編碼圖像數(shù)據(jù)。

識別對應(yīng)格式的識別信息被插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的編碼圖像數(shù)據(jù)中。例如，編碼圖像數(shù)據(jù)可以具有NAL單元結(jié)構(gòu)，并且識別信息可以插入到NAL單元的頭部中。處理單元基于識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。

如上所述，在本技術(shù)中，基于用于識別對應(yīng)格式的識別信息和顯示能力信息處理包括在接收的容器中的視頻流，所述識別信息插入到基本格式圖像數(shù)據(jù)的的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。因此，可以選擇性地執(zhí)行對預(yù)定編碼圖像數(shù)據(jù)的解碼處理，且因此可以根據(jù)顯示能力易于獲得圖像數(shù)據(jù)。

需注意，在本技術(shù)中，例如，定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式的信息可以插入到容器的層中，并且處理單元可以基于插入到容器的層中的信息檢測編碼圖像數(shù)據(jù)的格式，該編碼圖像數(shù)據(jù)的格式由插入到編碼圖像數(shù)據(jù)中的識別信息指示。

本發(fā)明的效果

根據(jù)本技術(shù)，可以成功地將預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)連同基本格式圖像數(shù)據(jù)一起發(fā)送。需注意，本文所述的效果不一定受限，并且可以包括本公開中描述的任何效果。

附圖說明

圖1是示出根據(jù)實(shí)施例的收發(fā)系統(tǒng)的示例性配置的框圖。

圖2是示出發(fā)送設(shè)備的示例性配置的框圖。

圖3是示出生成基本格式圖像數(shù)據(jù)Vb和三個高質(zhì)量格式圖像數(shù)據(jù)Vh1、Vh2和Vh3的圖像數(shù)據(jù)生成單元的示例性配置的框圖。

圖4是示出編碼單元的主要部分的示例性配置的框圖。

圖5為示出在示例性結(jié)構(gòu)中NAL單元頭部和主要參數(shù)內(nèi)容的圖表。

圖6是示出編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3的示例性配置的示圖。

圖7是示出可擴(kuò)展的擴(kuò)展描述符的示例性結(jié)構(gòu)的示圖。

圖8是示出在可擴(kuò)展的擴(kuò)展描述符的示例性結(jié)構(gòu)中的主要信息的內(nèi)容的示圖。

圖9是示出NAL單元頭部的“nuh_layer_id”的值與可擴(kuò)展的擴(kuò)展描述符的描述之間的相應(yīng)關(guān)系的示圖。

圖10是示出傳輸流TS(在兩流的情況下)的示例性配置的圖。

圖11是示出傳輸流TS(在單流的情況下)的示例性配置的圖。

圖12是示出接收設(shè)備的示例性配置的框圖。

圖13是示出解碼單元的主要部分的示例性配置的框圖。

圖14為示意性地示出在兩流配置的情況下根據(jù)“nuh_layer_id”將壓縮數(shù)據(jù)緩存器(cpb)的輸出輸出到對應(yīng)的解碼單元和將編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3分布到對應(yīng)的解碼單元的示圖。

圖15為示意性地示出在單流配置的情況下根據(jù)“nuh_layer_id”將壓縮數(shù)據(jù)緩存器(cpb)的輸出輸出到對應(yīng)的解碼單元和將編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3分布到對應(yīng)的解碼單元的示圖。

圖16是示出基于顯示能力信息(顯示性能信息)確定解碼范圍的處理的示例的流程圖。

圖17是示出編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3的示例性配置的視圖。

圖18是示出在NAL單元頭部的“nuh_layer_id”和“nuh_temporal_id_plus1”的值與可擴(kuò)展的擴(kuò)展描述符的描述之間的相應(yīng)關(guān)系的示圖。

圖19是示出基于顯示能力信息(顯示性能信息)確定解碼范圍的處理的另一個示例的流程圖。

具體實(shí)施方式

在下文中，將描述實(shí)施本發(fā)明的模式(在下文中稱為“實(shí)施例”)。需注意本說明書將按以下順序進(jìn)行。

1.實(shí)施例

2.修改的示例

<1.實(shí)施例>

[收發(fā)器系統(tǒng)]

圖1示出根據(jù)實(shí)施例的收發(fā)系統(tǒng)的示例性配置。收發(fā)系統(tǒng)10包括發(fā)送設(shè)備100和接收設(shè)備200。用作容器的傳輸流TS包括在廣播波或網(wǎng)絡(luò)包中并從發(fā)送設(shè)備100發(fā)送到接收設(shè)備200。在本實(shí)施例中，存在兩種配置：(1)傳輸流TS包括兩個視頻流(即，基本視頻流和擴(kuò)展視頻流)的兩流配置；(2)傳輸流TS包括一個視頻流的單流配置。

“兩流配置的情況”

發(fā)送設(shè)備100包括用作廣播波或網(wǎng)絡(luò)包中的容器的傳輸流TS，并發(fā)送所生成的信號。兩個視頻流(即基本視頻流和擴(kuò)展視頻流)包括在傳輸流TS中?；疽曨l流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)。例如，通過對基本格式圖像數(shù)據(jù)執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理來生成基本視頻流。

擴(kuò)展視頻流包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)。例如，通過對預(yù)定數(shù)量的高質(zhì)量圖像數(shù)據(jù)執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理來生成擴(kuò)展視頻流。

識別對應(yīng)格式的識別信息被插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的編碼圖像數(shù)據(jù)中。接收側(cè)可以基于識別信息通過對預(yù)定編碼圖像數(shù)據(jù)選擇性地執(zhí)行解碼處理而易于獲得根據(jù)顯示能力的圖像數(shù)據(jù)。在該實(shí)施例中，將識別信息插入到NAL單元的頭部中。

將定義由插入到所述編碼圖像數(shù)據(jù)的識別信息指示的編碼圖像數(shù)據(jù)的格式的信息插入到容器的層中。接收側(cè)可以基于該信息預(yù)先檢測編碼圖像數(shù)據(jù)的格式，所述編碼圖像數(shù)據(jù)的格式由插入到在容器的層中的編碼圖像數(shù)據(jù)中的識別信息指示。在該實(shí)施例中，將信息插入到與存在于節(jié)目映射表下的擴(kuò)展視頻流相對應(yīng)的每個視頻基本流循環(huán)中。

接收設(shè)備200接收在廣播波或網(wǎng)絡(luò)包中包括的并且從發(fā)送設(shè)備100發(fā)送的傳輸流TS。如上所述，傳輸流TS包括包含基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流。

如上所述，識別對應(yīng)格式的識別信息插入到預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個中的編碼圖像數(shù)據(jù)中。接收設(shè)備200基于識別信息和顯示能力信息處理包括在傳輸流TS中的視頻流，并且根據(jù)顯示能力獲取圖像數(shù)據(jù)。

“單流配置的情況”

發(fā)送設(shè)備100包括用作廣播波或網(wǎng)絡(luò)包中的容器的傳輸流TS，并發(fā)送所生成的信號。一個視頻流被包括在傳輸流TS中。視頻流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)。例如，通過對基本格式圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理來生成視頻流。

將識別基本格式或相應(yīng)的高質(zhì)量格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的編碼圖像數(shù)據(jù)中。接收側(cè)可以基于識別信息通過對預(yù)定編碼圖像數(shù)據(jù)選擇性地執(zhí)行解碼處理而易于獲得根據(jù)顯示能力的圖像數(shù)據(jù)。在該實(shí)施例中，將識別信息插入到NAL單元的頭部中。

將定義由插入到編碼圖像數(shù)據(jù)的識別信息指示的編碼圖像數(shù)據(jù)的格式的信息插入到容器的層中。接收側(cè)可以基于該信息預(yù)先檢測編碼圖像數(shù)據(jù)的格式，所述編碼圖像數(shù)據(jù)的格式由插入到在容器的層中的編碼圖像數(shù)據(jù)中的識別信息指示。在該實(shí)施例中，將該信息插入到與存在于節(jié)目映射表下的視頻流相對應(yīng)的每個視頻基本流循環(huán)中。

接收設(shè)備200接收在廣播波或網(wǎng)絡(luò)包中包括的并且從發(fā)送設(shè)備100發(fā)送的傳輸流TS。如上所述，傳輸流TS包括視頻流，該視頻流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)。

如上所述，將識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。接收設(shè)備200基于識別信息和顯示能力信息處理包括在傳輸流TS中的視頻流，并且根據(jù)顯示能力獲取圖像數(shù)據(jù)。

“發(fā)送設(shè)備的配置”

圖2示出發(fā)送設(shè)備100的示例性配置。發(fā)送設(shè)備100處理作為發(fā)送圖像數(shù)據(jù)的基本格式圖像數(shù)據(jù)Vb和三個高質(zhì)量格式圖像數(shù)據(jù)Vh1、Vh2和Vh3。這里，基本格式圖像數(shù)據(jù)Vb是幀頻為50Hz的低動態(tài)范圍(LDR)圖像數(shù)據(jù)。高質(zhì)量格式圖像數(shù)據(jù)Vh1是幀頻率為100Hz的LDR圖像數(shù)據(jù)。相對于根據(jù)現(xiàn)有技術(shù)的LDR圖像的白色峰值的亮度，LDR圖像數(shù)據(jù)具有0％至100％的亮度范圍。

高質(zhì)量格式圖像數(shù)據(jù)Vh2是幀頻率為50Hz的高動態(tài)范圍(HDR)圖像數(shù)據(jù)。高質(zhì)量格式圖像數(shù)據(jù)Vh3是幀頻率為100Hz的HDR圖像數(shù)據(jù)。當(dāng)根據(jù)當(dāng)前技術(shù)的LDR圖像的白色峰的亮度假定為100％時，HDR圖像數(shù)據(jù)具有0至100％*N的范圍例如0至1000％或更大的亮度。

圖3示出生成基本格式圖像數(shù)據(jù)Vb和三個高質(zhì)量格式圖像數(shù)據(jù)Vh1、Vh2和Vh3的圖像數(shù)據(jù)生成單元150的示例性配置。圖像數(shù)據(jù)生成單元150包括HDR相機(jī)151、幀速率轉(zhuǎn)換單元152、動態(tài)范圍轉(zhuǎn)換單元153和幀速率轉(zhuǎn)換單元154。

HDR相機(jī)151將一個對象成像并輸出幀頻為100Hz的HDR圖像數(shù)據(jù)，即，高質(zhì)量格式圖像數(shù)據(jù)Vh3。幀速率轉(zhuǎn)換單元152執(zhí)行將從HDR相機(jī)151輸出的高質(zhì)量格式圖像數(shù)據(jù)Vh3的幀頻率從100Hz轉(zhuǎn)換為50Hz的處理，并且輸出幀頻率為50Hz的HDR圖像數(shù)據(jù)，即，高質(zhì)量格式圖像數(shù)據(jù)Vh2。

動態(tài)范圍轉(zhuǎn)換單元153執(zhí)行這樣的處理：將從HDR相機(jī)151輸出的高質(zhì)量格式圖像數(shù)據(jù)Vh3從HDR轉(zhuǎn)換成LDR，且輸出幀頻率為100Hz的LDR圖像數(shù)據(jù)，即高質(zhì)量格式圖像數(shù)據(jù)Vh1。幀速率轉(zhuǎn)換單元154執(zhí)行將從動態(tài)范圍轉(zhuǎn)換單元153輸出的高質(zhì)量格式圖像數(shù)據(jù)Vh1的幀頻率從100Hz轉(zhuǎn)換為50Hz的處理，并且輸出幀頻率為50Hz的LDR圖像數(shù)據(jù)，即，基本格式圖像數(shù)據(jù)Vb。

重新參考圖2，發(fā)送設(shè)備100包括控制單元101、LDR光電轉(zhuǎn)換單元102和103、HDR光電轉(zhuǎn)換單元104和105、視頻編碼器106、系統(tǒng)編碼器107和發(fā)送單元108。控制單元101配置有中央處理單元(CPU)，并且基于控制節(jié)目來控制發(fā)送設(shè)備100的各個單元的操作。

LDR光電轉(zhuǎn)換單元102將用于LDR圖像的光電轉(zhuǎn)換特性(LDR OETF曲線)應(yīng)用于基本格式圖像數(shù)據(jù)Vb，并獲得用于發(fā)送的基本格式圖像數(shù)據(jù)Vb'。LDR光電轉(zhuǎn)換單元103將用于LDR圖像的光電轉(zhuǎn)換特性應(yīng)用于高質(zhì)量格式圖像數(shù)據(jù)Vh1，并獲得用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh1'。

HDR光電轉(zhuǎn)換單元104將用于HDR圖像的光電轉(zhuǎn)換特性(HDR OETF曲線)應(yīng)用于高質(zhì)量格式圖像數(shù)據(jù)Vh2，并獲得用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh2'。HDR光電轉(zhuǎn)換單元105將用于HDR圖像的光電轉(zhuǎn)換特性應(yīng)用于高質(zhì)量格式圖像數(shù)據(jù)Vh3，并獲得用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh3'。

視頻編碼器106包括四個編碼單元106-0、106-1、106-2和106-3。編碼單元106-0對用于發(fā)送的基本格式圖像數(shù)據(jù)Vb'執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Cb。在這種情況下，編碼單元106-0在圖像數(shù)據(jù)Vb'內(nèi)執(zhí)行預(yù)測。

編碼單元106-1對用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh1'執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Ch1。在這種情況下，為了減少預(yù)測殘差，編碼單元106-1選擇性地在圖像數(shù)據(jù)Vh1'內(nèi)執(zhí)行預(yù)測或借助在編碼塊的單元中的圖像數(shù)據(jù)Vb'執(zhí)行幀間預(yù)測。

編碼單元106-2對用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh2'執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Ch2。在這種情況下，為了減少預(yù)測殘差，編碼單元106-2選擇性地執(zhí)行在圖像數(shù)據(jù)Vh2'內(nèi)的預(yù)測或者借助編碼塊的單元中的圖像數(shù)據(jù)Vb'選擇性地執(zhí)行幀間預(yù)測。

編碼單元106-3對用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh3'執(zhí)行H.264/AVC、H.265/HEVC等的預(yù)測編碼處理，并且獲得編碼圖像數(shù)據(jù)Ch3。在這種情況下，為了減少預(yù)測殘差，編碼單元106-3選擇性地執(zhí)行在圖像數(shù)據(jù)Vh3'內(nèi)的預(yù)測或者借助在編碼塊的單元中的圖像數(shù)據(jù)Vh2'執(zhí)行幀間預(yù)測。

圖4示出編碼單元160的主要部分的示例性配置。編碼單元160可以應(yīng)用至編碼單元106-1、106-2和106-3。編碼單元160包括層內(nèi)預(yù)測單元161、層間預(yù)測單元162、預(yù)測調(diào)節(jié)單元163、選擇單元164和編碼功能單元165。

層內(nèi)預(yù)測單元161對當(dāng)前待編碼的圖像數(shù)據(jù)V1執(zhí)行在圖像數(shù)據(jù)V1內(nèi)的預(yù)測(層內(nèi)預(yù)測)，并獲得預(yù)測殘差數(shù)據(jù)。層間預(yù)測單元162利用圖像數(shù)據(jù)V2對當(dāng)前待編碼的圖像數(shù)據(jù)V1執(zhí)行幀間預(yù)測(層間預(yù)測)執(zhí)行幀間預(yù)測，并獲得預(yù)測殘差數(shù)據(jù)。

預(yù)測調(diào)節(jié)單元163根據(jù)用于圖像數(shù)據(jù)V2的圖像數(shù)據(jù)V1的可擴(kuò)展的擴(kuò)展類型執(zhí)行以下處理，使得在層間預(yù)測單元162中有效地執(zhí)行層間預(yù)測。在動態(tài)范圍擴(kuò)展的情況下，執(zhí)行用于將LDR轉(zhuǎn)換為HDR的層級調(diào)整。在空間上可擴(kuò)展的擴(kuò)展的情況下，執(zhí)行將另一層的塊縮放到預(yù)定大小的縮放處理。在幀速率擴(kuò)展的情況下，它被繞過。在色域擴(kuò)展的情況下，對亮度和色度中的每一個執(zhí)行映射。在位長擴(kuò)展的情況下，執(zhí)行用于對準(zhǔn)像素的MSB的轉(zhuǎn)換。

例如，在編碼單元106-1的情況下，圖像數(shù)據(jù)V1是高質(zhì)量格式圖像數(shù)據(jù)Vh1'(100Hz，LDR)，圖像數(shù)據(jù)V2是基本格式圖像數(shù)據(jù)Vb'(50Hz，LDR)，并且可擴(kuò)展的擴(kuò)展類型是幀速率擴(kuò)展。為此，在預(yù)測調(diào)節(jié)單元163中，圖像數(shù)據(jù)Vb'被繞過而沒有改變。

此外，例如，在編碼單元106-2的情況下，圖像數(shù)據(jù)V1是高質(zhì)量格式圖像數(shù)據(jù)Vh2'(50Hz，HDR)，圖像數(shù)據(jù)V2是基本格式圖像數(shù)據(jù)Vb'(50Hz，LDR)，并且可擴(kuò)展的擴(kuò)展類型是動態(tài)范圍擴(kuò)展。因此，在預(yù)測調(diào)節(jié)單元163中，對圖像數(shù)據(jù)Vb'執(zhí)行用于將LDR轉(zhuǎn)換為HDR的層級調(diào)整。需注意，可以基于從動態(tài)范圍轉(zhuǎn)換單元153提供的信息來執(zhí)行層級調(diào)整。

此外，例如，在編碼單元106-3的情況下，圖像數(shù)據(jù)V1是高質(zhì)量格式圖像數(shù)據(jù)Vh3'(100Hz，HDR)，圖像數(shù)據(jù)V2是高質(zhì)量格式圖像數(shù)據(jù)Vh2'(50Hz，HDR)，并且可擴(kuò)展的擴(kuò)展類型是幀速率擴(kuò)展。為此，在預(yù)測調(diào)節(jié)單元163中，圖像數(shù)據(jù)Vb'被繞過而沒有改變。

選擇單元164選擇性地提取由層內(nèi)預(yù)測單元161獲得的預(yù)測殘差數(shù)據(jù)或由層間預(yù)測單元162獲得的在編碼塊的單元中的預(yù)測殘差數(shù)據(jù)，并將所選擇的預(yù)測殘差數(shù)據(jù)傳遞到編碼功能單元165。在這種情況下，選擇單元164例如選擇預(yù)測殘差中較小的預(yù)測殘差數(shù)據(jù)。編碼功能單元165對由選擇單元164選擇的預(yù)測殘差數(shù)據(jù)執(zhí)行編碼處理諸如轉(zhuǎn)換編碼、量化和熵編碼的編碼功能，并且獲得編碼圖像數(shù)據(jù)CV。

再參考圖2，視頻編碼器106將識別對應(yīng)格式的識別信息插入到編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3中的每一個中。視頻編碼器106將識別信息插入到例如NAL單元的頭部中。

圖5(a)示出NAL單元頭部的示例性結(jié)構(gòu)(語法)，圖5(b)示出示例性結(jié)構(gòu)中的主要參數(shù)的內(nèi)容(語義)。1比特字段“forbidden_zero_bit”強(qiáng)制為0。6比特字段“nal_unit_type”指示NAL單元類型。6比特字段“nuh_layer_id”為指示流的層擴(kuò)展類型的ID。3比特字段“nuh_temporal_id_plus1”指示temporal_id(0至6)具有通過加1而獲得的值(1至7)。

在本實(shí)施例中，6比特字段“nuh_layer_id”指示用于識別與NAL單元(編碼圖像數(shù)據(jù))對應(yīng)的格式的識別信息。例如，“0”指示基本的?！?”指示空間擴(kuò)展?！?”指示幀速率擴(kuò)展?！?”指示位長度擴(kuò)展?！?”指示動態(tài)范圍擴(kuò)展?！?”指示寬色域擴(kuò)展。“6”指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展。“7”指示空間擴(kuò)展和幀速率擴(kuò)展。

編碼圖像數(shù)據(jù)Cb對應(yīng)于基本格式圖像數(shù)據(jù)Vb，且編碼圖像數(shù)據(jù)Cb的“nuh_layer_id”為“0”。另外，編碼圖像數(shù)據(jù)Ch1對應(yīng)于幀速率擴(kuò)展格式圖像數(shù)據(jù)Vh1，且編碼圖像數(shù)據(jù)Ch1的“nuh_layer_id”是“2”。另外，編碼圖像數(shù)據(jù)Ch2對應(yīng)于動態(tài)范圍擴(kuò)展格式圖像數(shù)據(jù)Vh2，且編碼圖像數(shù)據(jù)Ch2的“nuh_layer_id”是“4”。另外，編碼圖像數(shù)據(jù)Ch3對應(yīng)于幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的格式圖像數(shù)據(jù)Vh3，且編碼圖像數(shù)據(jù)Ch3的“nuh_layer_id”是“6”。

圖6示出編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3的示例性配置。水平軸指示顯示順序(組合的圖片順序(POC))，且隨著顯示時間越靠近左側(cè)而行進(jìn)到較早時間，而顯示時間越靠近右側(cè)而行進(jìn)到未來的時間。每個矩形框指示圖片，而箭頭指示在預(yù)測編碼處理中的圖片的參考關(guān)系。在層間預(yù)測和層內(nèi)預(yù)測這兩者中，可以改變在塊的單元中的當(dāng)前圖片，預(yù)測方向和參考數(shù)量不限于圖6所示的示例。

編碼圖像數(shù)據(jù)Cb配置有圖片“00，”“01，”...的編碼圖像數(shù)據(jù)。編碼圖像數(shù)據(jù)Ch1配置有位于在編碼圖像數(shù)據(jù)Cb的每兩個圖片之間的圖片“10，”“11，”...的編碼圖像數(shù)據(jù)。編碼圖像數(shù)據(jù)Ch2配置有與編碼圖像數(shù)據(jù)Cb的圖片相同的位置處的圖片“20，”“21，”...的編碼圖像數(shù)據(jù)。此外，編碼圖像數(shù)據(jù)Ch3配置有位于在編碼圖像數(shù)據(jù)Ch2的每兩個圖片之間的圖片“30，”“31，”...的編碼圖像數(shù)據(jù)。

再參考回圖2，系統(tǒng)編碼器107使用由視頻編碼器106生成的編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3生成視頻流，并通過執(zhí)行PES打包和TS打包來生成傳輸流TS。然后，發(fā)送單元108包括在廣播波或網(wǎng)絡(luò)包中的傳輸流TS，并將所生成的信號發(fā)送到接收設(shè)備200。

這里，在兩流配置的情況下，系統(tǒng)編碼器107生成包括編碼圖像數(shù)據(jù)Cb的基本視頻流和包括編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的擴(kuò)展視頻流。換句話說，在這種情況下，傳輸流TS包括兩個視頻流，即，包括編碼圖像數(shù)據(jù)Cb的基本視頻流和包括編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的擴(kuò)展視頻流。

此外，在單流配置的情況下，系統(tǒng)編碼器107生成包括編碼圖像數(shù)據(jù)Cb，Ch1，Ch2和Ch3的視頻流。換句話說，在這種情況下，傳輸流TS包括包含編碼圖像數(shù)據(jù)Cb，Ch1，Ch2和Ch3的一個視頻流。

系統(tǒng)編碼器107將信息插入到容器的層(傳輸流)中，所述信息定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式。

在本實(shí)施例中，在雙流配置的情況下，將可擴(kuò)展的擴(kuò)展描述符插入到與存在于節(jié)目映射表(PMT)下的擴(kuò)展視頻流(包括編碼數(shù)據(jù)Ch1、Ch2和Ch3)相對應(yīng)的視頻基本流循環(huán)中。在這種情況下，定義由插入到編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3中的識別信息指示的編碼圖像數(shù)據(jù)的格式。

另外，在本實(shí)施例中，在單流配置的情況下，可擴(kuò)展的擴(kuò)展描述符插入到與存在于節(jié)目映射表(PMT)下的視頻流(包括編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3)相對應(yīng)的視頻基本流循環(huán)中。在這種情況下，定義由插入到編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3中的識別信息指示的編碼圖像數(shù)據(jù)的格式。

圖7示出可擴(kuò)展的擴(kuò)展描述符的示例性結(jié)構(gòu)(語法)。圖8示出圖7所示的示例性結(jié)構(gòu)中的主要信息的內(nèi)容(語義)。8比特字段“descriptor_tag”指示描述符類型且指示該描述符是可擴(kuò)展的擴(kuò)展描述符。8比特字段“descriptor_length”指示描述符的長度(大小)，并且將后續(xù)比特的數(shù)量指示為描述符的長度。

標(biāo)志“Extended_spatial_resolution_flag”指示是否包括空間分辨率擴(kuò)展成分?！?”指示包括空間分辨率擴(kuò)展成分，而“0”表示不包括空間分辨率擴(kuò)展成分。標(biāo)志“Extended_frame_rate_flag”指示是否包括幀速率擴(kuò)展組件?！?”指示包括幀速率擴(kuò)展成分，而“0”指示不包括幀速率擴(kuò)展組件。

標(biāo)志“Extended_bit_depth_flag”指示是否包括比特長度擴(kuò)展成分。“1”指示包括比特長度擴(kuò)展成分，“0”指示不包括比特長度擴(kuò)展成分。標(biāo)志“Extended_dynamic_range_flag”指示是否包括動態(tài)范圍擴(kuò)展成分?！?”指示包括動態(tài)范圍擴(kuò)展成分，而“0”指示不包括動態(tài)范圍擴(kuò)展成分。標(biāo)志“Extended_color_gamut_flag”指示是否包括色域擴(kuò)展成分。“1”指示包括色域擴(kuò)展成分，而“0”指示不包括色域擴(kuò)展成分。

8比特字段“number_of_layerIDs”指示包括在流中的層的數(shù)量。存在數(shù)量上與層數(shù)對應(yīng)的6比特字段“l(fā)ayerID”。字段“l(fā)ayerID”指示層ID(Layer_id)。

這里，在雙流配置的情況下，當(dāng)擴(kuò)展視頻流包括編碼圖像數(shù)據(jù)Ch1，Ch2和Ch3時，將“Extended_spatial_resolution_flag”、“Extended_bit_depth_flag”和“Extended_color_gamut_flag”設(shè)定為“0”，而“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”。此外，將“number_of_layerIDs”設(shè)定為“3”，并且將“2”、“4”和“6”依次設(shè)定為“l(fā)ayerID”。

通過該設(shè)定，“l(fā)ayerID”＝“2”指示幀速率擴(kuò)展，且因此定義NAL單元的頭部的“nuh_layer_id”＝“2”以指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。另外，“l(fā)ayerID”＝“4”指示動態(tài)范圍擴(kuò)展，且因此定義NAL單元的頭部的“nuh_layer_id”＝“4”以指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。另外，“l(fā)ayerID”＝“6”指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展，且定義NAL單元的頭部的“nuh_layer_id”＝“6”以指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

另外，在單流配置的情況下，當(dāng)視頻流包括編碼數(shù)據(jù)Cb、Ch1、Ch2和Ch3時，將“Extended_spatial_resolution_flag”、“Extended_bit_depth_flag”和“Extended_color_gamut_flag”設(shè)定成“0”。將“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”。另外，將“number_of_layerIDs”設(shè)定成“4”，并且按順序?qū)ⅰ?”、“2”、“4”和“6”設(shè)定為“l(fā)ayerID”。

通過該設(shè)定，“l(fā)ayerID”＝“0”指示基本格式，且因此定義NAL單元的頭部的“nuh_layer_id”＝“0”以指示基本格式的編碼圖像數(shù)據(jù)。此外，“l(fā)ayerID”＝“2”指示幀速率擴(kuò)展，且因此定義NAL單元的頭部的“nuh_layer_id”＝“2”以指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。此外，“l(fā)ayerID”＝“4”指示動態(tài)范圍擴(kuò)展，且因此定義NAL單元的頭部的“nuh_layer_id”＝“4”以指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。此外，“l(fā)ayerID”＝“6”指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展，且因此定義NAL單元的頭部的“nuh_layer_id”＝“6”以指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

圖9示出NAL單元頭部的“nuh_layer_id”的值與可擴(kuò)展的擴(kuò)展描述符的描述之間的對應(yīng)關(guān)系。換句話說，當(dāng)“nuh_layer_id”＝“0”的基本格式(基本成分)的編碼圖像數(shù)據(jù)包括在流中時，將“0”賦值給“l(fā)ayerID”。

此外，當(dāng)流中包括“nuh_layer_id”＝“1”的空間擴(kuò)展(空間擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_spatial_resolution_flag”設(shè)定為“1”，且將“1”賦值給“l(fā)ayerID”。另外，當(dāng)在流中包括“nuh_layer_id”＝“2”的幀速率擴(kuò)展(幀速率擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_frame_rate_flag”設(shè)定為“1”，并且將“2”賦值給“l(fā)ayerID”。另外，當(dāng)流中包括“nuh_layer_id”＝“3”的幀速率擴(kuò)展(位長擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_bit_depth_flag”設(shè)定為“1”，將“3”賦值給“l(fā)ayerID”。

另外，當(dāng)流中包括“nuh_layer_id”＝“4”的動態(tài)范圍擴(kuò)展(動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_dynamic_range_flag”設(shè)定為“1”，將“4”賦值給“l(fā)ayerID”。另外，當(dāng)在流中包括“nuh_layer_id”＝“5”的色域擴(kuò)展(色域擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_color_gamut_flag”設(shè)定為“1”，并且將“5”賦值給“l(fā)ayerID”。

此外，當(dāng)流中包括“nuh_layer_id”＝“6”的幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展(幀速率擴(kuò)展成分和動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”，并且將“6”賦值給“l(fā)ayerID”。另外，當(dāng)在流中包括“nuh_layer_id”＝“7”的空間擴(kuò)展和幀速率擴(kuò)展(空間擴(kuò)展成分和幀速率擴(kuò)展成分)的編碼圖像數(shù)據(jù)時，將“Extended_spatial_resolution_flag”和“Extended_frame_rate_flag”設(shè)定為“1”，并且將“7”賦值給“l(fā)ayerID”。

[傳輸流TS的配置]

圖10示出在兩流配置的情況下的傳輸流TS的示例性配置。兩個視頻流(即基本視頻流STb和擴(kuò)展視頻流STe)包括在傳輸流TS中。在該示例性配置中，存在每個視頻流的PES包“視頻PES”。

基本視頻流STb的包標(biāo)識符(PID)例如為PID1。基本格式的圖片的編碼圖像數(shù)據(jù)包括在基本視頻流STb中。在基本格式的圖片的編碼圖像數(shù)據(jù)中，存在NAL單元諸如AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI和EOS。在NAL單元的頭部中，將“nuh_layer_id”設(shè)定為例如“0”，并且指示與基本格式相關(guān)的編碼圖像數(shù)據(jù)。

此外，擴(kuò)展視頻流STe的包標(biāo)識符(PID)例如是PID2。在擴(kuò)展視頻流STe中包括三個高質(zhì)量格式(即幀速率擴(kuò)展、動態(tài)范圍擴(kuò)展以及幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展)的圖片的編碼圖像數(shù)據(jù)。在高質(zhì)量格式的圖片的編碼圖像數(shù)據(jù)中，存在NAL單元諸如AUD、SPS、PPS、PSEI、SLICE、SSEI和EOS。

需注意，在基本格式的圖片的編碼圖像數(shù)據(jù)中的SPS和在高質(zhì)量格式的圖片的編碼圖像數(shù)據(jù)中的SPS具有相同的“nal_unit_type”值，但是不同在于其中是否包括擴(kuò)展。換句話說，在高質(zhì)量格式的圖片的編碼圖像數(shù)據(jù)中的SPS包括SPS擴(kuò)展。需注意，基本格式的SPS和高質(zhì)量格式的SPS可以具有不同的“nal_unit_type”值。

在構(gòu)成幀速率擴(kuò)展的圖片的編碼圖像數(shù)據(jù)的NAL單元的頭部中，將“nuh_layer_id”設(shè)定為“2”并且指示與幀速率擴(kuò)展相關(guān)的編碼圖像數(shù)據(jù)。另外，在構(gòu)成動態(tài)范圍擴(kuò)展的圖片的編碼圖像數(shù)據(jù)的NAL單元的頭部中，“nuh_layer_id”設(shè)定為“4”并且指示與動態(tài)范圍擴(kuò)展相關(guān)的編碼圖像數(shù)據(jù)。另外，在構(gòu)成幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的圖片的編碼圖像數(shù)據(jù)的NAL單元的頭部中，將“nuh_layer_id”設(shè)定為“6”且表示與幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展相關(guān)的編碼圖像數(shù)據(jù)。

另外，節(jié)目映射表(PMT)作為節(jié)目特定信息(PSI)包括在傳輸流TS中。PSI為指示與包括在傳輸流中的每個基本流相關(guān)的節(jié)目的信息。

在PMT中包括描述與所有節(jié)目相關(guān)的信息的節(jié)目循環(huán)(program loop)。另外，在PMT中包括基本流循環(huán)(包括與每個基本流相關(guān)的信息)。在該示例性配置中，包括與兩個視頻流(即，基本視頻流STb和擴(kuò)展視頻流STe)相關(guān)的兩個視頻基本流循環(huán)(視頻ES循環(huán))。諸如流類型(ST0)和包標(biāo)識符(PID1)的信息布置在與基本視頻流STb對應(yīng)的視頻基本流循環(huán)中。

另外，在與擴(kuò)展視頻流STe對應(yīng)的視頻基本流循環(huán)中，也布置了諸如流類型(ST1)和包標(biāo)識符(PID2)的信息，并且還布置了用于描述與擴(kuò)展視頻流STe相關(guān)聯(lián)的信息的描述符。插入作為描述符之一可擴(kuò)展的擴(kuò)展描述符(參見圖7)。

在該描述符中，將“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”，并且將“number_of_layerID”設(shè)定為“3”，并且將“2”、“4”和“6”依順序賦值給“l(fā)ayerID”。因此，定義NAL單元的頭部的“nuh_layer_id”＝“2”以指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。另外，定義NAL單元的頭部的“nuh_layer_id”＝“4”以指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。此外，定義NAL單元的頭部的“nuh_layer_id”＝“6”以指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

圖11示出在單流配置的情況下中傳輸流TS的示例性配置。一個視頻流ST包括在傳輸流TS中。在該示例性配置中，存在視頻流ST的PES包“視頻PES”。

將視頻流ST的包標(biāo)識符(PID)設(shè)定為例如PID1。在視頻流ST中，包括基本格式的圖片的編碼圖像數(shù)據(jù)，并且包括三種高質(zhì)量格式(即幀速率擴(kuò)展、動態(tài)范圍擴(kuò)展以及幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展)的圖片的編碼圖像數(shù)據(jù)。

在基本格式的圖片的編碼圖像數(shù)據(jù)中，存在諸如AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI和EOS的NAL單元。在NAL單元的頭部中，將“nuh_layer_id”設(shè)定為例如“0”且指示與基本格式相關(guān)的編碼圖像數(shù)據(jù)。

另外，在高質(zhì)量格式的圖片的編碼圖像數(shù)據(jù)中，存在諸如AUD、SPS、PPS、PSEI、SLICE、SSEI和EOS的NAL單元。需注意，在基本格式的圖片的編碼圖像數(shù)據(jù)中的SPS和在高質(zhì)量格式的圖片的編碼圖像數(shù)據(jù)中的SPS具有相同的“nal_unit_type”值，但是不同之處在于是否其中包括擴(kuò)展。換句話說，在高質(zhì)量格式的圖片的編碼圖像數(shù)據(jù)中的SPS包括SPS擴(kuò)展。

在構(gòu)成幀速率擴(kuò)展的圖片的編碼圖像數(shù)據(jù)的NAL單元的頭部中，將“nuh_layer_id”設(shè)定為“2”且指示與幀速率擴(kuò)展相關(guān)的編碼圖像數(shù)據(jù)。另外，在構(gòu)成動態(tài)范圍擴(kuò)展的圖片的編碼圖像數(shù)據(jù)的NAL單元的頭部中，將“nuh_layer_id”設(shè)定為“4”并且指示與動態(tài)范圍擴(kuò)展有關(guān)的編碼圖像數(shù)據(jù)。另外，在構(gòu)成幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的圖片的編碼圖像數(shù)據(jù)的NAL單元的頭部中，將“nuh_layer_id”設(shè)定為“6”且指示與幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展有關(guān)的編碼圖像數(shù)據(jù)。

此外，節(jié)目映射表(PMT)作為節(jié)目特定信息(PSI)包括在傳輸流TS中。PSI為指示與包括在傳輸流中的每個基本流相關(guān)聯(lián)的節(jié)目的信息。

在PMT中包括描述與所有節(jié)目相關(guān)聯(lián)的信息的節(jié)目循環(huán)。另外，在PMT中包含包括與每個基本流相關(guān)聯(lián)的信息的基本流循環(huán)。在該示例性配置中，包括與一個視頻流ST相關(guān)聯(lián)的一個視頻基本流循環(huán)(視頻ES循環(huán))。

在視頻基本流循環(huán)中，布置諸如流類型(ST0)和包標(biāo)識符(PID1)的信息并且還布置用于描述與視頻流ST相關(guān)聯(lián)的信息的描述符。插入作為描述符之一的可擴(kuò)展的擴(kuò)展描述符(參見圖7)。

在該描述符中，將“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”，將“number_of_layerIDs”設(shè)定為“4”，并且將“0”、“2”、“4”和“6”順序地賦值給“l(fā)ayerID”。因此，定義NAL單元的頭部的“nuh_layer_id”＝“0”以指示基本格式的編碼圖像數(shù)據(jù)。定義NAL單元的頭部的“nuh_layer_id”＝“2”以指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。此外，定義NAL單元的頭部的“nuh_layer_id”＝“4”以指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。此外，定義NAL單元的頭部的“nuh_layer_id”＝“6”以指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

將簡要描述在圖2所示的發(fā)送設(shè)備100的操作。將用作幀頻率為50Hz的LDR圖像數(shù)據(jù)的基本格式圖像數(shù)據(jù)Vb提供給LDR光電轉(zhuǎn)換單元102。LDR光電轉(zhuǎn)換單元102將用于LDR圖片的光電轉(zhuǎn)換特性(LDR OETF曲線)應(yīng)用至基本格式圖像數(shù)據(jù)Vb，并獲得用于發(fā)送的基本格式圖像數(shù)據(jù)Vb'。將基本格式圖像數(shù)據(jù)Vb'提供給視頻編碼器106的編碼單元106-0、106-1和106-2。

此外，將用作幀頻率為100Hz的LDR圖像數(shù)據(jù)的高質(zhì)量格式圖像數(shù)據(jù)Vh1提供給LDR光電轉(zhuǎn)換單元103。LDR光電轉(zhuǎn)換單元103將用于LDR圖像的光電轉(zhuǎn)換特性(LDR OETF曲線)轉(zhuǎn)換為高質(zhì)量格式圖像數(shù)據(jù)Vh1并且獲得用于傳輸?shù)母哔|(zhì)量格式圖像數(shù)據(jù)Vh1'。將高質(zhì)量格式圖像數(shù)據(jù)Vh1'提供給視頻編碼器106的編碼單元106-1。

此外，將用作幀頻率為50Hz的HDR圖像數(shù)據(jù)的高質(zhì)量格式圖像數(shù)據(jù)Vh2提供給HDR光電轉(zhuǎn)換單元104。HDR光電轉(zhuǎn)換單元104將用于HDR圖像的光電轉(zhuǎn)換特性(HDR OETF曲線)應(yīng)用至高質(zhì)量格式圖像數(shù)據(jù)Vh2，并且獲得用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh2'。將高質(zhì)量格式圖像數(shù)據(jù)Vh2提供給視頻編碼器106的編碼單元106-2和106-3。

另外，將用作幀頻率為100Hz的HDR圖像數(shù)據(jù)的高質(zhì)量格式圖像數(shù)據(jù)Vh3提供給HDR光電轉(zhuǎn)換單元105。HDR光電轉(zhuǎn)換單元105將用于HDR圖像的光電轉(zhuǎn)換特性(HDR OETF曲線)應(yīng)用至高質(zhì)量格式圖像數(shù)據(jù)Vh3，并且獲得用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh3'。將高質(zhì)量格式圖像數(shù)據(jù)Vh3'提供給視頻編碼器106的編碼單元106-3。

視頻編碼器106對基本格式圖像數(shù)據(jù)Vb'和高質(zhì)量格式圖像數(shù)據(jù)Vh1'、Vh2'和Vh3'進(jìn)行編碼處理并且生成編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3。換句話說，編碼單元106-0對用于發(fā)送的基本格式圖像數(shù)據(jù)Vb'執(zhí)行H.264/AVC、H.265/HEVC等預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Cb。

此外，編碼單元106-1對用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh1'執(zhí)行H.264/AVC、H.265/HEVC等預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Ch1。此外，編碼單元106-2對用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh2'執(zhí)行H.264/AVC、H.265/HEVC等預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Ch2。另外，編碼單元106-3對用于發(fā)送的高質(zhì)量格式圖像數(shù)據(jù)Vh3'執(zhí)行H.264/AVC、H.265/HEVC等預(yù)測編碼處理，并獲得編碼圖像數(shù)據(jù)Ch3。

視頻編碼器106將用于識別對應(yīng)格式的識別信息插入到編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3中的每一個中。換句話說，視頻編碼器106將用于識別與NAL單元(編碼圖像數(shù)據(jù))相對應(yīng)的格式的識別信息插入到NAL單元的頭部的字段“nuh_layer_id”中。

將由視頻編碼器106獲得的編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3提供給系統(tǒng)編碼器107。系統(tǒng)編碼器107使用編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3生成視頻流，并且通過執(zhí)行PES打包和TS打包來生成傳輸流TS。

這里，在兩流配置的情況下，生成兩個視頻流，即，包括編碼圖像數(shù)據(jù)Cb的基本視頻流和包括編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的擴(kuò)展視頻流。另外，在單流配置的情況下，生成包括編碼圖像數(shù)據(jù)Cb、Ch1，Ch2和Ch3的一個視頻流。

系統(tǒng)編碼器107將用于定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式的信息插入到容器的層(傳輸流)中。

這里，在雙流配置的情況下，將可擴(kuò)展的擴(kuò)展描述符插入到與存在于PMT下的擴(kuò)展視頻流(包括編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3)相對應(yīng)的視頻基本流循環(huán)中。另外，在單流配置的情況下，將可擴(kuò)展的擴(kuò)展描述符插入到與存在于PMT下的視頻流(包括編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3)相對應(yīng)的視頻基本流循環(huán)中。

由系統(tǒng)編碼器107生成的傳輸流TS被傳遞到發(fā)送單元108。發(fā)送單元108包括在廣播波或網(wǎng)絡(luò)包中的傳輸流TS，并將所生成的信號發(fā)送到接收設(shè)備200。

“接收設(shè)備的結(jié)構(gòu)”

圖12示出接收設(shè)備200的示例性配置。接收設(shè)備200具有與圖2的發(fā)送設(shè)備100的示例性配置對應(yīng)的示例性配置。接收設(shè)備200包括控制單元201、接收單元202、系統(tǒng)解碼器203、壓縮數(shù)據(jù)緩存器(cpb)204、視頻解碼器205、LDR電光轉(zhuǎn)換單元206和207、HDR電-光轉(zhuǎn)換單元208和209，以及顯示單元(顯示設(shè)備)210。

控制單元201配置有中央處理單元(CPU)并基于控制節(jié)目來控制接收設(shè)備200的各個單元的操作。接收單元202接收包括在從發(fā)送設(shè)備100發(fā)送的廣播波或網(wǎng)絡(luò)包中的傳輸流TS。系統(tǒng)解碼器203從傳輸流TS提取視頻流。

在兩流配置(參見圖10)的情況下，提取兩個視頻流(即，包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Cb的基本視頻流和包括高質(zhì)量格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的擴(kuò)展視頻流)。另外，在單流配置(參見圖11)的情況下，提取一個包含基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Cb和高質(zhì)量格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的視頻流。

另外，系統(tǒng)解碼器203提取插入到容器的層(傳輸流)中的各種信息，并將所提取的信息傳遞到控制單元201?？蓴U(kuò)展的擴(kuò)展描述符也包括在該信息中?；谠撁枋龇?，控制單元201可以檢測編碼圖像數(shù)據(jù)的格式，該格式由預(yù)先插入到容器的層中的編碼圖像數(shù)據(jù)(在本實(shí)施例中，NAL單元的頭部的“nuh_layer_id”)的識別信息指示。

壓縮數(shù)據(jù)緩存器204暫時累積由系統(tǒng)解碼器203提取的視頻流。視頻解碼器205包括四個解碼單元205-0、205-1、205-2和205-3。解碼單元205-0對從壓縮數(shù)據(jù)緩存器204選擇性地讀取的基本格式(基本成分)的編碼圖像數(shù)據(jù)Cb執(zhí)行解碼處理，并且生成基本格式圖像數(shù)據(jù)Vb'。在這種情況下，解碼單元205-0在圖像數(shù)據(jù)Vb'內(nèi)執(zhí)行預(yù)測和補(bǔ)償。

解碼單元205-1對從壓縮數(shù)據(jù)緩存器204選擇性地讀取的幀速率擴(kuò)展(幀速率擴(kuò)展成分)的編碼圖像數(shù)據(jù)Ch1執(zhí)行解碼處理，并且生成高質(zhì)量格式圖像數(shù)據(jù)Vh1'。在這種情況下，解碼單元205-1在編碼時在圖像數(shù)據(jù)Vh1'內(nèi)執(zhí)行預(yù)測和補(bǔ)償或者借助在與預(yù)測相關(guān)聯(lián)的編碼塊的單元中的圖像數(shù)據(jù)內(nèi)執(zhí)行幀間預(yù)測和補(bǔ)償。

解碼單元205-2對從壓縮數(shù)據(jù)緩存器204選擇性地讀取的動態(tài)范圍擴(kuò)展(動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)Ch2執(zhí)行解碼處理，并且生成高質(zhì)量格式圖像數(shù)據(jù)Vh2'。在這種情況下，解碼單元205-2在編碼時在圖像數(shù)據(jù)Vh2'內(nèi)執(zhí)行預(yù)測和補(bǔ)償，或者借助在與預(yù)測相關(guān)聯(lián)地編碼塊的單元中的圖像數(shù)據(jù)Vb'執(zhí)行幀間預(yù)測和補(bǔ)償。

解碼單元205-3對從壓縮數(shù)據(jù)緩存器204選擇性讀取的幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展(幀速率擴(kuò)展成分和動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)Ch3執(zhí)行解碼處理，并生成高質(zhì)量格式圖像數(shù)據(jù)Vh3'。在這種情況下，解碼單元205-3在編碼的同時在圖像數(shù)據(jù)Vh3'內(nèi)執(zhí)行預(yù)測和補(bǔ)償，或者借助在與預(yù)測相關(guān)聯(lián)的編碼塊的單元中的圖像數(shù)據(jù)Vh2'執(zhí)行幀間預(yù)測和補(bǔ)償。

圖13示出解碼單元250的主要部分的示例性配置。解碼單元250可以應(yīng)用于解碼單元205-1、205-2和205-3。解碼單元250執(zhí)行與圖4的編碼單元165的處理相反的處理。解碼單元250包括解碼功能單元251、層內(nèi)預(yù)測補(bǔ)償單元252、層間預(yù)測補(bǔ)償單元253、預(yù)測調(diào)節(jié)單元254和選擇單元255。

解碼功能單元251對編碼圖像數(shù)據(jù)CV執(zhí)行解碼處理，而非預(yù)測和補(bǔ)償，并且獲得預(yù)測殘差數(shù)據(jù)。層內(nèi)預(yù)測補(bǔ)償單元252在圖像數(shù)據(jù)V1內(nèi)對預(yù)測殘差數(shù)據(jù)執(zhí)行預(yù)測和補(bǔ)償(層內(nèi)預(yù)測和補(bǔ)償)，并獲得圖像數(shù)據(jù)V1。層間預(yù)測補(bǔ)償單元253借助待參考的圖像數(shù)據(jù)V2(層間預(yù)測和補(bǔ)償)對預(yù)測殘差數(shù)據(jù)執(zhí)行幀間預(yù)測和補(bǔ)償，并獲得圖像數(shù)據(jù)V1。

雖然省略了詳細(xì)描述，但是預(yù)測調(diào)節(jié)單元254根據(jù)用于圖像數(shù)據(jù)V2的圖像數(shù)據(jù)V1的可擴(kuò)展的擴(kuò)展類型來執(zhí)行處理，類似于圖4的編碼單元160的預(yù)測調(diào)節(jié)單元163。選擇單元255在編碼的同時選擇性地提取和輸出由層內(nèi)預(yù)測補(bǔ)償單元252獲得的圖像數(shù)據(jù)V1或由在與預(yù)測相關(guān)聯(lián)的編碼塊的單元中的層間預(yù)測補(bǔ)償單元253獲得的圖像數(shù)據(jù)V1。

參考圖12，LDR電-光轉(zhuǎn)換單元206基于由解碼單元205-0獲得的基本格式圖像數(shù)據(jù)Vb'來執(zhí)行與發(fā)送設(shè)備100中的LDR光電轉(zhuǎn)換單元102的特性相反的電-光轉(zhuǎn)換，并獲得基本格式圖像數(shù)據(jù)Vb。基本格式圖像數(shù)據(jù)是幀頻率為50Hz的LDR圖像數(shù)據(jù)。

另外，LDR電-光轉(zhuǎn)換單元207對由解碼單元205-1獲得的高質(zhì)量格式圖像數(shù)據(jù)Vh1'執(zhí)行與在發(fā)送設(shè)備100中的LDR光電轉(zhuǎn)換單元103特性相反的電-光轉(zhuǎn)換，并獲得高質(zhì)量格式圖像數(shù)據(jù)Vh1。高質(zhì)量格式圖像數(shù)據(jù)Vh1是幀頻率為100Hz的LDR圖像數(shù)據(jù)。

另外，HDR電-光轉(zhuǎn)換單元208對由解碼單元205-2獲得的高質(zhì)量格式圖像數(shù)據(jù)Vh2'執(zhí)行與在發(fā)送設(shè)備100中的HDR光電轉(zhuǎn)換單元104特性相反的電光轉(zhuǎn)換，并獲得高質(zhì)量格式圖像數(shù)據(jù)Vh2。高質(zhì)量格式圖像數(shù)據(jù)Vh2是幀頻率為50Hz的HDR圖像數(shù)據(jù)。

另外，HDR電-光轉(zhuǎn)換單元209對由解碼單元205-3獲得的高質(zhì)量格式圖像數(shù)據(jù)Vh3'執(zhí)行與在發(fā)送設(shè)備100中的HDR光電轉(zhuǎn)換單元105相反的特性的電-光轉(zhuǎn)換，并獲得高質(zhì)量格式圖像數(shù)據(jù)Vh3。高質(zhì)量格式圖像數(shù)據(jù)Vh3是幀頻率為100Hz的HDR圖像數(shù)據(jù)。

顯示單元210配置有例如液晶顯示器(LCD)、有機(jī)電致發(fā)光(有機(jī)EL)面板等。根據(jù)顯示能力，顯示單元210顯示根據(jù)基本格式圖像數(shù)據(jù)Vb和高質(zhì)量格式圖像數(shù)據(jù)Vh1、Vh2和Vh3中的任何一個的圖像。

在這種情況下，控制單元201控制待提供給顯示單元210的圖像數(shù)據(jù)?；诓迦氲矫總€編碼圖像數(shù)據(jù)中的基本格式和高質(zhì)量格式的識別信息和顯示單元209的顯示能力信息來執(zhí)行該控制。

換句話說，當(dāng)顯示單元210不能夠執(zhí)行高幀頻率的顯示和高動態(tài)范圍的顯示時，執(zhí)行控制，由此使得將與基本格式(基本成分)的編碼圖像數(shù)據(jù)Cb的解碼相關(guān)的基本格式圖像數(shù)據(jù)Vb提供至顯示單元210。在這種情況下，控制單元201從壓縮數(shù)據(jù)緩存器204中選擇性地提取基本格式的編碼圖像數(shù)據(jù)Cb，并將基本格式的編碼的圖像數(shù)據(jù)Cb傳遞至解碼單元205-0。然后，控制單元201執(zhí)行控制，由此使得解碼單元205-0對編碼圖像數(shù)據(jù)Cb進(jìn)行解碼，且LDR電-光轉(zhuǎn)換部206輸出基本格式圖像數(shù)據(jù)Vb。

另外，當(dāng)顯示單元210能夠執(zhí)行高幀頻率的顯示，但是不能夠執(zhí)行高動態(tài)范圍的顯示時，執(zhí)行控制，由此使得將與幀速率擴(kuò)展的編碼圖像數(shù)據(jù)Ch1的解碼相關(guān)的高質(zhì)量格式圖像數(shù)據(jù)Vh1(幀速率擴(kuò)展成分)提供給顯示單元210。

在這種情況下，控制單元201從壓縮數(shù)據(jù)緩存器204中選擇性地提取基本格式的編碼圖像數(shù)據(jù)Cb，并且將基本格式的編碼圖像數(shù)據(jù)Cb傳遞到解碼單元205-0，并且從壓縮數(shù)據(jù)緩存器204選擇性地提取幀速率擴(kuò)展的編碼圖像數(shù)據(jù)Ch1，并將幀速率擴(kuò)展的編碼圖像數(shù)據(jù)Ch1傳遞到解碼單元205-1。然后，控制單元201執(zhí)行控制，由此使得解碼單元205-0對編碼圖像數(shù)據(jù)Cb進(jìn)行解碼，解碼單元205-1對編碼圖像數(shù)據(jù)Ch1進(jìn)行解碼，并且LDR電-光轉(zhuǎn)換單元207輸出高質(zhì)量格式圖像數(shù)據(jù)Vh1。

另外，當(dāng)顯示單元210不能夠執(zhí)行高幀頻率的顯示，但是能夠執(zhí)行高動態(tài)范圍的顯示時，執(zhí)行控制，由此使得將與動態(tài)范圍擴(kuò)展(動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)Ch2的解碼相關(guān)的高質(zhì)量格式圖像數(shù)據(jù)Vh2提供給顯示單元210。

在這種情況下，控制單元201從壓縮數(shù)據(jù)緩存器204中選擇性地提取基本格式的編碼圖像數(shù)據(jù)Cb，并將基本格式的編碼圖像數(shù)據(jù)Cb傳遞到解碼單元205-0，并且從壓縮數(shù)據(jù)緩存器204選擇性地提取動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2，并將動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2傳遞到解碼單元205-2。然后，控制單元201執(zhí)行控制，由此使得解碼單元205-0對編碼圖像數(shù)據(jù)Cb進(jìn)行解碼，解碼單元205-2對編碼圖像數(shù)據(jù)Ch2進(jìn)行解碼，并且LDR電-光轉(zhuǎn)換單元208輸出高質(zhì)量格式圖像數(shù)據(jù)Vh2。

另外，當(dāng)顯示單元210能夠執(zhí)行高幀頻率的顯示和高動態(tài)范圍的顯示時，執(zhí)行控制，由此使得將與幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展(幀速率擴(kuò)展成分和動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)Ch3的解碼相關(guān)的高質(zhì)量格式圖像數(shù)據(jù)Vh3提供給顯示單元210。

在這種情況下，控制單元201從壓縮數(shù)據(jù)緩存器204中選擇性地提取基本格式的編碼圖像數(shù)據(jù)Cb，并將基本格式的編碼圖像數(shù)據(jù)Cb傳遞到解碼單元205-0，從壓縮數(shù)據(jù)緩存器204選擇性地提取動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2，并將動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2傳遞到解碼單元205-1，并且從壓縮數(shù)據(jù)緩存器204選擇性地提取幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch3，并將幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch3傳遞到解碼單元205-3。

然后，控制單元201執(zhí)行控制，由此使得解碼單元205-0對編碼圖像數(shù)據(jù)Cb進(jìn)行解碼，解碼單元205-2對編碼圖像數(shù)據(jù)Ch2進(jìn)行解碼，解碼單元205-3對編碼圖像數(shù)據(jù)Ch3進(jìn)行解碼，HDR電-光轉(zhuǎn)換單元209輸出高質(zhì)量格式圖像數(shù)據(jù)Vh3。

圖14(a)和14(b)示意性地示出在兩流配置的情況下根據(jù)“nuh_layer_id”將壓縮數(shù)據(jù)緩存器(cpb)204的輸出輸出至對應(yīng)解碼單元和將編碼圖像數(shù)據(jù)Cb，Ch1、Ch2和Ch3分布至對應(yīng)解碼單元。

在兩流配置的情況下，如圖14(a)所示，從壓縮數(shù)據(jù)緩存器(cpb)204順序地讀取包括在基本視頻流(PID1)中的基本格式的編碼圖像數(shù)據(jù)Cb和包括在擴(kuò)展視頻流(PID2)中的高質(zhì)量格式的編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的圖片的編碼圖像數(shù)據(jù)。

這里，“00，”“01，”...指示構(gòu)成編碼圖像數(shù)據(jù)Cb的各個圖像的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“0”?？刂茊卧?01檢測到，“nuh_layer_id”＝“0”指示基本格式的編碼圖像數(shù)據(jù)，因?yàn)榫幋a圖像數(shù)據(jù)Cb包括在基本視頻流中。

另外，“10，”“11，”...指示構(gòu)成編碼圖像數(shù)據(jù)Ch1的各個圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“2”?？刂茊卧?01基于可擴(kuò)展的擴(kuò)展描述符的定義而檢測到“nuh_layer_id”＝“2”表示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。

另外，“20，”“21，”...指示構(gòu)成編碼圖像數(shù)據(jù)Ch2的各個圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“4”?？刂茊卧?01基于可擴(kuò)展的擴(kuò)展描述符的定義，檢測“nuh_layer_id”＝“4”表示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

另外，“30，”“31，”...指示構(gòu)成編碼圖像數(shù)據(jù)Ch3的相應(yīng)圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“6”。控制單元201基于可擴(kuò)展的擴(kuò)展描述符的定義，檢測到“nuh_layer_id”＝“6”表示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

如圖14(b)所示，基于“nuh_layer_id”將從壓縮數(shù)據(jù)緩存器204讀取的各個圖片的編碼圖像數(shù)據(jù)傳遞到對應(yīng)的解碼單元。在這種情況下，讀取并丟棄與解碼無關(guān)的層的編碼圖像數(shù)據(jù)。所示的示例是其中解碼所有數(shù)據(jù)的示例。

圖15(a)和15(b)示意性地示出在單流配置的情況下根據(jù)“nuh_layer_id”將壓縮數(shù)據(jù)緩存器(cpb)204的輸出輸出到對應(yīng)解碼單元和將編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3分布到對應(yīng)解碼單元。

如圖15(a)所示，在單流配置的情況下，將包括在一個視頻流(PID1)中的基本格式的編碼圖像數(shù)據(jù)Cb和高質(zhì)量格式的編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的圖片的編碼圖像數(shù)據(jù)從壓縮數(shù)據(jù)緩存器(cpb)204中順序地讀取。

這里，“00，”“01，”...指示構(gòu)成編碼圖像數(shù)據(jù)Cb的各個圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“0”。控制單元201基于可擴(kuò)展的擴(kuò)展描述符的定義而檢測到“nuh_layer_id”＝“0”表示基本格式的編碼圖像數(shù)據(jù)。

另外，“10，”“11，”...指示構(gòu)成編碼圖像數(shù)據(jù)Ch1的各個圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“2”。控制單元201基于可擴(kuò)展的擴(kuò)展描述符的定義而檢測到“nuh_layer_id”＝“2”指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。

另外，“20，”“21，”...指示構(gòu)成編碼圖像數(shù)據(jù)Ch2的各個圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“4”?？刂茊卧?01基于可擴(kuò)展的擴(kuò)展描述符的定義而檢測到“nuh_layer_id”＝“4”指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

此外，“30，”“31，”...指示構(gòu)成編碼圖像數(shù)據(jù)Ch3的各個圖片的編碼圖像數(shù)據(jù)，并且將NAL單元的頭部的“nuh_layer_id”設(shè)定為“6”?？刂茊卧?01基于可擴(kuò)展的擴(kuò)展描述符的定義而檢測“nuh_layer_id”＝“6”指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

如圖15(b)所示，基于“nuh_layer_id”將從壓縮數(shù)據(jù)緩存器204讀取的各個圖片的編碼圖像數(shù)據(jù)傳遞到對應(yīng)的解碼單元。在這種情況下，讀取并丟棄與解碼無關(guān)的層的編碼圖像數(shù)據(jù)。所示的示例為其中所有數(shù)據(jù)都被解碼的示例。

圖16的流程圖示出控制單元201基于顯示能力信息(顯示性能信息)確定解碼范圍的處理的示例。在步驟ST1中，控制單元201開始處理。

然后，在步驟ST2中，控制單元201參考可擴(kuò)展的擴(kuò)展描述符檢測每個格式的“nuh_layer_id”。在本實(shí)施例中，在基本格式中檢測到“nuh_layer_id”＝“0”，在幀速率擴(kuò)展中檢測到“nuh_layer_id”＝“2”，在動態(tài)范圍速率擴(kuò)展中檢測到“nuh_layer_id”＝“4”，而在幀速率擴(kuò)展和動態(tài)范圍速率擴(kuò)展中檢測到“nuh_layer_id”＝“6”。

然后，在步驟ST3中，控制單元201確定是否可以執(zhí)行100p HDR的顯示，即，幀頻率為100Hz的HDR的顯示。當(dāng)可以執(zhí)行100p HDR的顯示(即，其幀頻率為100Hz的HDR的顯示)時，在步驟ST4中，控制單元201將“nuh_layer_id”為“0”、“4”和“6”的編碼圖像數(shù)據(jù)(即編碼圖像數(shù)據(jù)Cb、Ch2和Ch3)設(shè)定為解碼范圍，且然后在步驟ST11中，控制單元201結(jié)束處理。

當(dāng)在步驟ST3中難以執(zhí)行100p HDR的顯示(即，幀頻率為100Hz的HDR的顯示)時，在步驟ST5中，控制單元201確定是否可以執(zhí)行50p HDR的顯示，即，幀頻率為50Hz的HDR的顯示。當(dāng)可以執(zhí)行50p HDR的顯示(即，幀頻率為50Hz的HDR的顯示)時，在步驟ST6中，控制單元201將“nuh_layer_id”為“0”和“4”的編碼圖像數(shù)據(jù)(即，編碼圖像數(shù)據(jù)Cb和Ch2)設(shè)定為解碼范圍，且然后在步驟ST11中，控制單元201結(jié)束處理。

當(dāng)在步驟ST5中難以執(zhí)行50p HDR的顯示(即，幀頻率為50Hz的HDR的顯示)時，在步驟ST7中，控制單元201確定是否可以執(zhí)行100p LDR的顯示，即，幀頻率為100Hz的LDR的顯示。當(dāng)可以執(zhí)行100p LDR的顯示(即，幀頻率為100Hz的LDR的顯示)時，在步驟ST8中，控制單元201將“nuh_layer_id”為“0”和“2”的編碼圖像數(shù)據(jù)(即編碼圖像數(shù)據(jù)Cb和Ch1)設(shè)定為解碼范圍，且然后在步驟ST11中，控制單元201結(jié)束處理。

當(dāng)在步驟ST7中難以執(zhí)行100p LDR的顯示(即，幀頻率為100Hz的LDR的顯示)時，在步驟ST9中，控制單元201確定是否可以執(zhí)行50p LDR的顯示，即，幀頻率為50Hz的LDR的顯示。當(dāng)可以執(zhí)行50p LDR的顯示(即，幀頻率為50Hz的LDR的顯示)時，在步驟ST10中，控制單元201將“nuh_layer_id”為“0”的編碼圖像數(shù)據(jù)(即，編碼圖像數(shù)據(jù)Cb)設(shè)定為解碼范圍，然后在步驟ST11中，控制單元201結(jié)束處理。需注意，當(dāng)在步驟ST9中難以執(zhí)行50p LDR的顯示(即，幀頻率為50Hz的LDR的顯示)時，在步驟ST11中，控制單元201結(jié)束處理。

將簡要描述圖12所示的接收設(shè)備200的操作。接收單元202接收包括在從發(fā)送設(shè)備100發(fā)送的廣播波或網(wǎng)絡(luò)包中的傳輸流TS。將傳輸流TS提供給系統(tǒng)解碼器203。系統(tǒng)解碼器203從傳輸流TS提取視頻流。在壓縮數(shù)據(jù)緩存器204中臨時累積視頻流。

這里，在兩流配置(參見圖10)的情況下，提取兩個視頻流(即，包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Cb的基本視頻流和包括高質(zhì)量的格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3的擴(kuò)展視頻流)。另外，在單流配置(參見圖11)的情況下，提取一個視頻流，其包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)Cb和高質(zhì)量格式圖像的編碼圖像數(shù)據(jù)Ch1、Ch2和Ch3。

另外，系統(tǒng)解碼器203提取插入到容器的層(傳輸流)中的各種信息，并將提取的信息傳遞到控制單元201?？蓴U(kuò)展的擴(kuò)展描述符還可包括在該信息中?；谠撁枋龇?，控制單元201可以檢測編碼圖像數(shù)據(jù)的格式，其由插入到編碼圖像數(shù)據(jù)中的識別信息(在本實(shí)施例中，NAL單元的頭部的“nuh_layer_id”)指示。

當(dāng)顯示單元210不能夠執(zhí)行高幀頻率的顯示和高動態(tài)范圍的顯示時，將基本格式圖像數(shù)據(jù)Vb從LDR電-光轉(zhuǎn)換單元206提供給顯示單元210。顯示單元210基于基本格式圖像數(shù)據(jù)Vb(即，幀頻率為50Hz的LDR圖像數(shù)據(jù))而顯示50p LDR圖像。

在這種情況下，從壓縮數(shù)據(jù)緩存器204選擇性地提取NAL單元的頭部的“nuh_layer_id”為“0”的基本格式的編碼圖像數(shù)據(jù)Cb并將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數(shù)據(jù)Cb執(zhí)行解碼處理，并且生成基本格式圖像數(shù)據(jù)Vb'。將基本格式圖像數(shù)據(jù)Vb'提供給LDR電-光轉(zhuǎn)換單元206。LDR電-光轉(zhuǎn)換單元206對基本格式圖像數(shù)據(jù)Vb'執(zhí)行電光轉(zhuǎn)換，獲得基本格式圖像數(shù)據(jù)Vb，并將基本格式圖像數(shù)據(jù)Vb提供給顯示單元210。

另外，當(dāng)顯示單元210能夠執(zhí)行高幀頻率的顯示，但是不能夠執(zhí)行高動態(tài)范圍的顯示時，將高質(zhì)量格式圖像數(shù)據(jù)Vh1從LDR電-光轉(zhuǎn)換單元207提供至顯示單元210。將基于高質(zhì)量格式圖像數(shù)據(jù)Vh1的圖像(即，幀頻率為100Hz的LDR圖像數(shù)據(jù))顯示在顯示單元210上。

在這種情況下，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“0”的基本格式的編碼圖像數(shù)據(jù)Cb，并將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數(shù)據(jù)Cb執(zhí)行解碼處理，并且生成基本格式圖像數(shù)據(jù)Vb'。

另外，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“2”的幀速率擴(kuò)展的編碼圖像數(shù)據(jù)Ch1，并將其提供給解碼單元205-1。解碼單元205-1參考基本格式圖像數(shù)據(jù)Vb'對編碼圖像數(shù)據(jù)Ch1執(zhí)行解碼處理，并且生成高質(zhì)量格式圖像數(shù)據(jù)Vh1'。

將由解碼單元205-1生成的高質(zhì)量格式圖像數(shù)據(jù)Vh1'提供給LDR電-光轉(zhuǎn)換單元207。LDR電-光轉(zhuǎn)換單元207對高質(zhì)量格式圖像數(shù)據(jù)Vh1'執(zhí)行電-光轉(zhuǎn)換，獲得高質(zhì)量格式圖像數(shù)據(jù)Vh1，并將高質(zhì)量格式圖像數(shù)據(jù)Vh1提供給顯示單元210。

另外，當(dāng)顯示單元210不能夠執(zhí)行高幀頻率的顯示，但是能夠執(zhí)行高動態(tài)范圍的顯示時，將高質(zhì)量格式圖像數(shù)據(jù)Vh2從HDR電-光轉(zhuǎn)換單元208提供至顯示單元210。將基于高質(zhì)量格式圖像數(shù)據(jù)Vh2的圖像(即，幀頻率為50Hz的HDR圖像數(shù)據(jù))顯示在顯示單元210上。

在這種情況下，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“0”的基本格式的編碼圖像數(shù)據(jù)Cb，并將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數(shù)據(jù)Cb執(zhí)行解碼處理，并且生成基本格式圖像數(shù)據(jù)Vb'。

另外，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“4”的動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2，并將其提供給解碼單元205-2。解碼單元205-2參照基本格式圖像數(shù)據(jù)Vb'對編碼圖像數(shù)據(jù)Ch2執(zhí)行解碼處理，并且生成高質(zhì)量格式圖像數(shù)據(jù)Vh2'。

將由解碼單元205-2生成的高質(zhì)量格式圖像數(shù)據(jù)Vh2'提供給HDR電-光轉(zhuǎn)換單元208。HDR電-光轉(zhuǎn)換單元208對高質(zhì)量格式圖像數(shù)據(jù)Vh2'執(zhí)行電-光轉(zhuǎn)換，獲得高質(zhì)量格式圖像數(shù)據(jù)Vh2，并將高質(zhì)量格式圖像數(shù)據(jù)Vh2提供給顯示單元210。

此外，當(dāng)顯示單元210既能夠執(zhí)行高幀頻率的顯示又能夠執(zhí)行高動態(tài)范圍的顯示時，將高質(zhì)量格式圖像數(shù)據(jù)Vh3從HDR電-光轉(zhuǎn)換單元209提供給顯示器單元210。將基于高質(zhì)量格式圖像數(shù)據(jù)Vh3的圖像(即，幀頻率為100Hz的HDR圖像數(shù)據(jù))顯示在顯示單元210上。

在這種情況下，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“0”的基本格式的編碼圖像數(shù)據(jù)Cb，并將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數(shù)據(jù)Cb執(zhí)行解碼處理，并且生成基本格式圖像數(shù)據(jù)Vb'。

另外，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“4”的動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2，并將其提供給解碼單元205-2。解碼單元205-2參考基本格式圖像數(shù)據(jù)Vb'對編碼圖像數(shù)據(jù)Ch2執(zhí)行解碼處理，并且生成高質(zhì)量格式圖像數(shù)據(jù)Vh2'。

另外，從壓縮數(shù)據(jù)緩存器204中選擇性地提取NAL單元的頭部的“nuh_layer_id”為“6”的幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch3，并將其提供給解碼單元205-3。解碼單元205-3參考高質(zhì)量格式圖像數(shù)據(jù)Vh2'對編碼圖像數(shù)據(jù)Ch2執(zhí)行解碼處理，并且生成高質(zhì)量格式圖像數(shù)據(jù)Vh3'。

將由解碼單元205-3生成的高質(zhì)量格式圖像數(shù)據(jù)Vh3'提供給HDR電-光轉(zhuǎn)換單元209。HDR電-光轉(zhuǎn)換單元209對高質(zhì)量格式圖像數(shù)據(jù)Vh3'執(zhí)行電-光轉(zhuǎn)換，獲得高質(zhì)量格式圖像數(shù)據(jù)Vh3，并將高質(zhì)量格式圖像數(shù)據(jù)Vh3提供給顯示單元210。

如上所述，在圖1所示的收發(fā)系統(tǒng)10中，發(fā)送設(shè)備100將用于識別對應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。因此，接收側(cè)基于識別信息對預(yù)定的編碼圖像數(shù)據(jù)選擇性地執(zhí)行解碼處理，從而可以易于根據(jù)顯示能力獲得圖像數(shù)據(jù)。

另外，在圖1所示的收發(fā)系統(tǒng)10中，發(fā)送設(shè)備100將用于定義由插入到編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式的信息插入到容器的層中。因此，接收側(cè)可以預(yù)先檢測到由插入在容器的層中的編碼圖像數(shù)據(jù)中的識別信息指示的編碼圖像數(shù)據(jù)的格式。

<2.修改的示例>

需注意，已經(jīng)結(jié)合其中使用NAL單元的頭部的“nuh_layer_id”的字段將識別信息插入到編碼圖像數(shù)據(jù)中的示例描述了以上示例，但是也可以使用兩個字段“nuh_layer_id”和“nuh_temporal_id_plus1”。

例如，如圖17所示，設(shè)置編碼圖像數(shù)據(jù)Cb、Ch1、Ch2和Ch3的“nuh_layer_id”和“nuh_temporal_id_plus1”。換句話說，對于基本格式的編碼圖像數(shù)據(jù)Cb，將“nuh_layer_id”設(shè)定為“0”，并且將“nuh_temporal_id_plus1”設(shè)定為“1至6”。另外，對于幀速率擴(kuò)展的編碼圖像數(shù)據(jù)Ch1，將“nuh_layer_id”設(shè)定為“0”并且將“nuh_temporal_id_plus1”設(shè)定為“7”

另外，對于動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch2，將“nuh_layer_id”設(shè)定為“4”，并將“nuh_temporal_id_plus1”設(shè)定為“1至6”。此外，對于幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)Ch3，將“nuh_layer_id”設(shè)定為“4”，而將“nuh_temporal_id_plus1”設(shè)定為“7”

在這種情況下，可擴(kuò)展的擴(kuò)展描述符(見圖7)設(shè)定如下。換句話說，在雙流配置的情況下，當(dāng)編碼數(shù)據(jù)Ch2和Ch3包括在擴(kuò)展視頻流中時，將“Extended_spatial_resolution_flag”、“Extended_bit_depth_flag”和“Extended_color_gamut_flag”設(shè)定為“0”，并且將“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”。另外，將“number_of_layer_ID”設(shè)定為“3”，并且將“4”和“4”按順序賦值給“l(fā)ayerID”。

通過該設(shè)定，定義“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“7”以指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。另外，定義“nuh_layer_id”＝“4”和定義“nuh_temporal_id_plus1”＝“1 to 6”以指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。另外，定義“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“7”以指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

另外，在單流配置的情況下，當(dāng)編碼數(shù)據(jù)Cb、Ch1、Ch2和Ch3包括在擴(kuò)展視頻流中時，將“Extended_spatial_resolution_flag”、“Extended_bit_depth_flag”和“Extended_color_gamut_flag”和“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”。另外，將“number_of_layer_ID”設(shè)定為“4”，并且按順序?qū)ⅰ?”、“0”、“4”和“4”賦值給“l(fā)ayerID”。

通過該設(shè)定，定義“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 6”以指示基本格式的編碼圖像數(shù)據(jù)。此外，定義“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“7”以指示幀速率擴(kuò)展的編碼圖像數(shù)據(jù)。此外，定義“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“1 to 6”以指示動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。此外，定義“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“7”以指示幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展的編碼圖像數(shù)據(jù)。

圖18示出在NAL單元頭部的“nuh_layer_id”和“nuh_temporal_id_plus1”的值與可擴(kuò)展的擴(kuò)展描述符的描述之間的對應(yīng)關(guān)系。換句話說，“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 6”的基本格式(基本成分)的編碼圖像數(shù)據(jù)包括在流中，將“0”賦值給“l(fā)ayerID?！?。另外，“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“7”的幀速率擴(kuò)展(幀速率擴(kuò)展成分)的編碼圖像數(shù)據(jù)包括在流中，將“extended_spatial_resolution_flag”設(shè)定為“1”，并且將“0”賦值給“l(fā)ayerID”。

另外，“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“1 to 6”的動態(tài)范圍擴(kuò)展(幀速率擴(kuò)展成分)的編碼圖像數(shù)據(jù)包括在流中，將“Extended_dynamic_range_flag”設(shè)定為“1”，且將“4”賦值給“l(fā)ayerID”。另外，“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“7”的幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展(幀速率擴(kuò)展成分和動態(tài)范圍擴(kuò)展成分)的編碼圖像數(shù)據(jù)包括在流中，且將“Extended_frame_rate_flag”和“Extended_dynamic_range_flag”設(shè)定為“1”，并且將“4”賦值給“l(fā)ayerID”。

圖19的流程圖示出處理的示例，其中如上所述當(dāng)兩個字段(即，NAL單元的頭部的“nuh_layer_id”和“nuh_temporal_id_plus1”)用于將識別信息插入到編碼圖像數(shù)據(jù)中時，控制單元201基于顯示能力信息(顯示性能信息)確定解碼范圍。

在步驟ST21中，控制單元201開始處理。然后，在步驟ST22中，控制單元201參考可擴(kuò)展的擴(kuò)展描述符檢測每個格式的“nuh_layer_id”和“nuh_temporal_id_plus1”。

這里，在基本格式中檢測到“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 6”，在幀速率擴(kuò)展中檢測到“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“7”，在動態(tài)范圍擴(kuò)展中檢測到“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“1 to 6”，并且在幀速率擴(kuò)展和動態(tài)范圍擴(kuò)展中檢測到“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“7”。

然后，在步驟ST23中，控制單元201確定是否可以執(zhí)行100p HDR的顯示，即幀頻率為100Hz的HDR的顯示。當(dāng)可以執(zhí)行100p HDR的顯示(即，幀頻率為100Hz的HDR的顯示)時，在步驟ST24中，控制單元201將“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 6”的編碼圖像數(shù)據(jù)Cb”，以及“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1、”＝“1 to 7”的編碼圖像數(shù)據(jù)Ch2、Ch3設(shè)定為解碼范圍，在步驟ST31中，控制單元201結(jié)束處理。

當(dāng)在步驟ST23中難以執(zhí)行100p HDR的顯示，即，幀頻率為100Hz的HDR的顯示時，在步驟ST25中，控制單元201確定是否可以執(zhí)行50p HDR的顯示，即，幀頻率為50Hz的HDR的顯示。當(dāng)可以執(zhí)行50p HDR的顯示(即，幀頻率為50Hz的HDR的顯示)時，在步驟ST26中，控制單元201將“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 6”的編碼圖像數(shù)據(jù)Cb和“nuh_layer_id”＝“4”和“nuh_temporal_id_plus1”＝“1 to 6”的編碼圖像數(shù)據(jù)Ch2設(shè)定為解碼范圍，然后在步驟ST31中，控制單元201結(jié)束處理。

當(dāng)在步驟ST25中難以執(zhí)行50p HDR的顯示(即幀頻率為50Hz的HDR的顯示)時，在步驟ST27中，控制單元201確定是否可以執(zhí)行100p LDR的顯示(即幀頻率為100Hz的LDR的顯示)。當(dāng)可以執(zhí)行100p LDR的顯示(即幀頻率為100Hz的LDR的顯示)時，在步驟ST28中，控制單元201將“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 7”的編碼圖像數(shù)據(jù)Cb設(shè)定為解碼范圍，然后在步驟ST31中，控制單元201結(jié)束處理。

當(dāng)在步驟ST27中難以執(zhí)行100p LDR的顯示(即幀頻率為100Hz的LDR的顯示)時，在步驟ST29中，控制單元201確定是否可以執(zhí)行50p LDR的顯示(即幀頻率為50Hz的LDR的顯示)。當(dāng)可以執(zhí)行50p LDR的顯示(即幀頻率為50Hz的LDR的顯示)時，在步驟ST30中，控制單元201將“nuh_layer_id”＝“0”和“nuh_temporal_id_plus1”＝“1 to 6”的編碼圖像數(shù)據(jù)Cb設(shè)定為解碼范圍，然后在步驟ST31中，控制單元201結(jié)束處理。需注意，當(dāng)在步驟ST29中難以執(zhí)行50p LDR的顯示(即，幀頻率為50Hz的LDR的顯示)時，在步驟ST31中，控制單元201結(jié)束處理。

此外，在上述實(shí)施例中，已經(jīng)描述了包括發(fā)送設(shè)備100和接收設(shè)備200的收發(fā)系統(tǒng)10，但是本技術(shù)可以應(yīng)用到的收發(fā)系統(tǒng)的配置不限于此。例如，接收設(shè)備200的一部分可以是這樣的配置：通過數(shù)字接口諸如高清晰度多媒體接口(HDMI)連接的配置諸如機(jī)頂盒和監(jiān)視器。在這種情況下，例如，機(jī)頂盒可以通過從監(jiān)視器獲取擴(kuò)展顯示識別數(shù)據(jù)(EDID)來獲得顯示能力信息。需注意，“HDMI”是注冊商標(biāo)。

另外，在上述實(shí)施例中，已經(jīng)描述了容器是傳輸流(MPEG-2TS)的示例。然而，本技術(shù)可以相似地應(yīng)用于以下系統(tǒng)，該系統(tǒng)具有使用網(wǎng)絡(luò)諸如因特網(wǎng)執(zhí)行到接收終端的傳送(delivery)的配置。在因特網(wǎng)傳送中，通常使用MP4或任何其他格式容器來執(zhí)行傳送。換句話說，在將數(shù)字廣播標(biāo)準(zhǔn)中采用的或在因特網(wǎng)傳送中使用的MP4的各種格式諸如傳輸流(MPEG-2TS)的容器用作容器。

此外，本技術(shù)可以具有以下配置。

(1)一種接收設(shè)備，包括：

圖像編碼單元，其生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流；和

發(fā)送單元，其發(fā)送包括由所述圖像編碼單元生成的所述基本視頻流和所述擴(kuò)展視頻流的預(yù)定格式的容器；

其中，所述圖像編碼單元將識別對應(yīng)格式的識別信息插入到所述基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)中和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的所述編碼圖像數(shù)據(jù)中。

(2)根據(jù)(1)所述的發(fā)送設(shè)備，

其中所述編碼圖像數(shù)據(jù)具有NAL單元結(jié)構(gòu)，并且

所述圖像編碼單元將所述識別信息插入到所述NAL單元的頭部中。

(3)根據(jù)(2)所述的發(fā)送設(shè)備，

其中，所述圖像編碼單元使用所述NAL單元的所述頭部的“nuh_layer_id”字段來插入所述識別信息。

(4)根據(jù)(2)所述的發(fā)送設(shè)備，

其中，所述圖像編碼單元使用所述NAL單元的所述頭部的“nuh_layer_id”字段和“nuh_temporal_id_plus1”字段插入所述識別信息。

(5)根據(jù)(1)到(4)中任一項(xiàng)所述的發(fā)送設(shè)備，還包括

信息插入單元，其信息插入到所述容器的層中，所述信息定義由插入到所述編碼圖像數(shù)據(jù)中的所述識別信息指示的所述編碼圖像數(shù)據(jù)的格式。

(6)根據(jù)(5)所述的發(fā)送設(shè)備，

其中，所述容器是MPEG2-TS，并且

所述信息插入單元將所述信息插入到與存在于節(jié)目映射表下的所述視頻流相對應(yīng)的視頻基本流循環(huán)中。

(7)一種發(fā)送方法，包括：

圖像編碼步驟，生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流；和

發(fā)送步驟，由發(fā)送單元發(fā)送包括在所述圖像編碼步驟中生成的所述基本視頻流和所述擴(kuò)展視頻流的預(yù)定格式的容器，

其中所述圖像編碼步驟包括將識別對應(yīng)格式的識別信息插入到所述基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中。

(8)一種接收設(shè)備，包括：

接收單元，其接收預(yù)定格式的容器，所述容器包括包含基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)的基本視頻流和包括預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)的擴(kuò)展視頻流；

其中，識別對應(yīng)格式的識別信息被插入到所述基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)中和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的所述編碼圖像數(shù)據(jù)中；和

處理單元，其基于所述識別信息和所述顯示能力信息來處理包括在所接收的容器中的所述視頻流。

(9)根據(jù)(8)所述的接收設(shè)備，

其中，所述編碼圖像數(shù)據(jù)具有NAL單元結(jié)構(gòu)，并且

將所述識別信息插入到所述NAL單元的頭部中。

(10)根據(jù)(8)或(9)所述的接收設(shè)備，

其中，定義由插入到所述編碼圖像數(shù)據(jù)的所述識別信息指示的所述編碼圖像數(shù)據(jù)的格式的信息被插入到所述容器的層中，以及

所述處理單元基于插入到所述容器的層中的所述信息來檢測由插入到所述編碼圖像數(shù)據(jù)中的所述識別信息指示的所述編碼圖像數(shù)據(jù)的格式。

(11)一種發(fā)送設(shè)備，包括：

圖像編碼單元，其生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每一個的編碼圖像數(shù)據(jù)的視頻流；和

發(fā)送單元，其發(fā)送包括由所述圖像編碼單元生成的所述視頻流的預(yù)定格式的容器，

其中，所述圖像編碼單元將識別對應(yīng)格式的識別信息插入到所述基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)中和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的所述編碼圖像數(shù)據(jù)中。

(12)根據(jù)(11)所述的發(fā)送設(shè)備，

其中，所述編碼圖像數(shù)據(jù)具有NAL單元結(jié)構(gòu)，并且

所述圖像編碼單元將所述識別信息插入到所述NAL單元的頭部中。

(13)根據(jù)(12)所述的發(fā)送設(shè)備，

其中，所述圖像編碼單元使用所述NAL單元的所述頭部的“nuh_layer_id”字段來插入所述識別信息。

(14)根據(jù)(12)所述的發(fā)送設(shè)備，

其中，所述圖像編碼單元使用所述NAL單元的所述頭部的“nuh_layer_id”字段和“nuh_temporal_id_plus1”字段插入所述識別信息。

(15)根據(jù)(11)到(14)所述的發(fā)送設(shè)備，還包括

信息插入單元，其信息插入到所述容器的層中，所述信息定義由插入到所述編碼圖像數(shù)據(jù)中的所述識別信息指示的所述編碼圖像數(shù)據(jù)的格式。

(16)根據(jù)(15)所述的發(fā)送設(shè)備，

其中所述容器是MPEG2-TS，并且

所述信息插入單元將所述信息插入到與存在于節(jié)目映射表下的所述視頻流相對應(yīng)的視頻基本流循環(huán)中。

(17)一種發(fā)送方法，包括：

圖像編碼步驟，其生成包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每一個的編碼圖像數(shù)據(jù)的視頻流；和

發(fā)送步驟，由發(fā)送單元發(fā)送包括在所述圖像編碼步驟中生成的所述視頻流的預(yù)定格式的容器，

其中所述圖像編碼步驟包括將識別對應(yīng)格式的識別信息插入到所述基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)中和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的所述編碼圖像數(shù)據(jù)中。

(18)一種接收設(shè)備，包括：

接收單元，其接收包括視頻流的預(yù)定格式的容器，所述視頻流包括基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)的每個的編碼圖像數(shù)據(jù)，

其中，將識別對應(yīng)格式的識別信息被插入到所述基本格式圖像數(shù)據(jù)的所述編碼圖像數(shù)據(jù)中和所述預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每個的所述編碼圖像數(shù)據(jù)中；和

處理單元，其基于所述識別信息和所述顯示能力信息來處理包括在所接收的容器中的所述視頻流。

(19)根據(jù)(18)所述的接收設(shè)備，

其中，所述編碼圖像數(shù)據(jù)具有NAL單元結(jié)構(gòu)，并且

將所述識別信息插入到所述NAL單元的頭部中。

(20)根據(jù)(18)或(19)所述的接收設(shè)備，

其中，定義由插入到所述編碼圖像數(shù)據(jù)的所述識別信息指示的所述編碼圖像數(shù)據(jù)的格式的信息被插入到所述容器的層中，以及

所述處理單元基于插入到所述容器的層中的所述信息來檢測由插入到所述編碼圖像數(shù)據(jù)中的所述識別信息指示的所述編碼圖像數(shù)據(jù)的格式。

本技術(shù)的主要特征之一在于，將識別相應(yīng)格式的識別信息插入到基本格式圖像數(shù)據(jù)的編碼圖像數(shù)據(jù)中和預(yù)定數(shù)量的高質(zhì)量格式圖像數(shù)據(jù)中的每一個的編碼圖像數(shù)據(jù)中，并且發(fā)送所生成的數(shù)據(jù)，且因此接收側(cè)可以通過對預(yù)定的編碼圖像數(shù)據(jù)選擇性地執(zhí)行解碼處理而易于根據(jù)顯示能力獲得圖像數(shù)據(jù)(參見圖10和圖11)。

10 收發(fā)系統(tǒng)

100 發(fā)送設(shè)備

101 控制單元

102、103 LDR光電轉(zhuǎn)換單元

104、105 HDR光電轉(zhuǎn)換單元

106 視頻編碼器

106-0、106-1,106-2、106-3 編碼單元

107 系統(tǒng)編碼器

108 發(fā)送單元

150 圖像數(shù)據(jù)生成單元

151 HDR相機(jī)

152、154 幀速率轉(zhuǎn)換單元

153 動態(tài)范圍轉(zhuǎn)換單元

160 編碼單元

161 層內(nèi)預(yù)測單元

162 層間預(yù)測單元

163 預(yù)測調(diào)節(jié)單元

164 選擇單元

165 編碼功能單元

200 接收設(shè)備

201 控制單元

202 接收單元

203 系統(tǒng)解碼器

204 壓縮數(shù)據(jù)緩存器

205 視頻解碼器

205-0、205-1,205-2、205-3 解碼單元

206、207 LDR電-光轉(zhuǎn)換單元

208、209 HDR電-光轉(zhuǎn)換單元

210 顯示單元

250 解碼單元

251 解碼功能單元

252 層內(nèi)預(yù)測補(bǔ)償單元

253 層間預(yù)測補(bǔ)償單元

254 預(yù)測調(diào)節(jié)單元

255 選擇單元。