專利名稱：動(dòng)態(tài)圖像解碼方法、動(dòng)態(tài)圖像解碼裝置以及電子設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)編碼的動(dòng)態(tài)圖像進(jìn)行解碼并將其再現(xiàn)的技術(shù)，尤 其涉及用于將多個(gè)動(dòng)態(tài)圖像同時(shí)再現(xiàn)的技術(shù)。
背景技術(shù)：
近年來，迎來了數(shù)字技術(shù)的真正的實(shí)用化時(shí)代，已能夠用記錄 再現(xiàn)裝置、個(gè)人計(jì)算機(jī)，主服務(wù)器等裝置對(duì)動(dòng)態(tài)圖像進(jìn)行記錄和再 現(xiàn)，或者使用以互聯(lián)網(wǎng)為首的通信網(wǎng)絡(luò)在遠(yuǎn)距離之間傳送動(dòng)態(tài)圖像。 在便攜電話等數(shù)字移動(dòng)通信設(shè)備中也提供當(dāng)場(chǎng)拍攝動(dòng)態(tài)圖像并立即 向其他人發(fā)送該動(dòng)態(tài)圖像的裝置。另外，在廣播電視領(lǐng)域中也在電 視機(jī)等中采用使用了數(shù)字技術(shù)的傳送和編碼方式。
其中，收錄有更高精細(xì)的高清晰度電視(high vision)圖像的 Blu - ray盤或HD - DVD這樣的光盤，與現(xiàn)有的VideoCD或DVD 相比較，不僅能夠收容大容量的數(shù)字動(dòng)態(tài)圖像的數(shù)據(jù)，存儲(chǔ)高畫質(zhì) 的再現(xiàn)圖像，還支持對(duì)兩個(gè)位流(bit-stream)進(jìn)行同時(shí)再現(xiàn)并在同 一畫面上顯示的畫中畫(Picture - in - Picture,以后簡(jiǎn)記作PinP )這 樣的功能。PinP例如能夠用于在棒球的錄像中用不同的位流同時(shí)顯 示投手和擊球手，或同時(shí)顯示多角度的兩個(gè)流。
在該P(yáng)inP的再現(xiàn)中，要求兩個(gè)位流相互同步地再現(xiàn)。過去已知 有對(duì)將兩個(gè)位流分別解碼后的結(jié)果進(jìn)行合成而得到再現(xiàn)圖像的動(dòng)態(tài) 圖像解碼裝置(例如，參照專利文獻(xiàn)l)。
以下，參照?qǐng)D31 ~圖34說明上述現(xiàn)有裝置中使用的動(dòng)態(tài)圖像解 碼方法。
圖31是表示現(xiàn)有的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)例的框圖。圖31 中，500a、 500b是用于存儲(chǔ)各信道的位流的緩沖器，510a、 510b是解碼部，550是控制部，520a、 520b是幀存儲(chǔ)器，530是合成部。在 此，標(biāo)號(hào)上附帶的小字符的接尾字符a、 b分別表示"a"是信道A 用的，"b"是信道B用的。以后，在不特別提及的情況下遵此規(guī)則。
首先，信道A、 B這兩個(gè)信道的動(dòng)態(tài)圖像的位流被輸入各緩沖器 500a、 500b后，被后續(xù)的解碼部510a、 510b解碼，復(fù)原后的圖像被 存儲(chǔ)在幀存儲(chǔ)器520a、 520b中。這里的解碼采用例如作為國(guó)際標(biāo)準(zhǔn) 的通稱MPEG2 ( Moving Picture Experts Group Phase2 )的以 "Information Technology Generic Coding of Moving Picture and Associated Audio Information:信息4支術(shù)-動(dòng)態(tài)圖l象和伴音信息的通用 編碼"中記載的方法為準(zhǔn)的方法。
在此，說明上述MPEG2標(biāo)準(zhǔn)下的圖像的編碼方法的概要。如圖 32所示， 一系列的圖^^組由I幀、P幀、B幀三類構(gòu)成，I幀(Intra - coded frame )是僅用該幀的數(shù)據(jù)就能完全解碼的幀，P幀(Predictive -coded frame )是用其他的1幀(I或P幀)來解碼的幀，B幀(Bi -Directionally Predictive — coded frame )是用其他的最多2幀(I或 P幀)來解碼的幀，通常，由規(guī)則正確的圖案分配。這些幀通常是以 0.5 ~ 1秒左右的多個(gè)幀為 一組的稱為GOP ( Group Of Pictures )的單 位發(fā)送來的。
圖32的情況下，解碼的順序?yàn)?0、P3、B1、B2、P6、B4、B5、……。 在此，P3幀的生成需要I0幀，Bl或B2幀的生成需要10和P3幀。 因此，I、 P幀為了后續(xù)圖像幀的生成而在顯示后必須預(yù)先保存在圖 像存儲(chǔ)器上。將這樣的其他圖像幀的再現(xiàn)所需的幀稱為參照幀。即， 在P、 B幀的再現(xiàn)中這些參照幀的解碼是不可缺少的。
解碼所得的I、 P、 B幀被存儲(chǔ)在幀存儲(chǔ)器520a、 520b。存儲(chǔ)的 各幀按照控制部550指示的順序從幀存儲(chǔ)器520a、 520b輸出，使得 以適當(dāng)?shù)娘@示順序得到再現(xiàn)圖像。結(jié)果，在合成部530合成為同一 畫面，作為PinP圖^f象而輸出。
接下來，說明特殊再現(xiàn)時(shí)的動(dòng)作。特殊再現(xiàn)是指上述那樣的按 照時(shí)間軸上從過去向未來的正向?qū)D像進(jìn)行解碼按順序?qū)γ?張進(jìn)行再現(xiàn)的通常再現(xiàn)以外的再現(xiàn)模式。例如，包括正向跳著選擇圖像 來進(jìn)行再現(xiàn)的快進(jìn)再現(xiàn)、正向以比1倍速還慢的速度來進(jìn)行再現(xiàn)的 低速再現(xiàn)、反向跳著選擇圖像來進(jìn)行再現(xiàn)的快退再現(xiàn)、反向以比1 倍速還慢的速度再現(xiàn)的反向低速再現(xiàn)等反向再現(xiàn)。最近的大部分動(dòng) 態(tài)圖像解碼裝置都具有特殊再現(xiàn)功能，為用戶提供方便。
以下，作為特殊再現(xiàn)的一例，以反向低速再現(xiàn)為例，用圖33說
明此時(shí)的動(dòng)作。以下，說明一個(gè)信道即信道A， j旦另一信道B也同 樣地進(jìn)行再現(xiàn)，通過合成得到的圖像，能夠得到PinP中時(shí)間上追溯 過去的再現(xiàn)圖像。
圖33(A)中，當(dāng)前顯示中的圖像是I' 0幀，在反向低速再現(xiàn) 時(shí)，設(shè)從其緊前面的P6起按B4、 B2、 10的順序顯示圖像(其他圖 像被跳過)。為了得到要顯示的圖像，將包含該幀的GOP位流逐一 傳送到緩沖器500a，控制部550控制解碼部510a，以持續(xù)解碼，直 到得到接下來要顯示的幀(以下，將其稱為顯示目標(biāo)。)為止。
即，P6幀為顯示目標(biāo)時(shí)，該P(yáng)6的解碼需要10和P3的圖像，因 此在對(duì)I0和P3進(jìn)行解碼后進(jìn)行P6的解碼。其間，始終持續(xù)顯示I， 0。 P6被解碼時(shí)，控制部550控制幀存儲(chǔ)器520a,以輸出終于完成 的該P(yáng)6的圖像。即，控制成當(dāng)前顯示中的幀移至P6。接下來，顯 示目標(biāo)變?yōu)锽4時(shí)也同樣，傳送包含其GOP的位流，控制部550控 制解碼部510a和幀存儲(chǔ)器520a,對(duì)10、 P3和P6進(jìn)行解碼后，對(duì) B4進(jìn)行解碼而顯示。接下來顯示目標(biāo)變?yōu)锽2時(shí)也同樣。顯示目標(biāo) 到達(dá)其GOP的起始時(shí)，新傳送時(shí)間上為當(dāng)前GOP的前一個(gè)GOP， 以其結(jié)尾為顯示目標(biāo)，繼續(xù)進(jìn)行反向低速再現(xiàn)。
圖33 (B)是示出此時(shí)的再現(xiàn)圖像的觀察方法的一例的圖。解 碼部具有相當(dāng)于1倍速的解碼能力時(shí)，1幀的解碼最大需要1幀顯示 時(shí)間。對(duì)最初作為反向低速圖像顯示的P6幀進(jìn)行解碼所需的幀張數(shù) 為10、 P3和最終結(jié)果的P6共計(jì)3張。即，3幀時(shí)間里持續(xù)顯示I， 0 幀后，顯示P6。下面的B4的解碼，需要按順序?qū)O、 P3、 P6、 B4 這4幀進(jìn)行解碼，因此，在4幀時(shí)間里持續(xù)顯示P6后，顯示B4。同樣，B2的解碼，需要按順序?qū)?0、 P3、 B2這3幀進(jìn)行解碼，因 此，在3幀時(shí)間里持續(xù)顯示B4后，顯示B2。
在此，不需要B1的解碼是因?yàn)锽2幀無需參照其他B幀。實(shí)際 上只要舍棄Bl的位流即可，通常該時(shí)間在足夠短的時(shí)間內(nèi)結(jié)束。因 此，與解碼時(shí)間相比較，B幀的跳過所需的時(shí)間的影響可以忽略。
圖33 (C)是示意地示出反向低速再現(xiàn)時(shí)看到的圖像的觀察方 法的圖。圖33(C)中，用箭頭的長(zhǎng)度表示持續(xù)顯示圖像的期間。 圖33 (C)中，將對(duì)顯示的幀進(jìn)行解碼所需的幀張數(shù)記為要解碼張 數(shù)。
專利文獻(xiàn)1:日本特開2007- 37068號(hào)公報(bào)

發(fā)明內(nèi)容
但是，上述現(xiàn)有的結(jié)構(gòu)中，特殊再現(xiàn)時(shí)，作為其一例尤其在反 向低速再現(xiàn)時(shí)，有時(shí)由于在信道間流的結(jié)構(gòu)化構(gòu)造、圖像尺寸、編 碼標(biāo)準(zhǔn)、各圖像的碼量等不同，導(dǎo)致信道間的畫面更新時(shí)刻不一致。 由此，有時(shí)存在如下問題，即本來要顯示同時(shí)刻的內(nèi)容卻將不同時(shí) 刻的圖像彼此合成，再現(xiàn)圖像變得粗糙不自然。用圖34說明該問題。
圖34 (A)示出2信道的位流編碼類型的分布的一例。位流中 的GOP中所包含的張數(shù)、GOP中圖像的編碼類型和排列順序這樣的 信息在解碼處理中是重要的，總稱為結(jié)構(gòu)。圖34(A)中，假定信 道A具有與圖33同樣的編碼類型的分布，而信道B與圖33不同， 具有不包含B幀的分布的情況。另外，圖34 ( A)還一并示出各幀 為顯示目標(biāo)時(shí)的要解碼張數(shù)。
此時(shí)，反向低速再現(xiàn)時(shí)看到的圖像的觀察方法如圖34(B)。 如圖34(B)所示，信道A的P6的要解碼張數(shù)為3，其再現(xiàn)在3幀 時(shí)間內(nèi)完成，而信道B的P6的要解碼張數(shù)為7，其再現(xiàn)需要7幀時(shí) 間。因此，其差的4幀時(shí)間，再現(xiàn)產(chǎn)生時(shí)間差。即，信道間畫面的 更新時(shí)刻明顯不一致。因此，合成了信道間畫面的PinP圖像，本來 要顯示同時(shí)刻的內(nèi)容卻成了不同時(shí)刻的圖像的合成結(jié)果，再現(xiàn)圖像變得粗糙不自然。
另外，信道間位流的圖像尺寸不同時(shí)，容易進(jìn)一步引起信道間
的畫面更新時(shí)刻的不一致。例如，2信道的一方為HD尺寸(高清晰 度電視尺寸1920像素* 1080像素)，另一方為SD尺寸(標(biāo)準(zhǔn)電 視機(jī)尺寸720像素* 480像素)時(shí)，HD尺寸圖像包含SD尺寸圖 像的6倍的像素，因此與SD尺寸圖像相比需要解碼時(shí)間。因此，容 易引起2信道間的畫面更新時(shí)刻不一致。
另外，信道間的位流標(biāo)準(zhǔn)不同時(shí)，容易進(jìn)一步引起信道間的畫 面更新時(shí)刻不一致。例如，2信道的一方為MPEG2標(biāo)準(zhǔn)，另一方為 相同的國(guó)際標(biāo)準(zhǔn)H.264標(biāo)準(zhǔn)時(shí)，H.264標(biāo)準(zhǔn)是比MPEG2更晚制定的 運(yùn)用各種研究成果和預(yù)測(cè)技術(shù)的更高效的編碼標(biāo)準(zhǔn)，因此在解碼時(shí) 需要比MPEG2更多的運(yùn)算處理，因此與MPEG2相比需要解碼時(shí)間。 因此，容易引起2信道間的畫面更新時(shí)刻不一致。
還有，信道間的位流中的圖像的碼量不同時(shí)，也容易進(jìn)一步引 起信道間的畫面更新時(shí)刻不一致。例如，2信道的一方的圖像為100k 字節(jié)，另一方為500k字節(jié)時(shí)，后者要處理的碼量多，因此需要解碼 時(shí)間。因此，容易引起2信道間的畫面更新時(shí)刻不一致。
本發(fā)明是鑒于上述現(xiàn)有問題而提出的，其目的在于，在用于將 多個(gè)信道的動(dòng)態(tài)圖像合成在同一畫面上而再現(xiàn)的動(dòng)態(tài)圖像解碼中， 消除信道間的畫面更新時(shí)刻的極端不一致，得到更自然的再現(xiàn)圖像。
本發(fā)明作為分別對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼并將其合 成在同 一 畫面上來進(jìn)行再現(xiàn)的動(dòng)態(tài)圖像解碼，對(duì)各信道取得上述編 碼動(dòng)態(tài)圖像的結(jié)構(gòu)信息；在被指示了預(yù)定的特殊再現(xiàn)模式的情況下， 根據(jù)上述結(jié)構(gòu)信息確定各信道在同一時(shí)刻的幀組即作為再現(xiàn)對(duì)象的 顯示目標(biāo)，并分別對(duì)上述顯示目標(biāo)進(jìn)行解碼，在上述顯示目標(biāo)的確 定中，從顯示目標(biāo)的對(duì)象中排除各信道的同一時(shí)刻的幀組中根據(jù)上 述結(jié)構(gòu)信息求出的、基于解碼所需要的幀張數(shù)即要解碼張數(shù)在各信 道間的差(差分)的評(píng)價(jià)指標(biāo)在預(yù)定閾值以上的幀。
根據(jù)本發(fā)明，由于基于要解碼張數(shù)之差的評(píng)價(jià)指標(biāo)在預(yù)定的閾值以上的幀組將從顯示目標(biāo)的對(duì)象中排除，由此，成為信道間的畫 面更新時(shí)刻不 一 致的原因的、要解碼張數(shù)之差大的幀組不被設(shè)定為 顯示目標(biāo)，能夠消除信道間的畫面更新的明顯不一致，得到更自然 的再現(xiàn)圖像。
另外，本發(fā)明中，代替基于要解碼張數(shù)在各信道間的差的評(píng)價(jià)
指標(biāo)，也可以使用基于解碼所需的碼量即要解碼碼量在各信道間的
差的評(píng)價(jià)指標(biāo)、或基于解碼所需的解碼時(shí)間即要解碼時(shí)間在各信道
間的差的評(píng)價(jià)指標(biāo)。
另外，本發(fā)明作為分別對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼并 將其合成在同一畫面上來進(jìn)行再現(xiàn)的圖像解碼，對(duì)各信道取得上述
編碼動(dòng)態(tài)圖像的結(jié)構(gòu)信息；在被指示了預(yù)定的特殊再現(xiàn)模式的情況 下，確定各信道在同一時(shí)刻的幀組即作為再現(xiàn)對(duì)象的幀亦即顯示目 標(biāo)；對(duì)上述顯示目標(biāo)確定被預(yù)測(cè)為解碼最慢的信道即遲滯信道；對(duì) 上述顯示目標(biāo)進(jìn)行解碼，在上述遲滯信道的幀的解碼完成后，對(duì)各 信道使定時(shí)一致來合成解碼后的圖像數(shù)據(jù)而進(jìn)行再現(xiàn)，在上述遲滯 信道的確定中，在作為上述顯示目標(biāo)的幀組中，求出根據(jù)上述結(jié)構(gòu) 信息求出的、解碼所需的幀張數(shù)即要解碼張數(shù)為最大的幀，將該幀 的信道特定為上述遲滯信道。
根據(jù)本發(fā)明，由于對(duì)顯示目標(biāo)將要解碼張數(shù)為最大的信道特定 為遲滯信道，直到遲滯信道的幀的解碼完成為止，使各信道的再現(xiàn) 進(jìn)行等待，由此，能夠消除信道間的畫面更新時(shí)刻不一致，得到更 自然的再現(xiàn)圖像。
另外，本發(fā)明中，也可以將解碼所需的碼量即要解碼碼量為最 大的信道特定為遲滯信道，還可以將解碼所需的解碼時(shí)間即要解碼 時(shí)間為最大的信道特定為遲滯信道。
根據(jù)本發(fā)明，在對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像分別解碼并將其合 成在同 一畫面上來進(jìn)行再現(xiàn)時(shí)，能夠消除信道間的畫面更新時(shí)刻不 一致，得到更自然的再現(xiàn)圖像。
1

圖1是本發(fā)明的實(shí)施方式1的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。
圖2 ( A)是兩個(gè)信道的位流的結(jié)構(gòu)的例子，圖2 (B)是表示實(shí) 施方式1中的再現(xiàn)圖像的觀察方法的示意圖。
圖3 (A)是實(shí)施方式1中的控制部的基本動(dòng)作的控制流程，圖 3(B)是圖3(A)中的顯示目標(biāo)確定處理的詳細(xì)流程。
圖4 ( A)是圖3 ( A)中的特殊再現(xiàn)處理的詳細(xì)流程，圖4 (B) 是圖3(A)中的通常再現(xiàn)處理的詳細(xì)流程。
圖5是本發(fā)明實(shí)施方式2的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。
圖6 (A)是實(shí)施方式2中的控制部的基本動(dòng)作的控制流程，圖 6 (B)是圖6 ( A)中的顯示目標(biāo)確定處理的詳細(xì)流程。
圖7 ( A)是圖6 ( A)中的特殊再現(xiàn)處理的詳細(xì)流程，圖7 (B) 是圖6 (A)中的通常再現(xiàn)處理的詳細(xì)流程。
圖8是本發(fā)明實(shí)施方式3的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。
圖9 (A)是實(shí)施方式3中的控制部的基本動(dòng)作的控制流程，圖 9(B)是圖9(A)中的顯示目標(biāo)確定處理的詳細(xì)流程。
圖IO(A)是圖9(A)中的特殊再現(xiàn)處理的詳細(xì)流程，圖10 (B)是圖9(A)中的通常再現(xiàn)處理的詳細(xì)流程。
圖11是本發(fā)明實(shí)施方式4的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。
圖12 (A)是實(shí)施方式4中的控制部的基本動(dòng)作的控制流程， 圖12 (B)是圖12 (A)中的顯示目標(biāo)確定處理的詳細(xì)流程。
圖13 (A)是圖12 (A)中的特殊再現(xiàn)處理的詳細(xì)流程，圖13 (B)是圖12 (A)中的通常再現(xiàn)處理的詳細(xì)流程。
圖14是本發(fā)明實(shí)施方式5的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。
圖15 (A)是實(shí)施方式5中的控制部的基本動(dòng)作的控制流程， 圖15 (B)是圖15 ( A)中的顯示目標(biāo)確定處理的詳細(xì)流程。
圖16 ( A)是圖15 ( A)中的特殊再現(xiàn)處理的詳細(xì)流程，圖16 (B)是圖15 (A)中的通常再現(xiàn)處理的詳細(xì)流程。
圖17是本發(fā)明實(shí)施方式6的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。
16圖18是表示實(shí)施方式6中的再現(xiàn)圖像的觀察方法的一例的示意圖。
圖19 (A)是實(shí)施方式6中的控制部的基本動(dòng)作的控制流程，
圖19 (B)是圖19 ( A)中的顯示目標(biāo)確定處理的詳細(xì)流程。圖20是圖19 (A)中的特殊再現(xiàn)處理的詳細(xì)流程。圖21是本發(fā)明實(shí)施方式7的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖22 (A)是實(shí)施方式7中的控制部的基本動(dòng)作的控制流程，
圖22 (B)是圖22 (A)中的顯示目標(biāo)確定處理的詳細(xì)流程。圖23是圖22 (A)中的特殊再現(xiàn)處理的詳細(xì)流程。圖24是本發(fā)明實(shí)施方式8的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖25 (A)是表示再現(xiàn)圖像的觀察方法的一例的示意圖，圖25
(B) 、 (C)是表示實(shí)施方式8中的解碼的分時(shí)處理的圖。圖26是實(shí)施方式8中的控制部的基本動(dòng)作的控制流程。圖27是圖26中的特殊再現(xiàn)處理的詳細(xì)流程。圖28是表示具有本發(fā)明的動(dòng)態(tài)圖像解碼裝置的電子設(shè)備的結(jié)構(gòu)
例的框圖。
圖29是作為電子設(shè)備的一例的光盤再現(xiàn)裝置的外觀圖。圖30是表示具有本發(fā)明的動(dòng)態(tài)圖像解碼裝置的電子設(shè)備的結(jié)構(gòu)例的框圖。
圖31是表示現(xiàn)有的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)例的框圖。圖32是GOP構(gòu)造的一例。
圖33 (A)是圖像結(jié)構(gòu)的一例，圖33 (B) 、 (C)是表示再現(xiàn)圖像的觀察方法的圖。
圖34 ( A)是2信道的情況下的圖像結(jié)構(gòu)的一例，圖34 (B)是表示再現(xiàn)圖像的觀察方法的圖。
符號(hào)說明
151， 152, 153， 154, 155， 170, 180, 560控制部160計(jì)時(shí)部
501a、 501b緩沖存儲(chǔ)器511a、 511b, 512a、 512b, 513a、 513b, 515a、 515b解碼部
516解碼部
520a、 520b幀存儲(chǔ)器
700, 710開關(guān)
CIO位流供給部
C20動(dòng)態(tài)圖像解碼裝置
C30圖像輸出部
C100, C110電子裝置
具體實(shí)施例方式
以下，參照

用于實(shí)施本發(fā)明的最佳方式。以下各實(shí)施方式中，作為預(yù)定的特殊再現(xiàn)模式的一例，以反向
低速再現(xiàn)為例進(jìn)行說明。但其他特殊再現(xiàn)，例如，快進(jìn)再現(xiàn)、低速再現(xiàn)、快退再現(xiàn)等各實(shí)施方式中說明的方法同樣也能適用。(實(shí)施方式1)
圖1是本發(fā)明實(shí)施方式1的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖1
中，對(duì)與圖31相同的構(gòu)成要素給予與圖31相同的標(biāo)號(hào)。圖1中，51 la、 511b是解碼部，151是控制部，解碼部511a、 511b以及控制部151中的處理與圖31的結(jié)構(gòu)大不相同。
首先，信道A、信道B這2信道的動(dòng)態(tài)圖像的位流分別輸入緩沖器(緩沖存儲(chǔ)器)500a、 500b后，在后續(xù)的解碼部511a、 511b中解碼。復(fù)原的圖像分別存儲(chǔ)在幀存儲(chǔ)器520a、 520b中。在此，與圖31的結(jié)構(gòu)不同的是，解碼部511a、 511b輸出關(guān)于信道A、 B各自的位流的結(jié)構(gòu)信息這一點(diǎn)。解碼部511a、 511b在為了按順序再現(xiàn)位流而解碼時(shí)，預(yù)先解析結(jié)構(gòu)信息。從解碼部511a、 511b輸出的結(jié)構(gòu)信息，被存儲(chǔ)在控制部151具有的信息存儲(chǔ)裝置中。
在此，"結(jié)構(gòu)信息"是指關(guān)于位流的結(jié)構(gòu)的信息，即，表示位流中的GOP所含的幀圖像的張數(shù)、GOP中的幀圖像的編碼類型或排列順序的信息。幀存儲(chǔ)器520a、 520b中存儲(chǔ)的圖像，按控制部151指示的順序輸出?？刂撇?51指示圖像的輸出順序，使得以適當(dāng)?shù)娘@示順序得到再現(xiàn)圖像。從幀存儲(chǔ)器520a、 520b輸出的圖像，在合成部530中，重疊于同一畫面上而作為PinP圖像輸出。
另外，控制部151在作為預(yù)定的特殊再現(xiàn)模式指示了反向低速再現(xiàn)模式的情況下，根據(jù)從解碼部511a、 511b接收的結(jié)構(gòu)信息，確定成為再現(xiàn)對(duì)象的幀即顯示目標(biāo)。即，"顯示目標(biāo)"是指各信道的同一時(shí)刻中的幀組，即成為再現(xiàn)對(duì)象的幀?？刂撇?51控制解碼部511a、 511b,使得持續(xù)解碼直到顯示目標(biāo)被確定為止。
圖2 ( A)示出信道A、 B的位流的結(jié)構(gòu)的例子。圖2 ( A)中，信道A是與圖32同樣的結(jié)構(gòu)，信道B是與圖32不同的不含B幀的結(jié)構(gòu)。圖2 ( A)中，設(shè)當(dāng)前顯示中的幀是I， 0幀，從其緊前的P6開始依次進(jìn)行反向低速再現(xiàn)。并,支定信道A在反向低速再現(xiàn)中以P6、B4、 B2、 IO這一順序顯示圖像。設(shè)信道B中也同樣，以P6、 P4、 P2、 IO這一順序顯示圖像。
為了得到要顯示的幀即顯示目標(biāo)的圖像，需要將包含該顯示目標(biāo)的GOP的位流傳送到緩沖器500a、 500b，使解碼部511a、 51 lb執(zhí)行解碼，直到得到該顯示目標(biāo)的圖像數(shù)據(jù)。另外，當(dāng)顯示目標(biāo)到達(dá)該GOP的起始時(shí)，將在時(shí)間上當(dāng)前GOP的前一個(gè)GOP新傳送到緩沖器500a、 500b,以其結(jié)尾作為顯示目標(biāo)，繼續(xù)反向低速再現(xiàn)。
圖2(A)中，對(duì)于各幀分別記下在該幀為顯示目標(biāo)時(shí)解碼所需的幀張數(shù)即要解碼張數(shù)。
本實(shí)施方式中，詳細(xì)說明控制部151確定反向低速再現(xiàn)中顯示目標(biāo)的處理。
控制部151，首先，按照指示的反向低速再現(xiàn)模式，將各信道A、B的預(yù)定時(shí)刻的幀定為顯示目標(biāo)候選。然后，對(duì)各顯示目標(biāo)候選分別根據(jù)從解碼部511a、 511b接收的各信道A、 B的結(jié)構(gòu)信息計(jì)算要解碼張數(shù)。進(jìn)而，對(duì)計(jì)算出的要解碼張數(shù)在各信道A、 B間的差進(jìn)行計(jì)算，將其與預(yù)定的閾值(張數(shù))比較。當(dāng)要解碼張數(shù)之差比預(yù)定的閾值小時(shí)，將各顯示目標(biāo)候選確定為顯示目標(biāo)。另一方面，在要解碼張數(shù)之差在預(yù)定的閾值以上的情況下，取消各顯示目標(biāo)候選，尋找在時(shí)間上位于取消的各顯示目標(biāo)候選之前且要解碼張數(shù)之差小于預(yù)定的閾值的幀，將其確定為顯示目標(biāo)。
用圖2具體說明該處理。在此，設(shè)與要解碼張數(shù)之差進(jìn)行比較
的預(yù)定的閾值為2。
首先，作為顯示目標(biāo)候選，確定信道A的P6和信道B的P6。如圖2(A)所示，要解碼張數(shù)，對(duì)于信道A的P6來說是3,對(duì)于信道B的P6來說是7。因此，要解碼張數(shù)之差是4，大于預(yù)定的閾值2，因此該情況下的顯示目標(biāo)候選被取消。
接下來，將時(shí)間上位于信道A的P6和信道B的P6之前的信道A的B5和信道B的P5作為顯示目標(biāo)候選進(jìn)行評(píng)價(jià)。如圖2 ( A)所示，要解碼張數(shù)，對(duì)于信道A的B5來說是4，對(duì)于信道B的P5來說是6。因此，要解碼張數(shù)之差是2，等于預(yù)定的閾值2，因此該情況下的顯示目標(biāo)候選也被取消。
4妾下來，將時(shí)間上位于信道A的B5和信道B的P5之前的信道A的B4和信道B的P4作為顯示目標(biāo)候選進(jìn)行評(píng)價(jià)。如圖2 ( A)所示，要解碼張數(shù)，對(duì)于信道A的B4來說是4，對(duì)于信道B的P4來說是5。因此，要解碼張數(shù)之差是l,小于預(yù)定的閾值2，因此該情況下的顯示目標(biāo)候選確定為顯示目標(biāo)。即，將信道A的B4和信道B的P4確定為顯示目標(biāo)。
控制部151控制解碼部511a、 511b以及幀存儲(chǔ)器520a、 520b,使得確定為顯示目標(biāo)的信道A的B4和信道B的P4的圖像被解碼后輸出。通過這樣的處理，當(dāng)初I， 0幀圖像在畫面中顯示，信道A的B4和信道B的P4的圖像一旦被再現(xiàn)，各信道中，其圖像就顯示在畫面中。以后，同樣地確定顯示目標(biāo)，將確定的顯示目標(biāo)的圖4象再現(xiàn)下去。
圖2 (B)是表示再現(xiàn)圖像的觀察方法的示意圖。在此，假定解碼部511a、 511b具有相當(dāng)于1倍速的解碼能力的情況。上述的動(dòng)作中，最初的顯示目標(biāo)是在取消了兩次顯示目標(biāo)候選后，通過第3次評(píng)價(jià)而確定的，但當(dāng)取消次數(shù)多時(shí)，即，要解碼張數(shù)的信道間的差大的幀連續(xù)時(shí)，當(dāng)前顯示中的幀與顯示目標(biāo)的間隔
將變寬。但是，例如按MPEG2標(biāo)準(zhǔn)，有GOP中必須包含1張以上的I幀的規(guī)則，至少將I幀(要解碼張數(shù)為1)確定為顯示目標(biāo)，因此，不會(huì)產(chǎn)生完全找不到顯示目標(biāo)而畫面更新完全停止的狀態(tài)這樣的問題。
圖3和圖4是表示控制部151的具體動(dòng)作的流程圖。圖3 ( A)是基本動(dòng)作的控制流程，圖3 (B)是圖3 (A)中的顯示目標(biāo)確定處理S200的詳細(xì)流程，圖4(A)是圖3( A)中的特殊再現(xiàn)處理S300的詳細(xì)流程，圖4 (B)是圖3(A)中的通常再現(xiàn)處理S400的詳細(xì)流程。在此，設(shè)將包含信道A、 B的多個(gè)信道作為對(duì)象。即，圖1中作為動(dòng)態(tài)圖像的信道數(shù)為2的情況示出裝置結(jié)構(gòu)，但有3個(gè)以上信道也可以。以下的實(shí)施方式中也同樣。
首先，如圖3 (A)所示，判斷通常再現(xiàn)或特殊再現(xiàn)這樣的由用戶指示的再現(xiàn)模式(S100)，在通常再現(xiàn)的情況下進(jìn)行通常再現(xiàn)處理S400，在特殊再現(xiàn)的情況下，進(jìn)行顯示目標(biāo)確定處理S200后，進(jìn)行特殊再現(xiàn)處理S300?？刂撇?51對(duì)各信道實(shí)施特殊再現(xiàn)處理S300以及通常再現(xiàn)處理S400。以下，記載對(duì)信道A實(shí)施的處理，但對(duì)其他所有信道(包含信道B)也同樣實(shí)施。
通常再現(xiàn)處理S400中，如圖4(B)所示，控制部151首先對(duì)解碼部511a指示位流的圖像層以上的首部解析(S301 ),結(jié)果，存儲(chǔ)所得到的結(jié)構(gòu)信息(S302 )。然后，對(duì)解碼部511a指示對(duì)比圖像層下位的等級(jí)的數(shù)據(jù)即圖像數(shù)據(jù)的解碼(S307 ) 。 1幀的解碼處理完成時(shí)對(duì)幀存儲(chǔ)器520a指示從已解碼的圖像中顯示適當(dāng)?shù)膱D像，以顯示正確排列的圖像(S308A)。
顯示目標(biāo)確定處理S200中，如圖3 (B)所示，控制部151首先設(shè)定顯示目標(biāo)候選(S201)。然后，根據(jù)結(jié)構(gòu)信息分別求出各信道的顯示目標(biāo)候選的要解碼張數(shù)F (x) (S202)。在此，x表示信道。接下來，求出所有信道間的要解碼張數(shù)F( x )的差的最大值maxFd (S203 )，將該最大值maxFd與預(yù)定的閾值Fdth比較(S204 )。當(dāng) 最大值maxFd小于閾值Fdth時(shí)，將當(dāng)前的顯示目標(biāo)候選確定為顯示 目標(biāo)(S206 )，結(jié)束處理。另一方面，當(dāng)最大值maxFd在閾值Fdth 以上時(shí)，取消當(dāng)前的顯示目標(biāo)候選，設(shè)定下一個(gè)顯示目標(biāo)候選 (S205 ),再?gòu)腟202起進(jìn)行處理。
該顯示目標(biāo)確定處理S200中，作為基于要解碼張數(shù)的信道間之 差的評(píng)價(jià)指標(biāo)，使用了要解碼張數(shù)之差的最大值，但也可以使用其 他值。例如，也可以取任意2信道間之差的平均值，將其作為評(píng)價(jià) 指標(biāo)?；蛘咭部梢詫⒎从尘幋a條件這樣的校正系數(shù)乘以要解碼張數(shù) 之差。
特殊再現(xiàn)處理S300中，如圖4(A)所示，控制部151首先對(duì) 解碼部511a指示位流的圖像層以上的首部解析(S301 )，結(jié)果，存 儲(chǔ)所得到的結(jié)構(gòu)信息(S302)。接下來，判斷幀與顯示目標(biāo)是否一 致(S303 )， 一致時(shí)，指示解碼裝置511a對(duì)圖像數(shù)據(jù)進(jìn)行解碼(S307 ), 指示幀存儲(chǔ)器520a顯示該圖像(S308 )。另一方面，當(dāng)幀與顯示目 標(biāo)不一致時(shí)，判斷該幀的編碼類型(S304 )，為B幀時(shí)，指示解碼 部511a舍棄圖像數(shù)據(jù)直到下一個(gè)幀(S306 )。為B幀以外時(shí)，指示 解碼部511a對(duì)該幀進(jìn)行解碼(S305 )。
如上所述，本實(shí)施方式中，對(duì)各信道的顯示目標(biāo)候選分別計(jì)算 要解碼張數(shù)，當(dāng)基于該要解碼張數(shù)之差的評(píng)價(jià)指標(biāo)小于預(yù)定的閾值 時(shí)，將顯示目標(biāo)候選確定為顯示目標(biāo)，另一方面，當(dāng)不小于預(yù)定的 閾值時(shí)，取消顯示目標(biāo)候選。即，將基于要解碼張數(shù)之差的評(píng)價(jià)指 標(biāo)為預(yù)定的閾值以上的幀組從顯示目標(biāo)的對(duì)象中排除。由此，成為 信道間的畫面更新時(shí)刻不一致的原因的、要解碼張數(shù)之差大的幀組 不被設(shè)定為顯示目標(biāo)，能夠消除信道間的畫面更新的明顯不一致， 得到更自然的再現(xiàn)圖像。 (實(shí)施方式2 )
圖5是本發(fā)明實(shí)施方式2的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖5
22中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其
詳細(xì)說明。圖5的結(jié)構(gòu)中，解碼部512a、 512b以及控制部152中的 處理，與實(shí)施方式1的圖1的結(jié)構(gòu)不同。
本實(shí)施方式與實(shí)施方式1不同的是，解碼部512a、 512b除了輸 出結(jié)構(gòu)信息外還輸出圖像尺寸信息，控制部152除了用結(jié)構(gòu)信息外 還用圖像尺寸信息確定顯示目標(biāo)這一點(diǎn)。這里的圖像尺寸信息是指 例如每l幀的像素?cái)?shù)。解碼部512a、 512b在為了順序再現(xiàn)位流而解 碼時(shí)，預(yù)先解析結(jié)構(gòu)信息和圖像尺寸信息。從解碼部512a、 512b輸 出的結(jié)構(gòu)信息和圖像尺寸信息存儲(chǔ)在控制部152具有的信息存儲(chǔ)裝 置中。
圖6和圖7是表示控制部152的具體動(dòng)作的流程圖。圖6和圖7 中，對(duì)與實(shí)施方式1中的圖3和圖4相同的步驟給予相同的標(biāo)號(hào)， 這里省略其詳細(xì)說明。圖6 ( A)是基本動(dòng)作的控制流程，圖6(B) 是圖6(A)中的顯示目標(biāo)確定處理S220的詳細(xì)流程，圖7 (A)是 圖6(A)中的特殊再現(xiàn)處理S320的詳細(xì)流程，圖7(B)是圖6(A) 中的通常再現(xiàn)處理S420的詳細(xì)流程。在此，以包含信道A、 B的多 個(gè)信道為對(duì)象。
如圖7(A)、 (B)所示，本實(shí)施方式中的特殊再現(xiàn)處理S320 以及通常再現(xiàn)處理S420與實(shí)施方式1中的特殊再現(xiàn)處理S300以及 通常再現(xiàn)處理S400不同點(diǎn)僅為處理S312。即，處理S312中，除了 結(jié)構(gòu)信息外，還預(yù)先存儲(chǔ)圖像尺寸信息。該圖像尺寸信息與結(jié)構(gòu)信 息一起在顯示目標(biāo)確定處理S220中使用。
另夕卜，如圖6( B)所示，本實(shí)施方式中的顯示目標(biāo)確定處理S220 與實(shí)施方式1中的顯示目標(biāo)確定處理S200不同的是增加了處理S212 這一點(diǎn)。即本實(shí)施方式的顯示目標(biāo)確定處理S220中，根據(jù)結(jié)構(gòu)信息， 分別求出各信道的顯示目標(biāo)候選的要解碼張數(shù)F (x) (S202)后， 根據(jù)圖像尺寸信息校正該要解碼張數(shù)F (x) (S212)。此外的處理 與實(shí)施方式1的顯示目標(biāo)確定處理S200同樣。
作為基于圖像尺寸信息校正的一例，例如，考慮信道間的圖像尺寸比，校正各信道的要解碼張數(shù)F (x)。例如，在信道A為HD 尺寸、信道B為橫向一半的半HD尺寸的情況下，信道A的F(x) 保持原樣(縮放比率=1),信道B的F (x)作為1/2倍(縮放比 率=0.5)使用。 一般，作為1次處理單位的宏模塊的大小相同，因 此圖像尺寸越大解碼所需時(shí)間越長(zhǎng)，因此可以認(rèn)為校正后的值，大 體與直到得到顯示目標(biāo)候選的圖像為止所需的時(shí)間相關(guān)。
如上所述，根據(jù)本實(shí)施方式，除了得到與實(shí)施方式1同樣的作 用效果外，還有如下效果，通過作為基于要解碼張數(shù)在各信道間的 差的評(píng)價(jià)指標(biāo)而使用基于圖像尺寸信息校正的指標(biāo)，顯示目標(biāo)確定 處理中能夠考慮到圖像尺寸。由此，能夠?qū)⒏餍诺篱g的實(shí)際的解碼 時(shí)間差更正確地反映于顯示目標(biāo)確定處理，能夠得到更自然的再現(xiàn) 圖像。
(實(shí)施方式3 )
圖8是本發(fā)明實(shí)施方式3的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖8 中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其 詳細(xì)說明。圖8的結(jié)構(gòu)中，解碼部513a、 513b以及控制部153中的 處理與實(shí)施方式1的圖1的結(jié)構(gòu)不同。
本實(shí)施方式與實(shí)施方式1不同的是，解碼部513a、 513b除了輸 出結(jié)構(gòu)信息外還輸出編碼標(biāo)準(zhǔn)信息，控制部153除了用結(jié)構(gòu)信息外 還用編碼標(biāo)準(zhǔn)信息來確定顯示目標(biāo)這一點(diǎn)。解碼部513a、 513b為了 順序再現(xiàn)位流而解碼時(shí)，預(yù)先解析結(jié)構(gòu)信息和編碼標(biāo)準(zhǔn)信息。從解 碼部513a、 513b輸出的結(jié)構(gòu)信息和編碼標(biāo)準(zhǔn)信息存儲(chǔ)在控制部153 具有的信息存儲(chǔ)裝置中。
圖9和圖IO是表示控制部153的具體動(dòng)作的流程圖。圖9和圖 10中，對(duì)與實(shí)施方式1中的圖3和圖4相同的步驟給予相同的標(biāo)號(hào)， 這里省略其詳細(xì)說明。圖9 ( A)是基本動(dòng)作的控制流程，圖9(B) 是圖9(A)中的顯示目標(biāo)確定處理S230的詳細(xì)流程，圖10 (A) 是圖9(A)中的特殊再現(xiàn)處理S330的詳細(xì)流程，圖10 (B)是圖9 (A)中的通常再現(xiàn)處理S430的詳細(xì)流程。在此，以包含信道A、
24B的多個(gè)信道為對(duì)象。如圖10(A)、 (B)所示，本實(shí)施方式中的特殊再現(xiàn)處理S330 以及通常再現(xiàn)處理S430與實(shí)施方式1中的特殊再現(xiàn)處理S300以及 通常再現(xiàn)處理S400的不同點(diǎn)僅為處理S313。即，處理S313中，除 了結(jié)構(gòu)信息外，還預(yù)先存儲(chǔ)編碼標(biāo)準(zhǔn)信息。該編碼標(biāo)準(zhǔn)信息與結(jié)構(gòu) 信息一起在顯示目標(biāo)確定處理S230中使用。另外，如圖9(B)所示，本實(shí)施方式中的顯示目標(biāo)確定處理S230 與實(shí)施方式1中的顯示目標(biāo)確定處理S200不同的是增加了處理S213 這一點(diǎn)。即本實(shí)施方式的顯示目標(biāo)確定處理S230中，根據(jù)結(jié)構(gòu)信息， 分別求出各信道的顯示目標(biāo)候選的要解碼張數(shù)F (x) (S202)后， 根據(jù)編碼標(biāo)準(zhǔn)信息校正該要解碼張數(shù)F (x) (S213)。此外的處理 與實(shí)施方式1的顯示目標(biāo)確定處理S200同樣。作為基于編碼標(biāo)準(zhǔn)信,包，的校正的 一 例，例如考慮各信道的編碼 標(biāo)準(zhǔn)中的平均解碼時(shí)間之比，來校正各信道的要解碼張數(shù)F (x)。 例如，當(dāng)信道A為MPEG2標(biāo)準(zhǔn)、信道B為H.264標(biāo)準(zhǔn)時(shí)，信道A 的F ( x )取1 / 2倍(縮放比率=0. 5 )，信道B的F ( x )保持原 樣(縮放比率=1)使用。 一般，編碼標(biāo)準(zhǔn)越復(fù)雜解碼所需時(shí)間越長(zhǎng)， 因此可以認(rèn)為校正后的值，大體與直到得到顯示目標(biāo)候選的圖像為 止所需的時(shí)間相關(guān)。如上所述，根據(jù)本實(shí)施方式，除了得到與實(shí)施方式1同樣的作 用效果外，還有如下效果，通過作為基于要解碼張數(shù)的差的評(píng)價(jià)指 標(biāo)而使用基于編碼標(biāo)準(zhǔn)信息校正的指標(biāo)，顯示目標(biāo)確定處理中能夠 考慮到編碼標(biāo)準(zhǔn)。由此，能夠?qū)⒏餍诺篱g的實(shí)際的解碼時(shí)間差更正 確地反映于顯示目標(biāo)確定處理，能夠得到更自然的再現(xiàn)圖像。。編碼標(biāo)準(zhǔn)不是在位流中復(fù)雜變化的，因此，各信道的編碼標(biāo)準(zhǔn) 信息未必需要在每次圖像層的首部解析處理中取得。例如，顯然可 以通過其他途徑從外部向該裝置提供編碼標(biāo)準(zhǔn)信息。 (實(shí)施方式4)圖11是本發(fā)明實(shí)施方式4的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖11中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其詳細(xì)說明。圖ll的結(jié)構(gòu)中，緩沖器(緩沖存儲(chǔ)器)501a、 501b的功 能和控制部154中的處理與實(shí)施方式1的圖1的結(jié)構(gòu)不同。本實(shí)施方式與實(shí)施方式1不同的是，緩沖器501a、 501b除了對(duì) 解碼部511a、 511b輸出位流外，還對(duì)控制部154輸出指針信息，控 制部154除了用結(jié)構(gòu)信息外還用指針信息來確定顯示目標(biāo)這一點(diǎn)。 指針信息是指例如表示緩沖器501a、 501b的讀出側(cè)的指針位置的變 化的信息。能夠根據(jù)該指針信息取得每個(gè)幀的指針位置的移動(dòng)量， 即各幀的碼量。從緩沖器501a、501b輸出的指針信息與從解碼部51 la 輸出的結(jié)構(gòu)信息一起，存儲(chǔ)在控制部154具有的信息存儲(chǔ)裝置中。圖12和圖13是表示控制部154的具體動(dòng)作的流程圖。圖12和 圖13中，對(duì)與實(shí)施方式1中的圖3和圖4相同的步驟給予相同的標(biāo) 號(hào)，這里省略其詳細(xì)說明。圖12 (A)是基本動(dòng)作的控制流程，圖 12 (B)是圖12 ( A)中的顯示目標(biāo)確定處理S240的詳細(xì)流程，圖 13(A)是圖12(A)中的特殊再現(xiàn)處理S340的詳細(xì)流程，圖13(B) 是圖12(A)中的通常再現(xiàn)處理S440的詳細(xì)流程。這里以包含信道 A、 B的多個(gè)信道為對(duì)象。如圖13(A)、 (B)所示，本實(shí)施方式中的特殊再現(xiàn)處理S340 以及通常再現(xiàn)處理S440與實(shí)施方式1中的特殊再現(xiàn)處理S300以及 通常再現(xiàn)處理S400的不同點(diǎn)僅為處理S314。即，處理S314中，除 了結(jié)構(gòu)信息外還預(yù)先存儲(chǔ)指針信息。該指針信息與結(jié)構(gòu)信息一起， 在顯示目標(biāo)確定處理S240中使用。另外，如圖12(B)所示，本實(shí)施方式中的顯示目標(biāo)確定處理 S240與實(shí)施方式l中的顯示目標(biāo)確定處理S200不同的是，代替處 理S202、 S203、 S204而增加了處理S241、 S242、 S243這一點(diǎn)。即 本實(shí)施方式的顯示目標(biāo)確定處理S240中j艮據(jù)結(jié)構(gòu)信息和指針信息， 對(duì)各信道的顯示目標(biāo)候選，分別計(jì)算解碼所需的碼量即要解碼碼量B (x) (S241)。 X表示信道。在此，控制部154能夠根據(jù)指針信息 中所含的指針位置的變化計(jì)算各幀的碼量。并且，能夠用計(jì)算出的各幀的碼量，求出直到得到顯示目標(biāo)候選為止必須解碼的碼量的總 計(jì)、即要解碼碼量B(X)。 一般，碼量越多解碼所需時(shí)間越長(zhǎng)，因 此可以認(rèn)為要解碼碼量大體與直到得到顯示目標(biāo)候選的圖像為止所 需的時(shí)間相關(guān)。然后，求出所有信道間的要解碼碼量B( x)之差的最大值maxBd (S242),將該最大值maxBd與預(yù)定的閾值Bdth比較(S243 )。 當(dāng)最大值maxBd小于閾值Bdth時(shí)，將當(dāng)前的顯示目標(biāo)候選確定為顯 示目標(biāo)(S206 ),結(jié)束處理。另一方面，當(dāng)最大值maxBd在閾值Bdth 以上時(shí)，取消當(dāng)前的顯示目標(biāo)候選，設(shè)定下一個(gè)顯示目標(biāo)候選 (S205 ),再?gòu)腟250起進(jìn)行處理。在該顯示目標(biāo)確定處理S240中，作為基于要解碼碼量的信道間 之差的評(píng)價(jià)指標(biāo)而使用了要解碼碼量之差的最大值，也可以使用其 他值。例如，可以取任意2信道間的差的平均值，將其作為評(píng)價(jià)指 標(biāo)。如上所述，本實(shí)施方式中，對(duì)各信道的顯示目標(biāo)候選分別計(jì)算 要解碼碼量，當(dāng)基于該要解碼碼量的差的評(píng)價(jià)指標(biāo)比預(yù)定的閾值小 時(shí)，將顯示目標(biāo)候選確定為顯示目標(biāo)，另一方面，在大于等于預(yù)定 的閾值時(shí)，取消顯示目標(biāo)候選。即，將基于要解碼碼量的差的評(píng)價(jià) 指標(biāo)在預(yù)定的閾值以上的幀組從顯示目標(biāo)的對(duì)象中排除。由此，能 夠得到如下效果，成為信道間的畫面更新時(shí)刻不一致的原因的、要 解碼碼量之差大的幀將不被設(shè)定為顯示目標(biāo)，能夠消除信道間的畫 面更新的明顯不一致，得到更自然的再現(xiàn)圖像。本實(shí)施方式中，根據(jù)從緩沖器501a、 501b的輸出的指針信息， 取得各幀的碼量，但也可以代替使用指針信息，例如，對(duì)解碼部511 a、 511b具有的可變長(zhǎng)度解碼器中解碼的碼量進(jìn)行計(jì)數(shù)，用該計(jì)數(shù)出的 碼量，取得各幀的碼量。 (實(shí)施方式5)圖14是本發(fā)明實(shí)施方式5的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖14 中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其詳細(xì)說明。圖14的結(jié)構(gòu)中，解碼部515a、 515b以及控制部155中 的處理與實(shí)施方式1的圖1的結(jié)構(gòu)不同。還追加了計(jì)時(shí)部160。通常， 動(dòng)態(tài)圖像的解碼裝置中，大多不僅對(duì)視頻還具有對(duì)音頻的解碼功能， 該情況下，進(jìn)行將視頻和音頻的時(shí)間戳信息與基準(zhǔn)時(shí)刻進(jìn)行比較、 并調(diào)整為兩者大致同時(shí)輸出的處理(AV同步處理或?qū)谛?。例如， 可將保持該基準(zhǔn)時(shí)刻的裝置用作計(jì)時(shí)部160。本實(shí)施方式與實(shí)施方式1不同的是，解碼部515a、 515b除了輸 出結(jié)構(gòu)信息外還輸出解碼定時(shí)信息，控制部155除了用結(jié)構(gòu)信息外 還用解碼定時(shí)信息來確定顯示目標(biāo)這一點(diǎn)。解碼定時(shí)信息是指例如 表示對(duì)各幀進(jìn)行解碼時(shí)的起始定時(shí)和結(jié)束定時(shí)的信息。解碼部515a、 515b在為了順序再現(xiàn)位流而解碼時(shí)，輸出解碼定時(shí)信息。控制部155 從解碼部515a、 515b接收到解碼定時(shí)信息時(shí)，參照計(jì)時(shí)部160的時(shí) 刻信息求出該時(shí)刻，并存儲(chǔ)于信息存儲(chǔ)裝置。由此，各幀的解碼開 始以及結(jié)束時(shí)刻存儲(chǔ)于控制部155。圖15和圖16是表示控制部155的具體動(dòng)作的流程圖。圖15和 圖16中，對(duì)與實(shí)施方式1中的圖3和圖4相同的步驟給予相同的標(biāo) 號(hào)，這里省略其詳細(xì)說明。圖15 (A)是基本動(dòng)作的控制流程，圖 15 (B)是圖15 (A)中的顯示目標(biāo)確定處理S250的詳細(xì)流程，圖 16(A)是圖15(A)中的特殊再現(xiàn)處理S350的詳細(xì)流程，圖16(B) 是圖15(A)中的通常再現(xiàn)處理S450的詳細(xì)流程。在此，以包含信 道A、 B的多個(gè)信道為對(duì)象。如圖16(A) 、 (B)所示，本實(shí)施方式中的特殊再現(xiàn)處理S350 以及通常再現(xiàn)處理S450與實(shí)施方式1中的特殊再現(xiàn)處理S300以及 通常再現(xiàn)處理S400的不同點(diǎn)僅為處理S315。即，處理S315中，除 了結(jié)構(gòu)信息外，還預(yù)先存儲(chǔ)基于解碼定時(shí)信息得到的解碼時(shí)刻。該 解碼時(shí)刻與結(jié)構(gòu)信息一起，在顯示目標(biāo)確定處理S250中使用。另外，如圖15(B)所示，本實(shí)施方式中的顯示目標(biāo)確定處理 S250與實(shí)施方式l中的顯示目標(biāo)確定處理S200不同的是，代替處 理S202、 S203、 S204,而增加了處理S251、 S252、 S253這一點(diǎn)。即本實(shí)施方式的顯示目標(biāo)確定處理S250中，根據(jù)結(jié)構(gòu)信息和解碼時(shí) 刻，對(duì)各信道的顯示目標(biāo)候選，分別計(jì)算解碼所需的解碼時(shí)間即要 解碼時(shí)間T (x) (S251) 。 x表示信道。在此，控制部155能夠根 據(jù)各幀的起始解碼時(shí)刻和結(jié)束解碼時(shí)刻計(jì)算各幀的解碼時(shí)間。然后， 能夠用計(jì)算出的各幀的解碼時(shí)間，求出直到得到顯示目標(biāo)候選為止 解碼所需時(shí)間的總計(jì)，即要解碼時(shí)間T (x)。
然后，求出所有信道間的要解碼時(shí)間T(x)之差的最大值maxTd (S252 ),將該最大值maxTd與預(yù)定的閾值Tdth比較(S253 )。當(dāng) 最大值maxTd小于閾值Tdth時(shí)，將當(dāng)前的顯示目標(biāo)候選確定為顯示 目標(biāo)(S206),結(jié)束處理。另一方面，當(dāng)最大值maxTd在閾值Tdth 以上時(shí)，取消當(dāng)前的顯示目標(biāo)候選，設(shè)定下一個(gè)顯示目標(biāo)候選 (S205 )，再/人S260起進(jìn)行處理。
該顯示目標(biāo)確定處理S250中，作為基于要解碼時(shí)間的信道間的 差的評(píng)價(jià)指標(biāo)，使用了要解碼時(shí)間的差的最大值，但也可以使用其 他值。例如，也可以取任意2信道間的差的平均值，將其作為評(píng)價(jià) 指標(biāo)。
如上所述，本實(shí)施方式中，對(duì)各信道的顯示目標(biāo)候選分別計(jì)算 要解碼時(shí)間，當(dāng)基于該要解碼時(shí)間之差的評(píng)價(jià)指標(biāo)比預(yù)定的閾值小 時(shí)，將顯示目標(biāo)候選確定為顯示目標(biāo)，另一方面，當(dāng)上述評(píng)價(jià)指標(biāo) 大于等于預(yù)定的閾值時(shí)，取消顯示目標(biāo)候選。即，將基于要解碼時(shí) 間之差的評(píng)價(jià)指標(biāo)在預(yù)定的閾值以上的幀組從顯示目標(biāo)的對(duì)象中排 除。由此，能夠得到以下效果成為信道間的畫面更新時(shí)刻不一致 的原因的、要解碼時(shí)間之差大的幀不被設(shè)定為顯示目標(biāo)，信道間的 畫面更新的明顯不一致被消除，能夠得到更自然的再現(xiàn)圖像。并且， 通過測(cè)量實(shí)際上各幀的解碼所需的時(shí)間，能夠使各信道間實(shí)際的解 碼時(shí)間差更正確地反映在顯示目標(biāo)確定處理中，能夠得到更自然的 再現(xiàn)圖像。
上述實(shí)施方式1 5中，可能產(chǎn)生如下問題當(dāng)過于連續(xù)地發(fā)生 顯示目標(biāo)候選的取消時(shí)，畫面更新的頻度極端地下降，因此看起來像準(zhǔn)靜止圖像，作為動(dòng)態(tài)圖像增加不自然。為了避免該問題，當(dāng)顯 示目標(biāo)候選的取消發(fā)生了預(yù)定次數(shù)以上時(shí)，可以使取消無效，將該 顯示目標(biāo)候選強(qiáng)制地確定為顯示目標(biāo)，使其顯示。特別是作為一例，
PinP圖像中被認(rèn)為用戶主要注視的機(jī)會(huì)多的主要視頻(以較大面積
顯示的信道的視頻)，比次要視頻(以小面積顯示的信道的視頻)
的畫面更新的頻度高，因此可以將主要視頻的信道預(yù)先指定為優(yōu)先
信道，僅對(duì)該信道進(jìn)行以上那樣的取消無效化處理。
上述實(shí)施方式1~5中，顯示目標(biāo)確定處理中，對(duì)顯示目標(biāo)候選
求出基于要解碼張數(shù)、要解碼碼量或要解碼時(shí)間之差的評(píng)價(jià)指標(biāo)， 將其與預(yù)定的閾值比較，由此判斷將該顯示目標(biāo)候選確定為顯示目
標(biāo)還是將其取消。也可以取而代之進(jìn)行例如以下那樣的處理。即， 也可以對(duì)同 一 時(shí)刻的各個(gè)幀組，預(yù)先求出基于要解碼張數(shù)等之差的 評(píng)價(jià)指標(biāo)，按照所指示的特殊再現(xiàn)模式，從該評(píng)價(jià)指標(biāo)比預(yù)定的閾 值小的幀組中，選擇顯示目標(biāo)。通過這樣的處理，基于要解碼張數(shù) 等之差的評(píng)價(jià)指標(biāo)在預(yù)定的閾值以上的幀組能夠從顯示目標(biāo)的對(duì)象 中排除，因此與上述各實(shí)施方式1~5同樣，能夠消除信道間的畫面 更新的明顯不一致，得到更自然的再現(xiàn)圖像。 (實(shí)施方式6)
圖17是本發(fā)明實(shí)施方式6的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖17 中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其 詳細(xì)說明。圖17的結(jié)構(gòu)中，控制部170中的處理與實(shí)施方式1的圖 1的結(jié)構(gòu)不同。
上述實(shí)施方式1~5中，顯示目標(biāo)被確定時(shí)，各信道中，如果顯 示目標(biāo)的解碼完成，則接下來再現(xiàn)所得到的圖像數(shù)據(jù)。與此不同， 本實(shí)施方式中特征在于對(duì)顯示目標(biāo)求出被預(yù)測(cè)為解碼最慢的信道 (以下稱為遲滯信道)，直到該遲滯信道中的解碼完成為止，其他 信道中也不進(jìn)行圖像顯示更新而是等待，使顯示定時(shí)一致。
圖18是表示本實(shí)施方式中的再現(xiàn)圖像的觀察方法的 一例的示意 圖。如圖18所示，假定信道A比信道B早完成解碼時(shí)，使信道A的顯示更新進(jìn)行等待，直到信道B的解碼完成為止，然后與信道B 的顯示更新同步進(jìn)行。另外，相反，假定信道B比信道A早完成解 碼時(shí)，使信道B的顯示更新進(jìn)行等待，直到信道A的解碼完成為止， 與信道A的顯示更新同步進(jìn)行。
本實(shí)施方式中，顯示目標(biāo)的確定按照所指示的預(yù)定的特殊再現(xiàn) 模式來進(jìn)行。即，上述實(shí)施方式1 5中，按照采用了要解碼張數(shù)等 的預(yù)定規(guī)范，進(jìn)行顯示目標(biāo)候選的取消，但本實(shí)施方式中不進(jìn)行那 樣的顯示目標(biāo)候選的取消。例如，當(dāng)被指示了反向低速再現(xiàn)時(shí)，確 定顯示目標(biāo)^使得以預(yù)定的幀間隔回;^文。
圖19和圖20是表示控制部170的具體動(dòng)作的流程圖。圖19和 圖20中，對(duì)與實(shí)施方式1中的圖3和圖4相同的步驟給予相同的標(biāo) 號(hào)，這里省略其詳細(xì)說明。圖19 (A)是基本動(dòng)作的控制流程，圖 19 (B)是圖19 (A)中的遲滯信道特定處理S260的詳細(xì)流程，圖 20是圖19(A)中的特殊再現(xiàn)處理S360的詳細(xì)流程。另外，圖19 (A)中的通常再現(xiàn)處理S400與圖4(B)所示的同樣。在此，以包 含信道A、 B的多個(gè)信道為對(duì)象。
如圖19(A)所示，在特殊再現(xiàn)的情況下，首先，按照所指示 的特殊再現(xiàn)模式確定顯示目標(biāo)(S201A)。接下來，進(jìn)行遲滯信道特 定處理S260。遲滯信道特定處理S260中，如圖19 (B)所示，根據(jù) 結(jié)構(gòu)信息，求出各信道的顯示目標(biāo)的要解碼張數(shù)F (x) (S261), 求出該要解碼張數(shù)F (x)為最大的信道X (S262)。該信道X為遲 滯信道。
接下來，進(jìn)行特殊再現(xiàn)處理S360。本實(shí)施方式中的特殊再現(xiàn)處 理S360與實(shí)施方式1中的特殊再現(xiàn)處理S300的不同點(diǎn)僅在于處理 S309。即，處理S309中，在對(duì)圖像數(shù)據(jù)進(jìn)行解碼指示(S307 )后， 被解碼的圖像數(shù)據(jù)被存儲(chǔ)在幀存儲(chǔ)器520a、 520b中時(shí)，不進(jìn)行圖像 顯示的指示，而存儲(chǔ)能夠顯示該圖像的情況。在此，將該尚未用于 顯示更新的顯示目標(biāo)的圖像稱作顯示候選圖像。
當(dāng)對(duì)各信道的特殊再現(xiàn)處理S360的結(jié)果為，遲滯信道X中顯示目標(biāo)的解碼完成，遲滯信道X的顯示候選圖像已確定時(shí)(S500), 進(jìn)行指示，以顯示各信道的幀存儲(chǔ)器520a、 520b中存儲(chǔ)的顯示候選 圖像(S600 )。
上述例子，取為進(jìn)行等待直到處理S500中遲滯信道X的顯示目 標(biāo)的解碼完成為止的情況，但也可以在等待時(shí)間為預(yù)定時(shí)間以上時(shí)， 作為超時(shí)處理而移至下一個(gè)處理S600。該情況下，能夠抑制直到下 一個(gè)顯示更新為止的時(shí)間過長(zhǎng)的情況，能得到更自然的再現(xiàn)圖像。
如上所述，本實(shí)施方式中，對(duì)顯示目標(biāo)分別計(jì)算要解碼張數(shù)， 將該要解碼張數(shù)為最大的信道確定為遲滯信道，直到該遲滯信道的 幀的解碼完成為止，使各信道的顯示更新進(jìn)行等待，使顯示定時(shí)一 致。由此，能夠得到以下效果，即消除信道間的畫面更新時(shí)刻不一 致，得到更自然的再現(xiàn)圖像。
本實(shí)施方式中，為了確定遲滯信道，采用了要解碼張數(shù)F (x)， 但也可以如上述實(shí)施方式2、 3所示那樣，采用按圖像尺寸信息或編 碼標(biāo)準(zhǔn)信息校正了要解碼張數(shù)F (x)后的量?；蛘?，可以如上述實(shí) 施方式4所示那樣，采用要解碼碼量B(x)，如上述實(shí)施方式5所 示那樣，采用要解碼時(shí)間T(x)。這些任何一種情況下都能得到以 下效果，即消除信道間的畫面更新時(shí)刻不一致，得到更自然的再現(xiàn) 圖像。
使各信道的顯示更新與遲滯信道的顯示更新同步進(jìn)行，但也可 以取而代之，例如，在變?yōu)槟苓M(jìn)行遲滯信道的顯示更新的狀態(tài)后， 在經(jīng)過預(yù)定時(shí)間后，進(jìn)行各信道的顯示更新。
本實(shí)施方式中，顯示目標(biāo)的確定，只是按照所指示的特殊再現(xiàn) 模式來進(jìn)行，但也可以如上述實(shí)施方式1 ~5所示那樣，同步進(jìn)行采 用了基于要解碼張數(shù)等的在各信道間的差的評(píng)價(jià)指標(biāo)的顯示目標(biāo)的 選擇處理。例如，可以在圖19 (A)所示的控制流程中，代替處理 S201A，執(zhí)行實(shí)施方式1 ~ 5中說明的顯示目標(biāo)確定處理S200、 S220、 S230、 S240、 S250。 (實(shí)施方式7)圖21是本發(fā)明實(shí)施方式7的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖21中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其詳細(xì)說明。圖21的結(jié)構(gòu)中，控制部180中的處理與實(shí)施方式1的圖1的結(jié)構(gòu)不同。
上述實(shí)施方式1 5中，特殊再現(xiàn)處理中，對(duì)B幀舍棄圖像數(shù)據(jù)(S306 )。這是因?yàn)?，B幀不是參照幀，其他幀的解碼不需要。而與此不同，在本實(shí)施方式中，B幀與其他編碼類型的幀同樣，對(duì)其圖像數(shù)據(jù)進(jìn)行解碼。
另外，實(shí)施方式1中，顯示目標(biāo)確定處理中，使用解碼所需的幀張數(shù)即要解碼張數(shù)進(jìn)行評(píng)價(jià)。而與此不同，本實(shí)施方式中，不用解碼所需的幀張數(shù)，而用該GOP中到達(dá)顯示目標(biāo)候選為止所存在的所有幀的張數(shù)來進(jìn)行評(píng)價(jià)。在此，將到達(dá)上述顯示目標(biāo)候選為止的幀的張數(shù)稱為要到達(dá)張數(shù)。
通過采用這樣的處理，在特殊再現(xiàn)處理中，各幀的解碼無論是不是B幀都必須進(jìn)行，具有流程簡(jiǎn)單化、控制變得簡(jiǎn)單的優(yōu)點(diǎn)。
圖22和圖23是表示控制部180的具體動(dòng)作的流程圖。圖22和圖23中，對(duì)與實(shí)施方式1中的圖3和圖4相同的步驟給予相同的標(biāo)號(hào)，這里省略其詳細(xì)說明。圖22 (A)是基本動(dòng)作的控制流程，圖22 (B)是圖22 ( A)中的顯示目標(biāo)確定處理S270的詳細(xì)流程，圖23是圖22 ( A)中的特殊再現(xiàn)處理S370的詳細(xì)流程。另外，圖22(A)中的通常再現(xiàn)處理S400與圖4(B)所示的同樣。在此，以包含信道A、 B的多個(gè)信道為對(duì)象。
顯示目標(biāo)確定處理S270中，如圖22(B)所示，代替要解碼張數(shù)F(x)，采用要到達(dá)張數(shù)F， (x)。即，控制部180根據(jù)結(jié)構(gòu)信息，分別求出各信道的顯示目標(biāo)候選的要到達(dá)張數(shù)F， (x)(S202A)。接下來，求出所有信道間的要到達(dá)張數(shù)F， (x)之差的最大值maxFd， ( S203A),將該最大值maxFd，與預(yù)定的閾值Fdth，比較(S204A)。當(dāng)最大值maxFd，小于閾值Fdth，時(shí)，將當(dāng)前的顯示目標(biāo)候選確定為顯示目標(biāo)(S206 ),結(jié)束處理。另一方面，
33當(dāng)最大值maxFd，在閾值Fdth，以上時(shí)，取消當(dāng)前的顯示目標(biāo)候選，設(shè)定下一個(gè)顯示目標(biāo)候選(S205 )，再?gòu)腟202A開始進(jìn)行處理。
特殊再現(xiàn)處理S370中，如圖23所示，與編碼類型無關(guān)對(duì)所有的幀的圖像數(shù)據(jù)進(jìn)行解碼。即，控制部180首先指示解碼部511a進(jìn)行位流的圖像層以上的首部解析(S301)，存儲(chǔ)作為結(jié)果得到的結(jié)構(gòu)信息(S302 )。接下來，指示解碼裝置511a進(jìn)行圖像數(shù)據(jù)的解碼(S307 )。接下來，判斷幀與顯示目標(biāo)是否一致(S303 ),當(dāng)一致時(shí)，指示幀存儲(chǔ)器520a顯示該圖像(S308 )。另一方面，當(dāng)幀與顯示目標(biāo)不一致時(shí)，返回S301,開始下一個(gè)幀的處理。
如上所述，在本實(shí)施方式中，對(duì)各信道的顯示目標(biāo)候選分別計(jì)算要到達(dá)張數(shù)，當(dāng)基于該要到達(dá)張數(shù)之差的評(píng)價(jià)指標(biāo)比預(yù)定的閾值小時(shí)，將顯示目標(biāo)候選確定為顯示目標(biāo)，另一方面，當(dāng)上述評(píng)價(jià)指標(biāo)大于等于預(yù)定的閾值時(shí)，取消顯示目標(biāo)候選。由此，能夠取得如下效果，即成為信道間的畫面更新時(shí)刻不一致的原因的、要到達(dá)張數(shù)之差大的幀組不被設(shè)定為顯示目標(biāo)，信道間的畫面更新的明顯不一致被消除，得到更自然的再現(xiàn)圖像。
本實(shí)施方式中，為了確定顯示目標(biāo)，采用了要到達(dá)張數(shù)F， (x),但也可以與上述實(shí)施方式2、 3同樣，采用按圖像尺寸信息或編碼標(biāo)準(zhǔn)信息校正了要到達(dá)張數(shù)F， (x)后的量?；蛘撸部梢耘c上述實(shí)施方式4同樣，采用直到到達(dá)顯示目標(biāo)候選為止的所有幀的總碼量即要到達(dá)碼量B， (x),也可以與上述實(shí)施方式5同樣，采用直到到達(dá)顯示目標(biāo)候選為止的所有幀的總解碼時(shí)間即要到達(dá)時(shí)間T' ( x )。在這些任意一種情況下，都能夠取得如下效果，即信道間的畫面更新時(shí)刻不一致被消除，得到更自然的再現(xiàn)圖像。(實(shí)施方式8)
圖24是本發(fā)明實(shí)施方式8的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)圖。圖24中，對(duì)與圖l相同的構(gòu)成要素給予與圖l相同的標(biāo)號(hào)，這里省略其i羊細(xì)i兌明。
上述實(shí)施方式l中，各信道的解碼處理，由單獨(dú)的解碼部511a、
34511b分別執(zhí)行。而與此不同，本實(shí)施方式中，如圖24所示，作為僅 具備一個(gè)解碼部516的結(jié)構(gòu)，通過分時(shí)處理進(jìn)行各信道的解碼處理。 700、710是開關(guān)，開關(guān)700進(jìn)行解碼部516的輸入的切換，開關(guān)710 進(jìn)行解碼部516的輸出的切換?？刂撇?60除了控制解碼部516和 幀存儲(chǔ)器520a、 520b以外，還控制開關(guān)700、 710。
即，本發(fā)明中的解碼部，可以如上述各實(shí)施方式那樣，由按每 個(gè)信道設(shè)置的多個(gè)解碼部構(gòu)成，也可以如本實(shí)施方式那樣，由一個(gè) 解碼部和進(jìn)行輸入輸出切換的開關(guān)的組合構(gòu)成。
信道A、 B的動(dòng)態(tài)圖像的位流，分別存儲(chǔ)在緩沖器500a、 500b 中。各信道的位流，經(jīng)由開關(guān)700提供給解碼部516，復(fù)原的圖像經(jīng) 由開關(guān)710存儲(chǔ)在幀存儲(chǔ)器520a或520b中。在此，控制部560管 理當(dāng)前哪個(gè)信道正在解碼中，對(duì)開關(guān)700、 710進(jìn)行控制，使其選擇 正在進(jìn)行解碼處理的 一 側(cè)的位流和幀存儲(chǔ)器。
圖25是表示本實(shí)施方式中的解碼的分時(shí)處理的圖。在實(shí)現(xiàn)圖25 (A)那樣的圖像再現(xiàn)時(shí)，如圖25(B)所示，以l幀為單位切換進(jìn) 行各信道的解碼處理。
圖26是控制部560的基本動(dòng)作的控制流程。與實(shí)施方式1的圖 3 (A)的控制流程的不同點(diǎn)有兩點(diǎn)。第一點(diǎn)、追加了在指示了特殊 再現(xiàn)模式時(shí)判斷顯示目標(biāo)是否已被輸出的步驟S800。在未輸出的情 況下繞過顯示目標(biāo)確定處理S200。第二點(diǎn)、分別在通常再現(xiàn)和特殊 再現(xiàn)中逐次執(zhí)行信道A的處理和信道B的處理。即，特殊再現(xiàn)中， 執(zhí)行信道A的特殊再現(xiàn)處理S300a和信道B的特殊再現(xiàn)處理S300b， 通常再現(xiàn)中，執(zhí)行信道A的通常再現(xiàn)處理S400a和信道B的通常再 現(xiàn)處理S400b。信道A和信道B的處理的^U亍順序可逆。另外，信 道數(shù)比2多時(shí)，對(duì)各信道分別執(zhí)行處理。
顯示目標(biāo)確定處理S200,與實(shí)施方式1的圖3 (B)同樣。另夕卜， 通常再現(xiàn)處理S400a、 S400b基本與實(shí)施方式1的圖4 (B)同樣， 但通常再現(xiàn)處理S400a中，將開關(guān)700切換到緩沖器500a—側(cè)，將 開關(guān)710切換到幀存儲(chǔ)器520a—側(cè)，而在通常再現(xiàn)處理S400b中，將開關(guān)700切換到緩沖器500b —側(cè)，將開關(guān)710切換到幀存儲(chǔ)器 520b 一側(cè)。
圖27是特殊再現(xiàn)處理S300a、 S300b的詳細(xì)流程。與實(shí)施方式1 的圖4 (A)不同的是，在處理S305、 S306之后，不跳到進(jìn)行下一 個(gè)圖像的首部解析的處理S301,而結(jié)束處理這一點(diǎn)。另外，特殊再 現(xiàn)處理S300a中，將開關(guān)700切換到緩沖器500a—側(cè)，將開關(guān)710 切換到幀存儲(chǔ)器520a—側(cè)，而特殊再現(xiàn)處理S300b中，將開關(guān)700 切換到緩沖器500b —側(cè)，將開關(guān)710切換到幀存儲(chǔ)器520b —側(cè)。
本實(shí)施方式與實(shí)施方式1同樣，能夠取得如下效果，即成為信 道間的畫面更新時(shí)刻不 一致的原因的、要解碼張數(shù)之差大的幀組不 被設(shè)定為顯示目標(biāo)，信道間的畫面更新的明顯不一致被消除，得到 更自然的再現(xiàn)圖像。另外，本實(shí)施方式中，通常由多個(gè)電路塊構(gòu)成 的解碼部?jī)H為l個(gè)即可，因此能夠縮小解碼裝置的電路規(guī)模，因此， 具有能夠以低價(jià)格提供解碼裝置的優(yōu)點(diǎn)。只是在要解碼的信道為n 信道且相同圖像尺寸的視頻的情況下，解碼部516需要具有n倍速 以上的解碼能力。為了得到高的解碼能力， 一般，具有動(dòng)作頻率變 高后功耗增大這樣的折衷的關(guān)系。
也可以如下這樣構(gòu)成特殊再現(xiàn)處理S300a、 S300b，即不是必 須以1幀為單位將解碼處理切換到其他信道，代替停止輸出顯示目 標(biāo)的信道的特殊再現(xiàn)處理，而優(yōu)先進(jìn)行未輸出的信道的處理。即， 如圖25(C)所示，對(duì)于信道B的P4幀，當(dāng)成對(duì)的信道A—側(cè)的 B4幀的解碼處理完成并已輸出時(shí)，不切換到信道A—側(cè)而繼續(xù)進(jìn)行 特殊再現(xiàn)處理，直到接著P4幀能輸出為止。由此，產(chǎn)生能夠使畫面 更新更平整，得到更自然的再現(xiàn)圖像這樣的優(yōu)點(diǎn)。
顯然本實(shí)施方式這樣的僅具備一個(gè)解碼部的結(jié)構(gòu)，也能適用于 實(shí)施方式1以外的實(shí)施方式2 ~ 7。
上述各實(shí)施方式中，對(duì)動(dòng)態(tài)圖像的信道數(shù)為2的情況進(jìn)行了說 明，但也可以是3個(gè)以上的信道。該情況下，作為基于要解碼張數(shù) (要解碼碼量、要解碼時(shí)間、要到達(dá)張數(shù))在各信道間的差的評(píng)價(jià)指標(biāo)，例如使用以下評(píng)價(jià)指標(biāo)即可。即，對(duì)各信道計(jì)算要解碼張數(shù) 等后，將其中的最大值與最小值之差用作基于各信道間之差的評(píng)價(jià)
指標(biāo)。或者，也可以將任意兩個(gè)信道間之差的平均值用作基于各信 道間之差的評(píng)價(jià)指標(biāo)。
另外，上述各實(shí)施方式中，說明了動(dòng)態(tài)圖像的位流的數(shù)據(jù)是按
照MPEG2標(biāo)準(zhǔn)來編碼的情況，顯然也適用于按照其他編碼標(biāo)準(zhǔn)，例 如MPEG1標(biāo)準(zhǔn)、MPEG4標(biāo)準(zhǔn)、H.261標(biāo)準(zhǔn)、H.263標(biāo)準(zhǔn)、H.264標(biāo) 準(zhǔn)、VC-1標(biāo)準(zhǔn)等進(jìn)行解碼處理的動(dòng)態(tài)圖像解碼方法和動(dòng)態(tài)圖像解 碼裝置。只是在上述說明中，有時(shí)在特殊再現(xiàn)時(shí)當(dāng)前正在解碼中的 幀為顯示目標(biāo)以外時(shí)舍棄B幀，^旦按照H.264標(biāo)準(zhǔn)這樣的編碼標(biāo)準(zhǔn)， B幀也有一部分種類可能被參照。因此，在這樣的編碼標(biāo)準(zhǔn)的情況 下，不舍棄可能被參照的B幀而變更處理。
另外，上述各實(shí)施方式中的動(dòng)態(tài)圖像的位流，顯然不限于僅由 圖像數(shù)據(jù)構(gòu)成的位流，作為一例，對(duì)于包含音頻數(shù)據(jù)、文本數(shù)據(jù)、 字幕數(shù)據(jù)、菜單等的GUI用的靜止圖像數(shù)據(jù)這樣的付隨在圖像數(shù)據(jù) 上的數(shù)據(jù)的位流，也能同樣適用。
另外，上述各實(shí)施方式中，作為特殊再現(xiàn)的一例，舉例說明了 反向低速再現(xiàn)，其他特殊再現(xiàn)，例如，快進(jìn)再現(xiàn)、低速再現(xiàn)、快退 再現(xiàn)等也能同樣適用。
(電子設(shè)備中的應(yīng)用例1 )
圖28是表示具備本發(fā)明的動(dòng)態(tài)圖像解碼裝置的電子設(shè)備的結(jié)構(gòu) 例的框圖。如圖28所示，電子設(shè)備C100除了本發(fā)明的動(dòng)態(tài)圖像解 碼裝置C20之外，還有位流供給部CIO、圖像輸出部C30、存儲(chǔ)介 質(zhì)C60以及用戶操作輸入部C50。另外，作為外圍裝置有用戶操作 裝置C40和圖像顯示裝置C70。存儲(chǔ)介質(zhì)C60有時(shí)也從外部安裝到 電子設(shè)備C100上。
在此，位流供給部C10供給藍(lán)光DVD這樣的光盤等存儲(chǔ)介質(zhì) C60中存儲(chǔ)的位流。動(dòng)態(tài)圖像解碼裝置C20再現(xiàn)與從位流供給部C10 輸入的位流對(duì)應(yīng)的動(dòng)態(tài)圖像。用戶操作裝置C40用于用戶指示電子設(shè)備C100的動(dòng)作模式。用戶操作部C50接收用戶操作裝置C40的 輸出。圖像輸出部C30將由動(dòng)態(tài)圖像解碼裝置C20再現(xiàn)的圖像輸出 到外部，具有與顯示器等圖像顯示裝置C70的接口的功能。
圖29表示作為電子設(shè)備的一例的光盤再現(xiàn)裝置的外觀圖。圖29 的光盤再現(xiàn)裝置包括作為讀出盤中存儲(chǔ)的位流的位流供給部的驅(qū) 動(dòng)裝置UIO、作為顯示再現(xiàn)的動(dòng)態(tài)圖像的圖像顯示裝置的顯示器 U30、施加再現(xiàn)的開始/停止或特殊再現(xiàn)的指示的操作開關(guān)U40。
存儲(chǔ)介質(zhì)C60除了光盤以外，也可以是例如存儲(chǔ)卡等。位流供 給部C10除了光盤驅(qū)動(dòng)以外，也可以是例如讀卡器等。用戶操作裝 置C40也可以是例如輸入面板、按鈕、遙控器等。圖像輸出部C30 也可以是例如NTSC、 PAL等模擬視頻輸出的接口或數(shù)字視頻接口 等。圖像顯示裝置C70也可以是液晶顯示器、PDP、 CRT等。
(電子設(shè)備中的應(yīng)用例2)
圖30是表示具備本發(fā)明的動(dòng)態(tài)圖像解碼裝置的電子設(shè)備的結(jié)構(gòu) 例的框圖。如圖30所示，電子設(shè)備C110不從存儲(chǔ)介質(zhì)而從廣播、 網(wǎng)絡(luò)接收位流。位流供給部C10例如由網(wǎng)絡(luò)輸入接口構(gòu)成。作為這 樣的電子設(shè)備C110的例子，可以考慮從網(wǎng)絡(luò)或廣播接收流的便攜信 息終端、便攜電話、機(jī)頂盒(STB: SetTopBox)等。
另外，在上述應(yīng)用例l、 2中，用戶操作裝置C40和圖像顯示裝 置C70也可以與電子i殳備C100 —體;也構(gòu)成，也可以分開構(gòu)成而通過 有線或無線來連接。
并且，作為能應(yīng)用本發(fā)明的電子設(shè)備，除了以上列舉出的例子 以外，還可以考慮個(gè)人計(jì)算機(jī)、利用存儲(chǔ)卡或HDD來對(duì)流進(jìn)行存儲(chǔ) 再現(xiàn)的裝置等各種電子設(shè)備。
工業(yè)可利用性
本發(fā)明能夠應(yīng)用于例如具有動(dòng)態(tài)圖像解碼和再現(xiàn)功能的集成電 路或具有這樣的集成電路的光盤再現(xiàn)裝置、從個(gè)人計(jì)算機(jī)、存儲(chǔ)卡 或HDD等存儲(chǔ)流的裝置或網(wǎng)絡(luò)、廣播等接收流的便攜信息終端、便 攜電話、機(jī)頂盒裝置。
38
權(quán)利要求
1.一種動(dòng)態(tài)圖像解碼方法，分別對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼，并將其合成在同一畫面上來進(jìn)行再現(xiàn)，其特征在于，包括對(duì)各信道取得上述編碼動(dòng)態(tài)圖像的結(jié)構(gòu)信息的步驟；在被指示了預(yù)定的特殊再現(xiàn)模式的情況下，根據(jù)上述結(jié)構(gòu)信息來確定各信道在同一時(shí)刻的幀組即作為再現(xiàn)對(duì)象的顯示目標(biāo)的步驟；以及分別對(duì)上述顯示目標(biāo)進(jìn)行解碼的步驟，在上述顯示目標(biāo)確定步驟中，從顯示目標(biāo)的對(duì)象中排除各信道的同一時(shí)刻的幀組中根據(jù)上述結(jié)構(gòu)信息求出的、基于解碼所需要的幀張數(shù)即要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)為預(yù)定閾值以上的幀。
2. 根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像解碼方法，其特征在于， 在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還取得上述編碼動(dòng)態(tài)圖像的圖像尺寸信息，在上述顯示目標(biāo)確定步驟中，使用基于上述圖像尺寸信息校正 后的值來作為基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
3. 根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像解碼方法，其特征在于， 在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還取得上述編碼動(dòng)態(tài)圖像的編碼標(biāo)準(zhǔn)信息，在上述顯示目標(biāo)確定步驟中，使用基于上述編碼標(biāo)準(zhǔn)信息校正 后的值來作為基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
4. 根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像解碼方法，其特征在于， 在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還在各信道中取得各幀的碼量，在上述顯示目標(biāo)確定步驟中，使用根據(jù)上述結(jié)構(gòu)信息和上述各 幀的碼量求出的、基于解碼所需的碼量即要解碼碼量在各信道間的 差的評(píng)價(jià)指標(biāo)來代替基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
5. 根據(jù)權(quán)利要求4所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述取得步驟中，根據(jù)從為了對(duì)上述編碼動(dòng)態(tài)圖像進(jìn)行解碼而用于暫時(shí)存儲(chǔ)的緩沖存儲(chǔ)器中輸出的指針信息，來求出上述各幀的碼量。
6. 根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還在各信道中取得各幀的解碼時(shí)間，在上述顯示目標(biāo)確定步驟中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的解碼時(shí)間求出的、基于解碼所需的解碼時(shí)間即要解碼時(shí)間在各信道間的差的評(píng)價(jià)指標(biāo)來代替基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
7. 根據(jù)權(quán)利要求1、 5和6中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述顯示目標(biāo)確定步驟中，具有取消上述評(píng)價(jià)指標(biāo)為預(yù)定閾值以上的顯示目標(biāo)候選的處理，對(duì)于預(yù)先指定的優(yōu)先信道，當(dāng)上述顯示目標(biāo)候選的取消處理發(fā)生預(yù)定次數(shù)以上時(shí)，使上述顯示目標(biāo)候選的取消無效。
8. —種動(dòng)態(tài)圖像解碼方法，分別對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼，并將其合成在同一畫面上來進(jìn)行再現(xiàn)，其特征在于，包括對(duì)各信道取得上述編碼動(dòng)態(tài)圖像的結(jié)構(gòu)信息的步驟；在被指示了預(yù)定的特殊再現(xiàn)模式的情況下，確定各信道在同一時(shí)刻的幀組即作為再現(xiàn)對(duì)象的幀亦即顯示目標(biāo)的步驟；對(duì)上述顯示目標(biāo)，根據(jù)上述結(jié)構(gòu)信息來特定被預(yù)測(cè)為解碼最慢的信道即遲滯信道的步驟；以及對(duì)上述顯示目標(biāo)進(jìn)行解碼，且在上述遲滯信道的幀的解碼完成后，對(duì)各信道使定時(shí) 一致來合成解碼后的圖像數(shù)據(jù)并對(duì)其進(jìn)行再現(xiàn)的步驟，在上述遲滯信道確定步驟中，在作為上述顯示目標(biāo)的幀組中，求出根據(jù)上述結(jié)構(gòu)信息而求出的、解碼所需的幀張數(shù)即要解碼張數(shù)為最大的幀，并將該幀的信道特定為上述遲滯信道。
9. 根據(jù)權(quán)利要求8所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還取得上述編碼動(dòng)態(tài)圖像的圖像尺寸信息，在上述遲滯信道特定步驟中，使用基于上述圖像尺寸信息校正后的值來作為上述要解碼張數(shù)。
10. 根據(jù)權(quán)利要求8所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還取得上述編碼動(dòng)態(tài)圖像的編碼標(biāo)準(zhǔn)信息，在上述遲滯信道特定步驟中，使用基于上述編碼標(biāo)準(zhǔn)信息校正后的值來作為上述要解碼張數(shù)。
11. 根據(jù)權(quán)利要求8所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還在各信道中取得各幀的碼量，在上述遲滯信道特定步驟中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的碼量求出的、解碼所需的碼量即要解碼碼量來代替上述要解碼張數(shù)。
12. 根據(jù)權(quán)利要求8所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述取得步驟中，除了上述結(jié)構(gòu)信息外，還在各信道中取得各幀的解碼時(shí)間，在上述遲滯信道特定步驟中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的解碼時(shí)間求出的、解碼所需的解碼時(shí)間即要解碼時(shí)間來代替上述要解碼張數(shù)。
13. 根據(jù)權(quán)利要求8、 11和12中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述顯示目標(biāo)確定步驟中，從顯示目標(biāo)的對(duì)象中排除各信道的同 一 時(shí)刻的幀組中基于上述要解碼張數(shù)、上述要解碼碼量或上述要解碼時(shí)間在各信道間的差的評(píng)價(jià)指標(biāo)為預(yù)定閾值以上的幀。
14. 根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像解碼方法，其特征在于，在上述顯示目標(biāo)確定步驟中，使用基于GOP中到達(dá)該幀為止的幀的張數(shù)即要到達(dá)張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)來代替基于上迷要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
15. 根據(jù)權(quán)利要求1-14中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼方法， 其特征在于，上述預(yù)定的特殊再現(xiàn)模式為反向低速再現(xiàn)模式。
16. —種動(dòng)態(tài)圖像解碼裝置，分別對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼，并將其合成在同一畫面上來進(jìn)行再現(xiàn)，其特征在于，包括解碼部，對(duì)各信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼，并取得上述編碼動(dòng)態(tài)圖像的結(jié)構(gòu)信息；多個(gè)幀存儲(chǔ)器，按信道分別存儲(chǔ)從上述解碼部輸出的幀圖像數(shù)據(jù)；以及控制部，控制上述解碼部和上述各幀存儲(chǔ)器，且從上述解碼部接收上述結(jié)構(gòu)信息，其中，上述控制部進(jìn)行在被指示了預(yù)定的特殊再現(xiàn)模式的情況下，根據(jù)上述結(jié)構(gòu)信息來確定各信道在同 一 時(shí)刻的幀組即作為再現(xiàn)對(duì)象的顯示目標(biāo)的處理；和指示上述解碼部對(duì)上述顯示目標(biāo)進(jìn)行解碼的處理，并且，在上述顯示目標(biāo)確定處理中，從顯示目標(biāo)的對(duì)象中排除各信道的同一時(shí)刻的幀組中根據(jù)上述結(jié)構(gòu)信息求出的、基于解碼所需要的幀張數(shù)即要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)為預(yù)定閾值以上的幀。
17. 根據(jù)權(quán)利要求16所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，上述控制部除了從上迷解碼部接收上述結(jié)構(gòu)信息外，還接收上述編碼動(dòng)態(tài)圖像的圖像尺寸信息，并且，在上述顯示目標(biāo)確定處理中，使用基于上述圖像尺寸信息校正后的值來作為基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
18. 根據(jù)權(quán)利要求16所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，上述控制部除了從上述解碼部接收上述結(jié)構(gòu)信息外，還接收上述編碼動(dòng)態(tài)圖像的編碼標(biāo)準(zhǔn)信息，并且，在上述顯示目標(biāo)確定處理中，使用基于上述編碼標(biāo)準(zhǔn)信息校正后的值來作為基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
19. 根據(jù)權(quán)利要求16所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，還包括為了對(duì)上述編碼動(dòng)態(tài)圖像進(jìn)行解碼而用于暫時(shí)存儲(chǔ)的緩沖存儲(chǔ)器，上述控制部接收從上述緩沖存儲(chǔ)器輸出的指針信息，根據(jù)該指針信息求出各信道中的各幀的碼量，并且，在上述顯示目標(biāo)確定處理中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的碼量求出的、基于解碼所需的碼量即要解碼碼量在各信道間的差的評(píng)價(jià)指標(biāo)來代替基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
20. 根據(jù)權(quán)利要求16所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，還包括計(jì)時(shí)部，該計(jì)時(shí)部輸出時(shí)刻信息，上述控制部除了從上述解碼部接收上述結(jié)構(gòu)信息外，還接收解碼定時(shí)信息，并根據(jù)該解碼定時(shí)信,1和從上述計(jì)時(shí)部輸出的時(shí)刻信息來求出各信道中的各幀的解碼時(shí)間，并且，在上述顯示目標(biāo)確定處理中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的解碼時(shí)間求出的、基于解碼所需的解碼時(shí)間即要解碼時(shí)間在各信道間的差的評(píng)價(jià)指標(biāo)來代替基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
21. 根據(jù)權(quán)利要求16、 19和20中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，在上述顯示目標(biāo)確定處理中，上述控制部進(jìn)行取消上述評(píng)價(jià)指標(biāo)為預(yù)定閾值以上的顯示目標(biāo)候選的處理，對(duì)于預(yù)先指定的優(yōu)先信道，當(dāng)上述顯示目標(biāo)候選的取消發(fā)生預(yù)定次數(shù)以上時(shí)，使上述顯示目標(biāo)候選的取消無效。
22. —種動(dòng)態(tài)圖像解碼裝置，分別對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼，并將其合成在同一畫面上來進(jìn)行再現(xiàn)，其特征在于，包括解碼部，對(duì)各信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼，并取得上述編碼動(dòng)態(tài)圖像的結(jié)構(gòu)信息；多個(gè)幀存儲(chǔ)器，按信道分別存儲(chǔ)從上述解碼部輸出的幀圖像數(shù)據(jù)；以及控制部，控制上述解碼部和上述各幀存儲(chǔ)器，且從上述解碼部接收上述結(jié)構(gòu)信息，其中，上述控制部進(jìn)4亍在被指示了預(yù)定的特殊再現(xiàn)模式的情況下，確定各信道在同一時(shí)刻的幀組即作為再現(xiàn)對(duì)象的幀亦即顯示目標(biāo)的處理；對(duì)上述顯示目標(biāo)，根據(jù)上述結(jié)構(gòu)信息來特定被預(yù)測(cè)為解碼最慢的信道即遲滯信道的處理；以及指示上述解碼部對(duì)上述顯示目標(biāo)進(jìn)行解碼，并且在上述遲滯信道的幀的解碼完成后，指示上述各幀存儲(chǔ)器對(duì)各信道使定時(shí)一致來合成解碼后的圖像數(shù)據(jù)并將其再現(xiàn)的處理，在上述遲滯信道特定處理中，在作為上述顯示目標(biāo)的幀組中，求出根據(jù)上述結(jié)構(gòu)信息求出的、解碼所需的幀張數(shù)即要解碼張數(shù)為最大的幀，并將該幀的信道特定為上述遲滯信道。
23. 根據(jù)權(quán)利要求22所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，上述控制部除了從上述解碼部接收上述結(jié)構(gòu)信息外，還接收上述編碼動(dòng)態(tài)圖像的圖像尺寸信息，在上述遲滯信道特定處理中，使用基于上述圖像尺寸信息校正后的值來作為上述要解碼張數(shù)。
24. 根據(jù)權(quán)利要求22所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，上述控制部除了從上述解碼部接收上述結(jié)構(gòu)信息外，還接收上述編碼動(dòng)態(tài)圖像的編碼標(biāo)準(zhǔn)信息，并且，在上述遲滯信道特定處理中，使用基于上述編碼標(biāo)準(zhǔn)信息校正后的值來作為上述要解碼張數(shù)。
25. 根據(jù)權(quán)利要求22所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，還包括為了對(duì)上述編碼動(dòng)態(tài)圖像進(jìn)行解碼而用于暫時(shí)存儲(chǔ)的緩沖存儲(chǔ)器，上述控制部接收從上述緩沖存儲(chǔ)器輸出的指針信息，并根據(jù)該指針信息來求出各信道中的各幀的碼量，并且在上述遲滯信道特定處理中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的碼量求出的、解碼所需的碼量即要解碼碼量來代替上述要解碼張數(shù)。
26. 根據(jù)權(quán)利要求22所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，還包括計(jì)時(shí)部，該計(jì)時(shí)部輸出時(shí)刻信息，上述控制部除了從上述解碼部接收上述結(jié)構(gòu)信息外，還接收解碼定時(shí)信息，并根據(jù)該解碼定時(shí)信息和從上述計(jì)時(shí)部輸出的時(shí)刻信息來求出各信道中的各幀的解碼時(shí)間，并且，在上述遲滯信道特定處理中，使用根據(jù)上述結(jié)構(gòu)信息和上述各幀的解碼時(shí)間求出的、解碼所需的解碼時(shí)間即要解碼時(shí)間來代替上述要解碼張數(shù)。
27. 根據(jù)權(quán)利要求22、 25和26中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，在上述顯示目標(biāo)確定處理中，上述控制部從顯示目標(biāo)的對(duì)象中排除各信道的同 一 時(shí)刻的幀組中基于上述要解碼張數(shù)、上述要解碼碼量或上述要解碼時(shí)間在各信道間的差的評(píng)價(jià)指標(biāo)為預(yù)定閾值以上的幀。
28. 根據(jù)權(quán)利要求16所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，在上述顯示目標(biāo)確定處理中，上述控制部使用基于GOP中到達(dá)該幀為止的幀的張數(shù)即要到達(dá)張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)來代替基于上述要解碼張數(shù)在各信道間的差的評(píng)價(jià)指標(biāo)。
29. 根據(jù)權(quán)利要求16-28中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼裝置，其特征在于，上述預(yù)定的特殊再現(xiàn)模式為反向低速再現(xiàn)模式。
30. —種電子設(shè)備，其特征在于，包括權(quán)利要求16-29中任意一項(xiàng)所述的動(dòng)態(tài)圖像解碼裝置；位流供給部，向上述動(dòng)態(tài)圖像解碼裝置供給各信道的編碼動(dòng)態(tài)圖像；以及圖像輸出部，為了顯示而輸出從上述動(dòng)態(tài)圖像解碼裝置輸出的再現(xiàn)圖像。
全文摘要
本發(fā)明提供一種動(dòng)態(tài)圖像解碼方法、動(dòng)態(tài)圖像解碼裝置以及電子設(shè)備。對(duì)多個(gè)信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼并將其合成在同一畫面上來進(jìn)行再現(xiàn)的動(dòng)態(tài)圖像解碼裝置包括對(duì)各信道的編碼動(dòng)態(tài)圖像進(jìn)行解碼的解碼部(511a、511b)；存儲(chǔ)解碼后的幀圖像數(shù)據(jù)的幀存儲(chǔ)器(520a、520b)；以及控制解碼部和幀存儲(chǔ)器的控制部(151)?？刂撇?151)在被指示了預(yù)定的特殊再現(xiàn)模式的情況下，根據(jù)結(jié)構(gòu)信息進(jìn)行如下處理，即將基于要解碼張數(shù)在各信道間之差的評(píng)價(jià)指標(biāo)在預(yù)定的閾值以上的幀組從顯示目標(biāo)的對(duì)象中排除。
文檔編號(hào)H04N7/26GK101658039SQ20088001189
公開日2010年2月24日 申請(qǐng)日期2008年4月7日 優(yōu)先權(quán)日2007年4月13日
發(fā)明者安田誠(chéng) 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社