專利名稱：動態(tài)圖像解碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種參照多個編碼圖像或解碼圖像來編碼或解碼動態(tài)圖像信號的動態(tài)圖像編碼方法、動態(tài)圖像編碼裝置、動態(tài)圖像解碼方法、動態(tài)圖像解碼裝置以及存儲由軟件來實現(xiàn)這些方法用程序的記錄媒體。

背景技術(shù)：
近年來，迎來統(tǒng)一處理聲音、圖像和其它象素值等信息的多媒體時代，以前的信息媒體、即將報紙、雜志、電視、收音機、電話等的信息傳遞給人的手段被采納為多媒體對象。通常，所謂多媒體是指不僅文字，還同時關(guān)聯(lián)圖形、聲音、尤其是圖像等進行顯示，但在將上述現(xiàn)有信息媒體作為多媒體對象中，必需將該信息表示為數(shù)字形式。
但是，若將上述各信息媒體具有的信息量估計為數(shù)字信息量，則在文字的情況下，每1個文字的信息量為1-2字節(jié)，相反，在聲音的情況下，必需每秒64kbits(電話品質(zhì))、另外，動態(tài)圖像必需每秒100Mbits(現(xiàn)行電視接收品質(zhì))以上的信息量，上述信息媒體中以數(shù)字形式來原樣處理寵大的信息是不現(xiàn)實的。例如，已通過具有64kbps-1.5Mbps的傳送速度的服務(wù)綜合數(shù)字通信網(wǎng)(ISDNIntegrated Services Digital Network綜合服務(wù)數(shù)字網(wǎng))實用化可視電話，但通過ISDN來原樣發(fā)送由攝像機拍攝的圖像信息是不可能的。
因此，必需信息壓縮技術(shù)，例如，在可視電話的情況下，使用由ITU-T(國際電氣通信聯(lián)合電氣通信標準化部門)國際標準化的H.261或H.263標準的動態(tài)圖像壓縮技術(shù)。另外，也可利用MPEG-1標準的信息壓縮技術(shù)將圖像信息與聲音信息一起放入通常的音樂用CD(致密盤)。
這里，所謂MPEG(Moving Picture Experts Group移動圖像專家組)是動態(tài)圖像信號的數(shù)字壓縮的國際標準，MPEG-1是將動態(tài)圖像信號壓縮到1.5Mbps、即將電視信號的信息壓縮到約1/100的標準。另外，因為以MPEG-1標準為對象的傳送速度主要限制在約1.5Mbps，所以由應(yīng)滿足更高畫質(zhì)化要求的標準化MPEG-2將動態(tài)圖像信號壓縮到2-15Mbps。
另外，在現(xiàn)狀下，通過MPEG-1、MPEG-2和進行標準化的作業(yè)組(ISO/IECJTC1/SC29/WG11)標準化壓縮率更高的MPEG-4。MPEG-4中還引入了強有力的耐錯誤技術(shù)，不僅可以低位速率進行高效率的編碼，而且即使發(fā)生傳送路徑錯誤，也可減小主觀畫質(zhì)惡化。另外，ITU-T中，開始H.26L的標準化活動，作為下一代圖像編碼方式。
參照MPEG-1、MPEG-2、MPEG-4此前編碼或解碼的圖像的圖像信號(參照圖像)，通過使用編碼、解碼參照圖像與被編碼、解碼圖像的差值的幀間編碼(Inter Predictive Coded Picture(幀間預測編碼圖像)下面簡稱為Inter Picture(幀間圖像))，可實現(xiàn)大幅度的壓縮率(例如參照ISO/IEC13818-2[INTERNATIONAL STANDARD Information technology-Genericcoding of moving picture and associated audio information:Video]2000年12月15日，第7頁，Intro.4.1.1)。
另外，通過削減時間方向和空間方向的冗余性，可實現(xiàn)信息量壓縮。因此，在以削減時間冗余性為目的的幀間預測編碼中，參照已編碼、解碼的圖像(參照圖像)形成預測圖像，對得到的預測圖像和編碼對象圖像的差值進行編碼。這里，所謂圖像是表示1個畫面的用語，在逐行圖像中表示幀，在隔行圖像中表示幀或字段。
在2001年9月時的H.26L標準中，為了進一步提高壓縮率，不僅參照此前編碼或解碼的圖像，而且從在被編碼、解碼圖像之前編碼、解碼的多個圖像中選擇任意圖像，設(shè)為參照圖像。


圖1表示現(xiàn)有動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的概念說明圖。圖1是從被編碼、解碼圖像前的3個圖像中選擇任意圖像、并設(shè)為參照圖像的實例。圖1中，各圖像按顯示時刻的順序排列，左側(cè)圖像的顯示時刻早。編碼順序也是左側(cè)圖像先被編碼。因此，位流順序也是圖像J1、圖像J2、圖像J3、圖像J4。因此，在被編碼、解碼圖像為圖像J4的情況下，從圖像J1、圖像J2、圖像J3中選擇1個，設(shè)為參照圖像，在被編碼、解碼圖像為圖像J5的情況下，從圖像J2、圖像J3、圖像J4中選擇1個，設(shè)為參照圖像。
圖2是表示現(xiàn)有動態(tài)圖像編碼裝置構(gòu)成的框圖。
動態(tài)圖像編碼裝置4是壓縮編碼輸入的圖像信號Vin后、輸出變換為可變長編碼等位流的圖像編碼信號Str的裝置，具備動作檢測單元401、選擇單元402、圖像信號減法單元403、編碼單元404、解碼單元405、加法單元406、選擇單元407和存儲器408—410。
動作檢測單元401分別讀取存儲在存儲器408—410中作為已編碼圖像的參照圖像，通過與輸入圖像信號Vin相比較，確定畫面間差值大小(誤差能量)小的參照圖像Ref和表示畫面間差值小的象素位置的動作信息MV。通常，多確定誤差能量最小的參照圖像Ref和象素位置，但最近不單純是誤差能量最小，還利用確定動作信息MV使誤差能量變小且壓縮率變大的方法。將參照圖像Ref和象素位置的信息統(tǒng)稱為動作信息MV。選擇單元402輸出根據(jù)作為切換指示信號的參照圖像指示信號RefFrm從存儲于存儲器408—410中的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3中選擇的參照圖像Ref。減法單元403計算圖像信號Vin與參照圖像Ref的差分圖像信號Dif。
編碼單元404編碼差分圖像信號Dif與作為特定參照圖像用信息的動作信息MV。解碼單元405解碼由編碼單元404編碼的編碼數(shù)據(jù)Coded，得到復原差分圖像信號RecDif。加法單元406將參照圖像Ref與復原差分圖像信號RecDif相加。選擇單元407在后續(xù)圖像編碼中，將輸入的解碼圖像信號Recon參照為參照圖像，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器408—410之一。
下面，說明上述構(gòu)成的動態(tài)圖像編碼裝置的動作。
將圖像信號Vin輸入圖像信號減法單元403和動作檢測單元401。動作檢測單元401讀取存儲于存儲器408—410中的作為已解碼圖像的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3，通過與輸入的圖像信號Vin進行比較，確定畫面間差值大小最小的參照圖像，輸出參照圖像和作為特定參照象素位置用信息的動作信息MV。
同時，動作檢測單元401輸出作為切換指示信號的參照圖像指示信號RefFrm，使選擇單元402可選擇對應(yīng)于動作信息MV的參照圖像并作為參照圖像Ref輸出。因為由于場交換等而喪失畫面間相關(guān)，所以壓縮率比僅由幀間編碼和被編碼圖像的圖像編碼信號可復原的幀內(nèi)編碼(Intra CodingPicture以下簡稱為Intra Picture)低。此時，動作檢測單元401輸出由動作信息MV表示為幀內(nèi)編碼、且總是將輸出值0的參照圖像Ref4作為參照圖像Ref輸出用的參照圖像指示信號Ref Frm。參照圖像Ref4的值不一定是0，在例如取0—255的輝度信號或RGB彩色信號的情況下，也可是平均值128。
另外，為了在防止錯誤傳播或圖像編碼信號途中可再現(xiàn)圖像，所以必需對每一定數(shù)量的圖像進行可僅由被編碼圖像的圖像編碼信號復原的幀內(nèi)編碼。因此，動作檢測單元401可通過從外部提供的幀內(nèi)編碼指示信號Reset的指示來強制切換為幀內(nèi)編碼。
另一方面，輸入圖像信號Vin的減法單元403計算該圖像信號Vin與選擇單元402選擇的參照圖像Ref之差分，將差分圖像信號Dif輸出到編碼單元404。接著，編碼單元404編碼差分圖像信號Dif和動作檢測單元401輸出的動作信息MV，輸出圖像編碼信號Str和編碼數(shù)據(jù)Coded。其中，編碼數(shù)據(jù)Coded是復原圖像必需的數(shù)據(jù)，圖像編碼信號Str將編碼數(shù)據(jù)Coded進一步變換為可變長編碼等的位流。
解碼單元405解碼編碼數(shù)據(jù)Coded，將復原差分圖像信號RecDif輸出到加法單元406。加法單元406將復原差分圖像信號RecDif與選擇單元402選擇的參照圖像Ref相加，將解碼圖像信號Recon輸出到選擇單元407。選擇單元407在后續(xù)的圖像編碼時，可將解碼圖像信號Recon作為參照圖像來參照，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器408—410之一。在本例中，選擇單元407進行切換，將在最早時刻保存在存儲器中的圖像替換為新的解碼圖像信號Recon。
圖3是表示現(xiàn)有動態(tài)圖像解碼裝置構(gòu)成的框圖。
動態(tài)圖像解碼裝置5是解碼上述動態(tài)圖像編碼裝置4編碼的圖像編碼信號Str的裝置。
解碼單元501解碼輸入的圖像編碼信號Str，輸出復原差分圖像信號RecDif和動作信息MV。動作復原單元502解碼動作信息MV，輸出參照圖像指示信號RefFrm。選擇單元503、選擇單元505、存儲器506—508的動作與圖2所示動態(tài)圖像編碼裝置4的選擇單元402、選擇單元407、和存儲器408—410相同。加法單元504將復原差分圖像信號RecDif與參照圖像Ref相加后，輸出解碼圖像信號Vout(相當于圖2中的解碼圖像信號Recon)。
在所述動態(tài)圖像編碼裝置4和動態(tài)圖像解碼裝置5中，分別在選擇單元402和選擇單元503的輸出側(cè)設(shè)置未圖示的動作補償單元，進行根據(jù)從存儲器輸出的參照圖像的象素值來內(nèi)插生成作為1/2象素位置精度等象素值的小數(shù)象素位置精度的象素值的動作補償。
然而，在上述現(xiàn)有動態(tài)圖像編碼裝置及現(xiàn)有動態(tài)圖像解碼裝置中，未完全區(qū)別參照圖像是幀內(nèi)編碼的圖像(Intra Picture幀內(nèi)圖像)還是在幀內(nèi)編碼圖像之后進行幀間編碼的圖像(Inter Picture幀間圖像)。例如，在圖1的現(xiàn)有動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的概念說明圖中，圖像J2是幀內(nèi)編碼的圖像，此外的圖像J1、圖像J3、圖像J4、圖像J5是幀間編碼的圖像，但也參照圖像J1來作為圖像J4的參照圖像。在圖像J4參照圖像J1作為參照圖像的情況下，將在幀內(nèi)編碼圖像J2之前的圖像參照為參照圖像。
但是，在中途再現(xiàn)圖像的情況下，即使例如從圖像編碼信號中途的幀內(nèi)編碼圖像J2解碼圖像并進行再現(xiàn)，在解碼圖像J4時也必需參照解碼后的圖像J1。因此，存在不能正確解碼圖像J4以后的圖像的問題。
另外，例如在圖像編碼信號中途發(fā)生流錯誤，并且圖像J1由于錯誤而不能正確解碼的情況下，雖然幀內(nèi)編碼的圖像J2可正確解碼，但解碼圖像J4時必需參照圖像J1，所以產(chǎn)生不能正確解碼圖像J4以后的圖像的問題。
發(fā)明的內(nèi)容 因此，鑒于上述問題，提出本發(fā)明，其目的在于提供一種動態(tài)圖像編碼方法和動態(tài)圖像解碼方法，可根據(jù)圖像編碼信號中途的幀內(nèi)編碼圖像進行再現(xiàn)，另外，即使在流中發(fā)生錯誤的情況下，也可無錯誤地再現(xiàn)幀內(nèi)編碼圖像以后的圖像。
根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像，其特征在于包括指定步驟，將被存儲于存儲器中的多個圖像的幀內(nèi)編碼的圖像，指定為在限制參照圖像時作為基準的圖像；和編碼步驟，編碼信號，該信號表示在所述指定步驟指定的圖像之后將要編碼的圖像，其是僅參照在所述指定步驟指定的圖像以后被編碼過的圖像、并在限制所述參照圖像時作為基準的圖像。
另外，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像，其特征在于包括指定步驟，將被存儲于存儲器中的多個圖像的被幀內(nèi)編碼的圖像，指定為在限制參照圖像時作為基準的圖像；刪除步驟，將在所述指定步驟指定的圖像之前被編碼的圖像刪除；和編碼步驟，對信號進行編碼，該信號表示在所述指定步驟被指定的圖像以后被編碼的圖像，其是僅參照所述指定步驟指定的圖像以后被編碼過的圖像、而刪除在所述指定步驟被指定過的圖像以前被編碼過的圖像。
另外，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像，其特征在于包括特定步驟，從存儲器中存儲的多個圖像中，特定在幀內(nèi)編碼的圖像以后被編碼的1個圖像，作為參照圖像；編碼步驟，從所述存儲器中讀取特定的參照圖像，算出作為讀取的參照圖像與被編碼圖像之差分的差分圖像信號，編碼得到的差分圖像信號；和存儲步驟，解碼被編碼的所述差分圖像信號，與所述參照圖像的圖像信號相加，并將得到的圖像存儲在所述存儲器中；所述特定步驟，計數(shù)幀內(nèi)編碼的圖像以后被編碼的圖像數(shù)，根據(jù)計數(shù)的數(shù)，特定所述參照圖像。
另外，根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像，其特征在于包括解碼步驟，對信號進行解碼，該信號表示在對解碼對象圖像解碼時進行參照的參照圖像進行限制時、成為基準的圖像；和特定步驟，在所述基準的圖像以后將要被解碼的圖像、是僅將成為所述基準的圖像且在被幀內(nèi)解碼過的圖像以后被解碼過的圖像、特定為參照圖像。
另外，根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像，其特征在于包括解碼步驟，對信號進行解碼，該信號表示在將解碼對象圖像解碼時進行參照的參照圖像進行限制時成為基準的圖像；刪除步驟，刪除成為所述基準的圖像且是在被幀內(nèi)解碼過的圖像之前被解碼過的圖像；和特定步驟，在成為所述基準圖像以后被解碼過的圖像、是僅將成為所述基準圖像且在被幀內(nèi)解碼過的圖像以后被解碼過的圖像、特定為參照圖像。
根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像，其特征在于包括解碼步驟，解碼被輸入的圖像編碼信號；特定步驟，從存儲器中存儲的多個圖像中，特定幀內(nèi)解碼的圖像以后被解碼的1個圖像，作為參照圖像；和存儲步驟，從所述存儲器中讀取特定的參照圖像，將讀取的參照圖像的圖像信號與解碼的被解碼圖像的差分圖像信號相加，將得到的圖像輸出到外部，并存儲在所述存儲器中；所述特定步驟包括判斷步驟，根據(jù)解碼的信息來特定應(yīng)作為參照圖像的圖像，并判斷特定的圖像是否是幀內(nèi)解碼圖像以后被解碼的圖像；通常處理步驟，所述判斷的結(jié)果為所述特定的圖像是幀內(nèi)解碼圖像以后被解碼的圖像時，特定所述特定的圖像作為參照圖像；和錯誤處理步驟，所述判斷的結(jié)果為所述特定的圖像不是幀內(nèi)解碼圖像以后被解碼的圖像的情況下，特定事先設(shè)定的預定圖像作為參照圖像。
另外，根據(jù)本發(fā)明的動態(tài)圖像編碼裝置，以圖像單位來編碼動態(tài)圖像，其特征在于具備特定單元，從存儲器中存儲的多個圖像中，特定在幀內(nèi)編碼的圖像以后被編碼的1個圖像作為參照圖像；編碼單元，從所述存儲器中讀出特定的參照圖像，算出作為讀取的參照圖像與被編碼圖像之差分的差分圖像信號，將得到的差分圖像信號進行編碼；存儲單元，對編碼的所述差分圖像信號解碼，與所述參照圖像的圖像信號相加，并將得到的圖像存儲在所述存儲器中；和計數(shù)單元，計數(shù)幀內(nèi)編碼的圖像以后被編碼的圖像數(shù)， 所述特定單元根據(jù)所述計數(shù)單元計數(shù)的數(shù)，特定所述參照圖像。
根據(jù)本發(fā)明的動態(tài)圖像解碼裝置，以圖像單位來解碼動態(tài)圖像，其特征在于具備解碼單元，將輸入的圖像編碼信號解碼；特定單元，從存儲器中存儲的多個圖像中，特定幀內(nèi)解碼圖像以后被解碼的1個圖像，作為參照圖像；存儲單元，從所述存儲器中讀取特定的參照圖像，將讀取的參照圖像的圖像信號與解碼的被解碼圖像的差分圖像信號相加，將得到的圖像輸出到外部，并存儲在所述存儲器中；和計數(shù)單元，計數(shù)幀內(nèi)編碼的圖像以后被編碼的圖像數(shù)， 所述特定單元根據(jù)所述計數(shù)單元計數(shù)的數(shù)，特定所述參照圖像。
并且，本發(fā)明實現(xiàn)為在計算機中執(zhí)行所述動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的步驟的程序，另外，實現(xiàn)為由所述動態(tài)圖像編碼方法編碼的流數(shù)據(jù)，可經(jīng)CD—ROM或通信網(wǎng)絡(luò)等記錄媒體或傳送媒體來流通。
例如，按圖像J1、圖像J2、圖像J3、圖像J4、圖像J5的順序編碼圖像，圖像J2是幀內(nèi)編碼圖像，此外的圖像J1、圖像J3、圖像J4、圖像J5是幀間編碼的圖像。即，位流的順序為圖像J1、圖像J2、圖像J3、圖像J4、圖像J5的順序。
此時，在根據(jù)本發(fā)明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法中，在畫面編碼和解碼時可選擇作為參照圖像的圖像在例如編碼圖像J5時，可參照圖像J2、圖像J3、圖像J4。另外，在編碼圖像J4時，因為禁止參照在幀內(nèi)編碼圖像J2之前的圖像J1，所以可僅參照圖像J2和圖像J3。
附圖的簡要說明 圖1是現(xiàn)有動態(tài)圖像編碼方法和動態(tài)圖像解碼方法概念的說明圖。
圖2是表示現(xiàn)有動態(tài)圖像編碼裝置構(gòu)成的框圖。
圖3是表示現(xiàn)有解碼裝置構(gòu)成的框圖。
圖4是表示根據(jù)本發(fā)明的動態(tài)圖像編碼裝置一實施例構(gòu)成的框圖。
圖5是表示上述實施例中動作檢測單元的動作的流程圖。
圖6是表示上述實施例中圖像編碼時可選擇作為參照圖像的圖像的說明圖。
圖7是表示根據(jù)本發(fā)明動態(tài)圖像編碼裝置的其它實施例的構(gòu)成框圖。
圖8是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置一實施例構(gòu)成的框圖。
圖9是表示上述實施例中動作復原單元的動作流程圖。
圖10是說明上述實施例中用于解碼的參照圖像的方法1—3的選擇的說明圖，(a)是用于解碼的參照圖像的說明圖，(b)是表示圖像位置關(guān)系的說明圖。
圖11是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置實施例2的構(gòu)成框圖。
圖12是表示上述實施例中動作復原單元動作的流程圖。
圖13是存儲由計算機系統(tǒng)來實施所述實施例1和2的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的程序的記錄媒體說明圖，(a)是表示作為記錄媒體主體的軟盤的物理格式實例的說明圖，(b)是表示從軟盤正面看的外觀、截面構(gòu)造及軟盤的說明圖，(c)是表示在軟盤FD中記錄再現(xiàn)所述程序用構(gòu)成的說明圖。
圖14是表示實現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)的整體構(gòu)成的框圖。
圖15是表示便攜電話一例的圖。
圖16是表示便攜電話內(nèi)部構(gòu)成的框圖。
圖17是表示數(shù)字播放用系統(tǒng)的整體構(gòu)成的框圖。
發(fā)明的
具體實施例方式 下面，用圖4—圖17來說明本發(fā)明的實施例。
(實施例1) 圖4是表示根據(jù)本發(fā)明的動態(tài)圖像編碼裝置一實施例構(gòu)成的框圖。另外，進行與圖2所示現(xiàn)有動態(tài)圖像編碼裝置4的各單元相同動作的設(shè)備附加相同標記。
動態(tài)圖像編碼裝置1是壓縮編碼輸入的圖像信號Vin后、輸出變換為可變長編碼等位流的圖像編碼信號Str的裝置，具備動作檢測單元101、選擇單元402、圖像信號減法單元403、編碼單元404、解碼單元405、加法單元406、選擇單元407、存儲器408—410和計數(shù)單元102。
計數(shù)單元102一旦由從外部輸入的幀內(nèi)編碼指示信號Reset指示幀內(nèi)編碼，則開始從幀內(nèi)編碼的圖像開始計數(shù)圖像數(shù)，將結(jié)果作為可參照圖像數(shù)Num通知動作檢測單元101。
動作檢測單元101根據(jù)可參照圖像數(shù)Num，將存儲器408—410中存儲的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3中在幀內(nèi)編碼以后編碼和解碼的圖像作為對象，通過與各圖像信號Vin相比較，確定畫面間差值大小(誤差能量)小的參照圖像Ref和表示畫面間差值大小變小的象素位置的動作信息MV。通常，多確定誤差能量最小的參照圖像Ref和象素位置，但除了誤差能量最小外，也可確定動作信息MV使誤差能量變小且壓縮率變大。為了表示參照圖像Ref，將參照圖像指示信號RefFrm輸出到選擇單元402。
選擇單元402根據(jù)作為切換指示信號的參照圖像指示信號RefFrm，從存儲于存儲器408—410中的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3中選擇并作為參照圖像Ref輸出。
減法單元403計算圖像信號Vin與參照圖像Ref的差分圖像信號Dif。編碼單元404編碼差分圖像信號Dif與作為特定參照圖像用信息的動作信息MV，輸出圖像編碼信號Str和編碼數(shù)據(jù)Coded。這里，編碼數(shù)據(jù)Coded是復原圖像必需的數(shù)據(jù)(編碼動作信息MV或差分圖像信號Dif的數(shù)據(jù))，圖像編碼信號Str還將編碼數(shù)據(jù)Coded變換為可變長編碼等位流。
解碼單元405解碼編碼數(shù)據(jù)Coded，得到復原差分圖像信號RecDif。加法單元406將參照圖像Ref與復原差分圖像信號RecDif相加。選擇單元407在編碼后續(xù)圖像時，將輸入的解碼圖像信號Recon參照為參照圖像，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器408—410之一。在本實施例中，由選擇單元407來進行切替，由新的解碼圖像信號Recon來替換最早時刻保存在存儲器中的解碼圖像信號。
下面，說明上述構(gòu)成的動態(tài)圖像編碼裝置的動作。
圖5是表示動作檢測單元101的動作的流程圖。
將圖像信號Vin輸入圖像信號減法單元403和動作檢測單元101。
動作檢測單元101一旦輸入圖像信號Vin，則讀取存儲于存儲器408—410中的參照圖像Ref1(步驟S1)。接著，動作檢測單元101判斷該參照圖像Ref1是否是幀內(nèi)編碼圖像以后的圖像。即，根據(jù)各圖像固有的圖像序號和從計數(shù)單元102通知的可參照圖像數(shù)Num，使用例如式(A)來進行判斷(步驟S2)。這里，圖像序號是附加于編碼圖像中的識別序號，具有下述特征。
即，圖像信號Vin的圖像(圖片)序號僅比存儲器408—410中保存后作為參照圖像的圖像中最近保存的圖像的圖像序號大1。
參照圖像的圖像序號 ≧圖像信號Vin的圖像序號—可參照圖像數(shù)Num…(A) 結(jié)果，因為滿足上式(A)的情況是參照圖像Ref1是幀內(nèi)編碼圖像以后的圖像，所以動作檢測單元101算出圖像信號Vin與參照圖像Ref1的差值(步驟S3)。另一方面，在不滿足上式(A)的情況下，不算出差。
接著，動作檢測單元101分別對存儲在存儲器409中的參照圖像Ref2和存儲在存儲器410中的參照圖像Ref3進行與對所述參照圖像Ref1進行的處理一樣的處理(步驟S1—步驟S3)。
接著，動作檢測單元101確定上述算出差的參照圖像中畫面間差值大小最小的參照圖像(步驟S4)。另外，動作檢測單元101輸出確定的參照圖像，作為特定用信息的動作信息MV，同時，輸出作為切換指示信號的參照圖像指示信號RefFrm，使選擇單元402選擇確定的參照單元，并作為參照圖像Ref輸出(步驟S5)。
也可在步驟S3中算出差值后，決定步驟S4中算出差的參照圖像中畫面間差值大小小的參照圖像，從存儲器408到410重復步驟S1、步驟S2、步驟S3、步驟S4。
另一方面，輸入圖像信號Vin的減法單元403計算該圖像信號Vin與選擇單元402選擇的參照圖像Ref的差，將差分圖像信號Dif輸出到編碼單元404。接著，編碼單元404編碼差分圖像信號Dif和動作檢測單元101輸出的動作信息MV，輸出圖像編碼信號Str和編碼數(shù)據(jù)Coded。
解碼單元405解碼編碼數(shù)據(jù)Coded，將復原差分圖像信號RecDif輸出到加法單元406。加法單元406將復原差分圖像信號RecDif與選擇單元402選擇的參照圖像Ref相加，向選擇單元407輸出解碼圖像信號Recon。選擇單元407在后續(xù)圖像編碼時可將解碼圖像信號Recon參照為參照圖像，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器408—410之一。
圖6是表示圖像編碼時可選擇作為參照圖像的圖像的說明圖。與圖1一樣，圖像J2是幀內(nèi)編碼圖像，此外的圖像J1、圖像J3、圖像J4、圖像J5是幀間編碼的圖像。位流的編碼順序為圖像J1、圖像J2、圖像J3、圖像J4、圖像J5的順序。
如上所述，動態(tài)圖像編碼裝置1通過動作，在如圖6所示例如編碼圖像J5時，在進行幀間編碼時可選擇為參照圖像的圖像可參照圖像J2、圖像J3、圖像J4。另外，在編碼圖像J4時，因為禁止參照在幀內(nèi)編碼圖像J2之前的圖像J1，所以可僅參照圖像J2和圖像J3。
如上所述，因為僅將幀內(nèi)編碼的圖像以后被編碼的圖像參照為參照圖像進行編碼，所以可從圖像編碼信號途中的幀內(nèi)編碼的圖像進行再現(xiàn)。另外，即使在流中發(fā)生錯誤的情況下，也可生成作為幀內(nèi)編碼圖像以后無錯誤再現(xiàn)流的圖像編碼信號Str。
另外，為了從途中再現(xiàn)DVD或硬盤中記錄的圖像信號，必需可從該途中復原的結(jié)構(gòu)，由從途中開始再現(xiàn)的圖像來進行Reset指示。該Reset指示也可是在編碼圖像時由操作者確定并進行指示，也可在每經(jīng)過一定圖像周期或時間發(fā)出Reset指示。
各圖像所有是幀內(nèi)編碼、還是幀間編碼各圖像等信息作為各圖像的輔助信息。因此，也可編碼表示所述實施例1中說明的幀內(nèi)編碼的圖像是由幀內(nèi)編碼指示信號Reset特定的圖像(圖7)。另外，當是表示為幀內(nèi)編碼的圖像、且為由該幀內(nèi)編碼指示信號Reset特定的圖像的圖像時，不參照在該特定圖像之前存儲在存儲器中的圖像。
另外，雖表示在幀內(nèi)編碼的圖像為基準，不參照在幀內(nèi)編碼圖像之前存儲的圖像，但也可通過幀內(nèi)編碼的圖像，以幀內(nèi)編碼的圖像為基準，從存儲器中刪除在幀內(nèi)編碼圖像之前存儲的圖像。
另外，幀內(nèi)編碼指示信號Reset雖表示不參照在幀內(nèi)編碼圖像之前存儲的圖像，但為了從存儲器內(nèi)刪除在幀內(nèi)編碼圖像之前存儲的圖像，也可編碼與該幀內(nèi)編碼指示信號Reset不同的控制命令。
圖8是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置一實施例構(gòu)成的框圖。另外，進行與圖3所示現(xiàn)有動態(tài)圖像解碼裝置5的各單元相同動作的設(shè)備附加相同標記。
動態(tài)圖像解碼裝置2是解碼上述實施例1所示動態(tài)圖像編碼裝置1編碼的圖像編碼信號Str的裝置，具備解碼單元201、動作復原單元202、選擇單元503、加法單元504、選擇單元505、存儲器506—508和計數(shù)單元203。
解碼單元201解碼輸入的圖像編碼信號Str，輸出復原差分圖像信號RecDif、動作信息MV和幀內(nèi)編碼指示信號Reset。計數(shù)單元203一旦由幀內(nèi)編碼指示信號Reset指示幀內(nèi)編碼，則開始從幀內(nèi)編碼開始計數(shù)圖像數(shù)，將結(jié)果作為可參照圖像數(shù)Num通知動作復原單元202。
動作復原單元202解碼動作信息MV，通過根據(jù)可參照圖像數(shù)Num判斷對應(yīng)于該動作信息MV的參照圖像是否是可參照的圖像，確定參照圖像。
選擇單元502根據(jù)作為切換指示信號的參照圖像指示信號RefFrm，從存儲在存儲器506—508中的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3中選擇，并作為參照圖像Ref輸出。加法單元504將復原差分圖像信號RecDif與參照圖像Ref相加后，輸出解碼圖像信號Vout1(相當于圖4中的解碼圖像信號Recon)。
選擇單元505在后續(xù)的圖像解碼時可將輸入的解碼圖像信號Vout1參照為參照圖像，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器506—508之一。在本實施例中，由選擇單元505進行切換，以由新的解碼圖像信號Recon來替換最早時刻保存在存儲器中的圖像。
下面，說明上述構(gòu)成的動態(tài)圖像解碼裝置的動作。
圖9是表示動作復原單元202的動作流程圖。
將圖像編碼信號Str輸入解碼單元201。解碼單元201解碼輸入的圖像編碼信號Str，并輸出復原差分圖像信號RecDif和動作信息MV。另外，解碼單元201在輸入的圖像編碼信號Str是幀內(nèi)編碼的圖像的情況下，輸出幀內(nèi)編碼指示信號Reset。
計數(shù)單元203一旦從解碼單元201輸入幀內(nèi)編碼指示信號Rese t，則從幀內(nèi)編碼的圖像開始計算圖像數(shù)，并作為可參照圖像數(shù)Num通知給動作復原單元202。
輸入動作信息MV和可參照圖像數(shù)Num的動作復原單元202根據(jù)作為特定參照圖像用信息的動作信息MV，特定編碼時參照的參照圖像(步驟S11)。接著，動作復原單元202判斷該參照圖像是否是幀內(nèi)解碼圖像以后的圖像。即，根據(jù)各圖像固有的圖像序號和從計數(shù)單元203通知的可參照圖像數(shù)Num，用例如下式(B)來進行判斷(步驟S12)。
參照圖像的圖像序號 ≧圖像編碼信號Str的圖像序號—可參照圖像數(shù)Num…(B) 結(jié)果，因為滿足上式(B)的情況是參照圖像是幀內(nèi)解碼圖像以后圖像，所以動作復原單元202選擇根據(jù)動作信息MV特定的參照圖像作為解碼中使用的參照圖像(步驟S13)。
另一方面，在不滿足上式(B)的情況下，參照圖像是在幀內(nèi)解碼圖像之前的圖像。原來，在編碼時應(yīng)僅參照幀內(nèi)編碼圖像以后的圖像進行編碼。因此，根據(jù)動作信息MV特定解碼必需的參照圖像應(yīng)是由可參照圖像數(shù)Num得到的幀內(nèi)解碼圖像以后解碼的圖像。但是，由于傳送錯誤，有可能參照幀內(nèi)解碼圖像之前解碼的圖像、即不滿足上式(B)。因此，動作復原單元202在不滿足上式(B)的情況下，通過事先設(shè)定用于解碼的參照圖像的以下說明的方法1—3之一來選擇(步驟S14)。
圖10是說明用于解碼的參照圖像的方法1—3的選擇的說明圖，(a)是用于解碼的參照圖像的說明圖，(b)是表示圖像位置關(guān)系的說明圖。這里，表示解碼圖像P4時，圖像P2是幀內(nèi)解碼的圖像，此外的圖像P1、圖像P3、圖像P4是畫面間解碼的圖像。圖像的顯示時刻的順序和圖像的解碼開始時刻(流中的位置)的順序是圖像P1、圖像P2、圖像P3、圖像P4的順序中早的時刻。
(方法1) 選擇根據(jù)動作信息MV來特定的參照圖像(圖像P1)，原樣作為用于解碼的參照圖像。此時，即使參照編碼編碼時錯誤地進行幀內(nèi)編碼圖像前的圖像，只要正確解碼圖像P1，則也可正確解碼。
(方法2) 選擇幀內(nèi)解碼的圖像(圖像P2)，作為用于解碼的參照圖像。此時，因為幀內(nèi)解碼的圖像是可參照為參照圖像的圖像中最先解碼的圖像，所以與可參照的圖像中畫面解碼圖像前的圖像相關(guān)最強，編碼時的參照圖像為在幀內(nèi)解碼的圖像前解碼的圖像的情況下，不損害畫質(zhì)的可能性高。
(方法3) 選擇之前解碼的圖像(圖像P3)，作為用于解碼的參照圖像。通常時間間隔越短，圖像信號的相關(guān)越高，結(jié)果，之前解碼的圖像作為參照圖像的概率非常高。因此，若根據(jù)動作信息MV特定的參照圖像錯誤，則在相關(guān)最強之前解碼的圖像是原來的參照圖像的可能性高，不損害畫質(zhì)的可能性高。
既可使用這些方法1—方法3中的一個，也可組合多個方法來使用。作為組合例，當在方法1中不選擇根據(jù)動作信息MV特定的參照圖像(圖像P1)原樣作為用于解碼的參照圖像時，例如選擇方法3所示之前解碼的圖像作為用于解碼的參照圖像的所謂默認處理。
接著，動作復原單元202依次讀取存儲器506—508中存儲的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3，判斷是否是上述選擇的參照圖像(圖9，步驟S15)。即，特定選擇的參照圖像存儲在存儲器506—508的哪一個中。另外，輸出作為切換指示信號的參照圖像指示信號RefFrm，以便選擇單元503能選擇特定的參照圖像Ref1、參照圖像Ref2、參照圖像Ref3之一，作為參照圖像Ref輸出(圖9，步驟S16)。
加法單元504將參照圖像Ref與解碼單元201輸出的復原差分圖像信號RecDif相加，將解碼圖像信號Vout1(相當于圖4中的解碼圖像信號Recon)輸出到選擇單元505。選擇單元505在后續(xù)圖像解碼時可將輸入的解碼圖像信號Vout1參照為參照圖像，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器506—508之一。
如上所述，僅將幀內(nèi)解碼的圖像之后的圖像參照為參照圖像，正確解碼編碼的圖像編碼信號Str，得到解碼圖像信號Vout1，可從圖像編碼信號的途中幀內(nèi)編碼圖像中進行再現(xiàn)。另外，即使在流中發(fā)生錯誤的情況下，也可無錯誤再現(xiàn)幀內(nèi)編碼的圖像以后的圖像。
另外，在本實施例中，雖事先設(shè)定選擇動作復原單元202用于解碼的參照圖像的方法1—3，但本發(fā)明不限于此。例如，在由動作信息MV特定的圖像與可參照圖像數(shù)大不相同的情況下，設(shè)定方法3，在由動作信息MV特定的圖像存儲在存儲器內(nèi)并可參照的情況下，設(shè)定方法1，此外，也可象方法2那樣對應(yīng)于狀況來動態(tài)切換3個方法或其中兩個方法。
另外，各圖像具有幀內(nèi)解碼或畫面間解碼各圖像等信息作為各圖像的輔助信息，因此，也可接收包含信號的圖像編碼信號Str，該信號表示上述實施例1中說明的幀內(nèi)編碼圖像是由幀內(nèi)編碼指示信號Reset特定的圖像，解碼表示是由該幀內(nèi)編碼指示信號Reset特定的圖像的信號。另外，在作為表示是幀內(nèi)編碼圖像、且是由該幀內(nèi)編碼指示信號Reset特定的圖像的圖像時，也可不參照在該特定圖像之前存儲在存儲器中的(解碼)圖像。
另外，雖表示以幀內(nèi)解碼的圖像為基準，不參照在幀內(nèi)解碼圖像之前存儲的圖像，但也可通過幀內(nèi)解碼的圖像，以幀內(nèi)解碼的圖像為基準，從存儲器中刪除在幀內(nèi)解碼圖像之前存儲的圖像。
另外，為了從存儲器內(nèi)刪除在幀內(nèi)編碼圖像之前存儲的圖像，也可編接收包含與該幀內(nèi)編碼指示信號Reset不同的控制命令的圖像編碼信號Reset，解碼該控制命令，判斷是否是表示由幀內(nèi)編碼指示信號Reset特定的圖像的信號，同時是否接收該信號，進行錯誤控制。
(實施例2) 下面，說明本發(fā)明實施例2的動態(tài)圖像解碼裝置。
圖11是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置實施例2的構(gòu)成框圖。另外，進行與圖8所示動態(tài)圖像解碼裝置2的各單元相同動作的設(shè)備附加相同標記，省略說明。
動態(tài)圖像解碼裝置3在圖8所示的動態(tài)圖像解碼裝置2的構(gòu)成為還具備選擇單元301，由于傳送錯誤等，由動作信息MV特定的參照圖像為幀內(nèi)解碼圖像前解碼的圖像的情況下的動作與實施例1不同。
選擇單元301根據(jù)從動作復原單元302通知的錯誤通知信號Err，輸出從加法單元504輸出的解碼圖像信號Recon或從選擇單元503輸出的參照圖像Ref之一，作為解碼圖像信號Vout2。
下面，說明上述構(gòu)成的動態(tài)圖像解碼裝置的動作，但對與上述實施例1一樣的部分省略說明。
圖12是表示動作復原單元302的動作流程圖。
圖12所示步驟S21-S22的動作與圖9所示步驟S11-S12的動作一樣。接著，動作復原單元302判斷特定的參照圖像是否是幀內(nèi)解碼圖像以后的圖像的結(jié)果，在不滿足上式(B)的情況下，即參照圖像是幀內(nèi)解碼圖像以前解碼的圖像的情況下，向選擇單元301通知錯誤通知信號Err，作為有錯誤。另外，動作復原單元302選擇此前解碼的解碼圖像，作為參照圖像和解碼圖像信號(步驟S23)。即，在通知錯誤通知信號Err的情況下，選擇單元301輸出參照圖像Ref，作為解碼圖像信號Vout2，所以將此前解碼的解碼圖像作為參照圖像變?yōu)閷⒋饲敖獯a的解碼圖像作為解碼圖像信號。
另一方面，上述判斷的結(jié)果，在滿足上式(B)的情況下，參照圖像是幀內(nèi)解碼圖像以后的圖像，所以與上述實施例2一樣，動作復原單元302選擇根據(jù)動作信息MV特定的參照圖像，作為用于解碼的參照圖像(步驟S24)。
下面圖12所示的步驟S25-S26的動作與圖9所示步驟S15-S16的動作一樣。
接著，加法單元504將參照圖像Ref與解碼單元201輸出的復原差分圖像信號RecDif相加，輸出解碼圖像信號Recon。選擇單元301在未從動作復原單元302通知錯誤通知信號Err的情況下，輸出從加法單元504輸出的解碼圖像信號Recon，作為解碼圖像信號Vout2，在通知錯誤通知信號Err的情況下，輸出從選擇單元503輸出的參照圖像Ref，作為解碼圖像信號Vout2。即，在通知錯誤通知信號Err的情況下，原樣輸出此前解碼的解碼圖像，作為解碼圖像信號Vout2。
選擇單元505在后續(xù)圖像解碼時可將輸入的解碼圖像信號Vout2參照為參照圖像，所以作為解碼圖像信號Rec1、解碼圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器506—508之一。
如上所述，例如由于傳送錯誤等發(fā)生參照幀內(nèi)解碼圖像前的圖像的情況下，輸出作為象素相關(guān)最強的之前解碼圖像的參照圖像Ref，作為解碼圖像信號Vout2，所以可將錯誤引起的圖像惡化的影響抑制到最小。
另外，在上述各實施例中，因為存儲器的個數(shù)為3，所以可參照最大3個圖像的編碼圖像，但不限于此，若增加存儲器個數(shù)，則可參照更多的編碼圖像來進行編碼和解碼。
另外，在上述各實施例中，在所述動態(tài)圖像編碼裝置1和動態(tài)圖像解碼裝置2、3中，分別在選擇單元402和選擇單元503的輸出側(cè)設(shè)置未圖示的動作補償單元，進行補償象素的圖像間動作量的動作補償。
另外，在上述各實施例中，在進行幀間編碼時，若存在幀內(nèi)編碼的圖像，則對所有圖像進行限制，使不參照此前編碼的圖像作為參照圖像，但本發(fā)明不限于此。例如，即使是幀內(nèi)編碼的圖像，也不限制不參照此前編碼的圖像作為參照圖像，即，也可象以前那樣設(shè)置可參照此前編碼的圖像作為參照圖像的多種幀內(nèi)編碼的圖像，必要時分開使用。此時，區(qū)別兩種幀內(nèi)編碼圖像的信息可存儲在例如圖像編碼信號Str內(nèi)的頭信息等中。
并且，上述各實施例中的計數(shù)單元102、103的計數(shù)不是圖像的編碼和解碼順序(Decording order)，即使是圖像的顯示順序(Display order)也無妨。
(實施例3) 另外，通過將實現(xiàn)上述各實施例所示動態(tài)圖像編碼方法或動態(tài)圖像解碼方法構(gòu)成的程序記錄在軟盤等記錄媒體中，可在獨立的計算機系統(tǒng)中簡單實施上述各實施例中所示處理。
圖13是使用存儲所述實施例1和2的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法的軟盤、由計算機系統(tǒng)來實施情況下的說明圖。
圖13(b)表示從軟盤正面看的外觀、截面構(gòu)造及軟盤，圖13(a)表示作為記錄媒體主體的軟盤的物理格式實例。軟盤FD內(nèi)置于殼F內(nèi)，在該盤的表面以同心圓從外周向內(nèi)周形成多個軌道Tr，沿角度方向?qū)⒏鬈壍婪指畛?6個扇區(qū)Se。因此，在存儲所述程序的軟盤中，在所述軟盤FD上分配的區(qū)域中，記錄作為所述程序的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法。
另外，圖13(c)表示在軟盤FD中記錄再現(xiàn)所述程序用構(gòu)成。在將所述程序記錄在軟盤FD中的情況下，從計算機系統(tǒng)Cs中經(jīng)軟盤驅(qū)動器FDD寫入作為所述程序的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法。另外，在通過軟盤內(nèi)的程序在計算機系統(tǒng)中構(gòu)筑所述動態(tài)圖像編碼方法或動態(tài)圖像解碼方法的情況下，由軟盤驅(qū)動器FDD從軟盤FD中讀取程序，傳送給計算機系統(tǒng)。
另外，在上述說明中，使用軟盤作為記錄媒體來進行說明，但也可使用光盤來同樣進行。另外，記錄媒體不限于此，若是IC卡、ROM盒等可記錄程序的媒體，則可同樣實施。
這里，說明上述實施例中所示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法的應(yīng)用例和使用其的系統(tǒng)。
圖14是表示實現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)ex100的整體構(gòu)成的框圖。將通信服務(wù)的提供區(qū)分割成期望大小，在各小區(qū)內(nèi)分別配置作為固定無線站的基站ex107—ex110。
該內(nèi)容提供系統(tǒng)ex100例如經(jīng)因特網(wǎng)服務(wù)提供商ex102、電話網(wǎng)ex104和基站ex107—ex110，將計算機ex111、PDA(personal digital assistant)ex112、攝像機ex113、便攜電話ex114、帶照相機的便攜電話ex115等各種設(shè)備連接于因特網(wǎng)ex101上。
但是，內(nèi)容提供系統(tǒng)ex100不限于圖14的組合，也可任意組合連接。另外，也可不經(jīng)作為固定無線站的基站ex107—ex110而將各設(shè)備直接連接于電話網(wǎng)ex104。
攝像機ex113是數(shù)字視頻的攝像機等可拍攝動態(tài)圖像的設(shè)備。另外，便攜電話是PDC(Personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W—CDMA(Wideband-Code DivisionMultiple Access)方式或GMS(Global System for Mobile Communications)方式等便攜電話機，或PHS(Personal Handyphone System)等，無論是哪種都無妨。
另外，從攝像機ex113經(jīng)基站ex109、電話網(wǎng)ex104連接流服務(wù)器ex103，可使用攝像機ex113來進行基于用戶發(fā)送的編碼處理后數(shù)據(jù)的實況配送等。可由攝像機ex113來進行拍攝數(shù)據(jù)的編碼處理，也可由進行數(shù)據(jù)發(fā)送處理的服務(wù)器等來進行。另外，也可將由照相機116拍攝的動態(tài)圖像數(shù)據(jù)經(jīng)計算機ex111發(fā)送給流服務(wù)器ex103。照相機116是數(shù)字照相機等可拍攝靜止圖像、動態(tài)圖像的設(shè)備。此時，既可由照相機ex116也可由計算機ex111來進行動態(tài)圖像數(shù)據(jù)的編碼。另外，在計算機ex111或照相機ex116所有的LSIex117中處理編碼處理。也可將圖像編碼、解碼用軟件組裝在作為可由計算機ex111讀取的記錄媒體的任何存儲媒體(CD—ROM、軟盤、硬盤等)中。并且，也可由帶照相機的便攜電話ex115來發(fā)送動態(tài)圖像數(shù)據(jù)。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話ex115所有的LSI進行編碼處理的數(shù)據(jù)。
在內(nèi)容提供系統(tǒng)ex100中，用戶將用攝像機ex113、照相機ex116等拍攝的內(nèi)容(例如拍攝音樂實況的電影等)與上述實施例一樣進行編碼處理后，發(fā)送到流服務(wù)器ex103，另一方面，流服務(wù)器ex103向有請求的客戶機流配送上述內(nèi)容。作為客戶機，有可解碼上述編碼處理數(shù)據(jù)的計算機ex111、PDAex112、攝像機ex113、便攜電話ex114等。從而，內(nèi)容提供系統(tǒng)ex100是如下系統(tǒng)客戶機接收并再現(xiàn)編碼的數(shù)據(jù)，并且客戶機通過實時接收、解碼和再現(xiàn)，也可實現(xiàn)個人播放。
在構(gòu)成該系統(tǒng)的各設(shè)備的編碼、解碼中，也可使用上述各實施例中所示的動態(tài)圖像編碼裝置或動態(tài)圖像解碼裝置。
以便攜電話為例進行說明。
圖15是表示使用上述實施例中說明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的便攜電話ex115的圖。便攜電話ex115具有與基站ex110之間收發(fā)信電波用的天線ex201、CCD照相機等可拍攝電影、靜止圖像的照相機部ex203、顯示解碼照相機部ex203拍攝的電影、天線ex201接收的電影等的數(shù)據(jù)的液晶顯示器等顯示部ex202、由操作鍵ex204群構(gòu)成的主體部、輸出聲音用的揚聲器等聲音輸出部ex208、輸入聲音用的麥克風等聲音輸入部ex205、保存拍攝的動態(tài)圖像或靜止圖像的數(shù)據(jù)、接收的郵件數(shù)據(jù)、動態(tài)圖像數(shù)據(jù)或靜止圖像的數(shù)據(jù)等編碼數(shù)據(jù)或解碼數(shù)據(jù)的存儲媒體ex207、可將存儲媒體ex207安裝在便攜電話ex115中的開槽部ex206。存儲媒體ex207在SD卡的塑料殼內(nèi)等存放作為在可電改寫或刪除的非易失性存儲器的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一的閃存元件。
用圖16來說明便攜電話ex115。便攜電話ex115經(jīng)同步總線ex313將電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、相機接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖像解碼部ex309、復用分離部ex308、記錄再現(xiàn)部ex307、調(diào)制解調(diào)部ex306和聲音處理部ex305彼此連接于統(tǒng)一控制具有顯示部ex202和操作鍵ex204的主體部各部的主控制部ex311。
電源電路部ex310一旦由于用戶操作而打開結(jié)束通話及電源鍵時，通過從電池組向各部供電，將帶相機的數(shù)字便攜電話ex115啟動到可動作狀態(tài)。
便攜電話ex115根據(jù)由CPU、ROM及RAM等構(gòu)成的主控制部ex311的控制，通過聲音處理部ex305將聲音通話模式時由聲音輸入部ex205采集的聲音信號變換為數(shù)字聲音數(shù)據(jù)，由調(diào)制解調(diào)電路部ex306進行頻譜擴展處理，在由收發(fā)信電路部ex301進行數(shù)模變換處理及變頻處理后，經(jīng)天線ex201發(fā)送。另外，便攜電話機ex115在放大聲音通話模式時由天線ex201接收的接收信號，實施變頻處理及模數(shù)變換處理，由調(diào)制解調(diào)部ex306進行頻譜逆擴展處理，通過聲音處理部ex305變換為模擬聲音信號后，經(jīng)聲音輸出部ex208輸出。
并且，在數(shù)據(jù)通信發(fā)送電子郵件的情況下，經(jīng)操作輸入控制部ex304將通過主體部的操作鍵ex204的操作輸入的電子郵件的文本數(shù)據(jù)發(fā)送到主控制部ex311。主控制部ex311由調(diào)制解調(diào)電路部ex306頻譜擴展處理文本數(shù)據(jù)，在由收發(fā)信電路部ex301實施數(shù)模變換處理及變頻處理后，經(jīng)天線ex201發(fā)送到基站ex110。
在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，將由相機部ex203拍攝的圖像數(shù)據(jù)經(jīng)相機接口部ex203提供給圖像編碼部ex312。另外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可將由相機部ex203拍攝的圖像數(shù)據(jù)經(jīng)相機接口部ex303及LCD控制部ex302直接顯示在顯示部ex202中。
圖像編碼部ex312構(gòu)成為具備本申請中說明的圖像編碼裝置，通過上述實施例所示圖像編碼裝置中所用的編碼方法壓縮編碼從相機部ex203提供的圖像數(shù)據(jù)，變換為編碼圖像數(shù)據(jù)，并發(fā)送到復用分離部ex308。另外，與此同時，便攜電話機ex115將拍攝機部ex203拍攝中由聲音輸入部ex205采集的聲音作為數(shù)字聲音數(shù)據(jù)，經(jīng)聲音處理部ex305發(fā)送到復用分離部ex308。
復用分離部ex308按規(guī)定的方式復用從圖像編碼部ex312提供的編碼圖像數(shù)據(jù)和從聲音處理部ex305提供的聲音數(shù)據(jù)，由調(diào)制解調(diào)電路部ex306對結(jié)果得到的復用數(shù)據(jù)進行頻譜擴展處理，在由收發(fā)信電路部ex301實施數(shù)模變換處理及變頻處理后，經(jīng)天線ex201發(fā)送。
在接收在數(shù)據(jù)通信模式時鏈接到主頁等上的動態(tài)圖像文件數(shù)據(jù)的情況下，由調(diào)制解調(diào)電路部ex306頻譜逆擴展處理經(jīng)天線ex201從基站ex110接收的接收信號，將結(jié)果得到的復用數(shù)據(jù)發(fā)送到復用分離部ex308。
另外，在解碼經(jīng)天線ex201接收的復用數(shù)據(jù)中，復用分離部ex308通過分離復用數(shù)據(jù)，分為圖像數(shù)據(jù)的編碼位流和聲音數(shù)據(jù)的編碼位流，經(jīng)同步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時，將該聲音數(shù)據(jù)提供給聲音處理部ex305。
下面，圖像解碼部ex309構(gòu)成為具備本申請中說明的圖像解碼裝置，通過由對應(yīng)于上述實施例中所示編碼方法的解碼方法解碼圖像數(shù)據(jù)的編碼位流，生成再現(xiàn)動態(tài)圖像數(shù)據(jù)，經(jīng)LCD控制部ex302提供給顯示部ex202，從而，顯示包含于例如鏈接于主頁上的動態(tài)圖像文件中的動態(tài)圖像數(shù)據(jù)。與此同時，聲音處理部ex305將聲音數(shù)據(jù)變換為模擬聲音信號后，提供給聲音輸出部ex208，從而，再現(xiàn)包含于例如鏈接于主頁上的動態(tài)圖像文件中的聲音數(shù)據(jù)。
限于上述系統(tǒng)實例，最近的話題是通過衛(wèi)星、地面波來進行數(shù)字播放，圖17錯誤！未發(fā)現(xiàn)參照源。也可在所示數(shù)字播放用系統(tǒng)中組裝上述實施例的至少圖像編碼裝置或圖像解碼裝置之一。具體而言，由播放站ex409將電影登記處的編碼位流經(jīng)電波傳送到通信或播放衛(wèi)星ex410。接收位流的播放衛(wèi)生ex410發(fā)送播放用電波，具有衛(wèi)星播放接收設(shè)備的家庭天線ex406接收該電波，通過電視(接收機)ex401或機頂盒(STB)ex407等裝置解碼編碼位流后進行再現(xiàn)。另外，也可在讀取記錄在作為記錄媒體的CD或DVD等存儲媒體ex402中的編碼位流、并解碼的再現(xiàn)裝置403中安裝上述實施例所示的圖像解碼裝置。此時，再現(xiàn)的電影信號顯示于監(jiān)視器ex404上。另外，還考慮構(gòu)成為在有線電視用電纜ex405或衛(wèi)星/地面波播放天線ex406上連接的機頂盒ex407內(nèi)安裝圖像解碼裝置，由電視的監(jiān)視器ex408來進行再現(xiàn)。此時，也可不在電視內(nèi)組裝機頂盒，而組裝圖像解碼裝置。另外，也可是有天線ex411的車ex412從衛(wèi)星ex410或基站ex107等接收信號，在車ex412所有的車導航裝置ex413等顯示裝置中再現(xiàn)動態(tài)圖像。
另外，也可由上述實施例所示圖像編碼裝置編碼圖像信號，并記錄在記錄媒體中。作為具體例，有將圖像信號記錄在DVD盤ex421中的DVD記錄器，或記錄在硬盤中的盤記錄器等記錄器ex420。另外，也可記錄在SD卡ex422中。若記錄器ex420具備上述實施例所示的圖像解碼裝置，則可再現(xiàn)記錄在DVD盤ex421或SD卡ex422中的圖像信號，并由監(jiān)視器ex408進行顯示。
考慮車導航裝置ex413的構(gòu)成是例如從圖16所示構(gòu)成中去除相機部ex203和相機接口部ex303、圖像編碼部ex312的構(gòu)成，同樣也可考慮計算機ex111或電視(接收器)ex401等。
另外，上述便攜電話ex114等的終端除具有編碼器、解碼器兩者的收發(fā)信型終端外，還考慮僅有編碼器的發(fā)送終端、僅有解碼器的接收終端等3種安裝形式。
因此，可將上述實施例所示動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用于上述之一的設(shè)備、系統(tǒng)中，從而，可得到上述實施例中說明的效果。
另外，上述實施例中所示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法在例如中途再現(xiàn)記錄在DVD、SD卡、存儲器等記錄媒體中的流數(shù)據(jù)的情況下也有效。
從上述說明可知，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像，其特征在于包括特定步驟，從存儲器中存儲的多個圖像中，特定在幀內(nèi)編碼的圖像以后被編碼的1個圖像，作為參照圖像；編碼步驟，從所述存儲器中讀取特定的參照圖像，算出作為讀取的參照圖像與被編碼圖像之差分的差分圖像信號，編碼得到的差分圖像信號；和存儲步驟，解碼編碼的所述差分圖像信號，與所述參照圖像的圖像信號相加，并將得到的圖像存儲在所述存儲器中。
因為不進行將幀內(nèi)編碼圖像之前的圖像參照為參照圖像的編碼，所以可從圖像編碼信號的中途幀內(nèi)編碼圖像進行再現(xiàn)。另外，即使在流中發(fā)生錯誤的情況下，也可生成作為可無錯誤再現(xiàn)幀內(nèi)編碼圖像以后圖像的流的圖像編碼信號。從而，存儲媒體從重要的中途再現(xiàn)或無線、有線傳送時重要的傳送時的錯誤耐性方面的優(yōu)點擴大，實際應(yīng)用好。
另外，根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像，其特征在于包括解碼步驟，解碼輸入的圖像編碼信號；特定步驟，從存儲器中存儲的多個圖像中，特定幀內(nèi)解碼圖像以后解碼的1個圖像，作為參照圖像；和存儲步驟，從所述存儲器中讀取特定的參照圖像，將讀取的參照圖像的圖像信號與解碼的被解碼圖像的差分圖像信號相加，將得到的圖像輸出到外部，同時，存儲在所述存儲器中。
由此，可僅將幀內(nèi)解碼圖像以后的圖像參照為參照圖像，正確解碼編碼的圖像編碼信號，得到解碼圖像信號，并可從圖像編碼信號途中的幀內(nèi)編碼圖像進行再現(xiàn)。另外，即使在流中產(chǎn)生錯誤的情況下，也可無錯誤再現(xiàn)幀內(nèi)編碼的圖像以后的圖像。
產(chǎn)業(yè)上的可利用性 如上所述，根據(jù)本發(fā)明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法在途中再現(xiàn)記錄在便攜電話、DVD裝置、個人計算機等使用的例如DVD、SD卡、存儲器等存儲媒體中的流數(shù)據(jù)的情況等中有用。
權(quán)利要求
1、一種動態(tài)圖像解碼方法，對被編碼了的圖像進行解碼，其特征在于
在所述動態(tài)圖像解碼方法中，通過幀內(nèi)解碼方法和幀間解碼方法之一對圖像進行解碼，
在通過所述幀間解碼方法對圖像進行解碼時，從至少通過所述幀內(nèi)解碼方法被解碼了的幀內(nèi)解碼圖像、以顯示順序位于所述幀內(nèi)解碼圖像之前的圖像、以及以顯示順序位于所述幀內(nèi)解碼圖像之后的圖像之一的圖像中選擇解碼參照圖像，
所述動態(tài)圖像解碼方法，包括
解碼步驟，對被編碼了的圖像進行解碼而獲得解碼圖像，在解碼對象圖像作為幀內(nèi)編碼圖像被指定為在限制編碼參照圖像時成為基準的編碼基準圖像的情況下，對該指定信息也一起進行解碼，所述編碼參照圖像是在編碼其它的編碼對象圖像時可以選擇的圖像；以及
指定步驟，根據(jù)所述指定信息，指定作為幀內(nèi)解碼圖像的所述解碼圖像，以作為在限制對解碼對象圖像進行解碼時可以選擇的解碼參照圖像時成為基準的解碼基準圖像，
在所述指定步驟中所述解碼圖像被指定為解碼基準圖像的情況下，針對在所述解碼基準圖像之后通過所述幀間解碼方法將要被解碼的圖像，從至少被指定為所述解碼基準圖像的所述解碼圖像和在所述解碼基準圖像之后被解碼了的圖像之一的圖像中選擇解碼參照圖像，并且禁止將在所述解碼基準圖像之前被解碼了的圖像作為解碼參照圖像來選擇。
2、一種動態(tài)圖像解碼裝置，對被編碼了的圖像進行解碼，其特征在于
在所述動態(tài)圖像解碼裝置中，通過幀內(nèi)解碼單元和幀間解碼單元之一對圖像進行解碼，
在通過所述幀間解碼單元對圖像進行解碼時，從至少通過所述幀內(nèi)解碼單元被解碼了的幀內(nèi)解碼圖像、以顯示順序位于所述幀內(nèi)解碼圖像之前的圖像、以及以顯示順序位于所述幀內(nèi)解碼圖像之后的圖像之一的圖像中選擇解碼參照圖像，
所述動態(tài)圖像解碼裝置，包括
解碼單元，對被編碼了的圖像進行解碼而獲得解碼圖像，在解碼對象圖像作為幀內(nèi)編碼圖像被指定為在限制編碼參照圖像時成為基準的編碼基準圖像的情況下，對該指定信息也一起進行解碼，所述編碼參照圖像是在編碼其它的編碼對象圖像時可以選擇的圖像；以及
指定單元，根據(jù)所述指定信息，指定作為幀內(nèi)解碼圖像的所述解碼圖像，以作為在限制對解碼對象圖像進行解碼時可以選擇的解碼參照圖像時成為基準的解碼基準圖像，
在所述指定單元中所述解碼圖像被指定為解碼基準圖像的情況下，針對在所述解碼基準圖像之后通過所述幀間解碼方法將要被解碼的圖像，所述解碼單元，從至少被指定為所述解碼基準圖像的所述解碼圖像和在所述解碼基準圖像之后被解碼了的圖像之一的圖像中選擇解碼參照圖像，并且禁止將在所述解碼基準圖像之前被解碼了的圖像作為解碼參照圖像來選擇。
全文摘要
動態(tài)圖像編碼方法及動態(tài)圖像解碼方法，動態(tài)圖像編碼裝置(1)具備計數(shù)單元(102)，進行從幀內(nèi)編碼圖像開始的圖像數(shù)的計數(shù)；和檢測單元(101)，根據(jù)作為計數(shù)單元(102)的計數(shù)結(jié)果的可參照圖像數(shù)Num，僅將從存儲在存儲器(408-410)中的參照圖像(Ref1)、參照圖像(Ref2)、參照圖像(Ref3)中幀內(nèi)編碼以后的參照圖像作為對象，通過分別與圖像信號Vin相比較，確定像素間差值大小最小的參照圖像。
文檔編號H04N7/32GK101399986SQ20081016923
公開日2009年4月1日 申請日期2002年10月2日 優(yōu)先權(quán)日2001年10月17日
發(fā)明者野真也, 近藤敏志, 羽飼誠 申請人:松下電器產(chǎn)業(yè)株式會社