專利名稱：動態(tài)圖像編碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種參照多個編碼圖像或解碼圖像來編碼或解碼動態(tài)圖像 信號的動態(tài)圖像編碼方法、動態(tài)圖像編碼裝置、動態(tài)圖像解碼方法、動態(tài) 圖像解碼裝置以及存儲由軟件來實現(xiàn)這些方法用程序的記錄媒體。
背景技術(shù)：
近年來，迎來統(tǒng)一處理聲音、圖像和其它象素值等信息的多媒體時代， 以前的信息媒體、即將報紙、雜志、電視、收音機、電話等的信息傳遞給 人的手段被采納為多媒體對象。通常，所謂多媒體是指不僅文字，還同時 關(guān)聯(lián)圖形、聲音、尤其是圖像等進行顯示，但在將上述現(xiàn)有信息媒體作為 多媒體對象中，必需將該信息表示為數(shù)字形式。但是，若將上述各信息媒體具有的信息量估計為數(shù)字信息量，則在文 字的情況下，每l個文字的信息量為1-2字節(jié)，相反，在聲音的情況下， 必需每秒64kbits (電話品質(zhì))、另外，動態(tài)圖像必需每秒100Mbits (現(xiàn)行 電視接收品質(zhì))以上的信息量，上述信息媒體中以數(shù)字形式來原樣處理寵 大的信息是不現(xiàn)實的。例如，已通過具有64kbps-1.5Mbps的傳送速度的服 務(wù)綜合數(shù)字通信網(wǎng)(ISDN: Integrated Services Digital Network:綜合 服務(wù)數(shù)字網(wǎng))實用化可視電話，但通過ISDN來原樣發(fā)送由攝像機拍攝的圖 像信息是不可能的。因此，必需信息壓縮技術(shù)，例如，在可視電話的情況下，使用由ITU-T (國際電氣通信聯(lián)合電氣通信標準化部門)國際標準化的H.261或H.263 標準的動態(tài)圖像壓縮技術(shù)。另外，也可利用MPEG-1標準的信息壓縮技術(shù)將
圖像信息與聲音信息一起放入通常的音樂用CD (致密盤)。這里，所謂MPEG (Moving Picture Experts Gro叩移動圖像專家組) 是動態(tài)圖像信號的數(shù)字壓縮的國際標準，MPEG-1是將動態(tài)圖像信號壓縮到 1. 5Mbps、即將電視信號的信息壓縮到約1/100的標準。另外，因為以MPEG-1 標準為對象的傳送速度主要限制在約1. 5Mbps，所以由應(yīng)滿足更高畫質(zhì)化要 求的標準化MPEG-2將動態(tài)圖像信號壓縮到2-15Mbps。另外，在現(xiàn)狀下，通過MPEG-l、MPEG-2和進行標準化的作業(yè)組(ISO/IEC JTC1/SC29/WG11)標準化壓縮率更高的MPEG-4。 MPEG-4中還引入了強有力 的耐錯誤技術(shù)，不僅可以低位速率進行高效率的編碼，而且即使發(fā)生傳送 路徑錯誤，也可減小主觀畫質(zhì)惡化。另夕卜，ITU-T中，開始H.26L的標準化 活動，作為下一代圖像編碼方式。參照MPEG-1、 MPEG-2、 MPEG-4此前編碼或解碼的圖像的圖像信號(參 照圖像)，通過使用編碼、解碼參照圖像與被編碼、解碼圖像的差值的幀間 編碼(Inter Predictive Coded Picture (幀間預(yù)測編碼圖像)下面簡稱 為Inter Picture (幀間圖像))，可實現(xiàn)大幅度的壓縮率(例如參照ISO/IEC 13818-2[INTERNATIONAL STANDARD Information technology-Generic coding of moving picture and associated audio information:Video]2000 年12月15日，第7頁，Intro.4. 1. 1)。另外，通過削減時間方向和空間方向的冗余性，可實現(xiàn)信息量壓縮。 因此，在以削減時間冗余性為目的的幀間預(yù)測編碼中，參照已編碼、解碼 的圖像(參照圖像)形成預(yù)測圖像，對得到的預(yù)測圖像和編碼對象圖像的 差值進行編碼。這里，所謂圖像是表示1個畫面的用語，在逐行圖像中表 示幀，在隔行圖像中表示幀或字段。在2001年9月時的H.26L標準中，為了進一步提高壓縮率，不僅參照 此前編碼或解碼的圖像，而且從在被編碼、解碼圖像之前編碼、解碼的多 個圖像中選擇任意圖像，設(shè)為參照圖像。

圖1表示現(xiàn)有動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的概念說明圖。 圖1是從被編碼、解碼圖像前的3個圖像中選擇任意圖像、并設(shè)為參照圖 像的實例。圖1中，各圖像按顯示時刻的順序排列，左側(cè)圖像的顯示時刻 早。編碼順序也是左側(cè)圖像先被編碼。因此，位流順序也是圖像J,、圖像J2、圖像J:,、圖像1。因此，在被編碼、解碼圖像為圖像J.，的情況下，從 圖像J,、圖像J2、圖像J3中選擇1個，設(shè)為參照圖像，在被編碼、解碼圖像為圖像J5的情況下，從圖像J2、圖像J3、圖像1中選擇1個，設(shè)為參照圖像。圖2是表示現(xiàn)有動態(tài)圖像編碼裝置構(gòu)成的框圖。動態(tài)圖像編碼裝置4是壓縮編碼輸入的圖像信號Vin后、輸出變換為 可變長編碼等位流的圖像編碼信號Str的裝置，具備動作檢測單元40]、選 擇單元402、圖像信號減法單元403、編碼單元404、解碼單元405、加法 單元406、選擇單元407和存儲器408 — 410。動作檢測單元401分別讀取存儲在存儲器408—410中作為已編碼圖像 的參照圖像，通過與輸入圖像信號Vin相比較，確定畫面間差值大小(誤 差能量)小的參照圖像Ref和表示畫面間差值小的象素位置的動作信息MV。 通常，多確定誤差能量最小的參照圖像Ref和象素位置，但最近不單純是 誤差能量最小，還利用確定動作信息MV使誤差能量變小且壓縮率變大的方 法。將參照圖像Ref和象素位置的信息統(tǒng)稱為動作信息MV。選擇單元402 輸出根據(jù)作為切換指示信號的參照圖像指示信號RefFrm從存儲于存儲器 408 — 410中的參照圖像Ref,、參照圖像Ref2、參照圖像Ref:,中選擇的參照 圖像Ref 。減法單元403計算圖像信號Vin與參照圖像Ref的差分圖像信號 Dif。編碼單元404編碼差分圖像信號Dif與作為特定參照圖像用信息的動 作信息MV。解碼單元405解碼由編碼單元404編碼的編碼數(shù)據(jù)Coded,得 到復(fù)原差分圖像信號RecDif 。加法單元406將參照圖像Ref與復(fù)原差分圖 像信號RecDif相加。選擇單元407在后續(xù)圖像編碼中，將輸入的解碼圖像 信號Recon參照為參照圖像，所以作為解碼圖像信號ReCl、解碼圖像信號 Rec2、解碼圖像信號Rec3輸出到存儲器408 — 410之一。下面，說明上述構(gòu)成的動態(tài)圖像編碼裝置的動作。將圖像信號Vin輸入圖像信號減法單元403和動作檢測單元401。動 作檢測單元401讀取存儲于存儲器408 — 410中的作為己解碼圖像的參照圖 像Ref,、參照圖像Ref2、參照圖像Ref3，通過與輸入的圖像信號Vin進行 比較，確定畫面間差值大小最小的參照圖像，輸出參照圖像和作為特定參
照象素位置用信息的動作信息MV。同時，動作檢測單元401輸出作為切換指示信號的參照圖像指示信號 RefFrm，使選擇單元402可選擇對應(yīng)于動作信息MV的參照圖像并作為參照 圖像Ref輸出。因為由于場交換等而喪失畫面間相關(guān)，所以壓縮率比僅由 幀間編碼和被編碼圖像的圖像編碼信號可復(fù)原的幀內(nèi)編碼(Intra Coding Picture:以下簡稱為Intra Picture)低。此時，動作檢測單元401輸出 由動作信息MV表示為幀內(nèi)編碼、且總是將輸出值0的參照圖像Ref4作為 參照圖像Ref輸出用的參照圖像指示信號Ref Frni。參照圖像Ref4的值不 —定是0，在例如取0 — 255的輝度信號或RGB彩色信號的情況下，也可是 平均值128。另外，為了在防止錯誤傳播或圖像編碼信號途中可再現(xiàn)圖像，所以必 需對每一定數(shù)量的圖像進行可僅由被編碼圖像的圖像編碼信號復(fù)原的幀內(nèi) 編碼。因此，動作檢測單元401可通過從外部提供的幀內(nèi)編碼指示信號 Reset的指示來強制切換為幀內(nèi)編碼。另一方面，輸入圖像信號Vin的減法單元403計算該圖像信號Vin與 選擇單元402選擇的參照圖像Ref之差分，將差分圖像信號Dif輸出到編 碼單元404。接著，編碼單元404編碼差分圖像信號Dif和動作檢測單元 401輸出的動作信息MV，輸出圖像編碼信號Str和編碼數(shù)據(jù)Coded。其中， 編碼數(shù)據(jù)Coded是復(fù)原圖像必需的數(shù)據(jù)，圖像編碼信號Str將編碼數(shù)據(jù) Coded進一步變換為可變長編碼等的位流。解碼單元405解碼編碼數(shù)據(jù)Coded,將復(fù)原差分圖像信號RecDif輸出 到加法單元406。加法單元406將復(fù)原差分圖像信號RecDif與選擇單元402 選擇的參照圖像Ref相加，將解碼圖像信號Recon輸出到選擇單元407。選 擇單元407在后續(xù)的圖像編碼時，可將解碼圖像信號Reccm作為參照圖像 來參照，所以作為解碼圖像信號Rec,、解碼圖像信號Rec2、解碼圖像信號 Rec3輸出到存儲器408—410之一。在本例中，選擇單元407進行切換，將 在最早時刻保存在存儲器中的圖像替換為新的解碼圖像信號Reccm。圖3是表示現(xiàn)有動態(tài)圖像解碼裝置構(gòu)成的框圖。動態(tài)圖像解碼裝置5是解碼上述動態(tài)圖像編碼裝置4編碼的圖像編碼 信號Str的裝置。
解碼單元501解碼輸入的圖像編碼信號Str，輸出復(fù)原差分圖像信號 RecDif和動作信息MV。動作復(fù)原單元502解碼動作信息MV，輸出參照圖像 指示信號RefFrm。選擇單元503、選擇單元505、存儲器506 — 508的動作 與圖2所示動態(tài)圖像編碼裝置4的選擇單元402、選擇單元407、和存儲器 408 — 410相同。加法單元504將復(fù)原差分圖像信號RecDif與參照圖像Ref 相加后，輸出解碼圖像信號Vout (相當于圖2中的解碼圖像信號Recon)。在所述動態(tài)圖像編碼裝置4和動態(tài)圖像解碼裝置5中，分別在選擇單 元402和選擇單元503的輸出側(cè)設(shè)置未圖示的動作補償單元，進行根據(jù)從 存儲器輸出的參照圖像的象素值來內(nèi)插生成作為1 / 2象素位置精度等象素 值的小數(shù)象素位置精度的象素值的動作補償。然而，在上述現(xiàn)有動態(tài)圖像編碼裝置及現(xiàn)有動態(tài)圖像解碼裝置中，未 完全區(qū)別參照圖像是幀內(nèi)編碼的圖像(Intra Picture:幀內(nèi)圖像)還是在 幀內(nèi)編碼圖像之后進行幀間編碼的圖像(Inter Picture:幀間圖像)。例 如，在圖1的現(xiàn)有動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的概念說明圖中， 圖像J2是幀內(nèi)編碼的圖像，此外的圖像J,、圖像工,、圖像J.,、圖像Js是幀 間編碼的圖像，但也參照圖像衛(wèi)來作為圖像J4的參照圖像。在圖像^參照 圖像J,作為參照圖像的情況下，將在幀內(nèi)編碼圖像J2之前的圖像參照為參 照圖像。但是，在中途再現(xiàn)圖像的情況下，即使例如從圖像編碼信號中途的幀 內(nèi)編碼圖像J2解碼圖像并進行再現(xiàn)，在解碼圖像丄時也必需參照解碼后的 圖像J,。因此，存在不能正確解碼圖像J,以后的圖像的問題。另外，例如在圖像編碼信號中途發(fā)生流錯誤，并且圖像J,由于錯誤而 不能正確解碼的情況下，雖然幀內(nèi)編碼的圖像J2可正確解碼，但解碼圖像 JJ寸必需參照圖像J,，所以產(chǎn)生不能正確解碼圖像l以后的圖像的問題。發(fā)明的內(nèi)容因此，鑒于上述問題，提出本發(fā)明，其目的在于提供一種動態(tài)圖像編 碼方法和動態(tài)圖像解碼方法，可根據(jù)圖像編碼信號中途的幀內(nèi)編碼圖像進 行再現(xiàn)，另外，即使在流中發(fā)生錯誤的情況下，也可無錯誤地再現(xiàn)幀內(nèi)編 碼圖像以后的圖像。 根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像，其特 征在于包括指定步驟，將被存儲于存儲器中的多個圖像的幀內(nèi)編碼的 圖像，指定為在限制參照圖像時作為基準的圖像；和編碼步驟，編碼信號， 該信號表示在所述指定步驟指定的圖像之后將要編碼的圖像，其是僅參 照在所述指定步驟指定的圖像以后被編碼過的圖像、并在限制所述參照圖 像時作為基準的圖像。另外，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像， 其特征在于包括指定步驟，將被存儲于存儲器中的多個圖像的被幀內(nèi) 編碼的圖像，指定為在限制參照圖像時作為基準的圖像；刪除步驟，將在 所述指定步驟指定的圖像之前被編碼的圖像刪除；和編碼步驟，對信號進 行編碼，該信號表示在所述指定步驟被指定的圖像以后被編碼的圖像， 其是僅參照所述指定步驟指定的圖像以后被編碼過的圖像、而刪除在所述 指定步驟被指定過的圖像以前被編碼過的圖像。另外，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像， 其特征在于包括特定步驟，從存儲器中存儲的多個圖像中，特定在幀 內(nèi)編碼的圖像以后被編碼的1個圖像，作為參照圖像；編碼步驟，從所述 存儲器中讀取特定的參照圖像，算出作為讀取的參照圖像與被編碼圖像之 差分的差分圖像信號，編碼得到的差分圖像信號；和存儲步驟，解碼被編 碼的所述差分圖像信號，與所述參照圖像的圖像信號相加，并將得到的圖 像存儲在所述存儲器中；所述特定步驟，計數(shù)幀內(nèi)編碼的圖像以后被編碼 的圖像數(shù)，根據(jù)計數(shù)的數(shù)，特定所述參照圖像。另外，根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像， 其特征在于包括解碼步驟，對信號進行解碼，該信號表示在對解碼 對象圖像解碼時進行參照的參照圖像進行限制時、成為基準的圖像；和特 定步驟，在所述基準的圖像以后將要被解碼的圖像、是僅將成為所述基準 的圖像且在被幀內(nèi)解碼過的圖像以后被解碼過的圖像、特定為參照圖像。另夕卜，根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像， 其特征在于包括解碼步驟，對信號進行解碼，該信號表示在將解碼 對象圖像解碼時進行參照的參照圖像進行限制時成為基準的圖像；刪除步 驟，刪除成為所述基準的圖像且是在被幀內(nèi)解碼過的圖像之前被解碼過的
圖像；和特定步驟，在成為所述基準圖像以后被解碼過的圖像、是僅將成 為所述基準圖像且在被幀內(nèi)解碼過的圖像以后被解碼過的圖像、特定為參 照圖像。根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像，其特 征在于包括解碼步驟，解碼被輸入的圖像編碼信號；特定步驟，從存 儲器中存儲的多個圖像中，特定幀內(nèi)解碼的圖像以后被解碼的1個圖像， 作為參照圖像；和存儲步驟，從所述存儲器中讀取特定的參照圖像，將讀 取的參照圖像的圖像信號與解碼的被解碼圖像的差分圖像信號相加，將得 到的圖像輸出到外部，并存儲在所述存儲器中；所述特定步驟包括判斷 步驟，根據(jù)解碼的信息來特定應(yīng)作為參照圖像的圖像，并判斷特定的圖像 是否是幀內(nèi)解碼圖像以后被解碼的圖像；通常處理步驟，所述判斷的結(jié)果 為所述特定的圖像是幀內(nèi)解碼圖像以后被解碼的圖像時，特定所述特定的 圖像作為參照圖像；和錯誤處理步驟，所述判斷的結(jié)果為所述特定的圖像 不是幀內(nèi)解碼圖像以后被解碼的圖像的情況下，特定事先設(shè)定的預(yù)定圖像 作為參照圖像。另外，根據(jù)本發(fā)明的動態(tài)圖像編碼裝置，以圖像單位來編碼動態(tài)圖像， 其特征在于具備特定單元，從存儲器中存儲的多個圖像中，特定在幀 內(nèi)編碼的圖像以后被編碼的1個圖像作為參照圖像；編碼單元，從所述存 儲器中讀出特定的參照圖像，算出作為讀取的參照圖像與被編碼圖像之差 分的差分圖像信號，將得到的差分圖像信號進行編碼；存儲單元，對編碼 的所述差分圖像信號解碼，與所述參照圖像的圖像信號相加，并將得到的 圖像存儲在所述存儲器中；和計數(shù)單元，計數(shù)幀內(nèi)編碼的圖像以后被編碼 的圖像數(shù)，所述特定單元根據(jù)所述計數(shù)單元計數(shù)的數(shù)，特定所述參照圖像。 根據(jù)本發(fā)明的動態(tài)圖像解碼裝置，以圖像單位來解碼動態(tài)圖像，其特 征在于具備解碼單元，將輸入的圖像編碼信號解碼；特定單元，從存 儲器中存儲的多個圖像中，特定幀內(nèi)解碼圖像以后被解碼的1個圖像，作 為參照圖像；存儲單元，從所述存儲器中讀取特定的參照圖像，將讀取的 參照圖像的圖像信號與解碼的被解碼圖像的差分圖像信號相加，將得到的 圖像輸出到外部，并存儲在所述存儲器中；和計數(shù)單元，計數(shù)幀內(nèi)編碼的
圖像以后被編碼的圖像數(shù)，所述特定單元根據(jù)所述計數(shù)單元計數(shù)的數(shù)，特定所述參照圖像。 并且，本發(fā)明實現(xiàn)為在計算機中執(zhí)行所述動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的步驟的程序，另外，實現(xiàn)為由所述動態(tài)圖像編碼方法編碼的流數(shù)據(jù)，可經(jīng)CD—R0M或通信網(wǎng)絡(luò)等記錄媒體或傳送媒體來流通。例如，按圖像J,、圖像J2、圖像Js、圖像J"圖像J5的順序編碼圖像，圖像J2是幀內(nèi)編碼圖像，此外的圖像J,、圖像J:,、圖像J，、圖像Js是幀間編碼的圖像。即，位流的順序為圖像J,、圖像l、圖像J,、圖像J,、圖像Js的順序。此時，在根據(jù)本發(fā)明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法中，在 畫面編碼和解碼時可選擇作為參照圖像的圖像在例如編碼圖像Js時，可參照圖像J2、圖像J:i、圖像JN。另外，在編碼圖像l時，因為禁止參照在幀內(nèi)編碼圖像衛(wèi)之前的圖像J,，所以可僅參照圖像l和圖像J."附圖的簡要說明圖1是現(xiàn)有動態(tài)圖像編碼方法和動態(tài)圖像解碼方法概念的說明圖。圖2是表示現(xiàn)有動態(tài)圖像編碼裝置構(gòu)成的框圖。 圖3是表示現(xiàn)有解碼裝置構(gòu)成的框圖。圖4是表示根據(jù)本發(fā)明的動態(tài)圖像編碼裝置一實施例構(gòu)成的框圖。圖5是表示上述實施例中動作檢測單元的動作的流程圖。圖6是表示上述實施例中圖像編碼時可選擇作為參照圖像的圖像的說明圖。圖7是表示根據(jù)本發(fā)明動態(tài)圖像編碼裝置的其它實施例的構(gòu)成框圖。 圖8是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置一實施例構(gòu)成的框圖。 圖9是表示上述實施例中動作復(fù)原單元的動作流程圖。 圖10是說明上述實施例中用于解碼的參照圖像的方法l一3的選擇的說明圖，(a)是用于解碼的參照圖像的說明圖，(b)是表示圖像位置關(guān)系的說明圖。圖11是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置實施例2的構(gòu)成框圖。 圖12是表示上述實施例中動作復(fù)原單元動作的流程圖。
圖13是存儲由計算機系統(tǒng)來實施所述實施例1和2的動態(tài)圖像編碼方 法和動態(tài)圖像解碼方法的程序的記錄媒體說明圖，(a)是表示作為記錄媒 體主體的軟盤的物理格式實例的說明圖，(b)是表示從軟盤正面看的外觀、 截面構(gòu)造及軟盤的說明圖，(c)是表示在軟盤FD中記錄再現(xiàn)所述程序用構(gòu) 成的說明圖。圖14是表示實現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)的整體構(gòu)成的框圖。圖15是表示便攜電話一例的圖。圖16是表示便攜電話內(nèi)部構(gòu)成的框圖。圖17是表示數(shù)字播放用系統(tǒng)的整體構(gòu)成的框圖。發(fā)明的具體實施方式
下面，用圖4一圖17來說明本發(fā)明的實施例。 (實施例1)圖4是表示根據(jù)本發(fā)明的動態(tài)圖像編碼裝置一實施例構(gòu)成的框圖。另 外，進行與圖2所示現(xiàn)有動態(tài)圖像編碼裝置4的各單元相同動作的設(shè)備附 加相同標記。動態(tài)圖像編碼裝置1是壓縮編碼輸入的圖像信號Vin后、輸出變換為 可變長編碼等位流的圖像編碼信號Str的裝置，具備動作檢測單元101、選 擇單元402、圖像信號減法單元403、編碼單元404、解碼單元405、加法 單元406、選擇單元407、存儲器408—410和計數(shù)單元102。計數(shù)單元102 —旦由從外部輸入的幀內(nèi)編碼指示信號Reset指示幀內(nèi) 編碼，則開始從幀內(nèi)編碼的圖像開始計數(shù)圖像數(shù)，將結(jié)果作為可參照圖像 數(shù)Num通知動作檢測單元101 。動作檢測單元101根據(jù)可參照圖像數(shù)Num，將存儲器408—410中存儲 的參照圖像Refl、參照圖像Ref2、參照圖像Ref3中在幀內(nèi)編碼以后編碼 和解碼的圖像作為對象，通過與各圖像信號Vin相比較，確定畫面間差值 大小(誤差能量)小的參照圖像Ref和表示畫面間差值大小變小的象素位 置的動作信息匿。通常，多確定誤差能量最小的參照圖像Ref和象素位置， 但除了誤差能量最小外，也可確定動作信息MV使誤差能量變小且壓縮率變 大。為了表示參照圖像Ref，將參照圖像指示信號RefFrm輸出到選擇單元 402。選擇單元402根據(jù)作為切換指示信號的參照圖像指示信號RefFrm，從 存儲于存儲器408—410中的參照圖像Refl、參照圖像Ref2、參照圖像Ref3 中選擇并作為參照圖像Ref輸出。減法單元403計算圖像信號Vin與參照圖像Ref的差分圖像信號Dif 。 編碼單元404編碼差分圖像信號Dif與作為特定參照圖像用信息的動作信 息MV，輸出圖像編碼信號Str和編碼數(shù)據(jù)Coded。這里，編碼數(shù)據(jù)Coded 是復(fù)原圖像必需的數(shù)據(jù)(編碼動作信息MV或差分圖像信號Dif的數(shù)據(jù))， 圖像編碼信號Str還將編碼數(shù)據(jù)Coded變換為可變長編碼等位流。解碼單元405解碼編碼數(shù)據(jù)Coded,得到復(fù)原差分圖像信號RecDif 。 加法單元406將參照圖像Ref與復(fù)原差分圖像信號RecDif相加。選擇單元 407在編碼后續(xù)圖像時，將輸入的解碼圖像信號Recon參照為參照圖像，所 以作為解碼圖像信號Recl、解碼圖像信號Rec2、解碼圖像信號Rec3輸出 到存儲器408—410之一。在本實施例中，由選擇單元407來進行切替，由 新的解碼圖像信號Recon來替換最早時刻保存在存儲器中的解碼圖像信號。下面，說明上述構(gòu)成的動態(tài)圖像編碼裝置的動作。圖5是表示動作檢測單元101的動作的流程圖。將圖像信號Vin輸入圖像信號減法單元403和動作檢測單元101。動作檢測單元101 —旦輸入圖像信號Vin，則讀取存儲于存儲器408 —410中的參照圖像Refl (步驟S1)。接著，動作檢測單元101判斷該參照 圖像Refl是否是幀內(nèi)編碼圖像以后的圖像。SP，根據(jù)各圖像固有的圖像序 號和從計數(shù)單元102通知的可參照圖像數(shù)Num，使用例如式(A)來進行判 斷(步驟S2)。這里，圖像序號是附加于編碼圖像中的識別序號，具有下述 特征。艮P，圖像信號Vin的圖像(圖片)序號僅比存儲器408 —410中保存后 作為參照圖像的圖像中最近保存的圖像的圖像序號大1。參照圖像的圖像序號^圖像信號Vin的圖像序號一可參照圖像數(shù)Num…(A)結(jié)果，因為滿足上式(A)的情況是參照圖像Ref 1是幀內(nèi)編碼圖像以 后的圖像，所以動作檢測單元101算出圖像信號Vin與參照圖像Refl的差
值(步驟S3)。另一方面，在不滿足上式(A)的情況下，不算出差。接著，動作檢測單元101分別對存儲在存儲器409中的參照圖像Ref2 和存儲在存儲器410中的參照圖像Ref3進行與對所述參照圖像Ref 1進行 的處理一樣的處理(步驟S1 —步驟S3)。接著，動作檢測單元101確定上述算出差的參照圖像中畫而間差值大 小最小的參照圖像(步驟S4)。另外，動作檢測單元101輸出確定的參照圖 像，作為特定用信息的動作信息MV，同時，輸出作為切換指示信號的參照 圖像指示信號RefFrm，使選擇單元402選擇確定的參照單元，并作為參照 圖像Ref輸出(步驟S5)。也可在步驟S3中算出差值后，決定步驟S4中算出差的參照圖像中畫 面間差值大小小的參照圖像，從存儲器408到410重復(fù)步驟S1、步驟S2、 步驟S3、步驟S4。另一方面，輸入圖像信號Vin的減法單元403計算該圖像信號Vin與 選擇單元402選擇的參照圖像Ref的差，將差分圖像信號Dif輸出到編碼 單元404。接著，編碼單元404編碼差分圖像信號Dif和動作檢測單元101 輸出的動作信息MV，輸出圖像編碼信號Str和編碼數(shù)據(jù)Coded。解碼單元405解碼編碼數(shù)據(jù)Coded,將復(fù)原差分圖像信號RecDif輸出 到加法單元406。加法單元406將復(fù)原差分圖像信號RecDif與選擇單元402 選擇的參照圖像Ref相加，向選擇單元407輸出解碼圖像信號Recon。選擇 單元407在后續(xù)圖像編碼時可將解碼圖像信號Recon參照為參照圖像，所 以作為解碼圖像信號Recl、解碼圖像信號Rec2、解碼圖像信號Rec3輸出 到存儲器408—410之一。圖6是表示圖像編碼時可選擇作為參照圖像的圖像的說明圖。與圖1 一樣，圖像J2是幀內(nèi)編碼圖像，此外的圖像J,、圖像J:,、圖像J"圖像Js 是幀間編碼的圖像。位流的編碼順序為圖像Ji、圖像l、圖像J:,、圖像J,、 圖像J5的順序。如上所述，動態(tài)圖像編碼裝置1通過動作，在如圖6所示例如編碼圖 像L時，在進行幀間編碼時可選擇為參照圖像的圖像可參照圖像J2、圖像J:,、圖像l。另外，在編碼圖像J4時，因為禁止參照在幀內(nèi)編碼圖像J2之前的圖像l，所以可僅參照圖像J2和圖像J3。
如上所述，因為僅將幀內(nèi)編碼的圖像以后被編碼的圖像參照為參照圖 像進行編碼，所以可從圖像編碼信號途中的幀內(nèi)編碼的圖像進行再現(xiàn)。另 外，即使在流中發(fā)生錯誤的情況下，也可生成作為幀內(nèi)編碼圖像以后無錯誤再現(xiàn)流的圖像編碼信號Str。另外，為了從途中再現(xiàn)DVD或硬盤中記錄的圖像信號，必需可從該途 中復(fù)原的結(jié)構(gòu)，由從途中開始再現(xiàn)的圖像來進行Reset指示。該Reset指 示也可是在編碼圖像時由操作者確定并進行指示，也可在每經(jīng)過-一定圖像 周期或時間發(fā)出Reset指示。各圖像所有是幀內(nèi)編碼、還是幀間編碼各圖像等信息作為各圖像的輔 助信息。因此，也可編碼表示所述實施例1中說明的幀內(nèi)編碼的圖像是由 幀內(nèi)編碼指示信號Reset特定的圖像(圖7)。另外，當是表示為幀內(nèi)編碼 的圖像、且為由該幀內(nèi)編碼指示信號Reset特定的圖像的圖像時，不參照 在該特定圖像之前存儲在存儲器中的圖像。另外，雖表示在幀內(nèi)編碼的圖像為基準，不參照在幀內(nèi)編碼圖像之前 存儲的圖像，但也可通過幀內(nèi)編碼的圖像，以幀內(nèi)編碼的圖像為基準，從 存儲器中刪除在幀內(nèi)編碼圖像之前存儲的圖像。另外，幀內(nèi)編碼指示信號Reset雖表示不參照在幀內(nèi)編碼圖像之前存 儲的圖像，但為了從存儲器內(nèi)刪除在幀內(nèi)編碼圖像之前存儲的圖像，也可 編碼與該幀內(nèi)編碼指示信號Reset不同的控制命令。圖8是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置一實施例構(gòu)成的框圖。另 外，進行與圖3所示現(xiàn)有動態(tài)圖像解碼裝置5的各單元相同動作的設(shè)備附 加相同標記。動態(tài)圖像解碼裝置2是解碼上述實施例1所示動態(tài)圖像編碼裝置1編 碼的圖像編碼信號Str的裝置，具備解碼單元201、動作復(fù)原單元202、選 擇單元503、加法單元504、選擇單元505、存儲器506 — 508和計數(shù)單元 203。解碼單元201解碼輸入的圖像編碼信號Str，輸出復(fù)原差分圖像信號 RecDif、動作信息MV和幀內(nèi)編碼指示信號Reset。計數(shù)單元203 —旦由幀 內(nèi)編碼指示信號Reset指示幀內(nèi)編碼，則開始從幀內(nèi)編碼開始計數(shù)圖像數(shù)， 將結(jié)果作為可參照圖像數(shù)Num通知動作復(fù)原單元202。動作復(fù)原單元202解碼動作信息MV，通過根據(jù)可參照圖像數(shù)Num判斷 對應(yīng)于該動作信息MV的參照圖像是否是可參照的圖像，確定參照圖像。
選擇單元502根據(jù)作為切換指示信號的參照圖像指示信號RefFrm，從 存儲在存儲器506 — 508中的參照圖像Refl、參照圖像Ref2、參照圖像Ref3 中選擇，并作為參照圖像Ref輸出。加法單元504將復(fù)原差分圖像信號 RecDif與參照圖像Ref相加后，輸出解碼圖像信號Voutl (相當于圖4中 的解碼圖像信號Recon)。
選擇單元505在后續(xù)的圖像解碼時可將輸入的解碼圖像信號Voutl參 照為參照圖像，所以作為解碼圖像信號Recl、解碼圖像信號Rec2、解碼圖 像信號Rec3輸出到存儲器506 — 508之一。在本實施例中，由選擇單元505 進行切換，以由新的解碼圖像信號Recon來替換最早時刻保存在存儲器屮 的圖像。
下面，說明上述構(gòu)成的動態(tài)圖像解碼裝置的動作。 圖9是表示動作復(fù)原單元202的動作流程圖。
將圖像編碼信號Str輸入解碼單元201。解碼單元201解碼輸入的圖 像編碼信號Str，并輸出復(fù)原差分圖像信號RecDif和動作信息MV。另外， 解碼單元201在輸入的圖像編碼信號Str是幀內(nèi)編碼的圖像的情況下，輸 出幀內(nèi)編碼指示信號Reset。
計數(shù)單元203 —旦從解碼單元201輸入幀內(nèi)編碼指示信號Rese t，則 從幀內(nèi)編碼的圖像開始計算圖像數(shù)，并作為可參照圖像數(shù)Num通知給動作 復(fù)原單元202。
輸入動作信息MV和可參照圖像數(shù)Nuni的動作復(fù)原單元202根據(jù)作為 特定參照圖像用信息的動作信息MV，特定編碼時參照的參照圖像(步驟 Sll)。接著，動作復(fù)原單元202判斷該參照圖像是否是幀內(nèi)解碼圖像以后 的圖像。即，根據(jù)各圖像固有的圖像序號和從計數(shù)單元203通知的可參照 圖像數(shù)Num，用例如下式(B)來進行判斷(步驟S12)。
參照圖像的圖像序號^圖像編碼信號Str的圖像序號一可參照圖像數(shù)Num…(B)結(jié)果，因為滿足上式(B)的情況是參照圖像是幀內(nèi)解碼圖像以后圖像， 所以動作復(fù)原單元202選擇根據(jù)動作信息MV特定的參照圖像作為解碼中使
用的參照圖像(步驟S13)。另一方面，在不滿足上式(B)的情況下，參照圖像是在幀內(nèi)解碼圖像 之前的圖像。原來，在編碼時應(yīng)僅參照幀內(nèi)編碼圖像以后的圖像進行編碼。 因此，根據(jù)動作信息MV特定解碼必需的參照圖像應(yīng)是由可參照圖像數(shù)Nurii 得到的幀內(nèi)解碼圖像以后解碼的圖像。但是，由于傳送錯誤，有可能參照 幀內(nèi)解碼圖像之前解碼的圖像、即不滿足上式(B)。因此，動作復(fù)原單元 202在不滿足上式(B)的情況下，通過事先設(shè)定用于解碼的參照圖像的以 下說明的方法l一3之一來選擇(步驟S14)。圖10是說明用于解碼的參照圖像的方法l一3的選擇的說明圖，(a) 是用于解碼的參照圖像的說明圖，(b)是表示圖像位置關(guān)系的說明圖。這 里，表示解碼圖像PJ寸，圖像P2是幀內(nèi)解碼的圖像，此外的圖像P,、圖像 Pa、圖像h是畫面間解碼的圖像。圖像的顯示時刻的順序和圖像的解碼開 始時刻(流中的位置)的順序是圖像P,、圖像h、圖像P:,、圖像巳的順序 中早的時刻。 (方法l)選擇根據(jù)動作信息MV來特定的參照圖像(圖像P,)，原樣作為用于解 碼的參照圖像。此時，即使參照編碼編碼時錯誤地進行幀內(nèi)編碼圖像前的 圖像，只要正確解碼圖像P,，則也可正確解碼。 (方法2)選擇幀內(nèi)解碼的圖像(圖像P2)，作為用于解碼的參照圖像。此時，因 為幀內(nèi)解碼的圖像是可參照為參照圖像的圖像中最先解碼的圖像，所以與 可參照的圖像中畫面解碼圖像前的圖像相關(guān)最強，編碼時的參照圖像為在 幀內(nèi)解碼的圖像前解碼的圖像的情況下，不損害畫質(zhì)的可能性高。 (方法3)選擇之前解碼的圖像(圖像P3)，作為用于解碼的參照圖像。通常時間 間隔越短，圖像信號的相關(guān)越高，結(jié)果，之前解碼的圖像作為參照圖像的 概率非常高。因此，若根據(jù)動作信息MV特定的參照圖像錯誤，則在相關(guān)最強之前解碼的圖像是原來的參照圖像的可能性高，不損害畫質(zhì)的可能性高。 既可使用這些方法l一方法3中的一個，也可組合多個方法來使用。 作為組合例，當在方法1中不選擇根據(jù)動作信息MV特定的參照圖像(圖像
P,)原樣作為用于解碼的參照圖像時，例如選擇方法3所示之前解碼的圖像作為用于解碼的參照圖像的所謂默認處理。接著，動作復(fù)原單元202依次讀取存儲器506 — 508中存儲的參照圖像 Refl、參照圖像Ref2、參照圖像Ref3，判斷是否是上述選擇的參照圖像(圖 9，步驟S15)。 g卩，特定選擇的參照圖像存儲在存儲器506—508的哪一個 中。另外，輸出作為切換指示信號的參照圖像指示信號RefFrm，以便選擇 單元503能選擇特定的參照圖像Refl、參照圖像Ref2、參照圖像Ref3之 一，作為參照圖像Ref輸出(圖9，步驟S16)。加法單元504將參照圖像Ref與解碼單元201輸出的復(fù)原差分圖像信 號RecDif相加，將解碼圖像信號Voutl (相當于圖4中的解碼圖像信號 Recon)輸出到選擇單元505。選擇單元505在后續(xù)圖像解碼時可將輸入的 解碼圖像信號Voutl參照為參照圖像，所以作為解碼圖像信號Recl、解碼 圖像信號Rec2、解碼圖像信號Rec3輸出到存儲器506 — 508之一。如上所述，僅將幀內(nèi)解碼的圖像之后的圖像參照為參照圖像，正確解 碼編碼的圖像編碼信號Str，得到解碼圖像信號Voutl，可從圖像編碼信號 的途中幀內(nèi)編碼圖像中進行再現(xiàn)。另外，即使在流中發(fā)生錯誤的情況下， 也可無錯誤再現(xiàn)幀內(nèi)編碼的圖像以后的圖像。另外，在本實施例中，雖事先設(shè)定選擇動作復(fù)原單元202用于解碼的 參照圖像的方法1一3，但本發(fā)明不限于此。例如，在由動作信息MV特定的 圖像與可參照圖像數(shù)大不相同的情況下，設(shè)定方法3，在由動作信息MV特 定的圖像存儲在存儲器內(nèi)并可參照的情況下，設(shè)定方法l，此外，也可象方 法2那樣對應(yīng)于狀況來動態(tài)切換3個方法或其中兩個方法。另外，各圖像具有幀內(nèi)解碼或畫面間解碼各圖像等信息作為各圖像的 輔助信息，因此，也可接收包含信號的圖像編碼信號Str，該信號表示上述 實施例l中說明的幀內(nèi)編碼圖像是由幀內(nèi)編碼指示信號Reset特定的圖像， 解碼表示是由該幀內(nèi)編碼指示信號Reset特定的圖像的信號。另外，在作 為表示是幀內(nèi)編碼圖像、且是由該幀內(nèi)編碼指示信號Reset特定的圖像的 圖像時，也可不參照在該特定圖像之前存儲在存儲器中的(解碼)圖像。另外，雖表示以幀內(nèi)解碼的圖像為基準，不參照在幀內(nèi)解碼圖像之前 存儲的圖像，但也可通過幀內(nèi)解碼的圖像，以幀內(nèi)解碼的圖像為基準，從 存儲器中刪除在幀內(nèi)解碼圖像之前存儲的圖像。另外，為了從存儲器內(nèi)刪除在幀內(nèi)編碼圖像之前存儲的圖像，也可編接收包含與該幀內(nèi)編碼指示信號Reset不同的控制命令的圖像編碼信號 Reset,解碼該控制命令，判斷是否是表示由幀內(nèi)編碼指示信號Reset特定 的圖像的信號，同時是否接收該信號，進行錯誤控制。 (實施例2)下面，說明本發(fā)明實施例2的動態(tài)圖像解碼裝置。圖11是表示根據(jù)本發(fā)明的動態(tài)圖像解碼裝置實施例2的構(gòu)成框圖。另 外，進行與圖8所示動態(tài)圖像解碼裝置2的各單元相同動作的設(shè)備附加相 同標記，省略說明。動態(tài)圖像解碼裝置3在圖8所示的動態(tài)圖像解碼裝置2的構(gòu)成為還具 備選擇單元301，由于傳送錯誤等，由動作信息MV特定的參照圖像為幀內(nèi)解碼圖像前解碼的圖像的情況下的動作與實施例1不同。選擇單元301根據(jù)從動作復(fù)原單元302通知的錯誤通知信號Err，輸出從加法單元504輸出的解碼圖像信號Recon或從選擇單元503輸出的參照圖像Ref之一，作為解碼圖像信號Vout2。下面，說明上述構(gòu)成的動態(tài)圖像解碼裝置的動作，但對與上述實施例l一樣的部分省略說明。圖12是表示動作復(fù)原單元302的動作流程圖。圖12所示步驟S21-S22的動作與圖9所示步驟Sll-S12的動作一樣。 接著，動作復(fù)原單元302判斷特定的參照圖像是否是幀內(nèi)解碼圖像以后的 圖像的結(jié)果，在不滿足上式(B)的情況下，即參照圖像是幀內(nèi)解碼圖像以 前解碼的圖像的情況下，向選擇單元301通知錯誤通知信號Err，作為有錯 誤。另外，動作復(fù)原單元302選擇此前解碼的解碼圖像，作為參照圖像和 解碼圖像信號(步驟S23)。艮卩，在通知錯誤通知信號Err的情況下，選擇 單元301輸出參照圖像Ref，作為解碼圖像信號Vout2，所以將此前解碼的 解碼圖像作為參照圖像變?yōu)閷⒋饲敖獯a的解碼圖像作為解碼圖像信號。另一方面，上述判斷的結(jié)果，在滿足上式(B)的情況下，參照圖像是 幀內(nèi)解碼圖像以后的圖像，所以與上述實施例2 —樣，動作復(fù)原單元302 選擇根據(jù)動作信息MV特定的參照圖像，作為用于解碼的參照圖像(步驟
S24)。下面圖12所示的步驟S25-S26的動作與圖9所示步驟S15-S16的動作 一樣。接著，加法單元504將參照圖像Ref與解碼單元201輸出的復(fù)原差分 圖像信號RecDif相加，輸出解碼圖像信號Recon。選擇單元301在未從動 作復(fù)原單元302通知錯誤通知信號Err的情況下，輸出從加法單元5(M輸 出的解碼圖像信號Recon，作為解碼圖像信號Vout2，在通知錯誤通知信號 Err的情況下，輸出從選擇單元503輸出的參照圖像Ref，作為解碼圖像信 號Vout2。 g卩，在通知錯誤通知信號Eir的情況下，原樣輸出此前解碼的解 碼圖像，作為解碼圖像信號Vout2。選擇單元505在后續(xù)圖像解碼時可將輸入的解碼圖像信號Vout2參照 為參照圖像，所以作為解碼圖像信號Recl、解碼圖像信號Rec2、解碼圖像 信號Rec3輸出到存儲器506 — 508之一。如上所述，例如由于傳送錯誤等發(fā)生參照幀內(nèi)解碼圖像前的圖像的情 況下，輸出作為象素相關(guān)最強的之前解碼圖像的參照圖像Ref，作為解碼圖 像信號Vout2，所以可將錯誤引起的圖像惡化的影響抑制到最小。另外，在上述各實施例中，因為存儲器的個數(shù)為3，所以可參照最大3 個圖像的編碼圖像，但不限于此，若增加存儲器個數(shù)，則可參照更多的編 碼圖像來進行編碼和解碼。另外，在上述各實施例中，在所述動態(tài)圖像編碼裝置1和動態(tài)圖像解 碼裝置2、 3中，分別在選擇單元402和選擇單元503的輸出側(cè)設(shè)置未圖示 的動作補償單元，進行補償象素的圖像間動作量的動作補償。另外，在上述各實施例中，在進行幀間編碼時，若存在幀內(nèi)編碼的圖 像，則對所有圖像進行限制，使不參照此前編碼的圖像作為參照圖像，但 本發(fā)明不限于此。例如，即使是幀內(nèi)編碼的圖像，也不限制不參照此前編 碼的圖像作為參照圖像，即，也可象以前那樣設(shè)置可參照此前編碼的圖像 作為參照圖像的多種幀內(nèi)編碼的圖像，必要時分開使用。此時，區(qū)別兩種 幀內(nèi)編碼圖像的信息可存儲在例如圖像編碼信號Str內(nèi)的頭信息等中。并且，上述各實施例中的計數(shù)單元102、 103的計數(shù)不是圖像的編碼和 解碼順序(Decording order),即使是圖像的顯示順序(Display order)
也無妨。(實施例3)另外，通過將實現(xiàn)上述各實施例所示動態(tài)圖像編碼方法或動態(tài)圖像解 碼方法構(gòu)成的程序記錄在軟盤等記錄媒體中，可在獨立的計算機系統(tǒng)中簡 單實施上述各實施例中所示處理。圖13是使用存儲所述實施例1和2的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法的軟盤、由計算機系統(tǒng)來實施情況下的說明圖。圖13 (b)表示從軟盤正面看的外觀、截面構(gòu)造及軟盤，圖13 (a)表 示作為記錄媒體主體的軟盤的物理格式實例。軟盤FD內(nèi)置于殼F內(nèi)，在該 盤的表面以同心圓從外周向內(nèi)周形成多個軌道Tr，沿角度方向?qū)⒏鬈壍婪?割成16個扇區(qū)Se。因此，在存儲所述程序的軟盤中，在所述軟盤FD上分 配的區(qū)域中，記錄作為所述程序的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法。另外，圖13 (c)表示在軟盤FD中記錄再現(xiàn)所述程序用構(gòu)成。在將所 述程序記錄在軟盤FD中的情況下，從計算機系統(tǒng)Cs中經(jīng)軟盤驅(qū)動器FDD 寫入作為所述程序的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法。另外，在通 過軟盤內(nèi)的程序在計算機系統(tǒng)中構(gòu)筑所述動態(tài)圖像編碼方法或動態(tài)圖像解 碼方法的情況下，由軟盤驅(qū)動器FDD從軟盤FD中讀取程序，傳送給計算機 系統(tǒng)。另外，在上述說明中，使用軟盤作為記錄媒體來進行說明，但也可使 用光盤來同樣進行。另外，記錄媒體不限于此，若是IC卡、R0M盒等可記 錄程序的媒體，則可同樣實施。這里，說明上述實施例中所示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方 法的應(yīng)用例和使用其的系統(tǒng)。圖14是表示實現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)exl00的整體構(gòu)成的框 圖。將通信服務(wù)的提供區(qū)分割成期望大小，在各小區(qū)內(nèi)分別配置作為固定 無線站的基站exl07 — ex110。該內(nèi)容提供系統(tǒng)ex100例如經(jīng)因特網(wǎng)服務(wù)提供商exl02、電話網(wǎng)exl04 禾口基站exl07 —exl10， )|每計算機exlll、PDA(personal digital assistant) exl12、攝像機exl13、便攜電話exl14、帶照相機的便攜電話exl15等各 種設(shè)備連接于因特網(wǎng)exl01上。
但是，內(nèi)容提供系統(tǒng)exl00不限于圖14的組合，也可任意組合連接。 另外，也可不經(jīng)作為固定無線站的基站exl07 — ex110而將各設(shè)備直接連接 于電話網(wǎng)exl04。攝像機exl13是數(shù)字視頻的攝像機等可拍攝動態(tài)圖像的設(shè)備。另外， 便攜電話是PDC(Personal Digital Communications)方式、CDMA (Code Division Multiple Access) 方式、W — CDMA (Wideband-Code Division Multiple Access)方式或GMS(Global System for Mobile Communications) 方式等便攜電話機，或PHS (Personal Handyphone System)等，無論是哪 種都無妨。另外，從攝像機exl13經(jīng)基站exl09、電話網(wǎng)exl04連接流服務(wù)器 exl03，可使用攝像機exl13來進行基于用戶發(fā)送的編碼處理后數(shù)據(jù)的實況 配送等。可由攝像機exl13來進行拍攝數(shù)據(jù)的編碼處理，也可由進行數(shù)據(jù) 發(fā)送處理的服務(wù)器等來進行。另外，也可將由照相機116拍攝的動態(tài)圖像 數(shù)據(jù)經(jīng)計算機exlll發(fā)送給流服務(wù)器exl03。照相機116是數(shù)字照相機等可 拍攝靜止圖像、動態(tài)圖像的設(shè)備。此時，既可由照相機exl16也可由計算 機exlll來進行動態(tài)圖像數(shù)據(jù)的編碼。另外，在計算機exlll或照相機exl16 所有的LSIexl17中處理編碼處理。也可將圖像編碼、解碼用軟件組裝在 作為可由計算機exlll讀取的記錄媒體的任何存儲媒體(CD — R0M、軟盤、 硬盤等)中。并且，也可由帶照相機的便攜電話exl15來發(fā)送動態(tài)圖像數(shù) 據(jù)。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話exl15所有的LSI進行編碼處理的 數(shù)據(jù)。在內(nèi)容提供系統(tǒng)exl00中，用戶將用攝像機ex113、照相機exl16等 拍攝的內(nèi)容(例如拍攝音樂實況的電影等)與上述實施例一樣進行編碼處 理后，發(fā)送到流服務(wù)器ex103，另一方面，流服務(wù)器exl03向有請求的客戶 機流配送上述內(nèi)容。作為客戶機，有可解碼上述編碼處理數(shù)據(jù)的計算機 exlll、 PDAexl12、攝像機exl13、便攜電話exll4等。從而，內(nèi)容提供系 統(tǒng)ex100是如下系統(tǒng)客戶機接收并再現(xiàn)編碼的數(shù)據(jù)，并且客戶機通過實 時接收、解碼和再現(xiàn)，也可實現(xiàn)個人播放。在構(gòu)成該系統(tǒng)的各設(shè)備的編碼、解碼中，也可使用上述各實施例中所 示的動態(tài)圖像編碼裝置或動態(tài)圖像解碼裝置。 以便攜電話為例進行說明。圖15是表示使用上述實施例中說明的動態(tài)圖像編碼方法和動態(tài)圖像 解碼方法的便攜電話exll5的圖。便攜電話exll5具有與基站exllO之 間收發(fā)信電波用的天線ex201、 CCD照相機等可拍攝電影、靜止圖像的照相 機部ex203、顯示解碼照相機部ex203拍攝的電影、天線ex201接收的電影 等的數(shù)據(jù)的液晶顯示器等顯示部ex202、由操作鍵ex204群構(gòu)成的主體部、 輸出聲音用的揚聲器等聲音輸出部ex208、輸入聲音用的麥克風等聲音輸入 部ex205、保存拍攝的動態(tài)圖像或靜止圖像的數(shù)據(jù)、接收的郵件數(shù)據(jù)、動態(tài) 圖像數(shù)據(jù)或靜止圖像的數(shù)據(jù)等編碼數(shù)據(jù)或解碼數(shù)據(jù)的存儲媒體ex207、可將 存儲媒體ex207安裝在便攜電話exl15中的開槽部ex206。存儲媒體ex207 在SD卡的塑料殼內(nèi)等存放作為在可電改寫或刪除的非易失性存儲器的 EEPROM (Electrically Erasable and Programmable Read Only Memory) 之一的閃存元件。用圖16來說明便攜電話exl15。便攜電話exl15經(jīng)同步總線ex313將 電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、相機接LJ 部ex303、 LCD (Liquid Crystal Display)控制部ex302、圖像解碼部ex309、 復(fù)用分離部ex308、記錄再現(xiàn)部ex307、調(diào)制解調(diào)部ex306和聲音處理部 ex305彼此連接于統(tǒng)一控制具有顯示部ex202和操作鍵ex204的主體部各部 的主控制部ex311。電源電路部ex310 —旦由于用戶操作而打開結(jié)束通話及電源鍵時，通 過從電池組向各部供電，將帶相機的數(shù)字便攜電話exl15啟動到可動作狀 態(tài)。便攜電話exl15根據(jù)由CPU、 ROM及RAM等構(gòu)成的主控制部ex311的控 制，通過聲音處理部ex305將聲音通話模式時由聲音輸入部ex205采集的 聲音信號變換為數(shù)字聲音數(shù)據(jù)，由調(diào)制解調(diào)電路部ex306進行頻譜擴展處 理，在由收發(fā)信電路部ex301進行數(shù)模變換處理及變頻處理后，經(jīng)天線 ex201發(fā)送。另外，便攜電話機exl15在放大聲音通話模式時由天線ex201 接收的接收信號，實施變頻處理及模數(shù)變換處理，由調(diào)制解調(diào)部ex306進 行頻譜逆擴展處理，通過聲音處理部ex305變換為模擬聲音信號后，經(jīng)聲 音輸出部ex208輸出。
并且，在數(shù)據(jù)通信發(fā)送電子郵件的情況下，經(jīng)操作輸入控制部ex304 將通過主體部的操作鍵ex204的操作輸入的電子郵件的文本數(shù)據(jù)發(fā)送到主 控制部ex311。主控制部ex311由調(diào)制解調(diào)電路部ex306頻譜擴展處理文本 數(shù)據(jù)，在由收發(fā)信電路部ex301實施數(shù)模變換處理及變頻處理后，經(jīng)天線 ex201發(fā)送到基站exl10。在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，將由相機部ex203拍攝的 圖像數(shù)據(jù)經(jīng)相機接口部ex203提供給圖像編碼部ex312。另外，在不發(fā)送圖 像數(shù)據(jù)的情況下，也可將由相機部ex203拍攝的圖像數(shù)據(jù)經(jīng)相機接口部 ex303及LCD控制部ex302直接顯示在顯示部ex202中。圖像編碼部ex312構(gòu)成為具備本申請中說明的圖像編碼裝置，通過上 述實施例所示圖像編碼裝置中所用的編碼方法壓縮編碼從相機部ex203提 供的圖像數(shù)據(jù)，變換為編碼圖像數(shù)據(jù)，并發(fā)送到復(fù)用分離部ex308。另外， 與此同時，便攜電話機exl15將拍攝機部ex203拍攝中由聲音輸入部ex205 采集的聲音作為數(shù)字聲音數(shù)據(jù)，經(jīng)聲音處理部ex305發(fā)送到復(fù)用分離部 ex308。復(fù)用分離部ex308按規(guī)定的方式復(fù)用從圖像編碼部ex312提供的編碼 圖像數(shù)據(jù)和從聲音處理部ex305提供的聲音數(shù)據(jù)，由調(diào)制解調(diào)電路部ex306 對結(jié)果得到的復(fù)用數(shù)據(jù)進行頻譜擴展處理，在由收發(fā)信電路部ex301實施 數(shù)模變換處理及變頻處理后，經(jīng)天線ex201發(fā)送。在接收在數(shù)據(jù)通信模式時鏈接到主頁等上的動態(tài)圖像文件數(shù)據(jù)的情況 下，由調(diào)制解調(diào)電路部ex306頻譜逆擴展處理經(jīng)天線ex201從基站exl10 接收的接收信號，將結(jié)果得到的復(fù)用數(shù)據(jù)發(fā)送到復(fù)用分離部ex30S。另外，在解碼經(jīng)天線ex201接收的復(fù)用數(shù)據(jù)中，復(fù)用分離部ex308通過分離復(fù)用數(shù)據(jù)，分為圖像數(shù)據(jù)的編碼位流和聲音數(shù)據(jù)的編碼位流，經(jīng)同 步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時，將該聲音 數(shù)據(jù)提供給聲音處理部ex305。下面，圖像解碼部ex309構(gòu)成為具備本申請中說明的圖像解碼裝置， 通過由對應(yīng)于上述實施例中所示編碼方法的解碼方法解碼圖像數(shù)據(jù)的編碼 位流，生成再現(xiàn)動態(tài)圖像數(shù)據(jù)，經(jīng)LCD控制部ex302提供給顯示部ex202， 從而，顯示包含于例如鏈接于主頁上的動態(tài)圖像文件中的動態(tài)圖像數(shù)據(jù)。
與此同時，聲音處理部ex305將聲音數(shù)據(jù)變換為模擬聲音信號后，提供給 聲音輸出部ex208,從而，再現(xiàn)包含于例如鏈接于主頁上的動態(tài)圖像文件中 的聲音數(shù)據(jù)。限于上述系統(tǒng)實例，最近的話題是通過衛(wèi)星、地面波來進行數(shù)字播放， 圖17錯誤！未發(fā)現(xiàn)參照源。也可在所示數(shù)字播放用系統(tǒng)中組裝上述實施例 的至少圖像編碼裝置或圖像解碼裝置之一。具體而言，由播放站ex409將 電影登記處的編碼位流經(jīng)電波傳送到通信或播放衛(wèi)星ex410。接收位流的描 放衛(wèi)生ex410發(fā)送播放用電波，具有衛(wèi)星播放接收設(shè)備的家庭天線ex406 接收該電波，通過電視(接收機)ex401或機頂盒(STB) ex407等裝置解 碼編碼位流后進行再現(xiàn)。另外，也可在讀取記錄在作為記錄媒體的CD或DVD 等存儲媒體ex402中的編碼位流、并解碼的再現(xiàn)裝置403中安裝上述實施 例所示的圖像解碼裝置。此時，再現(xiàn)的電影信號顯示于監(jiān)視器ex404上。 另外，還考慮構(gòu)成為在有線電視用電纜ex405或衛(wèi)星/地面波播放天線 ex406上連接的機頂盒ex407內(nèi)安裝圖像解碼裝置，由電視的監(jiān)視器ex408 來進行再現(xiàn)。此時，也可不在電視內(nèi)組裝機頂盒，而組裝圖像解碼裝置。 另外，也可是有天線ex411的車ex412從衛(wèi)星ex410或基站exl07等接收 信號，在車ex412所有的車導(dǎo)航裝置ex413等顯示裝置中再現(xiàn)動態(tài)圖像。另外，也可由上述實施例所示圖像編碼裝置編碼圖像信號，并記錄在 記錄媒體中。作為具體例，有將圖像信號記錄在DVD盤ex421中的DVD記 錄器，或記錄在硬盤中的盤記錄器等記錄器ex420。另外，也可記錄在SD 卡ex422中。若記錄器ex420具備上述實施例所示的圖像解碼裝置，則可 再現(xiàn)記錄在DVD盤ex421或SD卡ex422中的圖像信號，并由監(jiān)視器ex408 進行顯示?？紤]車導(dǎo)航裝置ex413的構(gòu)成是例如從圖16所示構(gòu)成中去除相機部 ex203和相機接口部ex303、圖像編碼部ex312的構(gòu)成，同樣也可考慮計算 機exlll或電視(接收器)ex401等。另外，上述便攜電話exll4等的終端除具有編碼器、解碼器兩者的收 發(fā)信型終端外，還考慮僅有編碼器的發(fā)送終端、僅有解碼器的接收終端等3 種安裝形式。因此，可將上述實施例所示動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用
于上述之一的設(shè)備、系統(tǒng)中，從而，可得到上述實施例中說明的效果。另外，上述實施例中所示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法在例如中途再現(xiàn)記錄在DVD、 SD卡、存儲器等記錄媒體中的流數(shù)據(jù)的情況下 也有效。從上述說明可知，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，以圖像單位來編碼動態(tài)圖像，其特征在于包括特定步驟，從存儲器中存儲的多個圖像 中，特定在幀內(nèi)編碼的圖像以后被編碼的1個圖像，作為參照圖像；編碼步驟，從所述存儲器中讀取特定的參照圖像，算出作為讀取的參照圖像與被編碼圖像之差分的差分圖像信號，編碼得到的差分圖像信號；和存儲步 驟，解碼編碼的所述差分圖像信號，與所述參照圖像的圖像信號相加，并 將得到的圖像存儲在所述存儲器中。因為不進行將幀內(nèi)編碼圖像之前的圖像參照為參照圖像的編碼，所以 可從圖像編碼信號的中途幀內(nèi)編碼圖像進行再現(xiàn)。另外，即使在流中發(fā)生 錯誤的情況下，也可生成作為可無錯誤再現(xiàn)幀內(nèi)編碼圖像以后圖像的流的 圖像編碼信號。從而，存儲媒體從重要的中途再現(xiàn)或無線、有線傳送時重 要的傳送時的錯誤耐性方面的優(yōu)點擴大，實際應(yīng)用好。另外，根據(jù)本發(fā)明的動態(tài)圖像解碼方法，以圖像單位來解碼動態(tài)圖像， 其特征在于包括解碼步驟，解碼輸入的圖像編碼信號；特定步驟，從 存儲器中存儲的多個圖像中，特定幀內(nèi)解碼圖像以后解碼的1個圖像，作 為參照圖像；和存儲步驟，從所述存儲器中讀取特定的參照圖像，將讀取 的參照圖像的圖像信號與解碼的被解碼圖像的差分圖像信號相加，將得到 的圖像輸出到外部，同時，存儲在所述存儲器中。由此，可僅將幀內(nèi)解碼圖像以后的圖像參照為參照圖像，正確解碼編 碼的圖像編碼信號，得到解碼圖像信號，并可從圖像編碼信號途中的幀內(nèi) 編碼圖像進行再現(xiàn)。另外，即使在流中產(chǎn)生錯誤的情況下，也可無錯誤再 現(xiàn)幀內(nèi)編碼的圖像以后的圖像。產(chǎn)業(yè)上的可利用性如上所述，根據(jù)本發(fā)明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法在途 中再現(xiàn)記錄在便攜電話、DVD裝置、個人計算機等使用的例如DVD、 SD卡、 存儲器等存儲媒體中的流數(shù)據(jù)的情況等中有用。
權(quán)利要求
1、一種編碼方法，對動態(tài)圖像進行編碼，其特征在于所述編碼方法包括幀內(nèi)編碼方法和幀間編碼方法，在對通過所述幀間編碼方法將要被編碼的幀間編碼圖像進行編碼時，可以將是以顯示順序位于所述幀間編碼圖像之前的圖像、且是以顯示順序位于通過所述幀內(nèi)編碼方法將要被編碼的圖像之前的圖像選擇為參照圖像，所述編碼方法，包括指定步驟，將所述幀內(nèi)編碼圖像，指定為在限制參照圖像時成為基準的基準圖像；以及編碼步驟，在所述指定步驟中所述幀內(nèi)編碼圖像被指定為基準圖像的情況下，針對在所述基準圖像以后將要被編碼的幀間編碼圖像，只將在所述指定步驟中被指定了的所述基準圖像以后被編碼了的圖像選擇為參照圖像，禁止在參照在所述基準圖像之前被編碼了的圖像的狀況下，對示出所述幀內(nèi)編碼圖像被指定為在限制參照圖像時成為基準的基準圖像的信息進行編碼，在所述指定步驟中所述幀內(nèi)編碼圖像未被指定為所述基準圖像的情況下，針對在未被指定為所述基準圖像以后的幀內(nèi)編碼圖像以后將要被編碼的幀間編碼圖像，不禁止將以顯示順序位于所述未被指定的幀內(nèi)編碼圖像之前的圖像選擇為參照圖像，并且對示出所述幀內(nèi)編碼圖像未被指定為所述基準圖像的信息進行編碼。
2、 一種編碼裝置，對動態(tài)圖像進行編碼，其特征在于 所述編碼裝置包括幀內(nèi)編碼單元和幀間編碼單元，在通過所述幀間編碼單元將要被編碼的幀間編碼圖像的編碼吋，可以 將是以顯示順序位于所述幀間編碼圖像之前的圖像、且是以顯示順序位于 通過所述幀內(nèi)編碼方法將要被編碼的圖像之前的圖像選擇為參照圖像，所述編碼裝置，包括指定單元，將所述幀內(nèi)編碼圖像，指定為在限制參照圖像時成為基準的基準圖像；以及編碼單元，在所述指定單元中所述幀內(nèi)編碼圖像被指定為基準圖像的 情況下，針對在所述基準圖像以后將要被編碼的幀間編碼圖像，只將在所 述指定單元中被指定了的所述基準圖像以后被編碼了的圖像選擇為參照圖 像，禁止在參照在所述基準圖像之前被編碼了的圖像的狀況下，對示出所 述幀內(nèi)編碼圖像被指定為在限制參照圖像時成為基準的基準圖像的信息進 行編碼，在所述指定單元中所述幀內(nèi)編碼圖像未被指定為所述基準圖像的情況 下，針對在未被指定為所述基準圖像以后的幀內(nèi)編碼圖像以后將要被編碼 的幀間編碼圖像，不禁止將以顯示順序位于所述未被指定的幀內(nèi)編碼圖像 之前的圖像選擇為參照圖像，并且對示出所述幀內(nèi)編碼圖像未被指定為所 述基準圖像的信息進行編碼。
全文摘要
動態(tài)圖像編碼方法及動態(tài)圖像解碼方法，動態(tài)圖像編碼裝置(1)具備計數(shù)單元(102)，進行從幀內(nèi)編碼圖像開始的圖像數(shù)的計數(shù)；和檢測單元(101)，根據(jù)作為計數(shù)單元(102)的計數(shù)結(jié)果的可參照圖像數(shù)Num，僅將從存儲在存儲器(408-410)中的參照圖像(Ref1)、參照圖像(Ref2)、參照圖像(Ref3)中幀內(nèi)編碼以后的參照圖像作為對象，通過分別與圖像信號Vin相比較，確定像素間差值大小最小的參照圖像。
文檔編號H04N7/32GK101399985SQ20081016923
公開日2009年4月1日 申請日期2002年10月2日 優(yōu)先權(quán)日2001年10月17日
發(fā)明者羽飼誠, 近藤敏志, 野真也 申請人:松下電器產(chǎn)業(yè)株式會社