專利名稱：動(dòng)態(tài)圖像預(yù)測(cè)方法、編碼方法及裝置、解碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及動(dòng)態(tài)圖像中像素值的預(yù)測(cè)方法，特別是涉及根據(jù)2幅圖像(picture)進(jìn)行時(shí)間上的換算(scaling)處理的預(yù)測(cè)方法等。
背景技術(shù)：
在動(dòng)態(tài)圖像編碼中，一般利用動(dòng)態(tài)圖像的空間方向及時(shí)間方向的冗余性進(jìn)行信息量的壓縮。這里作為利用時(shí)間方向的冗余性的方法，使用圖像間預(yù)測(cè)編碼。在圖像間預(yù)測(cè)編碼中，在對(duì)某幅圖像進(jìn)行編碼時(shí)，以時(shí)間上位于前方或后方的某幅圖像作為參照?qǐng)D像。然后，檢測(cè)出該參照?qǐng)D像的移動(dòng)量，除去進(jìn)行了移動(dòng)補(bǔ)償?shù)膱D像和編碼對(duì)象的圖像之間的差分值在空間方向上的冗余度，由此進(jìn)行信息量的壓縮。
這種動(dòng)態(tài)圖像編碼方式將不進(jìn)行圖像間預(yù)測(cè)編碼，即進(jìn)行圖像內(nèi)編碼的圖像稱作I圖像。這里圖像的意思是表示包含幀及半幀兩者在內(nèi)的1個(gè)編碼單位。并且，將參照已經(jīng)處理完畢的1張圖像進(jìn)行圖像間預(yù)測(cè)編碼的圖像稱作P圖像，將參照已經(jīng)處理完畢的2張圖像進(jìn)行圖像間預(yù)測(cè)編碼的圖像稱作B圖像。
但是，B圖像通過(guò)以2張圖像為基礎(chǔ)進(jìn)行換算處理(根據(jù)圖像的間隔進(jìn)行比例計(jì)算)，由此預(yù)測(cè)像素值(也叫做加權(quán)預(yù)測(cè))或計(jì)算移動(dòng)矢量。圖像的間隔有例如圖像擁有的時(shí)間信息的差，分配給每幅圖像的圖像編號(hào)的差，表示圖像的顯示順序的信息的差等。
圖1表示以2張參照?qǐng)D像為基礎(chǔ)進(jìn)行加權(quán)預(yù)測(cè)，由此計(jì)算出B圖像的預(yù)測(cè)像素值的過(guò)程的現(xiàn)有技術(shù)的一個(gè)例子。如此圖所示，B圖像的預(yù)測(cè)像素值P由使用了2張參照?qǐng)D像塊1及2的像素值P0及P1進(jìn)行的加權(quán)加算決定。式中的加權(quán)系數(shù)a及b例如都是1/2。
圖2及圖3表示的是以2張參照?qǐng)D像(塊1及2)為基礎(chǔ)進(jìn)行換算，由此計(jì)算出B圖像(編碼對(duì)象塊)的預(yù)測(cè)像素值的過(guò)程的其他例子(參照例如Joint Video Team(JVT)of ISO/IEC and ITU-T VCEG JointCommittee Draft 2002-05-10、JVT-C167 11.)。這里，圖2表示的是B圖像(編碼對(duì)象塊)參照前方的圖像(塊1)和后方的圖像(塊2)時(shí)的例子；圖3表示的是B圖像(編碼對(duì)象塊)參照2個(gè)前方的圖像(塊1及塊2)時(shí)的例子。圖中的W0及W1是換算處理(這里是進(jìn)行像素值的加權(quán)預(yù)測(cè))中的加權(quán)系數(shù)，分別是乘以塊1的像素值的加權(quán)系數(shù)，和乘以塊2的像素值的加權(quán)系數(shù)，用以下的公式表示。
W0＝(128×(T1-T))/(T1-T0) (式1)W1＝(128×(T-T0))/(T1-T0) (式2)這里，T、T0、T1分別表示附加到編碼對(duì)象塊、前方向的參照塊1、后方向的參照塊的時(shí)間(記時(shí)標(biāo)記等)。
此時(shí)，對(duì)象塊的預(yù)測(cè)像素值P由以下的公式算出。
(式3)這里， 是指向右的位移。即， 表示[÷(2的7次方)]的意思。所述式3是像素值表示亮度信號(hào)的值的情況，在像素值表示色差的情況下，用以下的公式表示。
(式4)圖4表示使用了這些公式的具體的計(jì)算順序的流程圖。在獲取時(shí)刻T、T1、T0之后(步驟S401)，判斷時(shí)刻T1與T0是否相等，即式1及式2中所示加權(quán)系數(shù)W0及W1的式中的分母是否為0(步驟S402)，如果為0(步驟S402中為Yes)，則設(shè)定加權(quán)系數(shù)W0及W1為128(步驟S403)，如果不為0(步驟S402中為NO)，則由所述式1及式2計(jì)算出加權(quán)系數(shù)W0及W1(步驟S404)，最后使用這些加權(quán)系數(shù)W0及W1、參照塊1的像素值P0及參照塊2的像素值P1，根據(jù)所述式3或式4計(jì)算出編碼對(duì)象塊的預(yù)測(cè)像素值P(步驟S405)。這樣，通過(guò)使用2個(gè)參照塊的像素值進(jìn)行時(shí)間上的換算，計(jì)算出編碼對(duì)象塊的預(yù)測(cè)像素值。
但是，在這樣的時(shí)間上的換算處理中，如所述式1及式2所示，為了計(jì)算出加權(quán)系數(shù)必須進(jìn)行除法運(yùn)算，與乘法運(yùn)算相比，除法運(yùn)算所需的資源非常大，所以一般事先計(jì)算除數(shù)的倒數(shù)并存儲(chǔ)在查閱表等內(nèi)，用該倒數(shù)進(jìn)行乘法運(yùn)算代替進(jìn)行除法運(yùn)算。
雖然在圖1、圖2及圖3中塊1及塊2都設(shè)定為P圖像，但也可以設(shè)定為I圖像或B圖像，并不只局限于P圖像。
但是，在使用預(yù)先計(jì)算的倒數(shù)的方法中，在計(jì)算加權(quán)系數(shù)的公式中除數(shù)的種類很多的情況下，預(yù)先計(jì)算的倒數(shù)的種類也隨之增多。例如，式1、式2所示T0及T1所得值分別為30種的話，單純計(jì)算900種的除法運(yùn)算所需的倒數(shù)計(jì)算的運(yùn)算量就會(huì)變得非常大。而且，還存在有必要增大存儲(chǔ)倒數(shù)的查閱表等存儲(chǔ)容量的問(wèn)題。
并且，所述式1及式2中的分母(加權(quán)系數(shù)的除數(shù))越小的話，加權(quán)系數(shù)(商)就會(huì)變得非常大，例如，會(huì)出現(xiàn)預(yù)測(cè)像素值超過(guò)能夠用16位表示的值的問(wèn)題。因此，例如會(huì)出現(xiàn)有必要進(jìn)行32位的運(yùn)算的可能，且運(yùn)算中增加必要的運(yùn)算精度(有效運(yùn)算位數(shù))，所以會(huì)導(dǎo)致運(yùn)算裝置的規(guī)模變大。

發(fā)明內(nèi)容
本發(fā)明就是鑒于以上情況，目的在于提供在用時(shí)間上的換算處理進(jìn)行動(dòng)態(tài)圖像的預(yù)測(cè)中，在預(yù)先計(jì)算所用除數(shù)的倒數(shù)并將其存儲(chǔ)在存儲(chǔ)器中的情況下，存儲(chǔ)器的容量很小就可以的動(dòng)態(tài)圖像預(yù)測(cè)方法等。
并且，本發(fā)明的目的還在于提供在用時(shí)間上的換算處理進(jìn)行動(dòng)態(tài)圖像的預(yù)測(cè)中，不用增大運(yùn)算中必要的有效運(yùn)算位數(shù)，小規(guī)模的運(yùn)算就可以的動(dòng)態(tài)圖像預(yù)測(cè)方法。
技術(shù)方案為了達(dá)到所述目的，本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法是根據(jù)2張參照?qǐng)D像的像素值預(yù)測(cè)構(gòu)成動(dòng)態(tài)圖像的圖像像素值的方法，其特征在于，包括以下步驟算出與預(yù)測(cè)對(duì)象圖像和第1參照?qǐng)D像的間隔相對(duì)應(yīng)的第1參數(shù)的第1參數(shù)計(jì)算步驟；算出與所述第1參照?qǐng)D像和第2參照?qǐng)D像的間隔相對(duì)應(yīng)的第2參數(shù)的第2參數(shù)計(jì)算步驟；判斷根據(jù)所述第1參數(shù)及所述第2參數(shù)算出的第3參數(shù)是否包含在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的第1判斷步驟；在所述第1判斷步驟的判斷結(jié)果是所述第3參數(shù)包含在所述預(yù)定范圍內(nèi)的情況下，根據(jù)所述第1參數(shù)、所述第2參數(shù)、所述第1參照?qǐng)D像及第2參照?qǐng)D像的像素值進(jìn)行換算，由此計(jì)算出所述預(yù)測(cè)對(duì)象圖像的像素值的第1預(yù)測(cè)步驟；在所述第1判斷步驟的判斷結(jié)果是所述第3參數(shù)不包含在所述預(yù)定范圍內(nèi)的情況下，根據(jù)預(yù)先設(shè)定的預(yù)定值、所述第1參照?qǐng)D像及第2參照?qǐng)D像的像素值進(jìn)行換算，由此計(jì)算出所述預(yù)測(cè)對(duì)象圖像的像素值的第2預(yù)測(cè)步驟。
這里，換算處理是求得從2張參照?qǐng)D像的像素值中計(jì)算預(yù)測(cè)對(duì)象圖像的像素值時(shí)的各個(gè)加權(quán)系數(shù)的處理。
由此，在換算處理中的加權(quán)系數(shù)的值之一的第3參數(shù)中設(shè)置限制，加權(quán)系數(shù)在預(yù)定范圍內(nèi)的情況下，進(jìn)行使用該加權(quán)系數(shù)的換算處理，加權(quán)系數(shù)在規(guī)定范圍之外的情況下，將加權(quán)系數(shù)作為預(yù)定值，進(jìn)行使用該加權(quán)系數(shù)的換算處理，所以當(dāng)求預(yù)測(cè)對(duì)象圖像的像素值的時(shí)，通常能夠利用預(yù)定的有效位數(shù)進(jìn)行計(jì)算。
并且，所述動(dòng)態(tài)圖像預(yù)測(cè)方法最好還包括判斷所述第1參數(shù)是否包含在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的第2判斷步驟，在所述第2判斷步驟的判斷結(jié)果位所述第1參數(shù)不包含在所述預(yù)定范圍內(nèi)的時(shí)，進(jìn)行所述第2預(yù)測(cè)步驟中的預(yù)測(cè)。
由此，在成為換算處理中除數(shù)的值的第1參數(shù)中設(shè)置限制，在除數(shù)是預(yù)定范圍內(nèi)的值的情況下，再判斷由該除數(shù)特定的加權(quán)系數(shù)是否包含在預(yù)定范圍內(nèi)并進(jìn)行如上所述的處理；而在除數(shù)超過(guò)規(guī)定范圍的情況下，由此將預(yù)先設(shè)定的值作為加權(quán)系數(shù)進(jìn)行換算處理，所以在求預(yù)測(cè)對(duì)象圖像的像素值時(shí)，能夠減小計(jì)算除數(shù)的倒數(shù)的運(yùn)算量及用于存儲(chǔ)的存儲(chǔ)量。
并且，所述動(dòng)態(tài)圖像預(yù)測(cè)方法最好還包包括判斷所述第2參數(shù)是否包含在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的第3判斷步驟，在所述第3判斷步驟的判斷結(jié)果為所述第2參數(shù)不包含在所述預(yù)定范圍內(nèi)的情況下，進(jìn)行所述第2預(yù)測(cè)步驟中的預(yù)測(cè)。
由此，在成為換算處理中乘數(shù)的值的第2參數(shù)中設(shè)置限制，在乘數(shù)是預(yù)定范圍內(nèi)的值的情況下，再判斷由乘數(shù)特定的加權(quán)系數(shù)是否包含在預(yù)定范圍內(nèi)并進(jìn)行上述處理；而在乘數(shù)超過(guò)規(guī)定范圍的情況下，則將預(yù)先設(shè)定的值作為加權(quán)系數(shù)進(jìn)行換算處理，所以在求預(yù)測(cè)對(duì)象圖像的像素值時(shí)，能夠減小計(jì)算的運(yùn)算量。
本發(fā)明不僅能夠?qū)崿F(xiàn)這種動(dòng)態(tài)圖像預(yù)測(cè)方法，而且能夠?qū)崿F(xiàn)將包含在這種動(dòng)態(tài)圖像預(yù)測(cè)方法中的步驟作為單元的動(dòng)態(tài)圖像預(yù)測(cè)裝置，或者實(shí)現(xiàn)進(jìn)行這樣的動(dòng)態(tài)圖像預(yù)測(cè)方法的動(dòng)態(tài)圖像編碼方法·裝置及動(dòng)態(tài)圖像解碼方法·裝置，還能夠?qū)崿F(xiàn)使那些步驟在計(jì)算機(jī)中執(zhí)行的程序。而且，這種程序還能夠通過(guò)CD-ROM等記錄媒體及因特網(wǎng)等傳播媒體進(jìn)行發(fā)送。
如通過(guò)以上所述說(shuō)明能夠明白的那樣，用本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法能夠提高使用了2張參照?qǐng)D像的換算處理的效率。由此，可以削減伴隨換算處理的計(jì)算量和存儲(chǔ)容量。
即，在生成預(yù)測(cè)像素值和移動(dòng)矢量的過(guò)程中，削減了加權(quán)系數(shù)的計(jì)算中為避免除法運(yùn)算而必需的倒數(shù)運(yùn)算的次數(shù)和保存倒數(shù)的查閱表等的存儲(chǔ)器的尺寸。并且，在預(yù)定的有效位數(shù)(如，16位)內(nèi)進(jìn)行換算處理，可以避免電路規(guī)模的龐大化。
發(fā)明效果如以上所述，本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼方法及動(dòng)態(tài)圖像解碼方法作為用例如移動(dòng)電話機(jī)、DVD裝置及微型計(jì)算機(jī)等生成預(yù)測(cè)像素值、或者編碼構(gòu)成動(dòng)態(tài)圖像的各幅圖像并生成代碼串、或者解碼生成的代碼串的方法有用。


圖1表示通過(guò)根據(jù)2張參照?qǐng)D像進(jìn)行加權(quán)系數(shù)預(yù)測(cè)，計(jì)算B圖像的預(yù)測(cè)像素值過(guò)程的現(xiàn)有技術(shù)的一個(gè)例子的2表示B圖像(編碼對(duì)象塊)參照前方向的圖像(塊1)和后方向的圖像(塊2)情況下的例子的3表示B圖像(編碼對(duì)象塊)參照2張前方向的圖像(塊1及塊2)的情況下的例子的4表示歷來(lái)的加權(quán)預(yù)測(cè)過(guò)程的流程5表示使用了本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法的動(dòng)態(tài)圖像編碼裝置的一個(gè)實(shí)施形態(tài)的構(gòu)成的方框6表示圖5中由移動(dòng)補(bǔ)償編碼單元進(jìn)行的加權(quán)預(yù)測(cè)的處理過(guò)程的流程7表示能有效地削減用來(lái)避免加權(quán)系數(shù)計(jì)算中的除法運(yùn)算所必需的查閱表的大小的處理過(guò)程的流程8表示圖7中判斷處理(步驟S70)的具體例子的流程9表示按預(yù)定的有效位數(shù)進(jìn)行加權(quán)預(yù)測(cè)的處理過(guò)程的流程10表示圖9中判斷處理(步驟S90)的具體例子的流程11表示使用了本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法的動(dòng)態(tài)圖像解碼裝置的一個(gè)實(shí)施形態(tài)的構(gòu)成的方框12使用存儲(chǔ)有為實(shí)現(xiàn)實(shí)施形態(tài)1的動(dòng)態(tài)圖像編碼裝置或?qū)嵤┬螒B(tài)2的動(dòng)態(tài)圖像解碼裝置的構(gòu)成的程序的軟盤，通過(guò)計(jì)算機(jī)系統(tǒng)實(shí)施的情況下的說(shuō)明13表示實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容供給系統(tǒng)的全體構(gòu)成的方框14表示使用了本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼裝置及圖像解碼裝置的移動(dòng)電話機(jī)的示例15表示本發(fā)明的移動(dòng)電話機(jī)的構(gòu)成的方框16表示本發(fā)明的數(shù)字播放用系統(tǒng)的全體構(gòu)成的方框圖本發(fā)明的最佳實(shí)施形態(tài)下面參照附圖詳細(xì)說(shuō)明本發(fā)明的動(dòng)態(tài)圖像的預(yù)測(cè)方法。
(實(shí)施形態(tài)1)圖5為表示使用了本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法的動(dòng)態(tài)圖像編碼裝置的一個(gè)實(shí)施形態(tài)的構(gòu)成的方框圖。
圖像編碼裝置包括圖像存儲(chǔ)器101、預(yù)測(cè)殘差編碼單元102、代碼串生成單元103、預(yù)測(cè)殘差解碼單元104、圖像存儲(chǔ)器105、移動(dòng)矢量檢測(cè)單元106、移動(dòng)補(bǔ)償編碼單元107、移動(dòng)矢量?jī)?chǔ)存單元108、差分運(yùn)算器110、加法運(yùn)算器111及開關(guān)112、113。
圖像存儲(chǔ)器101存儲(chǔ)有按顯示時(shí)間順序并以圖像單位輸入的動(dòng)態(tài)圖像。移動(dòng)矢量檢測(cè)單元106將編碼完畢的解碼圖像數(shù)據(jù)作為參照?qǐng)D像使用，并進(jìn)行表示在圖像內(nèi)的探索區(qū)域中預(yù)測(cè)為最適合位置的移動(dòng)矢量的檢測(cè)。
移動(dòng)補(bǔ)償編碼單元107使用由移動(dòng)矢量檢測(cè)單元106檢測(cè)出來(lái)的移動(dòng)矢量決定塊(block)的編碼模式，并根據(jù)此編碼模式生成預(yù)測(cè)圖像數(shù)據(jù)(預(yù)測(cè)像素值)。例如，在使用2張參照?qǐng)D像的圖像間預(yù)測(cè)編碼模式下，移動(dòng)補(bǔ)償編碼單元107使用由移動(dòng)矢量檢測(cè)單元106檢測(cè)出來(lái)的移動(dòng)矢量，從2張參照?qǐng)D像中求出2個(gè)參照塊的像素值，并生成預(yù)測(cè)圖像數(shù)據(jù)。即，通過(guò)本發(fā)明的特征的換算處理進(jìn)行像素值的加權(quán)預(yù)測(cè)，并由2個(gè)參照塊的像素值求出處理對(duì)象塊的像素值。并且，移動(dòng)補(bǔ)償編碼單元107擁有將與第1參照?qǐng)D像及第2參照?qǐng)D像之間的間隔相對(duì)應(yīng)的值(限制在預(yù)定范圍內(nèi)的值)與其倒數(shù)對(duì)應(yīng)起來(lái)并存儲(chǔ)的查閱表，參照此查閱表進(jìn)行換算處理。
移動(dòng)矢量?jī)?chǔ)存單元108存儲(chǔ)由移動(dòng)矢量檢測(cè)單元106檢測(cè)出來(lái)的移動(dòng)矢量。存儲(chǔ)在該移動(dòng)矢量?jī)?chǔ)存單元108中的移動(dòng)矢量，在例如對(duì)參照?qǐng)D像擁有的移動(dòng)矢量進(jìn)行換算處理，并預(yù)測(cè)處理對(duì)象塊的移動(dòng)矢量的時(shí)間上的直接模式時(shí)被參照。差分運(yùn)算器110對(duì)從圖像存儲(chǔ)器101中讀出的圖像數(shù)據(jù)和從移動(dòng)補(bǔ)償編碼單元107中輸入的預(yù)測(cè)圖像數(shù)據(jù)之間的差分進(jìn)行運(yùn)算，并生成預(yù)測(cè)殘差圖像數(shù)據(jù)。
預(yù)測(cè)殘差編碼單元102對(duì)輸入的預(yù)測(cè)殘差圖像進(jìn)行頻率變換及量化等編碼處理，并生成編碼數(shù)據(jù)。代碼串生成單元103對(duì)輸入編碼數(shù)據(jù)進(jìn)行可變長(zhǎng)編碼等處理，并通過(guò)附加從移動(dòng)補(bǔ)償編碼單元107輸入的移動(dòng)矢量的信息、及編碼模式的信息等生成代碼串。
預(yù)測(cè)殘差解碼單元104對(duì)輸入的編碼數(shù)據(jù)進(jìn)行逆量化和逆頻率變換等解碼處理，并生成解碼差分圖像數(shù)據(jù)。加法運(yùn)算器111將由預(yù)測(cè)殘差解碼單元104輸入的解碼差分圖像數(shù)據(jù)和由移動(dòng)補(bǔ)償編碼單元107輸入的預(yù)測(cè)圖像數(shù)據(jù)進(jìn)行相加運(yùn)算，生成解碼圖像數(shù)據(jù)。圖像存儲(chǔ)器105存儲(chǔ)生成的解碼圖像數(shù)據(jù)。
下面對(duì)以上構(gòu)成的動(dòng)態(tài)圖像編碼裝置的特征動(dòng)作進(jìn)行說(shuō)明。這里作為一個(gè)例子，將參照?qǐng)D2及圖3，對(duì)由移動(dòng)補(bǔ)償編碼單元107生成B圖像的預(yù)測(cè)像素值，即加權(quán)預(yù)測(cè)進(jìn)行說(shuō)明。
移動(dòng)補(bǔ)償編碼單元107根據(jù)以下的公式計(jì)算編碼對(duì)象塊的預(yù)測(cè)像素值。
(式5)
這里BWD及LWD是通過(guò)以下的式6～式9特定的值。
(式6)這里 的意思是指向左方向的位移。即， 表示的是[×(2的7次方)]。
(式7)這里函數(shù)Ceil(x)是將x取x以上且離x最近的整數(shù)的函數(shù)。函數(shù)abs(x)是表示返回x的絕對(duì)值的函數(shù)。
(式8)LWD＝7-LWDO(式9)如式7所示，LWDO表示的是 的整數(shù)值的位數(shù)。
如以上各式所示，在本實(shí)施形態(tài)中，像素值若以8位表現(xiàn)的話，上述式6、式7、式8、式9的運(yùn)算全部為16位的運(yùn)算。因此，保證上述式5所示的換算處理在16位的有效位數(shù)的范圍內(nèi)進(jìn)行。即，通過(guò)上述式8對(duì)加權(quán)系數(shù)進(jìn)行限制，使上述式5中的乘法運(yùn)算不超過(guò)16位的有效位數(shù)。由此，B圖像的加權(quán)預(yù)測(cè)一般在16位的有效位數(shù)內(nèi)實(shí)現(xiàn)。并且，為了削減處理量，也可以預(yù)先計(jì)算好BWD及LWD并存儲(chǔ)在位于圖像或片段(slice)的開始時(shí)刻的查閱表等內(nèi)。
在本實(shí)施形態(tài)中，為了削減計(jì)算加權(quán)系數(shù)的計(jì)算次數(shù)，除上數(shù)限制外，也可以使用其他的限制。這種限制可以是，在塊1的參照?qǐng)D像不是第2參照表(list1)中的最初參照?qǐng)D像的情況下，使用默認(rèn)的加權(quán)系數(shù)。這里第2參照表中的最初的參照?qǐng)D像是第2參照表附加中索引為0的參照?qǐng)D像。
這里，參照表是為確定參照?qǐng)D像用的相對(duì)的編號(hào)(索引)列，為了確定B圖像參照的2張圖像，使用第1參照表和第2參照表。第1參照表是第1個(gè)移動(dòng)矢量的參照表，通常用于前方預(yù)測(cè)，第2參照表是第2個(gè)移動(dòng)矢量的參照表，通常用于后方預(yù)測(cè)。索引通常將小的編號(hào)分配給與對(duì)象圖像和像素相關(guān)大的參照?qǐng)D像，最小的編號(hào)是0。并且，加權(quán)系數(shù)的默認(rèn)值最好是BWD＝1，LWD＝1。但是，在LWDO取比7大的值的情況下，也可以設(shè)定不同的默認(rèn)值，如BWD＝1、LWD＝0。
圖6為表示由移動(dòng)補(bǔ)償編碼單元107進(jìn)行加權(quán)預(yù)測(cè)的處理過(guò)程的流程圖。首先，獲取P0、P1、T、T0、T1(S501)，判斷塊2所屬的參照?qǐng)D像是否是第2參照表中的最初的參照?qǐng)D像(即，list1中的索引0)(步驟S502)。
當(dāng)結(jié)果為塊2所屬的參照?qǐng)D像不是第2參照表中最初的參照?qǐng)D像時(shí)(步驟S502中為No)，加權(quán)系數(shù)被設(shè)定為第1的默認(rèn)值(步驟S504)。這里“加權(quán)系數(shù)被設(shè)定為第1的默認(rèn)值”的意思是BWD＝1，LWD＝1。
而當(dāng)塊2所屬的參照?qǐng)D像是參照表中的最初的參照?qǐng)D像時(shí)(步驟S502中為Yes)，則判斷時(shí)刻T1和T0是否相等(步驟S503)。如果結(jié)果為T1和T0相等(步驟S503中為Yes)，則加權(quán)系數(shù)被設(shè)定為第1的默認(rèn)值(步驟S504)；當(dāng)T1和T0不相等時(shí)(步驟S503中為No)，則根據(jù)上述式6及式7計(jì)算出BWDO及LWDO(步驟S505)。
接下來(lái)，判斷LWDO是否比7大(步驟S506)，如果比7大(步驟S506中Yes)，則加權(quán)系數(shù)被設(shè)定為第2的默認(rèn)值(步驟S507)。這里“加權(quán)系數(shù)被設(shè)定為第2的默認(rèn)值”的意味著BWD＝1，LWD＝0。而當(dāng)LWDO比7小時(shí)(步驟S506中No)，根據(jù)上述式8及式9計(jì)算出BWD及LWD(步驟S508)。
之后，使用經(jīng)以上步驟決定的BWD及LWD，根據(jù)上述式5計(jì)算出編碼對(duì)象塊的預(yù)測(cè)像素值P(步驟S509)。
這樣，上述限制(步驟S502、S503、S504、S506、S507)，即在滿足一定條件的情況下將加權(quán)系數(shù)固定為預(yù)定值，因此計(jì)算的次數(shù)及加權(quán)系數(shù)用的查閱表必需的存儲(chǔ)量與歷來(lái)相比，都極小。并且，必要的除法運(yùn)算的次數(shù)與存儲(chǔ)在查閱表中的加權(quán)系數(shù)的個(gè)數(shù)減1的值相等。這是因?yàn)椴殚啽眄?xiàng)目的殘余部分用于默認(rèn)值的加權(quán)系數(shù)。即，只有一部分的加權(quán)系數(shù)通過(guò)計(jì)算求出。
另外，以上的加權(quán)預(yù)測(cè)不僅在像素值表示亮度的情況下成立，在表示色差的情況下也成立。例如，對(duì)于B圖像中色差的塊的加權(quán)系數(shù)可以在上述式5中使用與式3相同的128的偏移(オフセツト)計(jì)算出色差的預(yù)測(cè)值。由此，對(duì)色差的像素值進(jìn)行的換算與歷來(lái)?yè)Q算相比，也大大削減了計(jì)算量。
如以上所述，通過(guò)本實(shí)施形態(tài)中的動(dòng)態(tài)圖像編碼裝置，使用2個(gè)參照塊的換算處理提高了效率。而且，作為削減計(jì)算量的效果，不僅可以用于動(dòng)態(tài)圖像編碼裝置，也可以用于動(dòng)態(tài)圖像解碼裝置。
雖然在本實(shí)施形態(tài)中描述的是同時(shí)實(shí)現(xiàn)為避免加權(quán)系數(shù)計(jì)算中的除法運(yùn)算削減必需的查閱表的大小，和在預(yù)定的有效位數(shù)中進(jìn)行加權(quán)預(yù)測(cè)的方法，但本發(fā)明未必就局限于同時(shí)發(fā)揮兩者效果的實(shí)現(xiàn)方法。下面說(shuō)明分別單獨(dú)實(shí)現(xiàn)削減查閱表的大小和在預(yù)定的有效位數(shù)中進(jìn)行加權(quán)預(yù)測(cè)的方法。
并且，雖然上文所述是通過(guò)位移在預(yù)定的有效位數(shù)中進(jìn)行加權(quán)預(yù)測(cè)的方法，但對(duì)于BWD及LWD也可以使用固定值。通過(guò)使BWD及LWD為固定值，雖然加權(quán)系數(shù)會(huì)出現(xiàn)超過(guò)預(yù)定的有效位數(shù)的情況，但在這種情況下如以下說(shuō)明的那樣使用預(yù)定的加權(quán)系數(shù)。
圖7為表示有效地削減為避免加權(quán)系數(shù)計(jì)算中的除法運(yùn)算而必需的查閱表的大小的處理過(guò)程的流程圖。
首先，在進(jìn)行圖2或圖3所示的B圖像的加權(quán)預(yù)測(cè)之際，移動(dòng)補(bǔ)償編碼單元107判斷是否有必要生成與時(shí)刻T、T1、T0的值相對(duì)應(yīng)的預(yù)測(cè)值(步驟S70)。如果結(jié)果判斷為有必要(步驟S70中為Yes)，則與通常一樣根據(jù)上述式1～式3生成與這些時(shí)刻T、T1、T0相對(duì)應(yīng)的預(yù)測(cè)值(步驟S72)。而在判斷沒有必要的情況下(步驟S70中為No)，則分別將兩個(gè)加權(quán)系數(shù)W0及W1設(shè)定為1/2，根據(jù)上述式3生成預(yù)測(cè)值(步驟S71)。
圖8為表示圖7中的判斷處理(步驟S70)的具體例子的流程圖。
在圖8(a)中，移動(dòng)補(bǔ)償編碼單元107根據(jù)時(shí)刻T1的索引(與時(shí)刻T1對(duì)應(yīng)的參照?qǐng)D像的參照表中的索引)是否為0(步驟S80)來(lái)對(duì)是使用預(yù)定的加權(quán)系數(shù)(如，W0＝W1＝1/2)生成預(yù)測(cè)值(步驟S81)，還是根據(jù)上述式1～式3用時(shí)刻T、T1、T0生成預(yù)測(cè)值(步驟S82)進(jìn)行切換。由此，只在例如時(shí)刻T1的索引為0的情況下才有必要計(jì)算依存于時(shí)間關(guān)系的加權(quán)系數(shù)，因此只將與這種情況相對(duì)應(yīng)的加權(quán)系數(shù)存儲(chǔ)在查閱表中，因此與歷來(lái)將所有情況下的加權(quán)系數(shù)都存儲(chǔ)起來(lái)相比，削減了查閱表的大小。
在圖8(b)中，移動(dòng)補(bǔ)償編碼單元107根據(jù)時(shí)刻T1的索引(與時(shí)刻T1對(duì)應(yīng)的參照?qǐng)D像的參照表中的索引)是否在預(yù)定值(如，2)以下(步驟S85)來(lái)對(duì)是使用預(yù)定的加權(quán)系數(shù)(如，W0＝W1＝1/2)生成預(yù)測(cè)值(步驟S86)，還是根據(jù)上述式1～式3使用時(shí)刻T、T1、T0生成預(yù)測(cè)值(步驟S87)進(jìn)行切換。由此，只在例如參照?qǐng)D像的索引在預(yù)定值以下的情況下有必要計(jì)算依存于時(shí)間關(guān)系加權(quán)系數(shù)，所以只將與這種情況相對(duì)應(yīng)的加權(quán)系數(shù)存儲(chǔ)在查閱表中，與歷來(lái)將所有情況下的加權(quán)系數(shù)都存儲(chǔ)起來(lái)相比，削減了查閱表的大小。
圖9為表示按預(yù)定的有效位數(shù)進(jìn)行加權(quán)預(yù)測(cè)的處理過(guò)程的流程圖。
首先，在進(jìn)行圖2或圖3所示的B圖像的加權(quán)預(yù)測(cè)之際，移動(dòng)補(bǔ)償編碼單元107判斷是否可能與時(shí)刻T、T1、T0的值相對(duì)應(yīng)用預(yù)定的有效位數(shù)生成預(yù)測(cè)值(步驟S90)。如果判斷結(jié)果為可能(步驟S90中為Yes)，則與通常一樣，根據(jù)上述式1～式3生成與這些時(shí)刻T、T1、T0相對(duì)應(yīng)的預(yù)測(cè)值(步驟S92)。而如果判斷結(jié)果為不可能(步驟S90中為No)，則分別將兩個(gè)加權(quán)系數(shù)W0及W1設(shè)定為1/2，根據(jù)上述式3生成預(yù)測(cè)值(步驟S91)。
圖10為表示圖9中判斷處理(步驟S90)的具體例子的流程圖。
圖10(a)為表示像素值的加權(quán)預(yù)測(cè)中的具體例子的示例圖。這里，移動(dòng)補(bǔ)償編碼單元107根據(jù)時(shí)刻T1與時(shí)刻T的差(T1-T)是否在規(guī)定范圍(例如，-2～2)內(nèi)(步驟S100)來(lái)對(duì)是使用預(yù)定的加權(quán)系數(shù)(如，W0＝W1＝1/2)生成預(yù)測(cè)值(步驟S101)，還是根據(jù)上述式1～式3使用時(shí)刻T、T1、T0生成預(yù)測(cè)值(步驟S102)進(jìn)行切換。由此，在預(yù)測(cè)像素值的生成中，在加權(quán)系數(shù)超過(guò)一定值的情況下，即在出現(xiàn)無(wú)法用一定的位數(shù)表現(xiàn)的事態(tài)的情況下，由于加權(quán)系數(shù)被設(shè)定為預(yù)定值(由一定的位數(shù)表現(xiàn)的值)，所以通常能夠確保由一定的有效位數(shù)進(jìn)行加權(quán)預(yù)測(cè)。
圖10(b)為表示像素值的加權(quán)預(yù)測(cè)中的具體例子的示例圖。這里，移動(dòng)補(bǔ)償編碼單元107根據(jù)時(shí)刻T1與時(shí)刻T0的差(T1-T0)是否在規(guī)定范圍(例如，-2～2)內(nèi)(步驟S105)來(lái)對(duì)是使用預(yù)定的加權(quán)系數(shù)(如，W0＝W1＝1/2)生成預(yù)測(cè)值(步驟S106)，還是根據(jù)上述式1～式3使用時(shí)刻T、T1、T0生成預(yù)測(cè)值(步驟S107)進(jìn)行切換。由此，在預(yù)測(cè)像素值的生成中，在加權(quán)系數(shù)超過(guò)一定值的情況下，即在出現(xiàn)無(wú)法用一定的位數(shù)表現(xiàn)的事態(tài)的情況下，由于加權(quán)系數(shù)被設(shè)定為預(yù)定值(由一定的位數(shù)表現(xiàn)的值)，所以通常能夠確保由一定的有效位數(shù)進(jìn)行加權(quán)預(yù)測(cè)。
(實(shí)施形態(tài)2)下面對(duì)使用了本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法的動(dòng)態(tài)圖像解碼裝置進(jìn)行說(shuō)明。
圖11為表示使用了本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法的動(dòng)態(tài)圖像解碼裝置的一個(gè)實(shí)施形態(tài)的構(gòu)成的方框圖。
動(dòng)態(tài)圖像解碼裝置包括代碼串解析單元201、預(yù)測(cè)殘差解碼單元202、圖像存儲(chǔ)器203、移動(dòng)補(bǔ)償解碼單元204、移動(dòng)矢量?jī)?chǔ)存單元205、加法運(yùn)算器207及開關(guān)208。
代碼串解析單元201用輸入的代碼串提取編碼模式的信息及編碼時(shí)所用的移動(dòng)矢量的信息等各種數(shù)據(jù)。預(yù)測(cè)殘差解碼單元202對(duì)輸入的預(yù)測(cè)殘差編碼數(shù)據(jù)進(jìn)行解碼，并生成預(yù)測(cè)殘差圖像數(shù)據(jù)。
移動(dòng)補(bǔ)償解碼單元204根據(jù)編碼時(shí)的編碼模式的信息及移動(dòng)矢量的信息等生成移動(dòng)補(bǔ)償圖像數(shù)據(jù)。例如，在以使用了2張參照?qǐng)D像的圖像間預(yù)測(cè)編碼模式進(jìn)行編碼的情況下，移動(dòng)補(bǔ)償解碼單元204使用代碼串解析單元201提取出的移動(dòng)矢量，從2張參照?qǐng)D像中求出2個(gè)參照塊的像素值，并生成移動(dòng)補(bǔ)償圖像數(shù)據(jù)。即，通過(guò)本發(fā)明的特征的換算處理進(jìn)行像素值的加權(quán)預(yù)測(cè)，并由2個(gè)參照塊的像素值求出處理對(duì)象塊的像素值。并且，移動(dòng)補(bǔ)償解碼單元204擁有將與第1參照?qǐng)D像及第2參照?qǐng)D像之間的間隔相對(duì)應(yīng)的值與其倒數(shù)對(duì)應(yīng)起來(lái)并存儲(chǔ)的查閱表，參照此查閱表進(jìn)行換算處理。
移動(dòng)矢量?jī)?chǔ)存單元205存儲(chǔ)有由代碼串解析單元201中提取出來(lái)的移動(dòng)矢量。存儲(chǔ)在該移動(dòng)矢量?jī)?chǔ)存單元205中的移動(dòng)矢量，在例如解碼對(duì)象塊用時(shí)間上的直接模式進(jìn)行編碼的情況下被參照。加法運(yùn)算器207將由預(yù)測(cè)殘差解碼單元202輸入的預(yù)測(cè)殘差編碼數(shù)據(jù)和由移動(dòng)補(bǔ)償解碼單元204輸入的移動(dòng)補(bǔ)償圖像數(shù)據(jù)進(jìn)行相加運(yùn)算，生成解碼圖像數(shù)據(jù)。圖像存儲(chǔ)器203存儲(chǔ)生成的解碼圖像數(shù)據(jù)。
下面對(duì)由以上所述構(gòu)成的動(dòng)態(tài)圖像解碼裝置的特征動(dòng)作，即由移動(dòng)補(bǔ)償解碼單元204進(jìn)行像素值的加權(quán)預(yù)測(cè)進(jìn)行說(shuō)明。
移動(dòng)補(bǔ)償解碼單元204基本上擁有與動(dòng)態(tài)圖像編碼裝置所具備的移動(dòng)補(bǔ)償編碼單元107相同的功能。例如，在通過(guò)換算處理進(jìn)行像素值的加權(quán)預(yù)測(cè)中，如圖6所示，根據(jù)時(shí)刻T1的索引值或時(shí)刻T1和時(shí)刻T0的一致性(步驟S501～S503)，給BWD及LWD設(shè)定默認(rèn)值(步驟S504、S507)，或者根據(jù)上述式6～式9確定BWD及LWD(步驟S508)，并用確定的BWD及LWD根據(jù)上述式5計(jì)算編碼對(duì)象塊P的預(yù)測(cè)像素值(步驟S509)。
如圖7及圖8所示，移動(dòng)補(bǔ)償解碼單元204也可以只進(jìn)行有效削減為避免加權(quán)系數(shù)計(jì)算中的除法運(yùn)算所必要的查閱表大小的處理。即，移動(dòng)補(bǔ)償解碼單元204，在進(jìn)行圖2或圖3所示的B圖像的加權(quán)預(yù)測(cè)之際，判斷是否有必要生成與時(shí)刻T、T1、T0的值相對(duì)應(yīng)的預(yù)測(cè)值(步驟S70)。如果判斷結(jié)果為必要(步驟S70中為Yes)，則與通常一樣根據(jù)上述式1～式3生成與這些時(shí)刻T、T1、T0相對(duì)應(yīng)的預(yù)測(cè)值(步驟S72)。而在判斷結(jié)果為沒有必要的情況下(步驟S70中No)，分別將兩個(gè)加權(quán)系數(shù)W0及W1設(shè)定為1/2，根據(jù)上述式3生成預(yù)測(cè)值(步驟S71)。
由此，只在有必要生成與時(shí)刻T、T1、T0對(duì)應(yīng)的預(yù)測(cè)值的情況下，有必要計(jì)算依存于時(shí)間關(guān)系的加權(quán)系數(shù)，只將與這種情況相對(duì)應(yīng)的加權(quán)系數(shù)存儲(chǔ)在查閱表中，因此與歷來(lái)將所有情況下的加權(quán)系數(shù)都存儲(chǔ)起來(lái)相比，削減了查閱表的大小。
同樣，移動(dòng)補(bǔ)償解碼單元204也可以，如圖9及圖10所示在預(yù)定的有效位數(shù)中進(jìn)行加權(quán)預(yù)測(cè)處理。即，移動(dòng)補(bǔ)償解碼單元204在進(jìn)行圖2或圖3所示的B圖像的加權(quán)預(yù)測(cè)之際，判斷是否可能與時(shí)刻T、T1、T0的值相對(duì)應(yīng)，用預(yù)定的有效位數(shù)生成預(yù)測(cè)值(步驟S90)。在判斷結(jié)果為可能的情況下(步驟S90中為Yes)，與通常一樣根據(jù)上述式1～式3生成與那些時(shí)刻T、T1、T0相對(duì)應(yīng)的預(yù)測(cè)值(步驟S92)。而在判斷結(jié)果為不可能的情況下(步驟S90中為No)，則分別將兩個(gè)加權(quán)系數(shù)W0及W1設(shè)定為1/2，根據(jù)上述式3生成預(yù)測(cè)值(步驟S91)。
由此，在使用時(shí)刻T、T1、T0無(wú)法用預(yù)定的有效位數(shù)中進(jìn)行預(yù)測(cè)的情況下，即在加權(quán)系數(shù)超過(guò)一定值，出現(xiàn)無(wú)法用一定的位數(shù)表現(xiàn)的事態(tài)的情況下，由于加權(quán)系數(shù)被設(shè)定為預(yù)定值(由一定的位數(shù)表現(xiàn)的值)，所以通常能夠確保由一定的有效位數(shù)進(jìn)行加權(quán)預(yù)測(cè)。
(實(shí)施形態(tài)3)
下面對(duì)用其他形態(tài)實(shí)現(xiàn)本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼裝置及動(dòng)態(tài)圖像解碼裝置的例子進(jìn)行說(shuō)明。
通過(guò)將實(shí)現(xiàn)上述各實(shí)施形態(tài)所描述的動(dòng)態(tài)圖像編碼裝置或動(dòng)態(tài)圖像解碼裝置的構(gòu)成的程序存儲(chǔ)在軟盤等存儲(chǔ)媒體中，能夠使上述各實(shí)施形態(tài)中所示的處理在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡(jiǎn)單地得以實(shí)施。
圖12為使用存儲(chǔ)有用來(lái)實(shí)現(xiàn)實(shí)施形態(tài)1的動(dòng)態(tài)圖像編碼裝置或?qū)嵤┬螒B(tài)2的動(dòng)態(tài)圖像解碼裝置的構(gòu)成的程序的軟盤，通過(guò)計(jì)算機(jī)系統(tǒng)實(shí)施的情況下的說(shuō)明圖。
圖12(b)表示從軟盤正面來(lái)看的外觀、剖面構(gòu)造及軟盤；圖12(a)表示的是記錄媒體本體的軟盤的物理格式的例子。軟盤FD內(nèi)藏在外盒F內(nèi)，在該盤的表面上，從外周向內(nèi)周形成有多個(gè)同心圓狀的磁跡Tr，各個(gè)磁跡沿角度方向分割為16個(gè)扇區(qū)Se。因此，存儲(chǔ)有上述程序的軟盤在被分配給上述軟盤FD上的領(lǐng)域中記錄有作為上述程序的動(dòng)態(tài)圖像編碼裝置。
并且，圖12(c)表示再生記錄在軟盤FD上的程序的結(jié)構(gòu)。在將上述程序記錄到軟盤FD中的情況下，通過(guò)軟盤驅(qū)動(dòng)裝置將作為上述程序的動(dòng)態(tài)圖像編碼裝置或動(dòng)態(tài)圖像解碼裝置從計(jì)算機(jī)系統(tǒng)Cs上寫入軟盤。并且，在用軟盤內(nèi)的程序?qū)⑸鲜鰟?dòng)態(tài)圖像編碼裝置構(gòu)筑到計(jì)算機(jī)系統(tǒng)中的情況下，通過(guò)軟盤驅(qū)動(dòng)裝置從軟盤中讀取程序，并傳送到計(jì)算機(jī)系統(tǒng)中。
另外，雖然在上述說(shuō)明中是用軟盤作為記錄媒體進(jìn)行說(shuō)明的，但同樣也可以使用光盤作為記錄媒體。并且，記錄媒體不局限于此，IC卡、ROM盒等只要是能夠記錄程序的媒體都同樣可以實(shí)施。
這里再對(duì)上述實(shí)施形態(tài)中敘述的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼裝置、動(dòng)態(tài)圖像解碼裝置的應(yīng)用例以及使用了以上各項(xiàng)的系統(tǒng)進(jìn)行說(shuō)明。
圖13為表示實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容供給系統(tǒng)ex100的全體構(gòu)成的方框圖。將通信服務(wù)的提供區(qū)域分割成所需大小，在各個(gè)單元中分別設(shè)置有作為固定無(wú)線局的基站ex107～ex110。
該內(nèi)容供給系統(tǒng)ex100例如通過(guò)因特網(wǎng)服務(wù)器ex102、電話網(wǎng)ex104、基站ex107～ex110將計(jì)算機(jī)ex111、PDA(Personal DigitalAssistant，個(gè)人數(shù)字助理)ex112、攝像機(jī)ex113、移動(dòng)電話機(jī)ex114、帶攝像頭的移動(dòng)電話機(jī)ex115等各儀器連接到因特網(wǎng)ex101中。
但是，內(nèi)容供給系統(tǒng)ex100并不局限于圖13所示的組合，采取任意組合進(jìn)行連接都可以。并且，也可以不通過(guò)固定無(wú)線局的基站ex107～ex110直接將各儀器與電話網(wǎng)ex104連接。
攝像機(jī)ex113為數(shù)字?jǐn)z象機(jī)等能夠進(jìn)行動(dòng)態(tài)圖像攝影的儀器。并且，移動(dòng)電話機(jī)也可以是PDC(Personal Digital Communications，個(gè)人數(shù)字通訊)方式、CDMA(Code Division Multiple Access，碼分復(fù)用訪問(wèn))方式、W-CDMA(Wideband-Code Division Multiple Access，寬頻碼分復(fù)用訪問(wèn))方式、或是GSM(Global System for MobileCommunications，全球移動(dòng)通信系統(tǒng))方式的移動(dòng)電話機(jī)，或者PHS(Personal Handyphone System，個(gè)人手持電話系統(tǒng))等任何一種。
并且，流式(stream)服務(wù)器ex103可以通過(guò)基站ex109、電話網(wǎng)ex104與攝像機(jī)ex113連接，可以根據(jù)用戶使用攝像機(jī)ex113發(fā)送的經(jīng)過(guò)編碼處理的數(shù)據(jù)進(jìn)行實(shí)況發(fā)送。攝影數(shù)據(jù)的編碼處理可以在攝像機(jī)ex113中進(jìn)行，也可以在進(jìn)行數(shù)據(jù)發(fā)送處理的服務(wù)器中進(jìn)行。并且，相機(jī)ex116拍攝的動(dòng)態(tài)圖像數(shù)據(jù)也可以通過(guò)計(jì)算機(jī)ex111發(fā)送到流式服務(wù)器ex103中。相機(jī)ex116是數(shù)字相機(jī)等能夠拍攝靜止圖像、動(dòng)態(tài)圖像的儀器。在這種情況下，動(dòng)態(tài)圖像數(shù)據(jù)的編碼既可以在相機(jī)ex116中進(jìn)行，也可以在計(jì)算機(jī)ex111中進(jìn)行。并且，編碼處理在計(jì)算機(jī)ex111及攝像機(jī)116所擁有的LSIex117中進(jìn)行。而且，圖像編碼·解碼用的軟件可以安裝在能夠通過(guò)計(jì)算機(jī)ex111等讀取的記錄媒體的任何一種存儲(chǔ)媒體(CD-ROM、軟盤、硬盤等)中。而且，也可以通過(guò)帶攝像頭的移動(dòng)電話機(jī)ex115發(fā)送動(dòng)態(tài)圖像數(shù)據(jù)。此時(shí)的動(dòng)態(tài)圖像數(shù)據(jù)是在移動(dòng)電話機(jī)ex115所擁有的LSI中經(jīng)過(guò)編碼處理的數(shù)據(jù)。
此內(nèi)容供給系統(tǒng)ex100不僅與上述實(shí)施形態(tài)一樣將用戶通過(guò)攝像機(jī)ex113、相機(jī)ex116等拍攝的內(nèi)容(如，拍攝音樂(lè)實(shí)況等圖像)進(jìn)行編碼處理并發(fā)送到流式服務(wù)器ex103中，同時(shí)流式服務(wù)器ex103將上述內(nèi)容數(shù)據(jù)流動(dòng)發(fā)送給有要求的委托對(duì)象。委托對(duì)象可以是能夠?qū)ι鲜鼋?jīng)過(guò)編碼處理的數(shù)據(jù)進(jìn)行解碼的計(jì)算機(jī)ex111、PDAex112、攝像機(jī)113、移動(dòng)電話機(jī)ex114等。這樣一來(lái)，內(nèi)容供給系統(tǒng)ex100能夠?qū)⒔?jīng)過(guò)編碼的數(shù)據(jù)在委托對(duì)象中接收并再生，進(jìn)而通過(guò)在委托對(duì)象中實(shí)時(shí)接收并解碼之后再生，從而能夠?qū)崿F(xiàn)個(gè)人播放。
構(gòu)成該系統(tǒng)的各儀器的編碼、解碼使用上述各實(shí)施形態(tài)中敘述的動(dòng)態(tài)圖像編碼裝置或動(dòng)態(tài)圖像解碼裝置就可以。
下面以移動(dòng)電話機(jī)為例進(jìn)行說(shuō)明。
圖14為表示使用了上述實(shí)施形態(tài)中說(shuō)明過(guò)的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼裝置及圖像解碼裝置的移動(dòng)電話機(jī)ex115的圖。移動(dòng)電話機(jī)ex115包括與基站ex110之間發(fā)送接收電波的天線ex201、CCD相機(jī)等能夠拍攝影像、靜止圖像的相機(jī)單元ex203、顯示相機(jī)單元ex203拍攝的圖像、天線ex201接收的圖像經(jīng)過(guò)解碼后的數(shù)據(jù)的液晶顯示屏等顯示單元ex202、由操作鍵ex204群構(gòu)成的本體部、用于聲音輸出的揚(yáng)聲器等聲音輸出單元ex208、用于聲音輸入的麥克風(fēng)等聲音輸入單元ex205、用于保存拍攝的動(dòng)態(tài)圖像或靜止圖像的數(shù)據(jù)、接收的電子郵件的數(shù)據(jù)、動(dòng)態(tài)圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)等、編碼數(shù)據(jù)或解碼數(shù)據(jù)的記錄媒體ex207、能夠在移動(dòng)電話機(jī)ex115上安裝記錄媒體ex207用的開口部ex206。記錄媒體ex207是將能夠電改寫及刪除的非易失性存儲(chǔ)器EEPROM(Electrically Erasable and Programmable Read Only Memory電可擦除只讀存儲(chǔ)器)的一種閃存元件保存在SD卡等塑料盒內(nèi)的單元。
用圖15對(duì)移動(dòng)電話機(jī)ex115進(jìn)行說(shuō)明。移動(dòng)電話機(jī)ex115使電源電路ex310、操作輸入控制單元ex304、圖像編碼單元ex312、攝像機(jī)接口部ex303、LCD(Liquid Crystal Display，液晶顯示屏)控制單元ex302、圖像解碼單元ex309、復(fù)用分離單元ex308、記錄再生單元ex307、調(diào)制解調(diào)電路ex306及聲音處理單元ex305通過(guò)同步總線ex313相互連接到對(duì)具備顯示單元ex202及操作鍵ex204的本體部的各個(gè)部分進(jìn)行統(tǒng)一控制的主控制單元ex311上。
在通過(guò)用戶操作結(jié)束通話并使電源鍵處于ON的狀態(tài)下，電源電路ex310通過(guò)由備用電池對(duì)各部進(jìn)行電力供給，啟動(dòng)帶有攝像頭的數(shù)字化移動(dòng)電話機(jī)ex115，使其處于可動(dòng)作狀態(tài)。
移動(dòng)電話機(jī)ex115根據(jù)CPU、ROM及RAM等主控制單元ex311的控制，在聲音處理單元ex305中將聲音通話模式時(shí)聲音輸入單元ex205收集的聲音信號(hào)轉(zhuǎn)換成數(shù)字聲音數(shù)據(jù)，并在調(diào)制解調(diào)電路ex306中進(jìn)行擴(kuò)頻處理，在用收發(fā)電路ex301實(shí)施數(shù)/模變換處理及頻率變換處理之后，通過(guò)天線ex201發(fā)送。移動(dòng)電話機(jī)ex115增幅聲音通話模式時(shí)天線ex201接收到的接收信號(hào)并實(shí)施頻率變換處理及模/數(shù)變換處理，在用調(diào)制解調(diào)電路ex306進(jìn)行逆擴(kuò)頻處理、用聲音處理單元ex305轉(zhuǎn)換成模擬聲音信號(hào)之后，通過(guò)聲音輸出單元ex208輸出。
而且，在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，由本體部的操作鍵ex204的操作而輸入的電子郵件的文本數(shù)據(jù)，通過(guò)操作輸入控制單元ex304發(fā)送到主控制單元ex311中。主控制單元ex311在調(diào)制解調(diào)電路ex306中將文本數(shù)據(jù)進(jìn)行擴(kuò)頻處理，并在收發(fā)電路ex301中實(shí)施數(shù)/模變換處理及頻率變換處理之后，通過(guò)天線ex201向基站ex110發(fā)送。
在數(shù)據(jù)通信模式時(shí)發(fā)送圖像數(shù)據(jù)的情況下，通過(guò)攝像機(jī)接口部ex303將相機(jī)單元ex203拍攝的圖像數(shù)據(jù)供給圖像編碼單元ex312?；蛘?，在不發(fā)送圖像數(shù)據(jù)的情況下，能夠通過(guò)攝像機(jī)接口部ex303及LCD控制單元ex302直接將相機(jī)單元ex203拍攝的圖像數(shù)據(jù)顯示在顯示單元ex202上。
圖像編碼單元ex312為具有本發(fā)明中說(shuō)明的圖像編碼裝置的結(jié)構(gòu)，用上述實(shí)施形態(tài)中所敘述的圖像編碼裝置所使用的編碼方法將相機(jī)單元ex203提供的圖像數(shù)據(jù)進(jìn)行壓縮編碼由此轉(zhuǎn)換成編碼圖像數(shù)據(jù)，并將此數(shù)據(jù)發(fā)送至復(fù)用分離單元ex308中。并且，與此同時(shí)，移動(dòng)電話機(jī)ex115通過(guò)聲音處理單元ex305，將相機(jī)單元ex203在攝像過(guò)程中由聲音輸入單元ex205收集到的聲音作為數(shù)字聲音數(shù)據(jù)，發(fā)送到復(fù)用分離單元ex308中。
復(fù)用分離單元308按照預(yù)定的方式將圖像編碼單元ex312供給的編碼圖像數(shù)據(jù)和聲音處理單元ex305供給的聲音數(shù)據(jù)進(jìn)行復(fù)用，在調(diào)制解調(diào)電路ex306中將其結(jié)果得到的復(fù)用數(shù)據(jù)進(jìn)行擴(kuò)頻處理，并在收發(fā)電路ex301中實(shí)施數(shù)/模變換處理及頻率變換處理之后通過(guò)天線ex201進(jìn)行發(fā)送。
在數(shù)據(jù)通信模式時(shí)接收與主頁(yè)等連接的動(dòng)態(tài)圖像文件的數(shù)據(jù)的情況下，在調(diào)制解調(diào)電路ex306中，將通過(guò)天線ex201從基站ex110接收的接收信號(hào)進(jìn)行逆擴(kuò)頻處理，將其結(jié)果得到的復(fù)用數(shù)據(jù)發(fā)送到復(fù)用分離單元ex308中。
在解碼天線ex201接收的復(fù)用數(shù)據(jù)時(shí)，復(fù)用分離單元ex308通過(guò)分離將復(fù)用數(shù)據(jù)分為圖像數(shù)據(jù)的位流和聲音數(shù)據(jù)的位流，并通過(guò)同步總線ex313將此編碼圖像數(shù)據(jù)供給圖像解碼單元ex309，同時(shí)將此聲音數(shù)據(jù)供給聲音處理單元ex305。
圖像解碼單元ex309為具備本發(fā)明中說(shuō)明的圖像解碼裝置的結(jié)構(gòu)，通過(guò)用與上述實(shí)施形態(tài)所敘述的編碼方法相對(duì)應(yīng)的解碼方法，解碼圖像數(shù)據(jù)的位流生成再生動(dòng)態(tài)圖像數(shù)據(jù)，將此數(shù)據(jù)通過(guò)LCD控制單元ex302供給顯示單元ex202，由此顯示出如與主頁(yè)連接的動(dòng)態(tài)圖像文件所包含的動(dòng)態(tài)圖像數(shù)據(jù)。與此同時(shí)，聲音處理單元ex305在將聲音數(shù)據(jù)變換成模擬聲音信號(hào)之后，將此信號(hào)供給聲音輸出單元ex208，由此能夠播放例如與主頁(yè)連接的動(dòng)態(tài)圖像文件所包含的聲音數(shù)據(jù)。
而且，不局限于上述系統(tǒng)的例子，最近由衛(wèi)星、地波進(jìn)行數(shù)字廣播已成為人們議論的話題，在如圖16所示數(shù)字播放用系統(tǒng)中至少可以裝備有上述實(shí)施形態(tài)中的圖像編碼裝置或圖像解碼裝置的任一項(xiàng)。具體為，電臺(tái)ex409通過(guò)電波將影像信息的位流傳送給通信或廣播衛(wèi)星ex410。接收該電波的廣播衛(wèi)星ex410發(fā)送廣播用電波，擁有衛(wèi)星廣播接收設(shè)備的家庭天線ex406接收此電波，通過(guò)電視機(jī)(接收機(jī))ex401或機(jī)頂盒(STB)ex407等裝置將位流解碼并再生。并且，即使在讀取、解碼記錄在記錄媒體的CD及DVD等存儲(chǔ)媒體ex402上的位流的再生裝置ex403上也可以安裝上述實(shí)施形態(tài)中所敘述的圖像解碼裝置。在這種情況下，再生的影像信號(hào)顯示在監(jiān)視器ex404上。并且，也可以考慮在與有線電視用的電纜ex405或衛(wèi)星/地波廣播的天線ex406相連接的機(jī)頂盒ex407內(nèi)安裝動(dòng)態(tài)圖像解碼裝置，在電視機(jī)的監(jiān)視器ex408上再生影像信號(hào)的結(jié)構(gòu)。此時(shí)最好不是在機(jī)頂盒內(nèi)，而是在電視機(jī)內(nèi)安裝圖像解碼裝置。并且，也可能用擁有天線ex411的汽車ex412接收從衛(wèi)星ex410或基站ex107發(fā)射的信號(hào)，在汽車ex412擁有的車載導(dǎo)航設(shè)備ex413等的顯示裝置中再現(xiàn)動(dòng)態(tài)圖像畫面。
而且，還可以用上述實(shí)施形態(tài)所敘述的動(dòng)態(tài)圖像編碼裝置編碼圖像信號(hào)并記錄在記錄媒體上。具體的例子有將圖像信號(hào)記錄到DVD光盤ex421中的DVD記錄裝置、記錄到硬盤中的硬盤記錄裝置等記錄裝置ex420。并且還能夠記錄到SD卡ex422中。如果記錄裝置ex420具備上述實(shí)施形態(tài)所敘述的圖像解碼裝置，就能夠?qū)⒂涗浽贒VD光盤ex421及SD卡ex422上的圖像信號(hào)再生，并顯示在監(jiān)視器ex408上。
另外，車載導(dǎo)航設(shè)備ex413的構(gòu)成還可以考慮例如將圖15所示結(jié)構(gòu)中的相機(jī)單元ex203和攝像機(jī)接口部ex303、圖像編碼單元ex312除去的結(jié)構(gòu)，同樣，也可以考慮計(jì)算機(jī)ex111及電視機(jī)(接收機(jī))ex401等。
并且，上述移動(dòng)電話機(jī)ex114等終端除同時(shí)擁有編碼器·解碼器的發(fā)送接收型終端之外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端這3種安裝形式。
這樣，可以將上述實(shí)施形態(tài)所敘述的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼裝置或動(dòng)態(tài)圖像解碼裝置應(yīng)用在上述的任何儀器·系統(tǒng)中，由此能夠得到上述實(shí)施形態(tài)說(shuō)明的效果。
以上根據(jù)實(shí)施形態(tài)對(duì)本發(fā)明的動(dòng)態(tài)圖像預(yù)測(cè)方法、動(dòng)態(tài)圖像編碼裝置及動(dòng)態(tài)圖像解碼裝置進(jìn)行了說(shuō)明，但本發(fā)明不局限于這種實(shí)施形態(tài)。
例如，圖7中的判斷(是否有必要生成與T、T1、T0相對(duì)應(yīng)的預(yù)測(cè)值的判斷；步驟S70)及圖9中的判斷(是否可能與T、T1、T0對(duì)應(yīng)，用預(yù)定的有效位數(shù)生成預(yù)測(cè)值的判斷；步驟S90)并不局限于計(jì)算上述式1及式2所示的加權(quán)系數(shù)W0及W1的公式中的除數(shù)(分母的值)的值，還可以根據(jù)乘數(shù)(分子的值)的值、加權(quán)系數(shù)W0及W1的值進(jìn)行判斷。并且，還可以通過(guò)乘以加權(quán)系數(shù)W0及W1的值進(jìn)行判斷。
權(quán)利要求
1.一種根據(jù)2張參照?qǐng)D像的像素值預(yù)測(cè)構(gòu)成動(dòng)態(tài)圖像的圖像的像素值的方法，其特征在于，包括以下步驟計(jì)算與預(yù)測(cè)對(duì)象圖像和第1參照?qǐng)D像的間隔相對(duì)應(yīng)的第1參數(shù)的第1參數(shù)計(jì)算步驟；計(jì)算與所述第1參照?qǐng)D像和第2參照?qǐng)D像的間隔相對(duì)應(yīng)的第2參數(shù)的第2參數(shù)計(jì)算步驟；判斷根據(jù)所述第1參數(shù)及所述第2參數(shù)計(jì)算出來(lái)的第3參數(shù)是否包含在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的第1判斷步驟；在所述第1判斷步驟的判斷結(jié)果為所述第3參數(shù)包含在所述預(yù)定范圍內(nèi)的情況下，根據(jù)所述第1參數(shù)、所述第2參數(shù)、所述第1參照?qǐng)D像及第2參照?qǐng)D像的像素值進(jìn)行換算，由此計(jì)算出所述預(yù)測(cè)對(duì)象圖像的像素值的第1預(yù)測(cè)步驟；在所述第1判斷步驟的判斷結(jié)果為所述第3參數(shù)不包含在所述預(yù)定范圍內(nèi)的情況下，根據(jù)預(yù)先設(shè)定的預(yù)定值、所述第1參照?qǐng)D像及第2參照?qǐng)D像的像素值進(jìn)行換算，由此計(jì)算出所述預(yù)測(cè)對(duì)象圖像的像素值的第2預(yù)測(cè)步驟。
2.如權(quán)利要求1所述的動(dòng)態(tài)圖像預(yù)測(cè)方法，其特征在于，所述動(dòng)態(tài)圖像預(yù)測(cè)方法還包括判斷所述第1參數(shù)是否包含在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的第2判斷步驟；在所述第2判斷步驟的判斷結(jié)果為所述第1參數(shù)不包含在所述預(yù)定范圍內(nèi)的情況下，進(jìn)行所述第2預(yù)測(cè)步驟的預(yù)測(cè)。
3.如權(quán)利要求1所述的動(dòng)態(tài)圖像預(yù)測(cè)方法，其特征在于，所述動(dòng)態(tài)圖像預(yù)測(cè)方法還包括判斷所述第2參數(shù)是否包含在預(yù)先設(shè)定的預(yù)定范圍內(nèi)的第3判斷步驟；在所述第3判斷步驟的判斷結(jié)果為所述第2參數(shù)不包含在所述預(yù)定范圍內(nèi)的情況下，進(jìn)行所述第2預(yù)測(cè)步驟的預(yù)測(cè)。
4.如權(quán)利要求1所述的動(dòng)態(tài)圖像預(yù)測(cè)方法，其特征在于，所述動(dòng)態(tài)圖像預(yù)測(cè)方法還包括判斷所述第1參照?qǐng)D像是否是預(yù)先設(shè)定的預(yù)定的圖像的第1圖像判斷步驟；在所述第1圖像判斷步驟的判斷結(jié)果為所述第1參照?qǐng)D像不是所述預(yù)定的圖像的情況下，進(jìn)行所述第2預(yù)測(cè)步驟的預(yù)測(cè)。
5.如權(quán)利要求1所述的動(dòng)態(tài)圖像預(yù)測(cè)方法，其特征在于，所述動(dòng)態(tài)圖像預(yù)測(cè)方法還包括判斷所述第2參照?qǐng)D像是否是預(yù)先設(shè)定的預(yù)定的圖像的第2圖像判斷步驟；在所述第2圖像判斷步驟的判斷結(jié)果為所述第2參照?qǐng)D像不是所述預(yù)定的圖像的情況下，進(jìn)行所述第2預(yù)測(cè)步驟的預(yù)測(cè)。
6.如權(quán)利要求1所述的動(dòng)態(tài)圖像預(yù)測(cè)方法，其特征在于，在所述第1預(yù)測(cè)步驟中，參照將所述第1參數(shù)與所述第1參數(shù)的倒數(shù)對(duì)應(yīng)起來(lái)的查閱表進(jìn)行所述換算，由此計(jì)算出所述預(yù)測(cè)對(duì)象圖像的像素值。
7.一種編碼動(dòng)態(tài)圖像的方法，其特征在于，包括用權(quán)利要求1～6中的任一項(xiàng)所述的動(dòng)態(tài)圖像預(yù)測(cè)方法預(yù)測(cè)像素值的預(yù)測(cè)步驟；和根據(jù)所述預(yù)測(cè)編碼動(dòng)態(tài)圖像的像素值的編碼步驟。
8.一種編碼動(dòng)態(tài)圖像的裝置，其特征在于，包括用權(quán)利要求1～6中的任一項(xiàng)所述的動(dòng)態(tài)圖像預(yù)測(cè)方法預(yù)測(cè)像素值的預(yù)測(cè)單元；和根據(jù)所述預(yù)測(cè)編碼動(dòng)態(tài)圖像的像素值的編碼單元。
9.一種用來(lái)編碼動(dòng)態(tài)圖像的程序，其特征在于，在計(jì)算機(jī)中執(zhí)行用權(quán)利要求1～6中的任一項(xiàng)所述的動(dòng)態(tài)圖像預(yù)測(cè)方法預(yù)測(cè)像素值的預(yù)測(cè)步驟、和根據(jù)所述預(yù)測(cè)編碼動(dòng)態(tài)圖像的像素值的編碼步驟。
10.一種解碼動(dòng)態(tài)圖像的方法，其特征在于，包括用權(quán)利要求1～6中的任一項(xiàng)所述的動(dòng)態(tài)圖像預(yù)測(cè)方法預(yù)測(cè)像素值的預(yù)測(cè)步驟；和根據(jù)所述預(yù)測(cè)解碼動(dòng)態(tài)圖像的像素值的解碼步驟。
11.一種解碼動(dòng)態(tài)圖像的裝置，其特征在于，包括用權(quán)利要求1～6中的任一項(xiàng)所述的動(dòng)態(tài)圖像預(yù)測(cè)方法預(yù)測(cè)像素值的預(yù)測(cè)單元；和根據(jù)所述預(yù)測(cè)解碼動(dòng)態(tài)圖像的像素值的解碼單元。
12.一種用來(lái)解碼動(dòng)態(tài)圖像的程序，其特征在于，在計(jì)算機(jī)中執(zhí)行用權(quán)利要求1～6中的任一項(xiàng)所述的動(dòng)態(tài)圖像預(yù)測(cè)方法預(yù)測(cè)像素值的預(yù)測(cè)步驟、和根據(jù)所述預(yù)測(cè)解碼動(dòng)態(tài)圖像的像素值的解碼步驟。
全文摘要
一種根據(jù)T0時(shí)刻的值P0、T1時(shí)刻的值P1預(yù)測(cè)T時(shí)刻的值P的方法，包括以下步驟用時(shí)刻T0、時(shí)刻T1及時(shí)刻T進(jìn)行換算，判斷是否可能用預(yù)定的有效位生成預(yù)測(cè)值的步驟(步驟S90)；當(dāng)能夠用預(yù)定的有效位數(shù)生成預(yù)測(cè)值時(shí)，用時(shí)刻T0、時(shí)刻T1及時(shí)刻T進(jìn)行換算，根據(jù)值P0和值P1預(yù)測(cè)值P的步驟(步驟S92)；在不能用預(yù)定的有效位數(shù)生成預(yù)測(cè)值的情況下，不使用時(shí)刻T0、時(shí)刻T1及時(shí)刻T根據(jù)值P0和值P1預(yù)測(cè)值P的步驟(步驟S91)。
文檔編號(hào)H04N7/36GK1615655SQ0380211
公開日2005年5月11日 申請(qǐng)日期2003年9月4日 優(yōu)先權(quán)日2002年11月20日
發(fā)明者野真也, 林宗順, 符式偉, 申省梅 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社