專利名稱：一種基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種幀內(nèi)預(yù)測(cè)編碼方法，尤其涉及一種避免窮舉式搜索時(shí)的計(jì)算開(kāi)銷、 提高幀內(nèi)預(yù)測(cè)準(zhǔn)確性的方法，屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。
背景技術(shù)：
幀內(nèi)預(yù)測(cè)作為視頻處理領(lǐng)域中一項(xiàng)關(guān)鍵的技術(shù)，已廣泛應(yīng)用于視頻中I幀的壓縮 與處理。幀內(nèi)預(yù)測(cè)用于獲得當(dāng)前圖像內(nèi)部的相關(guān)性。目前常用的幀內(nèi)預(yù)測(cè)中多模式幀 內(nèi)預(yù)測(cè)方法是依據(jù)圖像的空域相關(guān)特性，認(rèn)為圖像上各點(diǎn)與其空間相鄰點(diǎn)具有相似性， 通過(guò)沿多方向進(jìn)行搜索得到待編碼點(diǎn)的預(yù)測(cè)點(diǎn)，該方法雖然具有適用范圍廣、預(yù)測(cè)精 度高等優(yōu)點(diǎn)但是近乎窮舉的預(yù)測(cè)點(diǎn)搜索方法在圖像質(zhì)量有所提高的同時(shí)，運(yùn)算復(fù)雜度 也急劇上升。
視頻幀一般分為I (Intra-frame) 、 P (Predictive-frame) 、 B (Bidirectionally predicted-frame)三種類型I幀通過(guò)變換、量化等過(guò)程完成編碼；P幀以前向已編碼 幀的重建圖像為參考，進(jìn)行運(yùn)動(dòng)補(bǔ)償后編碼殘差；B幀則以前后雙向已編碼幀的重建 圖像為參考，進(jìn)行運(yùn)動(dòng)補(bǔ)償后編碼殘差。在三種類型的視頻幀中，雖然I幀的個(gè)數(shù)比 較少，但其每幀編碼位數(shù)卻遠(yuǎn)高于P、 B幀，在最終生成的碼流中也占有相當(dāng)比例。 對(duì)于輸出碼率恒定的視頻流，I幀的碼率突然增大，將直接導(dǎo)致后續(xù)P/B幀的編碼位 數(shù)的下降，進(jìn)而影響到恢復(fù)圖像和預(yù)測(cè)圖像的質(zhì)量。MPEG-4及其后的標(biāo)準(zhǔn)中，引入 了 "跳幀"策略，I幀碼率的突然增大常導(dǎo)致其后出現(xiàn)連續(xù)跳幀，致使視頻圖像幀率 下降，畫面不流暢。以上現(xiàn)象在低帶寬條件下尤為顯著，因此在恒定低帶寬下，提高
I幀壓縮比，對(duì)視頻質(zhì)量影響較大。預(yù)測(cè)是視頻中提高I幀壓縮比常用的方法，根據(jù)圖 像特點(diǎn)，利用視頻幀之間及其內(nèi)部的相關(guān)性，以己編碼對(duì)象為參考，保留較少的差分 信息，減少最終編碼位數(shù)。如何在已編碼的圖像中找到當(dāng)前待預(yù)測(cè)對(duì)象的最佳匹配源， 最大限度地去除對(duì)象間冗余使差分信息量達(dá)到最小值，這是預(yù)測(cè)的關(guān)鍵所在。I幀編 碼相對(duì)獨(dú)立，不能象B、 P幀那樣在前后已編碼圖像幀中搜索最佳匹配源，因此I幀只 能采用幀內(nèi)預(yù)測(cè)，即在當(dāng)前圖像內(nèi)部尋找相似對(duì)象。因此幀內(nèi)預(yù)測(cè)是視頻壓縮領(lǐng)域中 的研究熱點(diǎn)。
傳統(tǒng)的多模式幀內(nèi)預(yù)測(cè)方法以16x16的宏塊及4x4的塊為基本預(yù)測(cè)單元，對(duì)塊內(nèi) 各點(diǎn)沿含DC預(yù)測(cè)在內(nèi)的九個(gè)方向，取周圍點(diǎn)，用適當(dāng)?shù)念A(yù)測(cè)公式計(jì)算預(yù)測(cè)值，與原 始采樣值做差分，差值最小的模式為最終預(yù)測(cè)模式。這種近乎窮舉的預(yù)測(cè)點(diǎn)搜索方法 在圖像質(zhì)量有所提高的同時(shí)，運(yùn)算復(fù)雜度也急劇上升。同時(shí)，若圖像相鄰點(diǎn)間相關(guān)性 很差，這種預(yù)測(cè)不僅不會(huì)使圖像數(shù)據(jù)量減少還會(huì)因記錄模式信息等因素引入更多的冗 余信息。
實(shí)際應(yīng)用中，尤其針對(duì)存儲(chǔ)和計(jì)算資源有限的應(yīng)用環(huán)境， 一種好的幀內(nèi)預(yù)測(cè)方法 必須同時(shí)考慮預(yù)測(cè)的準(zhǔn)確性和運(yùn)行效率。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法。該方法通過(guò)抽取采 樣點(diǎn)將輸入圖像分割為若干子圖，對(duì)其中的一幅子圖直接采用變換、量化、熵編碼等 方法進(jìn)行壓縮，然后利用所述子圖編碼壓縮后的重構(gòu)圖像，通過(guò)插值運(yùn)算構(gòu)造其他各 子圖的預(yù)測(cè)參考幀，以其他各子圖作為基本預(yù)測(cè)單元直接與所述各預(yù)測(cè)參考幀進(jìn)行差 分編碼；利用本發(fā)明所述方法進(jìn)行幀內(nèi)預(yù)測(cè)避免了傳統(tǒng)方法逐像素點(diǎn)的多模式預(yù)測(cè)過(guò) 程不僅大幅度減小了計(jì)算負(fù)擔(dān)，而且預(yù)測(cè)精度較高，此外，該方法還可與其他許多編
碼方法相結(jié)合，以取得更好的壓縮效果。實(shí)驗(yàn)結(jié)果表明該方法能夠在顯著降低計(jì)算開(kāi) 銷的同時(shí)，取得較好的預(yù)測(cè)效果。
為實(shí)現(xiàn)上述目的，本發(fā)明采用下述的技術(shù)方案。其特征在于包括以下步驟
步驟一對(duì)輸入的圖像，按柵格掃描順序等間隔抽取采樣點(diǎn)，將所述輸入圖像分 割為若干個(gè)大小相等的子圖，選取其中任意一個(gè)子圖作為基本預(yù)測(cè)單元，對(duì)該基本預(yù) 測(cè)單元直接進(jìn)行壓縮；
步驟二對(duì)所述壓縮后的基本預(yù)測(cè)單元進(jìn)行重構(gòu)，獲得重構(gòu)圖像，采用某種插值 方法對(duì)所述重構(gòu)圖像做插值運(yùn)算，得到其余各子圖的預(yù)測(cè)參考圖，將其余各子圖與相 對(duì)應(yīng)的各預(yù)測(cè)參考圖分別做差分，得到各子圖的殘差系數(shù)，對(duì)每個(gè)殘差系數(shù)，進(jìn)行編 碼壓縮。
較優(yōu)的，所述步驟一進(jìn)一步包括
11. 為減少誤差，所述子圖大小應(yīng)不小于所述輸入圖像的1/8;
12. 由于攝像機(jī)多多數(shù)視頻序列垂直插值圖像失真度大于水平插值圖像，因此，在 所述按柵格掃描順序等間隔抽取采樣點(diǎn)的過(guò)程中，水平方向間隔應(yīng)大于垂直方 向間隔；
13. 所述選取任一子圖作為基本預(yù)測(cè)單元的過(guò)程中，所述基本預(yù)測(cè)單元的選取不受 掃描順序的限制；
較優(yōu)的，所述步驟二進(jìn)一步包括
21.所述對(duì)重構(gòu)圖像做插值運(yùn)算得到其余各子圖的預(yù)測(cè)參考圖是通過(guò)插值運(yùn)算將所 述重構(gòu)圖像放大到與輸入圖像大小一致；
本發(fā)明所提供的一種基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法可以有效減小傳統(tǒng)多模式 搜索幀內(nèi)預(yù)測(cè)時(shí)的計(jì)算開(kāi)銷，避免了盲目搜索，并且不受圖像內(nèi)相關(guān)性特點(diǎn)的影響。 有關(guān)的測(cè)試結(jié)果表明，本方法對(duì)于各類場(chǎng)景圖像的幀內(nèi)預(yù)測(cè)都能獲得較好的效果。


圖1是本發(fā)明基于圖像插值的幀內(nèi)預(yù)測(cè)編碼流程圖。 圖2是按掃描順序進(jìn)行圖像分割的示意圖。 圖3是物體運(yùn)動(dòng)對(duì)采樣數(shù)據(jù)的影響示意圖。
具體實(shí)施例方式
前已述及，本發(fā)明為解決由圖像特點(diǎn)決定預(yù)測(cè)效的問(wèn)題，從"構(gòu)造相似點(diǎn)"出發(fā)，由 預(yù)測(cè)點(diǎn)構(gòu)造相似點(diǎn)，直接確定相似點(diǎn)的位置，避免了盲目搜索，實(shí)現(xiàn)了快速準(zhǔn)確的幀 內(nèi)預(yù)測(cè)。
下面結(jié)合

本發(fā)明的實(shí)現(xiàn)方式，圖1中明確表示了本發(fā)明的過(guò)程。首先， 按掃描順序，以等間隔進(jìn)行下采樣，將圖像分割為多個(gè)大小相等的子圖，以這些子圖 作為基本預(yù)測(cè)單元；將其中一個(gè)子圖進(jìn)行編碼，得到該子圖的重建圖像；對(duì)重建圖像 進(jìn)行插值，獲得與輸入圖像大小相等的預(yù)測(cè)參考圖像，將其余子圖與其位置對(duì)應(yīng)的參 考圖像進(jìn)行差分，進(jìn)行預(yù)測(cè)，進(jìn)而完成整個(gè)圖像的編碼。
步驟一獲取基本預(yù)測(cè)單元及其重建圖像
預(yù)測(cè)編碼是通過(guò)已編碼圖像預(yù)測(cè)待編碼圖像的過(guò)程，因此圖像中各部分編碼的先 后順序決定預(yù)測(cè)點(diǎn)的范圍，并影響預(yù)測(cè)效果。在傳統(tǒng)基于塊的預(yù)測(cè)過(guò)程中，先將圖像 分為大小相等的塊，已編碼塊作為基本預(yù)測(cè)單元，根據(jù)不同的塊掃描順序進(jìn)行預(yù)測(cè)編 碼，掃描順序不同，預(yù)測(cè)效果也略有不同。此外，圖像中是否存在足夠相似的點(diǎn)，將 直接決定預(yù)測(cè)的效果；如何找到相似點(diǎn)的位置，將決定整個(gè)預(yù)測(cè)過(guò)程中的運(yùn)算復(fù)雜度。 若僅從輸入圖像本身考慮，相似點(diǎn)的存在性由圖像特點(diǎn)決定而與具體預(yù)測(cè)算法無(wú)關(guān)， 因此同一預(yù)測(cè)算法應(yīng)用于不同的圖像，其預(yù)測(cè)效果可能存在很大差別。避免由圖像特 點(diǎn)影響預(yù)測(cè)效果的情況，提高預(yù)測(cè)的精度，是實(shí)現(xiàn)準(zhǔn)確幀內(nèi)預(yù)測(cè)的關(guān)鍵。與現(xiàn)有的幀 內(nèi)預(yù)測(cè)編碼不同的是，本發(fā)明中，基本預(yù)測(cè)單元不是一個(gè)宏塊或子宏塊，為避免窮舉 式搜索和由圖像特點(diǎn)影響預(yù)測(cè)效果的問(wèn)題，提出了一種由構(gòu)造相似點(diǎn)進(jìn)行預(yù)測(cè)的方案。 下面就對(duì)該方案展開(kāi)詳細(xì)的說(shuō)明。在本發(fā)明中獲取基本預(yù)測(cè)單元及其重建圖像分為二 個(gè)步驟首先，劃分原始輸入圖像；然后，選取預(yù)測(cè)單元并進(jìn)行編碼。 步驟一的具體實(shí)施步驟如下
(1) 劃分原始輸入圖像
對(duì)輸入的圖像按柵格掃描順序等間隔抽取采樣點(diǎn)，分割成大小相等的子圖。設(shè)原始 圖像S大小為wx"，分別以水平間距h，垂直間距v，按柵格掃描順序抽取采樣點(diǎn)，得到大
小為^x^的子圖S,、 S2、 S3……(如圖2)。為減少后續(xù)在進(jìn)行預(yù)測(cè)時(shí)的估值誤差，必 h v
須保證子圖不能太小。由于攝像機(jī)多做水平運(yùn)動(dòng)且物體的水平運(yùn)動(dòng)多于垂直運(yùn)動(dòng)，因 此對(duì)多數(shù)視頻序列垂直插值圖像失真度大于水平插值圖像。因此，水平分割可大一些， 垂直分割要小一些。如圖3(a)中，空間上a、 b、 c三點(diǎn)相鄰，以a、 c插值b結(jié)果較為 精確；而如圖3 (b)中，若物體存在速度V，由于攝像機(jī)CCD元件上各點(diǎn)存在一定的 感光時(shí)差，得到的a、 b、 c三點(diǎn)位置略有偏差，b的空間相鄰點(diǎn)已經(jīng)不是a、 c，這種 采樣誤差將造成后續(xù)插值誤差的增大。通過(guò)比較水平、垂直插值圖像，通常情況下， 垂直插值失真更為嚴(yán)重，這與物體相對(duì)攝像機(jī)的運(yùn)動(dòng)方向存在一定關(guān)系。在本發(fā)明進(jìn) 行的實(shí)驗(yàn)中，采用如式(1)進(jìn)行插值時(shí)，h值取為2， v值取為l。 /(x,力=(/(x _ 1,力+ /(x +1,力)/ 2 = (/(x _ 1，力+ /(x +1,力)》1(1)
(2) 對(duì)選取的預(yù)測(cè)單元進(jìn)行編碼
選取子圖中的一幀，如子圖s,作為預(yù)測(cè)單元，不經(jīng)任何預(yù)測(cè)，直接進(jìn)行變換編碼， 采用常規(guī)的編碼過(guò)程，即以宏塊或子宏塊為編碼單位，進(jìn)行DCT變換、量化、熵編碼 等處理過(guò)程。在編碼完成后經(jīng)過(guò)反量化、IDCT變換生成其重建圖像。當(dāng)然也可選取其 他的子圖作為預(yù)測(cè)單元，預(yù)測(cè)單元的選取不受掃描順序的影響。 步驟二得到預(yù)測(cè)圖像并進(jìn)行預(yù)測(cè)編碼
傳統(tǒng)的多模式幀內(nèi)預(yù)測(cè)方法對(duì)預(yù)測(cè)單元在多個(gè)方向采用窮舉式進(jìn)行搜索，并應(yīng)用 率失真理論選取最佳預(yù)測(cè)模式。該方法在預(yù)測(cè)單元的選取部分很簡(jiǎn)單，但預(yù)測(cè)過(guò)程很 復(fù)雜，對(duì)每個(gè)待預(yù)測(cè)的單元都要進(jìn)行多方向的預(yù)測(cè)及模式選擇過(guò)程。而在本發(fā)明中， 為了實(shí)現(xiàn)對(duì)其他子圖的預(yù)測(cè)編碼，需要對(duì)預(yù)測(cè)單元的重建圖像進(jìn)行插值處理，以生成 一個(gè)預(yù)測(cè)圖像，這樣其余子圖就可以與預(yù)測(cè)圖像中的對(duì)應(yīng)位置的像素點(diǎn)作殘差，實(shí)現(xiàn) 預(yù)測(cè)處理，編碼時(shí)，只需對(duì)殘差系數(shù)進(jìn)行處理即可。該方法通過(guò)對(duì)預(yù)測(cè)單元的重建圖 像進(jìn)行插值處理，直接構(gòu)造出其余子圖的相似點(diǎn)，避免了因多模式預(yù)測(cè)而引起的計(jì)算 負(fù)擔(dān)，以及因圖像特點(diǎn)而不能很好預(yù)測(cè)的問(wèn)題。該步驟可分為兩個(gè)步驟首先，通過(guò) 插值處理生成預(yù)測(cè)圖像；其次，通過(guò)預(yù)測(cè)圖像進(jìn)行預(yù)測(cè)編碼。
步驟二的具體實(shí)施步驟如下
(1)生成預(yù)測(cè)圖像
生成預(yù)測(cè)圖像的過(guò)程，實(shí)際是由;x^大小的子圖S,的重建圖像恢復(fù)mx"大小的原
h v
圖s的過(guò)程，可以看作是圖像放大的過(guò)程。
在進(jìn)行圖像放大時(shí)，通常的做法是根據(jù)已知采樣點(diǎn)預(yù)測(cè)逼近未采樣點(diǎn)。插值是函 數(shù)逼近的一種重要方法，在圖像處理中常用來(lái)放大圖像。根據(jù)采樣定理，當(dāng)采樣間隔
足夠小，艮P: r^+":采樣間隔，s。采樣函數(shù)的截止頻率)時(shí)，采樣函數(shù)可以完全無(wú)失真地
從采樣數(shù)據(jù)中恢復(fù)。但實(shí)際采樣頻率通常達(dá)不到以上標(biāo)準(zhǔn)，因此通過(guò)插值不可能完全 無(wú)損地得到未采樣點(diǎn)。插值函數(shù)與實(shí)際采樣函數(shù)之差稱為估值誤差。估值誤差是反映
恢復(fù)圖像失真度的一個(gè)重要參數(shù)，估值誤差越小，恢復(fù)圖像失真度越小。估值誤差大 小由采樣圖像分辨率和插值函數(shù)核決定。通常情況下，采用同一插值函數(shù)，圖像采樣 分辨率越高，采樣間距越小，插值效果越精確，估值誤差越小。在采樣分辨率確定的 條件下，可通過(guò)改進(jìn)插值函數(shù)，使其進(jìn)一步逼近采樣函數(shù)從而減小估值誤差。
設(shè)(x, y)為S中的點(diǎn)；r(x, y)為(X，y)點(diǎn)的象素值；n1為Si中點(diǎn)的集合；n2為S,
中點(diǎn)的集合；/(nj為插值函數(shù)；v(x,y)en2，通過(guò)插值函數(shù)計(jì)算其近似值
r,(x,y)=f(n1)。
A(x,y)=(x,y)-r(x,y)為估值誤差，當(dāng)插值函數(shù)足夠精確時(shí)有 A(x,y)—0，也即以,"力作為的預(yù)測(cè)點(diǎn)將取得很好的預(yù)測(cè)效果。
圖像處理中常用的插值算法有鄰近象素復(fù)制、線性插值、立方巻積等， 一些精 度更高的，自適應(yīng)的插值算法在醫(yī)學(xué)、遙感等領(lǐng)域應(yīng)用也非常普遍。這些算法中，雙
線性插值因計(jì)算復(fù)雜度低，插值精度相對(duì)較高而被廣泛采用。在本發(fā)明進(jìn)行的實(shí)驗(yàn)中， 對(duì)預(yù)測(cè)單元的重建圖像應(yīng)用雙線性插值處理生成預(yù)測(cè)圖像。
(2)預(yù)測(cè)編碼
在生成預(yù)測(cè)圖像之后，即可實(shí)現(xiàn)對(duì)其余子圖S, (^P,/zxv])的預(yù)測(cè)編碼。該過(guò)程 是得到其余子圖在預(yù)測(cè)圖像中的對(duì)應(yīng)位置，對(duì)應(yīng)位置的點(diǎn)即為原始像素點(diǎn)的預(yù)測(cè)點(diǎn)，
無(wú)需搜索，兩者做差，實(shí)現(xiàn)預(yù)測(cè)。對(duì)子圖s,逐幀進(jìn)行預(yù)測(cè)差分編碼，s,之間的編碼順
序可隨機(jī)選取且不影響預(yù)測(cè)效果。
以上公開(kāi)的僅為本發(fā)明的具體實(shí)例，根據(jù)本發(fā)明提供的思想，本領(lǐng)域的技術(shù)人員 能思及的變化，都應(yīng)落入本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1. 一種基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法，其特征在于步驟一對(duì)輸入的圖像，按柵格掃描順序等間隔抽取采樣點(diǎn)，將所述輸入圖像分割為若干個(gè)大小相等的子圖，選取其中任意一個(gè)子圖作為基本預(yù)測(cè)單元，對(duì)該基本預(yù)測(cè)單元直接進(jìn)行壓縮；步驟二對(duì)所述壓縮后的基本預(yù)測(cè)單元進(jìn)行重構(gòu)，獲得重構(gòu)圖像，采用插值方法對(duì)所述重構(gòu)圖像做插值運(yùn)算，并將得到的插值后圖像作為其余各子圖的預(yù)測(cè)參考圖，然后將其余各子圖與所述預(yù)測(cè)參考圖分別做差分，得到所述其余各子圖的殘差系數(shù)，對(duì)每個(gè)殘差系數(shù)進(jìn)行編碼壓縮。
2. 如權(quán)利要求1所述的基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法，其特征在于為減少誤差， 所述子圖大小應(yīng)不小于所述輸入圖像大小的1/8。
3. 如權(quán)利要求l所述的基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法，其特征在于所述基本預(yù) 測(cè)單元的選取不受掃描順序的影響。
4. 如權(quán)利要求l所述的基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法，其特征在于在所述按柵 格掃描順序等間隔抽取采樣點(diǎn)的過(guò)程中，水平方向間隔應(yīng)大于垂直方向間隔。
5. 如權(quán)利要求l所述的基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法，其特征在于所述對(duì)重構(gòu) 圖像做插值運(yùn)算得到其余各子圖的預(yù)測(cè)參考圖是通過(guò)插值運(yùn)算將所述重構(gòu)圖像放 大到與所述輸入圖像大小一致。
全文摘要
本發(fā)明提供一種基于圖像插值的幀內(nèi)預(yù)測(cè)編碼方法，將輸入圖像分割為若干子圖，通過(guò)插值運(yùn)算構(gòu)造各子圖的預(yù)測(cè)參考幀，以子圖作為基本預(yù)測(cè)單元直接與參考幀進(jìn)行差分編碼，避免了傳統(tǒng)方法逐像素點(diǎn)多模式預(yù)測(cè)過(guò)程。利用本發(fā)明進(jìn)行幀內(nèi)預(yù)測(cè)不僅大幅度減小了計(jì)算負(fù)擔(dān)，而且預(yù)測(cè)精度較高，此外，該方法還可與其他編碼方法相結(jié)合，以取得更好的壓縮效果。實(shí)驗(yàn)結(jié)果表明該方法能夠在顯著降低計(jì)算開(kāi)銷的同時(shí)，取得了較好的預(yù)測(cè)效果。
文檔編號(hào)H04N7/32GK101389032SQ20081017169
公開(kāi)日2009年3月18日 申請(qǐng)日期2008年10月24日 優(yōu)先權(quán)日2008年10月24日
發(fā)明者姚春蓮, 誼 陳, 高麗華 申請(qǐng)人:北京工商大學(xué)