專利名稱：拓?fù)鋱D像模式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將一個(gè)N維第一對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成第一對(duì)象的計(jì)算機(jī)模型的方法。
本發(fā)明也涉及將一個(gè)N維對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成該對(duì)象的壓縮模型的壓縮方法。
本發(fā)明還涉及一種將壓縮的視頻信號(hào)解壓縮為一個(gè)N維對(duì)象的計(jì)算機(jī)表示的方法。
本發(fā)明還涉及一種將具有第一多個(gè)單元的第一單元空間模型轉(zhuǎn)換成具有第二多個(gè)單元的第二單元空間模型的方法。
本發(fā)明還涉及一種用于執(zhí)行將一個(gè)N維第一對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成第一對(duì)象的計(jì)算機(jī)模型的方法的計(jì)算機(jī)程序。
本發(fā)明還涉及一種用于執(zhí)行將一個(gè)N維對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成該對(duì)象的壓縮模型的壓縮方法的計(jì)算機(jī)程序。
本發(fā)明還涉及一種用于執(zhí)行將壓縮的視頻信號(hào)解壓縮為一個(gè)N維對(duì)象的計(jì)算機(jī)表示的方法的計(jì)算機(jī)程序。
本發(fā)明還涉及一種將一個(gè)N維第一對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成對(duì)象的計(jì)算機(jī)模型的設(shè)備，該設(shè)備包括-用于獲取第一對(duì)象的計(jì)算機(jī)表示的獲取裝置；-用于轉(zhuǎn)換第一對(duì)象的計(jì)算機(jī)表示的處理裝置；以及-用于輸出計(jì)算機(jī)模型的輸出裝置。
本發(fā)明還涉及一種用于將壓縮的視頻信號(hào)解壓縮為一個(gè)N維對(duì)象的計(jì)算機(jī)表示的視頻解壓縮設(shè)備，該視頻解壓縮設(shè)備包括-用于獲取壓縮的視頻信號(hào)的獲取裝置；-用于根據(jù)壓縮的視頻信號(hào)生成計(jì)算機(jī)表示的處理裝置；以及-用于輸出計(jì)算機(jī)表示的輸出裝置。
本發(fā)明還涉及一種包括一個(gè)用于表示一個(gè)數(shù)字化的N維對(duì)象的單元空間的數(shù)據(jù)表示。
背景技術(shù)：
在M Ghanbari“視頻編碼，標(biāo)準(zhǔn)碼導(dǎo)論”，電子工程學(xué)會(huì)，1999，ISBN 0 85296 762 4，第46-48頁中可以知道該方法的一個(gè)例子。
在該實(shí)施例當(dāng)中，計(jì)算機(jī)表示是一組二維圖像的數(shù)字化表示，該二維圖像表示在連續(xù)的時(shí)間內(nèi)，由在照相機(jī)的圖像平面中的投影在一個(gè)空間內(nèi)記錄的記錄的三維對(duì)象的記錄。圖像由像素位置矩陣構(gòu)成，在矩陣中指定了灰度值。
在已知方法的多數(shù)應(yīng)用當(dāng)中，例如數(shù)字電視傳輸或者在一個(gè)DVD盤上的記錄中，固定的像素塊根據(jù)某個(gè)適應(yīng)模式被轉(zhuǎn)換成一個(gè)計(jì)算機(jī)模型。該應(yīng)用的一個(gè)例子是使用MPEG2標(biāo)準(zhǔn)在一個(gè)DVD上記錄，其中計(jì)算機(jī)模型尤其包括為一個(gè)先前的固定像素塊計(jì)算的離散余弦變換(DCT)系數(shù)。已知系統(tǒng)的另一個(gè)應(yīng)用是根據(jù)PMEG4標(biāo)準(zhǔn)的視頻應(yīng)用，其允許更多的自適應(yīng)改變。例如，一個(gè)2-維對(duì)象能夠以基于對(duì)象的方式，以MPEG4編碼。MPEG4標(biāo)準(zhǔn)也允許一個(gè)在時(shí)間上生動(dòng)變化的人臉的三維模型作為視頻序列中的人臉的壓縮模型。目前的MPEG4壓縮系統(tǒng)的缺點(diǎn)在于沒有能夠自動(dòng)地模擬視頻立方中的三維對(duì)象的體元表示的滿意方法。體元表示將一個(gè)三維對(duì)象表示為一組基本元素的立方，被稱為體元。體元可以被定義為與一個(gè)數(shù)字相關(guān)的三維幾何位置，該數(shù)字表示，例如一個(gè)視頻圖像中的一個(gè)像素的灰度值。視頻立方是通過將多個(gè)視頻圖像放在一起所形成的體元的立方，這些視頻圖像在時(shí)間上彼此連續(xù)，一個(gè)挨著一個(gè)。

發(fā)明內(nèi)容
尤其是，本發(fā)明的第一個(gè)目的是提供一種轉(zhuǎn)換方法，用于通過用戶友好的計(jì)算機(jī)模型來模擬N-維對(duì)象。
尤其是，本發(fā)明第二個(gè)目的是提供一種壓縮一個(gè)N-維對(duì)象的有效方法。
尤其是，本發(fā)明的第三個(gè)目的是提供一個(gè)解壓縮被有效壓縮的視頻信號(hào)的方法。
尤其是，本發(fā)明的第四個(gè)目的是提供一種將第一單元模型轉(zhuǎn)換為第二單元模型，從而能夠有效地模擬相關(guān)的N-維對(duì)象的轉(zhuǎn)換的方法。
尤其是，本發(fā)明的第五個(gè)目的是提供一種執(zhí)行轉(zhuǎn)換方法的計(jì)算機(jī)程序。
尤其是，本發(fā)明的第六個(gè)目的是提供一種執(zhí)行壓縮方法的計(jì)算機(jī)程序。
尤其是，本發(fā)明的第七個(gè)目的是提供一種執(zhí)行解壓縮方法的計(jì)算機(jī)程序。
尤其是，本發(fā)明的第八個(gè)目的是提供一種執(zhí)行轉(zhuǎn)換方法的設(shè)備。
尤其是，本發(fā)明的第九個(gè)目的是提供一種執(zhí)行解壓縮方法的設(shè)備。
尤其是，本發(fā)明的第十個(gè)目的是提供一種表示一個(gè)N-維對(duì)象的容易處理的數(shù)據(jù)表示。
本發(fā)明的第一個(gè)目的這樣來實(shí)現(xiàn)計(jì)算機(jī)模型轉(zhuǎn)換包括生成具有第一單元和第二單元的一個(gè)單元空間模型的步驟，所述的第一單元屬于具有等于N維的第一流形(manifold)，第二單元屬于位于第一流形的邊緣處的具有等于N-1的較低維的第二流形，第一單元和第二單元之間的邊界被指定了一個(gè)表示符，其表示第二流形是否形成了第一流形的邊界的一部分。
流形是具有維D的點(diǎn)的集合的數(shù)學(xué)名稱。一個(gè)流形的例子是一個(gè)平面。在視頻立方中的一個(gè)平面的例子是通過投射一個(gè)照相機(jī)從例如一個(gè)方塊對(duì)象的上部拾取的連續(xù)視頻圖像所建立起來的平面。在每個(gè)視頻圖像中，投射形成了一行，所有的行聯(lián)合起來形成一個(gè)平面。一個(gè)對(duì)象的上部所形成的平面當(dāng)然可以是彎曲的。除了與視頻圖像和時(shí)間維相關(guān)的二維空間以外，在三維電視設(shè)備中還可以出現(xiàn)第三維空間。當(dāng)再加入一個(gè)比例維時(shí)，N維的數(shù)目就等于5?？梢栽黾痈郊拥木S表示其他的參數(shù)，例如，根據(jù)對(duì)象的紋理所進(jìn)行的計(jì)算。
單元空間是圖形的一個(gè)特例。圖形是一個(gè)數(shù)學(xué)概念，由單元和邊緣構(gòu)成。單元空間通常以這樣的方式建立一個(gè)單元對(duì)應(yīng)于N維對(duì)象的每個(gè)流形，從形成對(duì)象內(nèi)部的N維流形開始，經(jīng)過邊緣上的所有低維流形，直到并且包含成為點(diǎn)的，具有零維的邊界上的流形。單元空間的特征在于，如果第二流形位于第一流形的邊界上，在與具有D維的第一流形相應(yīng)的第一單元和與具有減少一維，即D-1維的較低維的第二流形相應(yīng)的第二單元之間加入了一個(gè)邊界。在母對(duì)象的邊界上的所有低級(jí)維流形通過單元空間模型中的單元和邊界清楚模擬。建立一個(gè)單元圖形的例子參考圖3和4描述。在根據(jù)本發(fā)明的轉(zhuǎn)換方法中，在邊界上增加一個(gè)表示符，表示在具有D維的第一流形的邊界上的具有D-1維的第二流形是否形成了第一流形中的對(duì)象的一部分?！靶纬刹糠帧钡暮x將參照?qǐng)D2描述。
在計(jì)算機(jī)圖形技術(shù)中存在多種模擬N-維對(duì)象的方法。但是，這些方法都具有一個(gè)度量特征。其中的一個(gè)例子是一個(gè)八叉樹，其中一個(gè)三維對(duì)象被分成不同維的立方，直到最小的立方接近具有給定精度的不規(guī)則外部表面。其他的模型模擬諸如一個(gè)三角網(wǎng)或者一個(gè)高斯震動(dòng)模型的N維對(duì)象表面。但是，單元空間是N-維對(duì)象的拓?fù)浔硎荆湓试S對(duì)象構(gòu)成成分的表示，如果需要，該成分能夠通過度量模型被補(bǔ)充模擬。
當(dāng)對(duì)于一個(gè)第二對(duì)象的計(jì)算機(jī)表示來說，在單元空間模型中增加了一個(gè)屬于第三流形的第三單元時(shí)，這是非常有利的。當(dāng)兩個(gè)對(duì)象的所有流形都在一個(gè)單元空間中表示時(shí)，它們的拓?fù)潢P(guān)系非常簡(jiǎn)單并且容易處理。屬于第一和第二單元的兩個(gè)相連的流形具有屬于第三單元的低級(jí)維的公共邊緣流形。單元空間在第三和第一單元之間具有第一邊界，在第三和第二單元之間具有第二邊界，其模擬邊界流形的邊界關(guān)系。由于邊界流形通常僅形成一個(gè)流形的一部分，因此一個(gè)邊界的表示符的值是“形成一部分”，其他邊界的表示符的值是“未形成一部分”。利用所有對(duì)象的信息，包括單元空間，很容易預(yù)測(cè)，例如對(duì)象的時(shí)間估計(jì)，或者在計(jì)算機(jī)圖形應(yīng)用中對(duì)其進(jìn)行改變。表示符提供了關(guān)于在視頻序列中，照相機(jī)所捕獲的三維空間中的兩個(gè)對(duì)象中的哪一個(gè)的位置最落后的事實(shí)的信息。
在一個(gè)實(shí)施例中，一個(gè)三維視頻立方由與連續(xù)時(shí)間相關(guān)的二維圖像構(gòu)成，并且逐個(gè)放置，該三維視頻立方被分成第一對(duì)象和第二對(duì)象，并且轉(zhuǎn)換生成了第一單元和第三單元，第一流形和第三流形的維數(shù)至多為3。
該實(shí)施例發(fā)生在例如二維電視應(yīng)用中。根據(jù)本發(fā)明的方法的優(yōu)點(diǎn)在于能夠通過單元空間模型及時(shí)容易地模擬對(duì)象的幾何轉(zhuǎn)換。視頻立方中的所有體元被指定給一個(gè)對(duì)象，例如第一三維時(shí)空對(duì)象表示一個(gè)正在走動(dòng)的人，第二對(duì)象是這個(gè)人所處的環(huán)境，包括所有其他的體元。當(dāng)一個(gè)視頻立方包括從一個(gè)視頻序列中選擇出來的P個(gè)圖像時(shí)，這個(gè)人可能僅在P-K個(gè)圖像中出現(xiàn)，或者他可以在選定視頻立方以外的圖像中出現(xiàn)。視頻立方中的每個(gè)對(duì)象都在相同的單元空間模型中模擬。
當(dāng)轉(zhuǎn)換根據(jù)從計(jì)算機(jī)表示值中導(dǎo)出的至少一個(gè)幾何特征的計(jì)算將一個(gè)值指定給表示符時(shí)是非常令人感興趣的。根據(jù)一個(gè)真實(shí)的視頻序列自動(dòng)生成單元空間模型。視頻序列中的對(duì)象的各種特征都能夠被測(cè)量，從而能夠通過一個(gè)或者多個(gè)這些特征賦予表示符以具有確定性的正確值。
在使用表示符的一個(gè)魯棒計(jì)算的實(shí)施例中，轉(zhuǎn)換根據(jù)相對(duì)于當(dāng)時(shí)視頻立方中具有二維圖像的平面的第一對(duì)象的橫截面的表面時(shí)間的變化的計(jì)算將一個(gè)值指定給一個(gè)表示符。實(shí)際上，當(dāng)視頻序列中的一個(gè)對(duì)象的二維橫截面在另一個(gè)對(duì)象的橫截面之后出現(xiàn)或者消失時(shí)，由于對(duì)象中的某些像素是不可見的，因此與橫截面相關(guān)的像素?cái)?shù)目改變。
第二個(gè)目的是通過使用一個(gè)單元空間模型進(jìn)行轉(zhuǎn)換來實(shí)現(xiàn)的。除了單元空間模型以外，還生成了一個(gè)壓縮模型。壓縮模型包括度量信息，例如，有關(guān)第一對(duì)象內(nèi)部的精確形式。根據(jù)本發(fā)明的方法的優(yōu)點(diǎn)在于視頻立方中的對(duì)象通過三維模型壓縮，同時(shí)現(xiàn)有的MPEG4技術(shù)中的對(duì)象通過在不同的電視圖像中僅模擬和壓縮二維橫截面來二維壓縮。通過使用一個(gè)三維壓縮模型，在相同的圖像質(zhì)量下實(shí)現(xiàn)的壓縮因子高于二維壓縮。此外，在固定的壓縮因子的情況下，三維壓縮所獲得的圖像質(zhì)量高于二維壓縮。由于將一幅圖像分割成16×16的像素塊的固定模式和圖像的時(shí)間預(yù)測(cè)，MPEG-2不能完全地利用視頻立方中的對(duì)象的三維特征。對(duì)于一個(gè)有效的壓縮，必須明確考慮對(duì)象被阻塞的事實(shí)。阻塞發(fā)生在當(dāng)?shù)谝粚?duì)象在三維空間內(nèi)移動(dòng)到先前的第二對(duì)象之后時(shí)，或者當(dāng)?shù)谝粚?duì)象在第二對(duì)象的后面出現(xiàn)時(shí)。
專利申請(qǐng)WO-A-00/64148描述了一種壓縮方法，該方法是基于匹配二維圖塊進(jìn)行的。在該申請(qǐng)中描述的一些技術(shù)對(duì)于從一個(gè)視頻立方當(dāng)中獲得一個(gè)N-維對(duì)象是有用的，本發(fā)明需要這種方法。但是，該專利申請(qǐng)中沒有明確使用N-維對(duì)象，僅使用了其二維投影。
第三目的是通過使用一個(gè)單元空間模型的解壓縮方法來實(shí)現(xiàn)的。單元空間模型中的對(duì)象的明確編碼允許高級(jí)壓縮和解壓縮。實(shí)際上，在再生N-維對(duì)象的過程中，這通過對(duì)像素可見的單元空間模型的方法來計(jì)算。
第四目的是通過第一多個(gè)單元與第二多個(gè)單元不同來實(shí)現(xiàn)的。例如，當(dāng)?shù)谝籒-維對(duì)象與第二N-維對(duì)象相比較時(shí)，例如對(duì)于互聯(lián)網(wǎng)上的圖像材料的搜索，很容易比較它們的相關(guān)單元空間模型。在將兩個(gè)單元空間模型的單元和邊緣彼此相關(guān)之前，很容易首先轉(zhuǎn)換單元空間模型中的一個(gè)。例如，對(duì)于模擬一個(gè)質(zhì)詢中指定的房子的單元空間模型，表示一間房子的對(duì)象的屋頂是平的，并且在互聯(lián)網(wǎng)上的一幅圖像中指出第二間房子。例如，表示平形屋頂?shù)膯卧梢灾匦掠糜谥付ㄎ蓓數(shù)牡谝粋?cè)面，并且為第二側(cè)面加入一個(gè)額外的單元。同樣的技術(shù)對(duì)于計(jì)算機(jī)圖形應(yīng)用是非常有益的。
第五目的是通過提供一個(gè)包括一個(gè)用于執(zhí)行轉(zhuǎn)換方法的計(jì)算機(jī)程序的計(jì)算機(jī)代碼來實(shí)現(xiàn)的。
第六目的是通過提供一個(gè)包含一個(gè)用于執(zhí)行壓縮方法的計(jì)算機(jī)程序的計(jì)算機(jī)代碼來實(shí)現(xiàn)的。
第七目的是通過提供一個(gè)包含一個(gè)用于執(zhí)行解壓縮方法的計(jì)算機(jī)程序的計(jì)算機(jī)代碼來實(shí)現(xiàn)的。
第八目的是通過一種處理裝置實(shí)現(xiàn)的，該裝置能夠生成一個(gè)具有第一單元和第二單元以及第一單元和第二單元之間的邊緣的單元空間模型，第一單元屬于具有等于N的高維數(shù)的第一流形，第二單元屬于位于第一流形邊緣的，等于N-1的低維數(shù)的第二流形，該裝置還能夠?yàn)檫吘壷付ㄒ粋€(gè)表示符，該表示符表示第二流形是否形成了第一流形的邊緣的一部分。
第九目的是通過一種能夠訪問該單元空間模型的處理裝置來實(shí)現(xiàn)的。
第十目的是通過為單元空間的第一單元和第二單元之間的邊緣指定一個(gè)表示符來實(shí)現(xiàn)的，該表示符表示具有低維數(shù)的第二流形是否形成了具有高維數(shù)的第一流形的一部分，所述的第一和第二流形分別由第一和第二單元表示。


下面將參照附圖以實(shí)施例的方式詳細(xì)闡明根據(jù)本發(fā)明的轉(zhuǎn)換方法，壓縮方法，解壓縮方法，設(shè)備，視頻解壓縮裝置和數(shù)據(jù)表示。在這些附圖中圖1是表明將一個(gè)對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成計(jì)算機(jī)模型的方框圖；圖2是表示一個(gè)三維場(chǎng)景的二維圖像；圖3是用于闡明一個(gè)單元空間模型的結(jié)構(gòu)的一個(gè)簡(jiǎn)單的二維對(duì)象；圖4是與圖3中的對(duì)象有關(guān)的單元空間模型；圖5表明了兩個(gè)網(wǎng)狀的環(huán)形對(duì)象；圖6是與圖5中的環(huán)形對(duì)象有關(guān)的單元空間模型的簡(jiǎn)化表示；圖7是具有兩個(gè)對(duì)象的視頻立方；圖8是解壓縮方法的方框圖；
圖9是用于生成一個(gè)N-維對(duì)象的單元空間模型的設(shè)備；圖10是一個(gè)視頻解壓縮設(shè)備；圖11是三個(gè)對(duì)象的兩個(gè)邊緣的T形連接；圖12是時(shí)間上彼此連續(xù)的圖像的符號(hào)表示；圖13是與圖12中的圓有關(guān)的三維時(shí)空對(duì)象。
在下面的附圖中，與附圖中已經(jīng)描述過的部分相應(yīng)的部分用相同的參考標(biāo)記表示。一個(gè)對(duì)象和相關(guān)的單元空間模型的相應(yīng)對(duì)象的參考標(biāo)記僅在百位有所不同。參考三維或者二維對(duì)象來描述方法和裝置是為了更為清楚地闡述。所描述的步驟可以以顯然的方式，在更高維數(shù)當(dāng)中數(shù)學(xué)計(jì)算。
具體實(shí)施例方式
圖1中的轉(zhuǎn)換方法的第二步驟是獲取1計(jì)算機(jī)表示，例如一個(gè)N-維對(duì)象的體元表示。很可能分割步驟3在獲取步驟之前執(zhí)行，在分割步驟中，對(duì)象從一個(gè)視頻立方中分割。分割是將視頻立方中的每個(gè)像素僅分配一個(gè)對(duì)象。分割一個(gè)三維視頻立方的算法能夠以簡(jiǎn)單的方式從文獻(xiàn)中所述的二維圖像圖塊中推導(dǎo)。一種可能的算法是當(dāng)標(biāo)準(zhǔn)表明它們就選定的特征而言種類相同時(shí)，將例如一個(gè)8×8×8體元的立方分配給一個(gè)相同的圖塊。特征的一個(gè)例子是與體元有關(guān)的灰度值。標(biāo)準(zhǔn)的一個(gè)例子是與體元的兩個(gè)立方有關(guān)的柱狀圖絕對(duì)差GG=Σi=1M|CiK1-CiK2|/2V---[1]]]>在公式[1]中，i是柱狀圖面元(bin)的指數(shù)，其中視頻立方中的所有灰度值被分成M個(gè)面元。C是在立方體K1和K2中與一個(gè)面元i有關(guān)的灰度值的數(shù)目。立方的體積V作為標(biāo)準(zhǔn)化常數(shù)使用。當(dāng)差別G很小時(shí)，根據(jù)分割算法，兩個(gè)立方屬于同一個(gè)圖塊。不同的標(biāo)準(zhǔn)是在文獻(xiàn)中的描述，其中的每一個(gè)都能夠使用不同的特征例如體元灰度值，體元彩色，紋理尺寸，例如通過Gabor濾波獲得的值，或者來自于一個(gè)聯(lián)合發(fā)生矩陣的值等。在文獻(xiàn)中，還存在不同的圖塊算法分組，例如，小圖塊到大圖塊，或者相反，分裂成大圖塊到小圖塊。
已經(jīng)根據(jù)一個(gè)給定的模型例如一個(gè)八叉樹模擬了一個(gè)對(duì)象。如果需要，八叉樹模型可以在獲取步驟過程中被轉(zhuǎn)換成一個(gè)體元表示?；蛘?，可以根據(jù)例如一個(gè)三角網(wǎng)狀表示來生成一個(gè)單元空間模型。
在圖1中的生成步驟5中，根據(jù)體元表示建立了一個(gè)單元空間。下面參考圖3和4對(duì)此進(jìn)行描述。
圖3表明了具有平面511的一個(gè)簡(jiǎn)單的二維圖形510，該圖形被一個(gè)一維的圓形邊界513和三個(gè)直線邊界514，515和516所界定。直線邊界由兩個(gè)點(diǎn)相連而形成，例如，第一直線邊界514被第一點(diǎn)520和第二點(diǎn)521連接而成。
圖4以圖表的方式表明了屬于圖3所示圖形的單元空間模型609。存在一個(gè)具有屬于平面511的單元維數(shù)為2的單元611。對(duì)于具有維數(shù)比2低1維的平面511的邊緣上的所有邊緣流形，在單元611和與邊緣流形相應(yīng)的單元，例如單元611和與一個(gè)圓形邊界513有關(guān)的單元613之間的邊界612之間的單元空間模型609中，增加一個(gè)邊緣。在與被看作是區(qū)別大于1的維數(shù)的流形有關(guān)的單元之間不加入邊界，例如在單元611和與第一點(diǎn)520有關(guān)的單元620之間沒有邊界加入。為所有的邊界指定了一個(gè)表示符，為了附圖的清楚，僅表明了一個(gè)表示符625。該表示符表示圓形邊界513是否形成了平面511的一部分，或者換句話說，圓形邊界是否形成了二維圖形510的一部分，在這種情況下，例如，表示符被指定為值1。如果圓形邊界513沒有形成平面511的一部分，例如，該表示符被指定為值0。
圖2表明了“形成一部分”的含義并且顯示了一個(gè)空間上的三維場(chǎng)景的二維圖像，例如一個(gè)照相機(jī)所拾取的圖像或者一個(gè)計(jì)算機(jī)繪圖程序所描述的圖像。對(duì)象13位于對(duì)象15的前面空間中。對(duì)象15的平面16被四條直線，尤其是第一直線邊界17和第二直線邊界18所圍繞。為了賦予表示符一個(gè)與屬于平面16的單元和屬于直線邊界17的單元之間的邊界有關(guān)的正確值，應(yīng)當(dāng)詢問這樣的問題第一直線邊界17是否形成了平面16的一部分，或者，與此等價(jià)地，是否形成了對(duì)象15的一部分。當(dāng)對(duì)象表明，例如，墻面上的門已經(jīng)打開，第一直線邊界17與門孔有關(guān)。因此，標(biāo)準(zhǔn)是當(dāng)門孔在通過移動(dòng)鏡頭照相機(jī)所拾取的連續(xù)視頻圖像上移動(dòng)時(shí)，第一直線邊界17沿著門孔移動(dòng)。例如，使用一個(gè)Hough轉(zhuǎn)換，在諸如Canny邊界檢測(cè)器的邊界檢測(cè)器所發(fā)現(xiàn)的邊界17上的點(diǎn)，一段直線以相同的速度和方向沿著門孔的紋理，例如在給定的灰度值以上的一圖塊的像素移動(dòng)。如果門具有足夠的紋理信息，可以使用一個(gè)運(yùn)動(dòng)估計(jì)器來確定它的運(yùn)動(dòng)，例如在專利文件WO-A-0188852中描述的估計(jì)器。第二直線邊界18也在平面16之內(nèi)。假設(shè)第二直線邊界18形成了對(duì)象13的上邊界，并且對(duì)象15的真實(shí)邊界隱藏，例如隱藏在對(duì)象13的后面。然后，沿著對(duì)象13移動(dòng)第二直線邊界18，例如當(dāng)對(duì)象13是一個(gè)向左的人時(shí)，其向左移動(dòng)，并且不沿著對(duì)象15移動(dòng)，例如在照相機(jī)移動(dòng)的影響下，其向右移動(dòng)。第二直線邊界18這樣界定平面16，但是沒有形成平面16的一部分，卻形成了對(duì)象13的一部分?？梢允褂貌煌膯l(fā)通過阻塞分析的方式來定義對(duì)象的邊界與哪個(gè)對(duì)象相關(guān)。第一啟發(fā)定義，例如當(dāng)連續(xù)圖像中的第一對(duì)象的橫截面減小或者增加時(shí)，同時(shí)第二伴隨對(duì)象的橫截面保持恒定，第二對(duì)象覆蓋第一對(duì)象，并且邊界流形形成第二對(duì)象的一部分。
第二啟發(fā)參照?qǐng)D11描述。在邊界301和邊界303的T形接點(diǎn)上，與連續(xù)邊界301有關(guān)的對(duì)象305位于對(duì)象307和309的前面，并且邊界301形成了對(duì)象305的一部分。
第三啟發(fā)分析邊界移動(dòng)進(jìn)行哪個(gè)連接紋理。這可以受運(yùn)動(dòng)估計(jì)的影響。首先，能夠執(zhí)行紋理分析，例如通過計(jì)算規(guī)定參數(shù)，或者紋理的小波或者碎片分析，或者能夠執(zhí)行紋理單元的分析。還有可能將具有相同類型紋理的圖塊從圖像中分離出來并且應(yīng)用一個(gè)基于圖塊的運(yùn)動(dòng)估計(jì)器。
如果存在第二對(duì)象，例如，與圖7所示的視頻立方201中的第一對(duì)象203在一起的第二對(duì)象204，在單元空間模型中為第二對(duì)象增加了單元。例如，在圖6中，分別為圖5中的第一環(huán)21的內(nèi)部25和第二環(huán)23的內(nèi)部27增加了單元125和127。在圖6中，由虛線表示的表示符與具有“沒有形成部分”的意思的值有關(guān)。為了圖6的清楚明了，僅表明了兩個(gè)點(diǎn)的相關(guān)單元。
當(dāng)圖1中的生成步驟5不僅生成體元表示的單元空間模型223，模擬步驟6還生成一個(gè)度量模型222時(shí)，這是非常令人感興趣的。例如，一個(gè)三維對(duì)象的二維包絡(luò)能夠通過三角網(wǎng)狀模型或者計(jì)算機(jī)圖形技術(shù)中已知的其他模型可測(cè)量的模擬。使用測(cè)量算法生成邊界流形是非常令人感興趣的。為了定義一個(gè)對(duì)象的二維邊界表面，例如可以首先計(jì)算對(duì)象的重心，接下來和與重心距高最遠(yuǎn)的對(duì)象有關(guān)的點(diǎn)被認(rèn)為是重心半徑上的邊界點(diǎn)。在推定固體幾何技術(shù)中還已知用于確定流形的其他算法。作為所有邊界點(diǎn)的集合獲得的對(duì)象的彎曲的二維邊界表面可以僅利用例如平面來模擬，而不用通過與二維邊界表面的匹配計(jì)算出的平面流形來模擬，其中平面上的一個(gè)點(diǎn)，不是平面的流形與二維邊界上的一個(gè)點(diǎn)之間的距離不會(huì)大于一個(gè)預(yù)定的距離。參照?qǐng)D3描述另一個(gè)例子。很明顯，僅使用一個(gè)直線邊界，例如516，描述了邊界的直線部分，但是直線邊界516可以被分成兩個(gè)更短的直線邊界，然后這兩個(gè)直線邊界分別屬于單元空間609中的兩個(gè)單元。而且，也可以為度量模型指派一個(gè)紋理功能。很可能為一個(gè)流形中的所有體元給定一個(gè)和相同的彩色。另一個(gè)可能是，例如，在三角網(wǎng)狀表示的三角中加入一個(gè)多項(xiàng)式紋理模型。然后可以將多項(xiàng)式的參數(shù)加入到壓縮模型當(dāng)中。壓縮模型和單元空間給出了有效重建對(duì)象所需的全部信息。
在輸出步驟7的過程中，將單元空間模型以及度量模型222(如果應(yīng)用)輸出到存儲(chǔ)器219，或者通過數(shù)據(jù)連接傳輸。當(dāng)使用測(cè)量模型和單元空間的數(shù)據(jù)生成一個(gè)壓縮模型228，最好是一個(gè)基于對(duì)象的壓縮模型時(shí)，這是非常令人感興趣的。例如，可以使用從現(xiàn)有的壓縮技術(shù)中已知的技術(shù)，例如小波系數(shù)的量化技術(shù)，同時(shí)考慮人類的視覺特征，例如哈夫曼編碼，使用對(duì)象的一個(gè)三維小波模型作為壓縮模型。
使用單元空間模型的優(yōu)點(diǎn)在于能夠比僅利用度量模型更為有效地執(zhí)行壓縮和解壓縮。這將參考圖12和13進(jìn)行描述。在視頻序列中，兩個(gè)對(duì)象彼此阻塞是非常常見的。方塊713在第一圖像701，第二圖像703和第三圖像705中保持在相同的位置上。但是，圓圈在方塊的后面移動(dòng)，并且在第三圖像中甚至移出了圖像幀。圖13表明了圓圈在不同的圖像中的運(yùn)動(dòng)作為一個(gè)三維對(duì)象730。由于圓圈的各部分已經(jīng)被阻塞，即在一些圖像中已經(jīng)看不見，因此三維對(duì)象730的形狀是不規(guī)則的。例如，與圓圈的第三位置714相應(yīng)的橫截面725就由于部分圓圈位于圖像之外而不圓。但是，在發(fā)生移動(dòng)的三維空間內(nèi)，圓圈總是保持圓的。這樣如果阻塞也要被模擬的話，就可能使用一個(gè)圓柱的模型來模擬圓圈。這在我們的方法中是通過單元空間模型中的表示符實(shí)現(xiàn)的。在解壓縮過程中，當(dāng)將根據(jù)壓縮模型生成視頻立方圖像時(shí)，將考慮阻塞。例如，當(dāng)再生圖像時(shí)，落在圖像之外的內(nèi)容將被剪切。邊界是一個(gè)阻塞對(duì)象的特殊情況。圖像的再生進(jìn)一步在圖8的描述中介紹。二維圖像中的對(duì)象改變可以由平移，旋轉(zhuǎn)和縮放構(gòu)成，簡(jiǎn)單的三維對(duì)象與上述內(nèi)容有關(guān)。更為復(fù)雜的轉(zhuǎn)換模型會(huì)出現(xiàn)非線性彎曲。
例如，如果一個(gè)足球滾入了一幅圖像，紋理模擬可以選擇性地模擬足球的旋轉(zhuǎn)紋理功能，或者線性平移的靜態(tài)功能，其中在接收端足球被看作正在滑動(dòng)，而不是滾動(dòng)。如果紋理功能隨時(shí)間變化，例如，隨亮度的改變而變化，第一種選擇是使用非常短的三維對(duì)象僅例如用四個(gè)幀模擬對(duì)象軌跡的一小部分。另一種選擇是使用時(shí)間變化紋理功能，例如與對(duì)象耦合的參考軸系統(tǒng)中的像素的灰度值的多項(xiàng)式改變。
壓縮對(duì)于多數(shù)應(yīng)用非常重要。能夠理解數(shù)據(jù)傳輸作為一種壓縮應(yīng)用指的是例如，互聯(lián)網(wǎng)，第三和第四代移動(dòng)通信，在DSL(數(shù)字用戶線)上的視頻點(diǎn)播以及數(shù)字電視。存儲(chǔ)器指的是例如，高容量記錄載體，例如數(shù)字盤DVD上的HDTV，專業(yè)視頻服務(wù)器，基于硬盤的個(gè)人視頻記錄器，在硬盤上記錄了很多節(jié)目，盡管利用的是低質(zhì)量，和在多種系統(tǒng)當(dāng)中適當(dāng)壓縮來記錄的。人們對(duì)于低容量存儲(chǔ)器，例如視頻CD的載體，小盤以及固態(tài)存儲(chǔ)器，也很感興趣。視頻信號(hào)可以是來自于衛(wèi)星電視到互聯(lián)網(wǎng)視頻的所有種類的源。該方法可以在提供者終端，例如在電視演播室中使用，也可以在中間終端例如電纜網(wǎng)絡(luò)公司，以及直播間中使用。
可以通過例如為每一個(gè)幀構(gòu)建一個(gè)所謂的可縮放空間來獲得大于3的維數(shù)。例如，可以利用高斯濾波器對(duì)該幀濾波，在高斯濾波器中濾波器的標(biāo)準(zhǔn)偏差σ持續(xù)增加。然后標(biāo)準(zhǔn)偏差形成了一個(gè)額外的維。與視頻立方相似，其可以通過在時(shí)間上將一幀放在另一幀之后來形成。如圖7所示，濾波的幀被認(rèn)為是不同級(jí)別的幀，能夠放置在另一個(gè)之后。
單元空間模型的另一種應(yīng)用是計(jì)算機(jī)想象。例如，當(dāng)一個(gè)機(jī)器人必須參考照相機(jī)拾取的圖像在一個(gè)三維空間中安排一個(gè)運(yùn)動(dòng)軌跡時(shí)，它可以使用單元空間模型來定義該幀中的哪個(gè)流形屬于彼此從而它能夠更好的計(jì)算三維結(jié)構(gòu)和在三維空間中對(duì)象的放置。另一種應(yīng)用是從另一個(gè)觀點(diǎn)例如三維電視或者視頻點(diǎn)播出發(fā)的場(chǎng)景再生。而且，當(dāng)生成特殊效果時(shí)，單元空間模型也是非常有意思的。另一種應(yīng)用是互聯(lián)網(wǎng)上的圖像的結(jié)構(gòu)分解。當(dāng)必須找到具有給定對(duì)象的圖像時(shí)，這些對(duì)象可以利用單元空間模型描述。既可以為用戶給出的搜索對(duì)象的輪廓，例如一個(gè)圖像搜索程序，又可為互聯(lián)網(wǎng)上的數(shù)據(jù)庫中的圖像生成一個(gè)單元空間模型。人們對(duì)單元空間模型在醫(yī)學(xué)圖像處理應(yīng)用中的使用也很感興趣。
圖8是解壓縮一個(gè)壓縮視頻信號(hào)的方框圖。首先在步驟101獲取壓縮信號(hào)，例如來自于電視分布電纜或者個(gè)人視頻記錄其的信號(hào)。如果需要，對(duì)其進(jìn)行轉(zhuǎn)換從而實(shí)現(xiàn)一個(gè)可用的度量模型。例如，可以例如差別地存儲(chǔ)壓縮模型中的部分信息，在這種情況下，首先計(jì)算模型參數(shù)的絕對(duì)值，并將其存儲(chǔ)在度量模型當(dāng)中。在一個(gè)優(yōu)選實(shí)施例中，應(yīng)用一個(gè)單元空間模型以及一個(gè)壓縮模型，盡管在另一個(gè)實(shí)施例中是在接收端計(jì)算單元空間模型。
接下來，使用測(cè)量模型和單元空間模型生成一個(gè)計(jì)算機(jī)表示(圖8中的步驟)103，例如一個(gè)視頻立方201。在第一實(shí)施例中，直接生成一個(gè)包括P個(gè)幀的三維視頻立方。例如首先生成一個(gè)三維對(duì)象的邊界，接下來通過例如紋理模型生成其內(nèi)部?；蛘撸诘诙?shí)施例中獨(dú)立地生成每一幀。參考幅圖12和圖5描述第二實(shí)施例。
例如，當(dāng)生成第二圖像703時(shí)，首先通過例如將圓圈712和方塊713的相關(guān)的三維對(duì)象投射到第二圖像703的平面上來計(jì)算它們的邊界。接下來，應(yīng)用每個(gè)紋理功能從而對(duì)圓圈和方塊的像素著色。應(yīng)當(dāng)計(jì)算圓圈或者方塊是否在前面。由于邊界流形形成了方塊的一部分，因此方塊在前面。接下來，必須首先在圓圈的第二位置712繪出其紋理功能，并且利用方塊713的紋理功能重寫。
圖5表明了第一環(huán)21和第二環(huán)23在空間上互相連接的一個(gè)更為困難的情況。通過投射算法生成了環(huán)的一維邊界，例如邊界29和30。接下來，應(yīng)用紋理功能從而對(duì)環(huán)的像素著色。為此，例如，使用一個(gè)漆匠算法。其為對(duì)象邊界內(nèi)的所有像素指定正確的值。一種選擇算法首先繪出第一環(huán)21的像素，然后繪出第二環(huán)23的像素。如果使用選擇算法，在交叉點(diǎn)55和分隔點(diǎn)56之間的區(qū)域中，第一環(huán)21的像素被第二環(huán)的像素不法重寫。而且當(dāng)另一種選擇算法首先繪出第二環(huán)時(shí)，存在錯(cuò)誤的像素。這是由于第一環(huán)21和第二環(huán)23都不在前面。這一問題可以通過在單元空間模型中應(yīng)用一個(gè)圓形的檢測(cè)算法來解決。當(dāng)檢測(cè)到一個(gè)圓時(shí)，必須加入一個(gè)額外的邊界流形，這被稱為一個(gè)交叉點(diǎn)，例如交叉點(diǎn)55。交叉點(diǎn)55和邊界51之間的第一環(huán)21將穿過第二環(huán)在第三繪圖相位描述。通過使用輸入交叉點(diǎn)和執(zhí)行額外的繪圖相位的算法，所有的像素都具有一個(gè)正確的值。
在輸出步驟105的過程中，將視頻立方寫入到例如一個(gè)存儲(chǔ)器271當(dāng)中，或者將連續(xù)的圖像發(fā)送到例如一個(gè)圖形處理單元當(dāng)中。
圖9表明了一種用于將一個(gè)計(jì)算機(jī)表示，例如一個(gè)N-維第一對(duì)象203的體元表示221轉(zhuǎn)換成對(duì)象203的計(jì)算機(jī)模型的設(shè)備211。為此，設(shè)備211包括獲取裝置215，例如一個(gè)用于獲取第一對(duì)象203的體元表示221的數(shù)據(jù)連接。在一個(gè)優(yōu)選實(shí)施例當(dāng)中，體元表示221位于存儲(chǔ)器219當(dāng)中。而且，設(shè)備211包括處理裝置213，用于根據(jù)體元表示221生成計(jì)算機(jī)模型。在一個(gè)優(yōu)選實(shí)施例當(dāng)中，處理裝置213是一個(gè)處理器。用于輸出計(jì)算機(jī)模型的輸出裝置217例如是一個(gè)與存儲(chǔ)器219相連的數(shù)據(jù)連接，其中寫入了單元空間模型223和算法模型222。當(dāng)設(shè)備211結(jié)合到一個(gè)視頻處理裝置241當(dāng)中時(shí)是非常令人感興趣的。在一個(gè)實(shí)施例中，視頻處理裝置241具有一個(gè)用于接收視頻信號(hào)229的輸入端233以及一個(gè)能夠處理接收到的視頻信號(hào)的條件單元225，其能夠例如將接收到的視頻信號(hào)轉(zhuǎn)換從一個(gè)PAL信號(hào)轉(zhuǎn)換成一個(gè)視頻立方。而且，在該實(shí)施例中，提供了一個(gè)用于輸出視頻信號(hào)231的輸出端235，通過輸出處理單元227形成了視頻信號(hào)。尤其是，當(dāng)輸出處理單元227生成一個(gè)壓縮模型228時(shí)是非常令人感興趣的。
圖10表明了一種視頻解壓縮裝置251，用于將包括一個(gè)壓縮模型的壓縮的視頻信號(hào)261壓縮為一個(gè)計(jì)算機(jī)表示262，例如一個(gè)三維視頻立方201。該視頻解壓縮裝置251具有一個(gè)用于接收一個(gè)壓縮視頻信號(hào)261的輸入端255和一個(gè)用于輸出一個(gè)解壓縮視頻信號(hào)263，例如一個(gè)視頻立方201的輸出端257?；蛘?，提供一個(gè)輸出處理單元265用于將視頻立方轉(zhuǎn)換成一個(gè)PAL或者NTSC信號(hào)。在視頻解壓縮裝置251的一個(gè)優(yōu)選實(shí)施例中，用于生成計(jì)算機(jī)表示262的處理單元253連接到一個(gè)存儲(chǔ)器271，在該存儲(chǔ)器中存儲(chǔ)了一個(gè)單元空間模型273。
權(quán)利要求
1.一種將一個(gè)N-維第一對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成第一對(duì)象的計(jì)算機(jī)模型的方法，特征在于計(jì)算機(jī)模型轉(zhuǎn)換包括生成具有一個(gè)第一單元和一個(gè)第二單元的一個(gè)單元空間模型的步驟，所述第一單元屬于具有維數(shù)等與于N的第一空間第一流形，所述第二單元屬于位于第一空間第一流形的邊緣處的維數(shù)等于N-1的第二空間第二流形，并且在第一單元和第二單元之間的邊界上指定了一個(gè)表示符，該表示符表示第二空間第二流形是否形成了第一空間第一流形的邊界的一部分。
2.根據(jù)權(quán)利要求1所述的一種轉(zhuǎn)換方法，特征在于在單元空間模型中增加一個(gè)屬于第三空間第三流形的第三單元，用作第二對(duì)象的計(jì)算機(jī)表示。
3.根據(jù)權(quán)利要求2所述的一種轉(zhuǎn)換方法，特征在于包括于連續(xù)時(shí)間有關(guān)并且彼此相聯(lián)前后放置的二維圖像組成的一個(gè)三維視頻立方被分割成第一對(duì)象和第二對(duì)象，并且轉(zhuǎn)換生成了第一單元和第三單元，第一空間第一流形和第三空間第三流形的維數(shù)至多為3。
4.根據(jù)權(quán)利要求3所述的一種轉(zhuǎn)換方法，特征在于轉(zhuǎn)換根據(jù)從計(jì)算機(jī)表示的值導(dǎo)出的值的至少一個(gè)幾何特征的計(jì)算為表示符指定一個(gè)值。
5.根據(jù)權(quán)利要求4所述的一種轉(zhuǎn)換方法，特征在于轉(zhuǎn)換根據(jù)當(dāng)時(shí)在視頻序列立方中具有一個(gè)二維圖像的平面的第一對(duì)象的橫截面的表面時(shí)間改變的計(jì)算為表示符指定一個(gè)值。
6.一種將一個(gè)N-維對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成該對(duì)象的一個(gè)壓縮模型的壓縮方法，特征在于轉(zhuǎn)換利用了單元空間模型。
7.一種將一個(gè)壓縮的視頻信號(hào)解壓縮成一個(gè)N-維對(duì)象的計(jì)算機(jī)表示的方法，特征在于解壓縮利用了單元空間模型。
8.一種將具有第一多個(gè)單元的第一單元空間模型轉(zhuǎn)換成具有第二多個(gè)單元的第二單元空間模型的方法，特征在于第一多個(gè)單元與第二多個(gè)單元不同。
9.一種用于執(zhí)行將一個(gè)N-維第一對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成該第一對(duì)象的計(jì)算機(jī)模型的方法的計(jì)算機(jī)程序，特征在于轉(zhuǎn)換成計(jì)算機(jī)模型包括生成具有一個(gè)第一單元和第二單元的單元空間模型的步驟，所述第一單元屬于具有維數(shù)等與N的第一空間第一流形，所述第二單元屬于位于第一空間第一流形的邊緣處的維數(shù)等于N-1的第二空間第二流形，并且在第一單元和第二單元之間的邊界上指定了一個(gè)表示符，該表示符表示第二空間第二流形是否形成了第一空間第一流形的邊界的一部分。
10.一種用于執(zhí)行將一個(gè)N-維對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成該對(duì)象的計(jì)算機(jī)模型的壓縮方法的計(jì)算機(jī)程序，特征在于轉(zhuǎn)換利用了單元空間模型。
11.一種用于執(zhí)行將一個(gè)壓縮的視頻信號(hào)解壓縮成一個(gè)N-維對(duì)象的計(jì)算機(jī)表示的方法的計(jì)算機(jī)程序，特征在于解壓縮利用了單元空間模型。
12.一種用于將一個(gè)N-維的第一對(duì)象的計(jì)算機(jī)表示轉(zhuǎn)換成該第一對(duì)象的計(jì)算機(jī)模型的裝置設(shè)備，該裝置設(shè)備包括獲取裝置，用于獲取第一對(duì)象的計(jì)算機(jī)表示，處理裝置，用于轉(zhuǎn)換第一對(duì)象的計(jì)算機(jī)表示，以及輸出裝置，用于輸出計(jì)算機(jī)模型，特征在于該處理裝置能夠生成具有一個(gè)第一單元和第二單元的單元空間模型的步驟，所述第一單元屬于具有維數(shù)等與N的第一空間第一流形，所述第二單元屬于位于第一空間第一流形的邊緣處的維數(shù)等于N-1的第二空間第二流形，并且能夠在邊界上指定一個(gè)表示符，該表示符表示第二空間第二流形是否形成了第一空間第一流形的邊界的一部分。
13.一種用于將一個(gè)壓縮的視頻信號(hào)解壓縮為一個(gè)N-維對(duì)象的計(jì)算機(jī)表示的視頻解壓縮裝置設(shè)備，該視頻解壓縮裝置設(shè)備包括獲取裝置，用于獲取壓縮的視頻信號(hào)；處理裝置，用于根據(jù)壓縮的視頻信號(hào)生成計(jì)算機(jī)表示；輸出裝置，用于輸出計(jì)算機(jī)表示，特征在于處理裝置能夠訪問一個(gè)單元空間模型。
14.一種包括一個(gè)表示一個(gè)數(shù)字化的N-維對(duì)象的單元空間的數(shù)據(jù)表示，特征在于在單元空間的第一單元和第二單元之間的邊界上指定了一個(gè)表示符，該表示符表示具有較低維數(shù)的第二空間第二流形是否形成了具有較高維數(shù)的第一空間第一流形的一部分，所述的第一和第二空間第二流形分別被第一和第二單元表示。
全文摘要
一種用于將一個(gè)N－維對(duì)象的體元表示轉(zhuǎn)換成含有一個(gè)單元空間的計(jì)算機(jī)模型的方法，所述的單元空間是圖形的一種特殊形式。在單元空間的每個(gè)邊界上附加的一個(gè)表示符，表明該邊界是否屬于一個(gè)對(duì)象。這對(duì)于視頻序列的三維壓縮以及對(duì)于互聯(lián)網(wǎng)視頻序列搜索來說非常有用。
文檔編號(hào)H04N7/26GK1666234SQ03815716
公開日2005年9月7日 申請(qǐng)日期2003年7月2日 優(yōu)先權(quán)日2002年7月4日
發(fā)明者C·W·A·M·范奧維德, F·E·埃恩斯特, P·-A·雷德特, R·P·A·羅德里古斯, P·維林斯基 申請(qǐng)人:皇家飛利浦電子股份有限公司