專利名稱：用于修改編碼數(shù)據(jù)流的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于修改由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的方法，這些數(shù)據(jù)包中的每個數(shù)據(jù)包都包括信息，其中相繼的數(shù)據(jù)包的信息彼此間具有與期望時間間隔不一致的時間間隔。此外，本發(fā)明還涉及一種用于修改由數(shù)據(jù)包構(gòu)成的這種編碼數(shù)據(jù)流的設(shè)備。
背景技術(shù)：
由于編碼數(shù)據(jù)流的不同數(shù)據(jù)包在數(shù)據(jù)包從發(fā)送方到接收方的傳輸路徑上的導(dǎo)致數(shù)據(jù)流的抖動的不同通過時間，相繼的數(shù)據(jù)包所包括的信息的時間間隔與這些數(shù)據(jù)包的信息之間的期望時間間隔不一致。數(shù)據(jù)流的抖動可導(dǎo)致包含于數(shù)據(jù)包中的信息在接收方處閃爍且跳躍的再現(xiàn)。在采用公知的抖動緩沖器來補(bǔ)償抖動時，將在數(shù)據(jù)流中存在的在兩個相繼的數(shù)據(jù)包之間的最大延遲引入到編碼數(shù)據(jù)流中，這導(dǎo)致數(shù)據(jù)流延遲了在數(shù)據(jù)流中存在的在兩個相繼的編碼數(shù)據(jù)包之間的最大延遲的值。數(shù)據(jù)流的不利的附加延遲很大程度上可以通過使用代碼轉(zhuǎn)換器(Transcoder)而不是抖動緩沖器來避免。然而，在代碼轉(zhuǎn)換器的情況下，所有以編碼形式存在的數(shù)據(jù)包被解碼并且被重新編碼，這導(dǎo)致數(shù)據(jù)包的數(shù)據(jù)內(nèi)容的質(zhì)量降低并且導(dǎo)致針對數(shù)據(jù)包的解碼和編碼的信號處理上的高開銷。

發(fā)明內(nèi)容
由此出發(fā)，本發(fā)明所基于的任務(wù)是提出一種用于修改由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的方法和設(shè)備，該方法和設(shè)備避免了現(xiàn)有技術(shù)的缺點(diǎn)。尤其是，要說明一種用于修改編碼數(shù)據(jù)流的方法和設(shè)備，其中很大程度上避免了數(shù)據(jù)流的附加延遲，其中在信號處理上的開銷低的情況下保證了待傳輸?shù)臄?shù)據(jù)包的數(shù)據(jù)內(nèi)容的高質(zhì)量。按照根據(jù)本發(fā)明的用于修改由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的方法，其中這些數(shù)據(jù)包中的每個數(shù)據(jù)包都包括信息，相繼的數(shù)據(jù)包的信息彼此間具有如下時間間隔所述時間間隔與期望時間間隔不一致并且通過在時間上在第二數(shù)據(jù)包之后將人工編碼的第一數(shù)據(jù)包插入到編碼域中的編碼數(shù)據(jù)流中或者通過將在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包從編碼域中的編碼數(shù)據(jù)流中去除來使所述時間間隔適應(yīng)于期望時間間隔。由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的修改可以引起對數(shù)據(jù)流的抖動的補(bǔ)償?？商鎿Q地或者附加地，編碼數(shù)據(jù)流的修改可以引起在編碼數(shù)據(jù)流的數(shù)據(jù)包之間的期望時間間隔對應(yīng)于另一數(shù)據(jù)流的數(shù)據(jù)包的時間間隔。編碼數(shù)據(jù)流的數(shù)據(jù)包之間的期望時間間隔與另一數(shù)據(jù)流的數(shù)據(jù)包的時間間隔的適配尤其是在視頻和音頻會議技術(shù)中是重要的。有利地，在編碼域中生成人工編碼的第一數(shù)據(jù)包，該人工編碼的第一數(shù)據(jù)包包括參考由第二數(shù)據(jù)所包括的第二信息的第一信息，并且如果跟隨第二數(shù)據(jù)包的第三數(shù)據(jù)包以到第二數(shù)據(jù)包為大于期望時間間隔的時間間隔而可供使用，則在時間上在第二數(shù)據(jù)包之后以到第二數(shù)據(jù)包為期望時間間隔地將該人工編碼的第一數(shù)據(jù)包插入到編碼數(shù)據(jù)流中。以這種方式可以通過修改編碼域中的編碼數(shù)據(jù)流而引起對數(shù)據(jù)流的抖動的補(bǔ)償。在本發(fā)明的優(yōu)選的實(shí)施形式中，如果跟隨第四數(shù)據(jù)包的第五數(shù)據(jù)包以到在第四數(shù)據(jù)包之前的第三數(shù)據(jù)包為期望時間間隔而可供使用，則將在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包從編碼域中的編碼數(shù)據(jù)流中去除。以這種方式同樣可以通過修改編碼域中的編碼數(shù)據(jù)流來引起對數(shù)據(jù)流的抖動的補(bǔ)償。與具有抖動緩沖器的解決方案相比，通過在編碼域中插入人工編碼的數(shù)據(jù)包或者去除編碼數(shù)據(jù)包實(shí)現(xiàn)了降低的數(shù)據(jù)流延遲，因?yàn)樵诔霈F(xiàn)抖動之后可以立即開始調(diào)節(jié)在相繼的數(shù)據(jù)包之間的規(guī)定的時間間隔，而不必等待在相繼的數(shù)據(jù)包之間的存在的最大延遲。相對于借助代碼轉(zhuǎn)換器來補(bǔ)償抖動的方法，在編碼域中插入或者去除數(shù)據(jù)包較小規(guī)模地干預(yù)數(shù)據(jù)流，因?yàn)槲幢徊迦氲幕蛘弑蝗コ臄?shù)據(jù)包沒有被解碼和被編碼。與借助代碼轉(zhuǎn)換器的方法相比較小規(guī)模地干預(yù)數(shù)據(jù)流導(dǎo)致更小的數(shù)據(jù)流延遲，因?yàn)椴⒎撬芯幋a數(shù)據(jù)包被完全解碼并且被重新完全編碼。在借助代碼轉(zhuǎn)換器的方法的情況下，編碼數(shù)據(jù)流的質(zhì)量受損于對數(shù)據(jù)流的每個編碼數(shù)據(jù)包的解碼和重新編碼，而在修改編碼域中的編碼數(shù)據(jù)流以補(bǔ)償抖動的情況下，包括非人工編碼的數(shù)據(jù)包的信息(也稱作“有效載荷(Payload)”)沒有改變，由此保證了待傳輸?shù)臄?shù)據(jù)包的數(shù)據(jù)內(nèi)容的高質(zhì)量并且保證了低開銷。與借助代碼轉(zhuǎn)換器的方法相比，在根據(jù)本發(fā)明的方法中最多改變了非人工編碼的數(shù)據(jù)包的包頭部。在一個優(yōu)選的實(shí)施形式中，在時間上在將人工編碼的第一數(shù)據(jù)包插入到編碼數(shù)據(jù)流中之前或者在將第四數(shù)據(jù)包從編碼數(shù)據(jù)流中去除之前，數(shù)據(jù)包被暫存在抖動緩沖器中， 并且將人工編碼的第一數(shù)據(jù)包插入到編碼數(shù)據(jù)流中或者從編碼數(shù)據(jù)流中去除第四數(shù)據(jù)包來使得在抖動緩沖器中暫存的數(shù)據(jù)包的數(shù)目可以被調(diào)節(jié)。由此，可以避免抖動緩沖器中的溢出以及抖動緩沖器的下溢，所述抖動緩沖器中的溢出導(dǎo)致數(shù)據(jù)流的總延遲提高，所述抖動緩沖器的下溢導(dǎo)致沒有數(shù)據(jù)包可用于插入或者去除。第三數(shù)據(jù)包和第四數(shù)據(jù)包在該實(shí)施形式中可以在編碼域中被暫存在抖動緩沖器中，使得在時間上在人工編碼的第三數(shù)據(jù)包之后以期望時間間隔僅插入由編碼數(shù)據(jù)包構(gòu)成的數(shù)據(jù)流中的第三數(shù)據(jù)包。由于在抖動緩沖器中存在多個編碼數(shù)據(jù)包，所以為了降低數(shù)據(jù)流的延遲而可以僅僅保留數(shù)據(jù)流中的最后暫存的數(shù)據(jù)包。后來暫存的數(shù)據(jù)包被跳過，其中到最后暫存的數(shù)據(jù)包的期望時間間隔通過保留數(shù)據(jù)流中的跟隨被跳過的數(shù)據(jù)包的數(shù)據(jù)包來保證。編碼數(shù)據(jù)流有利地是視頻數(shù)據(jù)流，其中編碼數(shù)據(jù)流的每個數(shù)據(jù)包都包括如下視頻幀(Videoeinzelbild)的部分并且人工編碼的第一數(shù)據(jù)包包括如下視頻幀的部分所述視頻幀包括第二數(shù)據(jù)包的視頻幀的沒有運(yùn)動向量和/或變換系數(shù)的信息。當(dāng)編碼數(shù)據(jù)流的每個數(shù)據(jù)包都包括視頻幀并且人工編碼的第一數(shù)據(jù)包包括視頻幀時，存在根據(jù)本發(fā)明的該實(shí)施形式的視頻數(shù)據(jù)流，其中該視頻幀包括第二數(shù)據(jù)包的視頻幀的沒有運(yùn)動向量和/或變換系數(shù)的信息。由于在人工編碼的第一數(shù)據(jù)包的視頻幀中的信息中缺少運(yùn)動向量和/或變換系數(shù)，所以該數(shù)據(jù)包具有與第二數(shù)據(jù)包的視頻幀相比減小的存儲需求。有利地，視頻流的每個數(shù)據(jù)包都包括按照視頻編碼標(biāo)準(zhǔn)H. 264/AVC、H. 263或者 MPEG-4 Visual之一編碼的視頻幀的部分，其中人工編碼的第一數(shù)據(jù)包包括由跳過的宏塊 (skipped macroblock)組成的視頻幀的部分。當(dāng)視頻數(shù)據(jù)流的每個數(shù)據(jù)包都包括按照視頻編碼標(biāo)準(zhǔn)H. 264/AVC、H. 263或MPEG-4 Visual之一編碼的視頻幀時，存在該實(shí)施形式，其中人工編碼的第一數(shù)據(jù)包包括由跳過的宏塊組成的視頻幀。在視頻編碼標(biāo)準(zhǔn)H. 264/AVC 的情況下，跳過的宏塊可以通過將宏塊模式設(shè)置成“跳過(skip)”來產(chǎn)生。跳過的宏塊的參考是參考圖像列表的第一視頻幀或其他已經(jīng)編碼的視頻幀。運(yùn)動向量和預(yù)測誤差變換系數(shù) (也簡稱變換系數(shù))從參考圖像列表的第一幀并不被轉(zhuǎn)到跳過的宏塊。由此，與參考圖像列表的第一視頻幀的所需存儲容量相比減小了人工編碼的幀的所需存儲容量。解碼回路中的去塊濾波器(Deblocking-Filter)優(yōu)選地在生成人工編碼的第一數(shù)據(jù)包期間被斷開，以便保證創(chuàng)建具有與第二數(shù)據(jù)包的數(shù)據(jù)內(nèi)容的質(zhì)量相比高質(zhì)量的數(shù)據(jù)內(nèi)容的數(shù)據(jù)包。人工編碼的第一數(shù)據(jù)包(P2’)有利地包括作為非參考幀或者作為參考幀被插入的視頻幀(B2')的部分。該實(shí)施形式包括如下情況人工編碼的第一數(shù)據(jù)包包括作為非參考幀被插入的視頻幀。即使所插入的人工編碼的幀不是原始圖像的高質(zhì)量副本，在跟隨人工編碼的所插入的幀的幀中也沒有出現(xiàn)圖像質(zhì)量的劣化，因?yàn)樵搸念A(yù)測沒有由于插入人工編碼的幀而改變。此外，在插入非參考圖像時不必改變預(yù)測結(jié)構(gòu)。另外，在完全填充的包含參考圖像列表的參考圖像緩沖器中，由于插入人工編碼的幀而沒有丟失參考圖像，因?yàn)樾虏迦氲膱D像B2'沒有被存儲在參考圖像緩沖器中。在視頻混合時有利的是，被編碼的第一數(shù)據(jù)包包括作為參考幀被插入的視頻幀。這樣，例如通過將附加的參考幀插入到視頻數(shù)據(jù)流的第一圖序中而可以使數(shù)據(jù)流的預(yù)測結(jié)構(gòu)與第二視頻數(shù)據(jù)流的現(xiàn)有的另外的預(yù)測結(jié)構(gòu)適配，其中所述第二視頻數(shù)據(jù)流要與第一視頻數(shù)據(jù)流混合。在本發(fā)明的編碼數(shù)據(jù)流是視頻數(shù)據(jù)流的優(yōu)選的變形方案中，從視頻數(shù)據(jù)流中被去除的第四數(shù)據(jù)包包括非參考幀的部分。該實(shí)施形式包括如下情況從視頻數(shù)據(jù)流中被去除的第四數(shù)據(jù)包包括非參考幀。在將數(shù)據(jù)包從包括非參考幀的數(shù)據(jù)流中去除時，在數(shù)據(jù)流中剩下的數(shù)據(jù)包的預(yù)測結(jié)構(gòu)沒有改變。針對線性預(yù)測結(jié)構(gòu)的情況，有利地僅將具有圖像序列(圖像組(Group of Pictures))的最后的視頻幀的部分的數(shù)據(jù)包從該視頻數(shù)據(jù)流中去除，其中包括如下情況 在該情況下，僅將具有圖像序列(圖像組)的最后的視頻幀的數(shù)據(jù)包從視頻數(shù)據(jù)流中去除。 如果數(shù)據(jù)包僅包括圖像序列(圖像組)的最后的視頻幀的部分，則有利的是，將所有數(shù)據(jù)包從該視頻數(shù)據(jù)流中去除，其中這些數(shù)據(jù)包僅包括圖像序列(圖像組)的最后的視頻幀的部分。針對分層預(yù)測結(jié)構(gòu)的情況，有利的是，將具有來自最低時層(zeitliche m^ne)的視頻幀的部分的數(shù)據(jù)包從該視頻數(shù)據(jù)流中去除，其中包括如下情況在所述情況下，將具有來自最低時層的視頻幀的數(shù)據(jù)包從視頻數(shù)據(jù)流中去除。如果數(shù)據(jù)包僅包括來自最低時層的視頻幀的部分，則有利的是，將所有數(shù)據(jù)包從該視頻數(shù)據(jù)流中去除，其中這些數(shù)據(jù)包僅僅包括來自最低時層的視頻幀的部分。當(dāng)動態(tài)進(jìn)行數(shù)據(jù)包的插入和去除時，自適應(yīng)抖動緩沖器的功能在本發(fā)明的另一有利擴(kuò)展方案中實(shí)施。尤其是在視頻混合的情況下適配兩個視頻數(shù)據(jù)流的采樣頻率時，通過如下方式得到優(yōu)點(diǎn)通過第二視頻數(shù)據(jù)流的人工編碼的第一數(shù)據(jù)包的第一視頻幀與第一視頻數(shù)據(jù)流的編碼數(shù)據(jù)包的第一視頻幀混合成視頻幀，第二視頻數(shù)據(jù)流的期望時間間隔對應(yīng)于第一視頻數(shù)據(jù)流的相繼的編碼幀之間的時間間隔。這樣，以有利的方式，針對第二視頻數(shù)據(jù)流具有比第一視頻數(shù)據(jù)流更低的采樣頻率的情況，人工編碼的第一視頻幀被插入到具有相對于第一視頻數(shù)據(jù)流更低的采樣頻率的第二視頻數(shù)據(jù)流中，使得帶有所插入的人工編碼的第一視頻幀的第二視頻數(shù)據(jù)流具有第一視頻數(shù)據(jù)流的采樣頻率。
此外，本發(fā)明還涉及一種用于修改由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的設(shè)備，尤其是用于執(zhí)行權(quán)利要求1至13之一所述的方法，這些數(shù)據(jù)包中的每個數(shù)據(jù)包都包括信息，其中相繼的數(shù)據(jù)包的信息彼此間具有如下時間間隔所述時間間隔與期望時間間隔不一致并且所述時間間隔可適應(yīng)于期望時間間隔，其中該設(shè)備包括用于在時間上在第二數(shù)據(jù)包之后將人工編碼的第一數(shù)據(jù)包插入到編碼域中的編碼數(shù)據(jù)流中的裝置和/或用于將在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包(P4)從編碼域中的編碼數(shù)據(jù)流中去除的裝置。優(yōu)選地，該設(shè)備被連接在抖動緩沖器的上游，編碼數(shù)據(jù)包可暫存到該抖動緩沖器中，其中用于將人工編碼的第一數(shù)據(jù)包插入到編碼數(shù)據(jù)流中和/或用于將第四數(shù)據(jù)包從編碼數(shù)據(jù)流中去除的裝置被構(gòu)造，使得暫存在抖動緩沖器(JB)中的數(shù)據(jù)包(Pl，P2，P3，P4， P5)的數(shù)目是可調(diào)節(jié)的。利用這種設(shè)備可以避免抖動緩沖器中的溢出以及抖動緩沖器的下溢，所述抖動緩沖器中的溢出導(dǎo)致數(shù)據(jù)流的總延遲提高，所述抖動緩沖器的下溢導(dǎo)致沒有數(shù)據(jù)包可用于插入或者去除。


本發(fā)明的其他實(shí)施例以及優(yōu)點(diǎn)在下文中借助附圖來闡述。為了更清楚易懂，在附圖中省去了尺度或比例正確的圖示。在附圖中，只要未另外說明，相同的附圖標(biāo)記標(biāo)明具有相同意義的相同構(gòu)件。其中
圖1示出了編碼數(shù)據(jù)包在從發(fā)送方到接收方的傳輸路徑上在進(jìn)入網(wǎng)絡(luò)之前并且在從該網(wǎng)絡(luò)退出之后的時間進(jìn)程(Verlauf )，
圖2示出了編碼數(shù)據(jù)包在從發(fā)送方到接收方的傳輸路徑上在進(jìn)入網(wǎng)絡(luò)之前、在從網(wǎng)絡(luò)退出之后并且在從抖動緩沖器退出之后的時間進(jìn)程，以及
圖3示出了編碼數(shù)據(jù)包在從發(fā)送方到接收方的傳輸路徑上在進(jìn)入網(wǎng)絡(luò)之前、在從網(wǎng)絡(luò)退出之后并且在從代碼轉(zhuǎn)換器退出之后的時間進(jìn)程，其中該代碼轉(zhuǎn)換器包括解碼器、圖像存儲器和編碼器，以及
圖4示出了從發(fā)送方到接收方的傳輸路徑，其中抖動緩沖器在該傳輸路徑中被布置在編碼數(shù)據(jù)包從網(wǎng)絡(luò)退出之后在進(jìn)入圖3中所示的代碼轉(zhuǎn)換器之前，以及
圖5示出了在本發(fā)明的第一實(shí)施形式中的編碼數(shù)據(jù)包在從發(fā)送方到接收方的傳輸路徑上在進(jìn)入網(wǎng)絡(luò)之前、在從網(wǎng)絡(luò)退出之后并且在從用于補(bǔ)償編碼域中的抖動的設(shè)備退出之后的時間進(jìn)程，以及
圖6示出了在本發(fā)明的另一實(shí)施形式中的編碼數(shù)據(jù)包的從發(fā)送方到接收方的傳輸路徑，其中編碼數(shù)據(jù)包在從網(wǎng)絡(luò)退出之后并且在進(jìn)入用于補(bǔ)償編碼域中的抖動的設(shè)備之前穿過抖動緩沖器，該抖動緩沖器被布置在網(wǎng)絡(luò)與用于補(bǔ)償編碼域中的抖動的設(shè)備之間的傳輸路徑中，以及
圖7示出了編碼數(shù)據(jù)包在進(jìn)入網(wǎng)絡(luò)之前并且在從圖2中所示的抖動緩沖器退出之后、 在從圖3和圖4中所示的代碼轉(zhuǎn)換器退出之后以及在從圖5和圖6中所示的用于補(bǔ)償編碼域中的抖動的設(shè)備退出之后的時間進(jìn)程的比較，以及
圖8示出了所預(yù)先計(jì)算的圖像在線性預(yù)測結(jié)構(gòu)的情況下在插入之前、在作為參考圖像插入之后和在作為非參考圖像插入之后的示意性序列，以及
圖9示出了所預(yù)先計(jì)算的圖像在分層預(yù)測結(jié)構(gòu)的情況下在插入之前并且在插入之后的示意性序列，以及
圖10示出了所預(yù)先計(jì)算的圖像在從線性預(yù)測結(jié)構(gòu)去除之前和去除之后的示意性序列，以及
圖11示出了所預(yù)先計(jì)算的圖像在從分層預(yù)測結(jié)構(gòu)中去除之前和去除之后的示意性序列，以及
圖12示出了由編碼宏塊的混合構(gòu)成的示意性布局，其中來自第一視頻數(shù)據(jù)流的宏塊與來自第二視頻數(shù)據(jù)流的跳過的宏塊混合，以及
圖13示出了第一視頻數(shù)據(jù)流和第二視頻數(shù)據(jù)流的所預(yù)先計(jì)算的圖像在重采樣和混合之前并且在重采樣和混合之后的示意性序列。
具體實(shí)施例方式借助圖1現(xiàn)在闡述了抖動的出現(xiàn)。用于補(bǔ)償數(shù)據(jù)流的抖動的方法的公知例子在圖 2、3和4中示出。借助圖5至13描述了本發(fā)明的實(shí)施例。由于不同數(shù)據(jù)包在穿過網(wǎng)或者網(wǎng)絡(luò)時的不同通過時間而形成的抖動的出現(xiàn)以編碼數(shù)據(jù)包從發(fā)送方到接收方的傳輸路徑為例來予以闡述。編碼數(shù)據(jù)流的編碼數(shù)據(jù)包P1、P2、P3、P4、P5由發(fā)送裝置(在下文中簡稱發(fā)送方S)在穿過網(wǎng)或者網(wǎng)絡(luò)N之后被傳輸給接收裝置(在下文中簡稱接收方R)。數(shù)據(jù)包P1、 P2、P3、P4、P5可以包括不同內(nèi)容的信息。被數(shù)據(jù)包包括的可能的信息是音頻信息、圖像信息或者視頻信息，其中原則上任何類型的在時間上相繼的信息都可以被數(shù)據(jù)包包括。視頻信息尤其是可以是以幀的形式存在。為了簡單起見，在下文中假設(shè)，相繼的數(shù)據(jù)包P1、P2、 P3、P4、P5的信息彼此間具有期望時間間隔，所述期望時間間隔對應(yīng)于相繼的數(shù)據(jù)包PI、 P2、P3、P4、P5的期望時間間隔dl。例如，如果每個數(shù)據(jù)包都包括視頻幀，則該假設(shè)適用。視頻幀到數(shù)據(jù)包Pl、P2、P3、P4、P5的其他劃分(例如其中視頻幀被劃分成多個數(shù)據(jù)包Pl、P2、 P3、P4、P5的情況)被本發(fā)明的后續(xù)的實(shí)施形式所包括。當(dāng)在網(wǎng)絡(luò)中不允許超過針對數(shù)據(jù)包的信息的所確定的存儲容量并且視頻幀的存儲容量超過所確定的存儲容量時，將視頻幀劃分成多個數(shù)據(jù)包是有利的。在圖1中，在時間標(biāo)度t(a)上示出了數(shù)據(jù)包P1、P2、P3、P4、P5在這些數(shù)據(jù)包進(jìn)入網(wǎng)絡(luò)N之前在位置a處的時間序列。在圖1所示的例子中，發(fā)送方S發(fā)送在相繼的數(shù)據(jù)包之間具有期望時間間隔dl的數(shù)據(jù)包。針對視頻傳輸?shù)那闆r，在相繼的數(shù)據(jù)包之間的時間間隔為采樣頻率(也稱作“sampling frequency”)的倒數(shù)值，其中假設(shè)視頻幀被各一個數(shù)據(jù)包 P1、P2、P3、P4、P5包括并且存在恒定的數(shù)據(jù)包長度，該恒定的數(shù)據(jù)包長度對應(yīng)于相繼的數(shù)據(jù)包之間的時間間隔
T 包=1/fs,
其中T =在相繼的數(shù)據(jù)包之間的時間間隔，并且fs=采樣頻率。在穿過網(wǎng)絡(luò)之后，數(shù)據(jù)包PI、P2、P3、P4、P5在位置b處在到達(dá)接收方R之前具有如下時間序列在所述時間序列中，數(shù)據(jù)包P3和P4相對于數(shù)據(jù)包Pl和P2被延遲。數(shù)據(jù)包P3由于在穿過網(wǎng)絡(luò)N時相對于數(shù)據(jù)包Pl和P2提高的延遲而具有如下位置該位置相對于數(shù)據(jù)包P3的以規(guī)定的時間間隔(也稱為期望間隔)規(guī)定的位置t3偏移了時間間隔d3。 數(shù)據(jù)包P4相對于其規(guī)定的位置t4偏移了時間間隔d4，該規(guī)定的位置t4與數(shù)據(jù)包P2的位置間隔了兩個規(guī)定的時間間隔dl。由此，數(shù)據(jù)包P3相對于其規(guī)定的時間位置具有時間延遲d3，而數(shù)據(jù)包P4相對于其時間位置具有延遲d4。數(shù)據(jù)包P5相對于數(shù)據(jù)包P4的規(guī)定的時間位置t4具有規(guī)定的時間間隔dl。因而，在數(shù)據(jù)包P4和數(shù)據(jù)包P5之間的規(guī)定的時間間隔dl被減小了數(shù)據(jù)包P4的延遲d4。數(shù)據(jù)包P3和P4在通過網(wǎng)絡(luò)N進(jìn)行傳輸期間丟失了其相對于在前的數(shù)據(jù)包Pl和P2和相對于隨后的數(shù)據(jù)包P5的相對時間耦合(zeitliche Koppelung)。如果數(shù)據(jù)包PI、P2、P3、P4、P5代表視頻數(shù)據(jù)包，則在沒有相對應(yīng)的措施對數(shù)據(jù)包PI、P2、P3、P4、P5的不同通過時間進(jìn)行補(bǔ)償?shù)那闆r下，解碼和再現(xiàn)導(dǎo)致閃爍和跳躍地再現(xiàn)信息被視頻包包括的視頻。在沒有放棄使圖1中所示的時間關(guān)系一般化的情況下，在圖1中所示的例子中為了簡單闡述抖動而假設(shè)在相繼的數(shù)據(jù)包之間的時間間隔是恒定的，并且每個數(shù)據(jù)包P1、 P2、P3、P4、P5的包長度是恒定的。然而，不需要數(shù)據(jù)包具有相同的時間間隔或者恒定的包長度。代替地，數(shù)據(jù)包可以彼此間具有任意的時間間隔和任意包長度，只要數(shù)據(jù)包彼此間的不同時間間隔和數(shù)據(jù)包的接著不同的包長度是確定的。在相繼的數(shù)據(jù)包的在發(fā)送方S中和 /或由發(fā)送方S確定的時間間隔和確定的包長度的情況下，對于接收方R可能的是，在對由發(fā)送方傳輸給接收方的數(shù)據(jù)包PI、P2、P3、P4、P5進(jìn)行解碼之后再現(xiàn)這些數(shù)據(jù)包，而沒有也稱作抖動的閃爍和跳躍的再現(xiàn)。在圖2中示出了用于對由于不同數(shù)據(jù)包在穿過網(wǎng)絡(luò)時的不同通過時間引起的抖動(也稱為“延遲抖動”)進(jìn)行補(bǔ)償?shù)牡谝还椒?。在發(fā)送方S與接收方R之間布置有抖動緩沖器JB，其中數(shù)據(jù)包PI、P2、P3、P4、P5在從網(wǎng)絡(luò)N退出之后并且在進(jìn)入接收方R之前穿過抖動緩沖器JB。在數(shù)據(jù)包PI、P2、P3、P4、P5從網(wǎng)絡(luò)N退出之后并且在進(jìn)入抖動緩沖器JB之前，數(shù)據(jù)包P3和P4分別相對于其規(guī)定的時間位置t3、t4具有時間距離d3、d4，如在圖1中所示的那樣。在用于具有音頻信息、圖像信息或視頻信息的數(shù)據(jù)包的抖動緩沖器 JB中，進(jìn)入抖動緩沖器JB中的數(shù)據(jù)包PI、P2、P3、P4、P5被存儲特定的持續(xù)時間(也稱作緩沖器延遲)。通過將數(shù)據(jù)包存儲確定的持續(xù)時間，可能的是，將數(shù)據(jù)包P1、P2、P3、P4、P5以在相繼的數(shù)據(jù)包之間具有時間間隔dl的規(guī)定時間序列發(fā)送給接收方R。以這種方式建立了在相繼的數(shù)據(jù)包之間具有規(guī)定的時間間隔dl的規(guī)定的時間序列。圖2中所示的方法的缺點(diǎn)在于伴隨抖動緩沖器JB出現(xiàn)的數(shù)據(jù)包延遲。如果要將分別包括數(shù)據(jù)包P1、P2、P3、P4、P5并且分別分配有一個抖動緩沖器JB的不同數(shù)據(jù)流混合， 則已穿過抖動緩沖器JB的數(shù)據(jù)包被延遲如下值所述值對應(yīng)于具有最高延遲抖動的數(shù)據(jù)流的延遲抖動。因而，所有待混合的數(shù)據(jù)包的延遲被提高到帶有最高延遲抖動的數(shù)據(jù)流所具有的值。結(jié)果是將所有其他到達(dá)的數(shù)據(jù)流的數(shù)據(jù)包延遲到伴隨帶有最高延遲抖動的數(shù)據(jù)流出現(xiàn)的延遲。在譬如音頻會議應(yīng)用或視頻會議應(yīng)用的實(shí)時應(yīng)用中，數(shù)據(jù)包的由于具有最高延遲抖動的視頻數(shù)據(jù)流而引起的高度延遲妨礙了在音頻會議或視頻會議的參與者之間的通信。在圖3中示出了針對視頻應(yīng)用特別規(guī)定的用于校正不同數(shù)據(jù)包在數(shù)據(jù)包穿過網(wǎng)絡(luò)N時的不同延遲的另一公知的解決方案。如在圖1和圖2中所示的那樣，數(shù)據(jù)包P3和P4 在穿過網(wǎng)絡(luò)N之后分別相對于其規(guī)定的時間位置t3、t4具有時間延遲d3、d4。數(shù)據(jù)包PI、 P2、P3、P4、P5在穿過網(wǎng)絡(luò)N之后并且在到達(dá)接收方R之前穿過代碼轉(zhuǎn)換器TR，該代碼轉(zhuǎn)換器TR包括解碼器DE、圖像存儲器PB和編碼器EN。在圖3中所示的例子中假設(shè)的是，數(shù)據(jù)包PI、P2、P3、P4、P5中的每個都分別包括視頻幀，其包括該視頻幀的播放視頻流所需的信息。在圖3中所示的用于處理視頻數(shù)據(jù)流的方法中，進(jìn)入代碼轉(zhuǎn)換器TR中的視頻數(shù)據(jù)在解碼器DE中被解碼，隨后被暫存在圖像存儲器PB中并且隨后在編碼器EN中被編碼。在對分別單個地被包含在數(shù)據(jù)包PI、P2、P3、P4、P5中的每個中的各個視頻幀進(jìn)行解碼、暫存和編碼之后，視頻幀以被解碼的并且隨后被重新編碼的幀的形式存在于數(shù)據(jù)包P1*、P2*、P3*、 P4*、P5*中。在解碼器DE中的解碼、在圖像存儲器PB中的暫存和在編碼器EN中的編碼在圖3中所示的數(shù)據(jù)包的情況下通過星形*來表明。在要對數(shù)據(jù)包PI*、P2*進(jìn)行編碼的時刻，原始的對應(yīng)于數(shù)據(jù)包Pl*和P2*的數(shù)據(jù)包Pl和P2已經(jīng)以被解碼的形式存在于解碼器 EN中并且在圖像存儲器PB中可用于進(jìn)行編碼。由于數(shù)據(jù)包P3相對于其規(guī)定的時間位置 t3的時間延遲d3，所以在對數(shù)據(jù)包P3*進(jìn)行編碼的時刻不是以到數(shù)據(jù)包P2為規(guī)定的時間間隔dl存在被解碼的數(shù)據(jù)包P3，更確切地說是被包3所包括的被解碼的圖像。因而，數(shù)據(jù)包P2的內(nèi)容被再一次編碼為數(shù)據(jù)包P2**，因?yàn)閿?shù)據(jù)包P2相對于數(shù)據(jù)包P3在保持規(guī)定的時間間隔dl所需的對跟隨于數(shù)據(jù)包P2的數(shù)據(jù)包進(jìn)行編碼的時刻被存儲在圖像存儲器PB中。 與數(shù)據(jù)包P3類似地，數(shù)據(jù)包P4的被解碼的版本也沒有及時地可用于編碼。因而，在數(shù)據(jù)包 P2**從編碼器EN退出之后在圖像存儲器PB中存在的數(shù)據(jù)包P3的數(shù)據(jù)內(nèi)容以數(shù)據(jù)包P3* 的形式被編碼。最后，在被解碼的數(shù)據(jù)包P5及時可用于編碼之后，數(shù)據(jù)包P5*被編碼。數(shù)據(jù)包P4的數(shù)據(jù)內(nèi)容沒有被重新編碼并且被轉(zhuǎn)發(fā)給接收方R。如在圖3中在到達(dá)接收方R之前的位置e處所示的那樣，數(shù)據(jù)包P1*、P2*、P2**、P3*、P5*彼此間具有規(guī)定的時間間隔dl， 其中數(shù)據(jù)包P2的數(shù)據(jù)內(nèi)容在該時間進(jìn)程t(e)中存在兩次而數(shù)據(jù)包P4的數(shù)據(jù)內(nèi)容在該時間進(jìn)程t(e)中并不存在。實(shí)際上，由于兩次顯示數(shù)據(jù)包P2的數(shù)據(jù)內(nèi)容而沒有顯示數(shù)據(jù)包 P4的數(shù)據(jù)內(nèi)容，所以在再現(xiàn)包括包含于數(shù)據(jù)包Pl、P2、P3、P4、P5中的幀的視頻數(shù)據(jù)流時會很小范圍地出現(xiàn)抖動形式的閃爍和跳躍再現(xiàn)。然而，通過圖3中所示的借助代碼轉(zhuǎn)換器TR 的方法，與圖2中所示的借助抖動緩沖器JB的方法相比，在數(shù)據(jù)包穿過代碼轉(zhuǎn)換器TR之后降低了數(shù)據(jù)包在發(fā)送方S與接收方R之間的總傳輸延遲。圖3中所示的借助代碼轉(zhuǎn)換器TR的方法在多點(diǎn)會議單元(multipoint conference unit :MCU)中被使用，其中要將多個視頻輸入數(shù)據(jù)流混合。輸入視頻數(shù)據(jù)流的混合通過對所有輸入視頻數(shù)據(jù)流解碼、將視頻輸入數(shù)據(jù)流混合成未壓縮的像素域并且通過對新布置的視頻幀編碼來實(shí)現(xiàn)。附加地，在將輸入視頻數(shù)據(jù)流混合成未壓縮的像素域之前可以規(guī)定的是對輸入視頻數(shù)據(jù)流的被解碼的視頻幀縮放。如果第一視頻數(shù)據(jù)流由于延遲抖動而并不包含當(dāng)前視頻幀，以及時與第二視頻流的視頻幀混合，則第一視頻數(shù)據(jù)流的在該第一視頻數(shù)據(jù)流的所缺少的當(dāng)前視頻幀之前的視頻幀被用于進(jìn)行混合和編碼，所述視頻幀在解碼之后已經(jīng)被存儲在圖像存儲器PB中。如果在另一被編碼的視頻幀離開編碼器EN 之前，由于視頻幀的多次編碼而在代碼轉(zhuǎn)換器TR中以解碼形式存在輸入視頻數(shù)據(jù)流的兩個或更多幀，則最后在解碼器DE中被解碼的存儲在圖像存儲器PB中的幀被用于編碼，其中其他被解碼的幀(或另外的其他被解碼的幀)在解碼器DE中被忽略。借助代碼轉(zhuǎn)換器TR來校正延遲抖動的方法主要具有如下缺點(diǎn)
1.代碼轉(zhuǎn)換在完全解碼和編碼視頻數(shù)據(jù)流的所有數(shù)據(jù)包或視頻數(shù)據(jù)流的情況下就所需的計(jì)算效率而言是花費(fèi)高的。為了實(shí)施借助代碼轉(zhuǎn)換器TR的方法，因而在大多數(shù)情況下都需要成本高的硬件，該硬件與用于解碼和編碼的方法相關(guān)聯(lián)。2.視頻數(shù)據(jù)流的所傳輸?shù)臄?shù)據(jù)的質(zhì)量通過代碼轉(zhuǎn)換而被降低，因?yàn)閷τ诰幋a僅僅使用已在穿過網(wǎng)絡(luò)N時在質(zhì)量上被降低的數(shù)據(jù)內(nèi)容而不使用具有視頻數(shù)據(jù)流的幀的數(shù)據(jù)包的原始數(shù)據(jù)內(nèi)容。3.由于代碼轉(zhuǎn)換具有多個進(jìn)行信號處理的步驟，所以將附加的延遲引入到視頻數(shù)據(jù)流中。圖4示出了用于補(bǔ)償抖動的另一公知的例子的從發(fā)送方S到接收方R的傳輸路徑，其中在被編碼的數(shù)據(jù)包從網(wǎng)絡(luò)N退出之后在進(jìn)入圖3中所示的代碼轉(zhuǎn)換器TR之前的位置b處，在數(shù)據(jù)包的傳輸路徑中布置有抖動緩沖器JB。在圖3中所示的在網(wǎng)絡(luò)N與接收方 R之間的抖動緩沖器JB和連接在下游的代碼轉(zhuǎn)換器TR的布局中，圖2和3中所描繪的用于校正延遲抖動的方法彼此組合。在圖4中所示的例子中，排隊(duì)延遲(queuing delay)在抖動緩沖器JB中可以通過使用代碼轉(zhuǎn)換器TR來控制。排隊(duì)延遲的控制通過跳過在圖像存儲器PB中對幀的編碼或者通過在編碼器EN中對相同幀的多次編碼來實(shí)現(xiàn)。通過跳過在圖像存儲器PB中對幀的編碼，減小了排隊(duì)延遲。通過多次編碼相同圖像提高了抖動緩沖器中的排隊(duì)延遲。數(shù)據(jù)包的如下持續(xù)時間被視為排隊(duì)延遲該數(shù)據(jù)包在抖動緩沖器JB中在從抖動緩沖器JB退出之前平均停留該持續(xù)時間。排隊(duì)延遲近似于對于存儲在抖動緩沖器JB中的數(shù)據(jù)包的再現(xiàn)所需的持續(xù)時間。在圖5中示出了根據(jù)本發(fā)明的第一實(shí)施形式的編碼數(shù)據(jù)包PI、P2、P3、P4、P5在從發(fā)送方S到接收方R的傳輸路徑上的時間進(jìn)程t (a)、t (b)、t (f)。數(shù)據(jù)包在從網(wǎng)絡(luò)N 退出之后并且在進(jìn)入接收方R之前穿過用于補(bǔ)償編碼域中的抖動的設(shè)備，其中數(shù)據(jù)包的編碼域也稱作壓縮域。在數(shù)據(jù)包從網(wǎng)絡(luò)N退出之后并且在數(shù)據(jù)包進(jìn)入接收方R之前，數(shù)據(jù)包通過用于補(bǔ)償編碼域中的抖動的設(shè)備(壓縮域去抖動(Compressed Domain Dejittering) CDD)在壓縮域(即具有編碼數(shù)據(jù)包的編碼數(shù)據(jù)流)中被免除延遲抖動。圖5中所示的方法以及圖5中所示的布局現(xiàn)在借助視頻數(shù)據(jù)流的數(shù)據(jù)包來闡述。如果當(dāng)前視頻幀不可用于根據(jù)在相繼的數(shù)據(jù)包之間具有期望時間間隔dl的預(yù)先給定的時間柵格(Raster)發(fā)送數(shù)據(jù)包 P1、P2、P3、P4、P5，則人工編碼的視頻幀以一個或多個人工編碼的數(shù)據(jù)包的形式被插入到編碼的視頻數(shù)據(jù)流中。人工編碼的視頻幀參考在該幀之前的幀并且重復(fù)在前幀的數(shù)據(jù)內(nèi)容。 在視頻編碼標(biāo)準(zhǔn)H. 264/AVC的情況下，人工編碼的視頻幀可以通過組合所謂的跳過的宏塊 (skipped macroblock)來產(chǎn)生。跳過的宏塊在視頻編碼標(biāo)準(zhǔn)H. 264/AVC的情況下通過將宏塊模式設(shè)置為“跳過(skip)”來產(chǎn)生。跳過的宏塊的參考是參考圖像列表的第一視頻幀或者是其他已被編碼的視頻幀。運(yùn)動向量和預(yù)測誤差變換系數(shù)(也簡稱為變換系數(shù))對于跳過的宏塊而言沒有被傳輸。由此，人工編碼的幀的存儲容量與參考圖像列表的第一視頻幀的存儲容量相比被降低。跳過的宏塊的運(yùn)動向量借助與跳過的宏塊相鄰的宏塊來計(jì)算，所述與跳過的宏塊相鄰的宏塊在時間上在跳過的宏塊之前被編碼。由于視頻幀中的所有宏塊都具有“跳過”模式，所以運(yùn)動向量在該計(jì)算中被設(shè)置為零。跳過的宏塊除了視頻編碼標(biāo)準(zhǔn) H. ^4/AVC之外同樣可以以視頻編碼標(biāo)準(zhǔn)H. 263和MPEG-4 Visual來定義。然而，視頻編碼標(biāo)準(zhǔn)H. 263和MPEG-4 Visual的跳過的宏塊沒有被運(yùn)動補(bǔ)償。在使用用于補(bǔ)償編碼域中的抖動的設(shè)備的情況下，為了建立在前幀的完美副本要將解碼回路中的去塊濾波器關(guān)斷。這可以隱含地通過算法來確定或明確地用信號通知。代替視頻數(shù)據(jù)流，也可以利用用于補(bǔ)償編碼平面中的抖動的設(shè)備CDD來處理音頻數(shù)據(jù)流、圖像數(shù)據(jù)流或者其他類型的在時間上相繼的信息。在圖5中所示的實(shí)施例中，數(shù)據(jù)包Pl和P2及時可供使用并且在穿過用于補(bǔ)償編碼域中的抖動的設(shè)備CDD時在沒有進(jìn)一步修改的情況下被轉(zhuǎn)發(fā)給接收方R。數(shù)據(jù)包R3由于相對于其規(guī)定的時刻t3的時間延遲d3而延遲地到達(dá)用于補(bǔ)償編碼平面中的抖動的設(shè)備 CDD0因而，在使用跳過的宏塊的情況下，數(shù)據(jù)包P2'被編碼為數(shù)據(jù)包P2的副本。人工編碼的數(shù)據(jù)包P2'不應(yīng)被插入到參考圖像列表中，以便避免將現(xiàn)有的參考圖像從參考圖像列表中去除。緊接著，數(shù)據(jù)包P3在沒有通過用于補(bǔ)償編碼平面中的抖動的設(shè)備CDD改變數(shù)據(jù)包P3的情況下被轉(zhuǎn)發(fā)給接收方R。在圖5中所示的在使用用于補(bǔ)償編碼域中的抖動的設(shè)備 CDD的情況下的方法中，不需要修改視頻數(shù)據(jù)流的人工編碼的數(shù)據(jù)包的視頻編碼元素，例如不需要修改編碼的變換系數(shù)、模式信息和運(yùn)動向量。僅僅高層上的語法被修改，例如數(shù)據(jù)包的圖序號被修改。實(shí)時傳輸協(xié)議(RTP)使用圖序號來檢測數(shù)據(jù)包的損失。這些圖序號因而要被改寫。這在用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D被用作RTP混合器并且在這種情況下發(fā)送方S的RTP會話終止時自動地實(shí)現(xiàn)。如果數(shù)據(jù)包P5在數(shù)據(jù)內(nèi)容方面具有與數(shù)據(jù)包P4 的數(shù)據(jù)內(nèi)容的相關(guān)性，則在位置f處的時間進(jìn)程t (f)中，在數(shù)據(jù)包從用于補(bǔ)償編碼域中的抖動的設(shè)備CDD退出之后，數(shù)據(jù)包P4如在圖5中所示的那樣沒有從該數(shù)據(jù)流中被去除，而是被轉(zhuǎn)發(fā)，因?yàn)榉駝t數(shù)據(jù)包P5在接收方R中不會被解碼。如果數(shù)據(jù)包P5與數(shù)據(jù)包P4不存在相關(guān)性，則代替數(shù)據(jù)包P4在數(shù)據(jù)包P5穿過用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D時轉(zhuǎn)發(fā)數(shù)據(jù)包P5，以降低數(shù)據(jù)流的傳輸延遲。通過不轉(zhuǎn)發(fā)數(shù)據(jù)包P4來跳過數(shù)據(jù)包P4，如在位置b 處在進(jìn)入用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D之前的時間進(jìn)程與在位置f處在數(shù)據(jù)包從用于補(bǔ)償編碼平面中的抖動的設(shè)備CDD退出之后的時間進(jìn)程的比較所示出的那樣。通過跳過在圖5中所示的方法中對應(yīng)于數(shù)據(jù)包P4的第一非參考幀，可以減小數(shù)據(jù)流的總延遲。此后， 如在位置f處在數(shù)據(jù)包穿過用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D之后并且在數(shù)據(jù)包進(jìn)入接收方R之前的時間進(jìn)程t (f)所示出的那樣，原始時間柵格在數(shù)據(jù)包從發(fā)送方S退出時在位置a處以規(guī)定的時間間隔dl被重建。為了控制抖動緩沖器JB中的排隊(duì)延遲，用于補(bǔ)償編碼域中的抖動的設(shè)備CDD可以與抖動緩沖器JB相組合。在圖6中以本發(fā)明的另一實(shí)施形式示出了編碼數(shù)據(jù)包從發(fā)送方 S到接收方R的傳輸路徑，其中編碼數(shù)據(jù)包在從網(wǎng)絡(luò)N退出之后并且在進(jìn)入用于補(bǔ)償編碼域中的抖動的設(shè)備CDD之前穿過抖動緩沖器JB，該抖動緩沖器JB被布置在網(wǎng)絡(luò)N與用于補(bǔ)償編碼域中的抖動的設(shè)備CDD之間的傳輸路徑中。通過在數(shù)據(jù)包的傳輸方向上將抖動緩沖器JB布置在用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D之前，可以減小插入人工編碼的數(shù)據(jù)包的步驟數(shù)目和用于去除(也稱作跳過)數(shù)據(jù)包的步驟數(shù)目。例如會出現(xiàn)如下情況數(shù)據(jù)流的所有數(shù)據(jù)包被延遲的網(wǎng)絡(luò)延遲和/或數(shù)據(jù)包彼此間被延遲的網(wǎng)絡(luò)延遲抖動顯著增加。在這種情況下，不存在的或者不足夠的抖動緩沖器JB導(dǎo)致，在網(wǎng)絡(luò)延遲開始和/或網(wǎng)絡(luò)延遲抖動開始之前進(jìn)入用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D中的數(shù)據(jù)包多次地作為人工編碼的數(shù)據(jù)包必須被插入到數(shù)據(jù)流中，這會導(dǎo)致閃爍和跳躍的再現(xiàn)。抖動緩沖器JB可以使數(shù)據(jù)包的再現(xiàn)平滑。抖動緩沖器JB的填充狀態(tài)(Fuellstand)可以通過借助用于補(bǔ)償編碼域中的抖動的設(shè)備CDD將數(shù)據(jù)包/幀插入數(shù)據(jù)流中或者去除數(shù)據(jù)流中的數(shù)據(jù)包/幀來控制。通過采用數(shù)據(jù)包在進(jìn)入用于補(bǔ)償編碼域中的抖動的設(shè)備CDD之前所穿過的抖動緩沖器JB而可能的是，在出現(xiàn)網(wǎng)絡(luò)延遲和/或網(wǎng)絡(luò)延遲抖動時僅僅插入或者去除單個數(shù)據(jù)包/幀，使得在接收方R中再現(xiàn)時不可察覺或者幾乎不可察覺數(shù)據(jù)流的修改。為此，通過在數(shù)據(jù)包從抖動緩沖器JB到用于補(bǔ)償編碼域中的抖動的設(shè)備CDD的傳輸路徑之外的線路2，抖動緩沖器JB 將關(guān)于在抖動緩沖器JB中當(dāng)前所確定的網(wǎng)絡(luò)延遲和/或當(dāng)前在抖動緩沖器JB中確定的網(wǎng)絡(luò)延遲抖動的信息發(fā)送給用于補(bǔ)償編碼域中的抖動的設(shè)備CDD。通過在給定的時間區(qū)間內(nèi)在用于補(bǔ)償編碼域中的抖動的設(shè)備CDD中進(jìn)行分別插入人工編碼的數(shù)據(jù)包和/或從數(shù)據(jù)流分別去除數(shù)據(jù)包，可以控制抖動緩沖器JB的填充狀態(tài)。由此，可以避免抖動緩沖器JB中的溢出以及抖動緩沖器JB的下溢，所述抖動緩沖器JB中的溢出導(dǎo)致數(shù)據(jù)流的總延遲提高，所述抖動緩沖器JB的下溢導(dǎo)致用于補(bǔ)償編碼域中的抖動的設(shè)備CDD沒有數(shù)據(jù)包/幀可供使用。利用圖6中所示的布局，除了其他情況之外還可能碰到出現(xiàn)的網(wǎng)絡(luò)延遲和/或出現(xiàn)的網(wǎng)絡(luò)延遲抖動的如下情況
-網(wǎng)絡(luò)延遲增加因此，抖動緩沖器JB中的填充狀態(tài)并且由此排隊(duì)延遲降低，因?yàn)榕c在網(wǎng)絡(luò)延遲增加之前相比更多的圖像從抖動緩沖器JB中被導(dǎo)出，用于維持在到用于補(bǔ)償編碼域中的抖動的設(shè)備CDD的相繼的數(shù)據(jù)包之間的規(guī)定的時間間隔dl。數(shù)據(jù)包/幀可以通過用于補(bǔ)償編碼域中的抖動的設(shè)備CDD來插入，以便在一定限度內(nèi)維持抖動緩沖器JB的與排隊(duì)延遲成比例的填充。-網(wǎng)絡(luò)延遲降低因此，抖動緩沖器JB中的填充狀態(tài)并且由此排隊(duì)延遲增加，因?yàn)橄噍^于在網(wǎng)絡(luò)延遲降低之前的時刻，與為了維持在相繼的數(shù)據(jù)包之間的規(guī)定的時間間隔 dl而由用于補(bǔ)償編碼域中的抖動的設(shè)備CDD從抖動緩沖器所要求的圖像相比更多的圖像進(jìn)入抖動緩沖器JB中。-網(wǎng)絡(luò)N中的延遲抖動增加抖動緩沖器JB的填充應(yīng)通過插入人工編碼的數(shù)據(jù)包 /幀來增大。-網(wǎng)絡(luò)延遲抖動降低抖動緩沖器JB的填充要通過用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D來降低，以便減小數(shù)據(jù)包在將數(shù)據(jù)包從發(fā)送方S傳輸?shù)浇邮辗絉時的延遲(也稱為總延遲)。應(yīng)注意的是，網(wǎng)絡(luò)延遲和網(wǎng)絡(luò)延遲抖動可以基于進(jìn)入抖動緩沖器中的數(shù)據(jù)包的統(tǒng)計(jì)學(xué)數(shù)據(jù)、例如其定時來計(jì)算。該計(jì)算可以在抖動緩沖器JB之內(nèi)進(jìn)行。圖6中所示的布局可以被視為圖5中所示的布局的特殊情況，其中圖6中的抖動緩沖器JB具有包含于抖動緩沖器JB中的數(shù)據(jù)包的可忽略的排隊(duì)延遲。在圖7中示出了編碼數(shù)據(jù)包在進(jìn)入網(wǎng)絡(luò)N之前并且在從圖2中所示的抖動緩沖器退出之后、在從圖3和圖4中所示的代碼轉(zhuǎn)換器TR退出之后和在從圖5和圖6中所示的用于補(bǔ)償編碼域中的抖動的設(shè)備CDD退出之后的時間進(jìn)程的比較。在位置a處的在數(shù)據(jù)包從發(fā)送方S退出之后并且在進(jìn)入網(wǎng)絡(luò)N之前的時間進(jìn)程t (a)相對于時間進(jìn)程t (b)、t (c)、 t (e)和t (f)在時間上偏移了(平均)傳輸延遲dN，其中位置b、c、e和f對應(yīng)于圖1、2、3、 4、5、6中的位置b、c、e、f。在發(fā)生傳輸延遲dN之后，數(shù)據(jù)包Pl、P2、P3、P4、P5可以被接收方R或被布置在發(fā)送方S與接收方R之間的部件處理。抖動緩沖器JB、代碼轉(zhuǎn)換器TR或用于補(bǔ)償編碼域中的抖動的設(shè)備⑶D可以用作布置在發(fā)送方S和接收方R之間的部件。為了補(bǔ)償為抖動的特殊情況的延遲抖動，抖動緩沖器JB必須捕獲在傳輸具有編碼數(shù)據(jù)包P1、 P2、P3、P4、P5的數(shù)據(jù)流期間出現(xiàn)的全部延遲抖動。因而，通過使用抖動緩沖器JB，延遲dj 的結(jié)果相對高。與數(shù)據(jù)包PI、P2、P3、P4、P5的由抖動緩沖器JB造成的延遲dj相比，代碼轉(zhuǎn)換器TR和用于補(bǔ)償編碼域中的抖動的設(shè)備CDD擁有用于補(bǔ)償延遲抖動的附加裝置。通過插入數(shù)據(jù)包和/或從數(shù)據(jù)流中去除數(shù)據(jù)包的可能性，由代碼轉(zhuǎn)換器TR造成的延遲dT和由用于補(bǔ)償在編碼域中的抖動的設(shè)備CDD造成的延遲dC與由抖動緩沖器JB造成的延遲dj 相比更小。在圖8中，在線性預(yù)測結(jié)構(gòu)的情況下相對于時間t (參見箭頭)示出了圖像在插入之前的示意性序列10、在作為參考圖像插入之后的示意性序列11和在作為非參考圖像插入之后的示意性序列12。在下文中，針對措辭“視頻幀”使用措辭“圖像”。如結(jié)合圖5和 6所闡述的那樣，針對當(dāng)前圖像并不用于通過用于補(bǔ)償編碼域中的抖動的設(shè)備CDD進(jìn)行轉(zhuǎn)發(fā)，代表在人工編碼的圖像之前的圖像的數(shù)據(jù)內(nèi)容的人工編碼圖像被插入到數(shù)據(jù)流中，用于維持在相繼的圖像之間的規(guī)定的時間間隔dl。如果在視頻圖序的圖像之間存在相關(guān)性， 則要保持獲得在視頻圖序的圖像之間的相關(guān)性。圖8為了闡明而示出了在線性預(yù)測結(jié)構(gòu)中的人工編碼的視頻幀形式的所預(yù)先計(jì)算的圖像的插入，線性預(yù)測結(jié)構(gòu)也稱作IPPP。在IPPP 預(yù)測結(jié)構(gòu)的情況下，圖序的第一圖像(內(nèi)部圖像(Intrabild)Bl)沒有參考在內(nèi)部圖像Bl之前的圖像。而跟隨內(nèi)部圖像Bl的圖像B2、B3、B4、B5參考分別在這些圖像之前的圖像Bi、 B2、B3、B4。因而，在線性預(yù)測結(jié)構(gòu)10的情況下，除了內(nèi)部圖像Bl之外，每個被預(yù)先計(jì)算的圖像的在前的圖像都是參考圖像。在圖8中，參考分別通過在該圖序的各個圖像B1、B2、B3、 B4、B5之間的箭頭r來示出。與圖1至3、5和7相比，在圖8中并未示出編碼數(shù)據(jù)包P1、 P2、P3、P4、P5，而是示出了所預(yù)先計(jì)算的圖像Bi、B2、B3、B4、B5。數(shù)據(jù)包PI、P2、P3、P4、P5 中的每個數(shù)據(jù)包都可以分別包括圖像Bi、B2、B3、B4、B5之一或者包括圖像Bi、B2、B3、B4、 B5中的每個的部分作為信息。在插入所預(yù)先計(jì)算的圖像B2 ‘之前，圖序10具有從內(nèi)部圖像Bl開始的升序的所預(yù)先計(jì)算的圖像的序列。如在所預(yù)先計(jì)算的圖像在插入所預(yù)先計(jì)算的圖像B2'之后的示意性序列11中所表示的那樣，所插入的所預(yù)先計(jì)算的圖像B2'具有其前導(dǎo)B2的數(shù)據(jù)內(nèi)容。如果使用視頻編碼標(biāo)準(zhǔn)H. ^4/AVC，則所插入的人工編碼的所預(yù)先計(jì)算的圖像B2丨可以唯一地由跳過的宏塊0Π上面所闡述的那樣)組成。在時間序列12中，所預(yù)先計(jì)算的圖像B2 ‘作為非參考圖像在圖像B1、B2、B3、B4、 B5的線形IPPP預(yù)測結(jié)構(gòu)中被插入到所預(yù)先計(jì)算的圖像B2之后。由于人工編碼的視頻幀 B2 ‘是非參考圖像，所以跟隨人工編碼的所預(yù)先計(jì)算的圖像B2 ‘的圖像B3不是參考人工編碼的所預(yù)先計(jì)算的圖像B2丨，而是參考所預(yù)先計(jì)算的圖像B2。在示意性序列12中，所預(yù)先計(jì)算的圖像B3對所預(yù)先計(jì)算的圖像B2的參考通過箭頭rl示出。因此，不僅人工編碼的新插入的所預(yù)先計(jì)算的圖像B2 ‘而且現(xiàn)有的所預(yù)先計(jì)算的圖像B3都分別參考所預(yù)先計(jì)算的圖像B2。將新圖像作為非參考圖像的插入具有一些優(yōu)點(diǎn)
-即使新插入的人工編碼的所預(yù)先計(jì)算的圖像B2'不是所預(yù)先計(jì)算的圖像B2的高質(zhì)量副本，在跟隨人工編碼的新插入的所預(yù)先計(jì)算的圖像B2丨之后的圖像B3中也未出現(xiàn)圖像質(zhì)量的劣化，因?yàn)樗A(yù)先計(jì)算的圖像B3的說明圖像B4的參考的時間預(yù)測器還沒有由于插入了人工編碼的所預(yù)先計(jì)算的圖像B2 ‘而改變。-預(yù)測結(jié)構(gòu)在插入非參考圖像的情況下根本不必被改變。即使預(yù)測結(jié)構(gòu)的結(jié)果比圖8中所示包含更多內(nèi)容，例如在使用多個不同的參考幀的情況下，無需改變參考索引，即無需改變對前面編碼的圖像的參考。-在參考圖像緩沖器完全填充的情況下(該參考圖像緩沖器包含參考圖像列表)，通過插入人工編碼的所預(yù)先計(jì)算的圖像B2丨沒有丟失參考圖像，因?yàn)樾虏迦氲膱D像B2丨沒有被存儲在參考圖像緩沖器中。在另一方面，插入唯一地由跳過的宏塊組成的圖像作為參考幀在壓縮域中的視頻混合的情況下具有優(yōu)點(diǎn)。這樣，例如可以通過將附加的參考幀插入到視頻數(shù)據(jù)流的第一圖序中而將該數(shù)據(jù)流的預(yù)測結(jié)構(gòu)與第二視頻數(shù)據(jù)流的現(xiàn)有的其他預(yù)測結(jié)構(gòu)適配，該第二視頻數(shù)據(jù)流要與第一視頻數(shù)據(jù)流混合。為了維持線形預(yù)測結(jié)構(gòu)，當(dāng)在所預(yù)先計(jì)算的圖像之前的圖像是示意性序列12中的非參考圖像B2'時，在所預(yù)先計(jì)算的圖像之前的圖像要被聲明為參考圖像?？梢赃M(jìn)行其他參考，以便維持原始預(yù)測結(jié)構(gòu)。這樣，在示意性序列11中，人工編碼的新插入的所預(yù)先計(jì)算的圖像B2丨作為參考圖像被插入，其中在插入之前參考所預(yù)先計(jì)算的圖像B2的所預(yù)先計(jì)算的圖像B3現(xiàn)在參考新插入的人工編碼的所預(yù)先計(jì)算的圖像B2丨。然而，如果在新插入的人工編碼的所預(yù)先計(jì)算的圖像B2丨之前的所預(yù)先計(jì)算的圖像B2不能被聲明為參考圖像，例如因?yàn)樵趯⑺A(yù)先計(jì)算的圖像B2聲明為參考圖像時會出現(xiàn)參考圖像緩沖器的溢出，則在插入要新插入的人工編碼的所預(yù)先計(jì)算的圖像時重復(fù)該非參考圖像。由于參考圖像緩沖器通過插入要新插入的人工編碼的所預(yù)先計(jì)算的圖像而沒有改變，所以如針對在前的所預(yù)先計(jì)算的圖像那樣實(shí)施預(yù)測。為了闡明，圖9示出了所預(yù)先計(jì)算的圖像在分層預(yù)測結(jié)構(gòu)的情況下在插入之前的示意性序列21和在插入之后的示意性序列22，其中在要插入的所預(yù)先計(jì)算的圖像B2 ‘之前的圖像B2是非參考圖像。在示意性序列21中，所預(yù)先計(jì)算的圖像B3沒有參考所預(yù)先計(jì)算的圖像B2，而是參考所預(yù)先計(jì)算的圖像Bi，如利用箭頭rl所表示的那樣。在時間序列22中在插入人工編碼的所預(yù)先計(jì)算的圖像B2'之后，不僅新插入的人工編碼的所預(yù)先計(jì)算的圖像B2 ‘而且跟隨所預(yù)先計(jì)算的圖像B2'的圖像B3都參考所預(yù)先計(jì)算的圖像Bi，如這在時間序列22中通過B2 ‘的參考rl 和B3的參考r2所表示的那樣。對于用于要插入的所預(yù)先計(jì)算的圖像B2 ’的所預(yù)先計(jì)算的圖像B2的副本而言，僅僅改變高層上的數(shù)據(jù)信息，如改變RTP、圖序號和所預(yù)先計(jì)算的圖像 B2的時間戳。要插入的人工編碼的所預(yù)先計(jì)算的圖像B2 ‘的信號處理數(shù)據(jù)內(nèi)容、如系數(shù)、 運(yùn)動向量和模式信息等等對應(yīng)于原始的所預(yù)先計(jì)算的圖像B2的信號處理數(shù)據(jù)內(nèi)容。因而， 在將要新插入的人工編碼的幀作為非參考圖像來插入時，要插入的人工編碼的所預(yù)先計(jì)算的幀的數(shù)據(jù)率與在要新插入的人工編碼的唯一地由跳過的宏塊組成的參考圖像的情況下相比的結(jié)果明顯更高。因而，在給定的預(yù)測結(jié)構(gòu)的情況下，在可能時有利地使用唯一地由跳過的宏塊組成的要插入的幀來降低要傳輸?shù)臄?shù)據(jù)率。如圖8中的時間序列11和12與圖9中的時間序列21的比較所示出的那樣，在將人工編碼的所預(yù)先計(jì)算的幀B2 ’作為非參考圖像插入時間序列12中時，分層的預(yù)測結(jié)構(gòu)由在時間序列10中所示的線形預(yù)測結(jié)構(gòu)形成。在分層的預(yù)測結(jié)構(gòu)的情況下，與圖8中所示的時間序列10、11相反，存在如下所預(yù)先計(jì)算的圖像B3 所述所預(yù)先計(jì)算的圖像B3的在前的所預(yù)先計(jì)算的圖像B2如在時間序列21中所表示的那樣是非參考圖像。如結(jié)合圖5已解釋的那樣，在兩個或更多幀在用于補(bǔ)充編碼平面中的抖動的設(shè)備 ⑶D中為了轉(zhuǎn)發(fā)而在由編碼數(shù)據(jù)包P1、P2、P3、P4、P5構(gòu)成的數(shù)據(jù)流中可供使用的情況下，在用于補(bǔ)償編碼平面中的抖動的設(shè)備CDD中存在的較老的圖像被跳過，以便減小數(shù)據(jù)流的延遲。例如可出現(xiàn)如下情況由于網(wǎng)絡(luò)延遲明顯降低，所以在相繼的數(shù)據(jù)包P1、P2、P3、P4、P5進(jìn)入到用于補(bǔ)償編碼平面中的抖動的設(shè)備⑶D中時將在相繼的數(shù)據(jù)包P1、P2、P3、P4、P5之間的期望時間間隔dl減半。在這種情況下，在用于補(bǔ)償編碼平面中的抖動的設(shè)備CDD中提前到達(dá)的數(shù)據(jù)包可以從數(shù)據(jù)流中被去除，而不事先將人工編碼的數(shù)據(jù)包插入到數(shù)據(jù)流中。 由編碼數(shù)據(jù)包所包括的幀從編碼域中的數(shù)據(jù)流中被去除。在將幀從數(shù)據(jù)流中去除時，有利的是，要去除的幀沒有被用于另外的參考。為了闡明，圖10和11分別示出了根據(jù)線性預(yù)測結(jié)構(gòu)所預(yù)先計(jì)算的圖像的示意性序列31、32 (圖 10)和根據(jù)分層預(yù)測結(jié)構(gòu)所預(yù)先計(jì)算的圖像的示意性序列41、42 (圖11)。在圖10中示出了根據(jù)線性預(yù)測結(jié)構(gòu)所預(yù)先計(jì)算的圖像在去除之前的示意性序列31和在去除之后的示意性序列32。如圖10中的示意性序列31和32的比較所示出的那樣，根據(jù)線性IPPP預(yù)測結(jié)構(gòu)，僅僅將圖像組(Group Of Pictures =GOP)的最后的幀B4從圖像B1、B2、B3、B4、B5、B6、 B7的數(shù)據(jù)流中去除。圖像組GOP由所預(yù)先計(jì)算的圖像組成，這些所預(yù)先計(jì)算的圖像除了圖像組的第一圖像之外分別參考在圖像組的每個所預(yù)先計(jì)算的圖像之前的圖像。在示意性序列31中，圖像B1、B2、B3、B4和圖像B5、B6、B7因而分別形成單個圖像組。在去除所預(yù)先計(jì)算的圖像B4之后，在示意性序列32的數(shù)據(jù)流中剩下的圖像B2和B3分別參考在圖像B2、 B3之前的圖像B1、B2。在圖11中在示意性序列41中示出的分層預(yù)測結(jié)構(gòu)中，幀B4、B6、B8形成最低時層的那些幀。幀B4、B6、B8是非參考圖像并且可以以簡單的方式從數(shù)據(jù)流中被去除，因?yàn)闆]有隨后的圖像參考這些圖像B4、B6、B8。因?yàn)榭梢员惶^的幀的數(shù)目在分層預(yù)測結(jié)構(gòu)的情況下比在線形預(yù)測結(jié)構(gòu)的情況下大，如圖10中的示意性序列31和圖11中的示意性序列 41在可簡單去除的非參考圖像方面的比較所示出的那樣，有利的是利用現(xiàn)有的編碼器產(chǎn)生在時間上可縮放的具有分層預(yù)測結(jié)構(gòu)的數(shù)據(jù)流。在本發(fā)明的有利的實(shí)施方案中規(guī)定，唯一地將非參考幀從壓縮的和編碼的視頻數(shù)據(jù)流中去除，以便避免未被去除的幀的圖像質(zhì)量的劣化。在本發(fā)明的另一有利實(shí)施方案中規(guī)定，不僅插入包括幀的人工編碼的數(shù)據(jù)包而且去除包括幀的數(shù)據(jù)包都動態(tài)地進(jìn)行。在這種情況下，用于補(bǔ)償編碼平面中的抖動的設(shè)備實(shí)施自適應(yīng)抖動緩沖器的功能。編碼域中的抖動的補(bǔ)償(也稱作壓縮域中的抖動的補(bǔ)償)可以與壓縮域中的視頻混合(也稱作編碼域中的視頻混合)相組合。在宏塊層上的視頻數(shù)據(jù)流的混合例如在WO 2009/049974 A2中予以描述。針對要與第二視頻數(shù)據(jù)流混合的第一視頻數(shù)據(jù)流具有相對于第二數(shù)據(jù)流被提高的延遲抖動的情況，其中第一視頻數(shù)據(jù)流的到達(dá)的幀沒有及時用于組成當(dāng)前混合的輸出幀，第一視頻數(shù)據(jù)流的沒有及時可用的到達(dá)的幀通過如下幀代替所述幀唯一地包括“跳過”模式下的宏塊。為了闡明，圖12示出了由編碼的宏塊M1、M2的混合50 構(gòu)成的示意性布局，其中來自第一視頻數(shù)據(jù)流51的宏塊Ml與來自第二視頻數(shù)據(jù)流52的跳過的宏塊M2混合。在由編碼的宏塊Ml、M2構(gòu)成的混合50中，在圖12中以由8 X 10個宏塊 Ml構(gòu)成的矩陣(即具有8行和10列的矩陣)示出了第一視頻數(shù)據(jù)流51的原始宏塊Ml。由宏塊Ml構(gòu)成的矩陣可以具有行和列形式的任意數(shù)目的宏塊Ml。在圖12中所示的編碼宏塊Ml、M2構(gòu)成的混合中，第一視頻數(shù)據(jù)流的宏塊Ml由到達(dá)的第一視頻數(shù)據(jù)流的原始宏塊構(gòu)成。而到達(dá)的第二視頻數(shù)據(jù)流的宏塊M2由跳過的宏塊(“跳過”模式)構(gòu)成，因?yàn)榈竭_(dá)的第二視頻數(shù)據(jù)流的原始宏塊沒有及時地可用于與到達(dá)的第一視頻數(shù)據(jù)流的原始宏塊Ml混合。因此，在圖12中所示的示意性布局中，原始宏塊Ml與人工編碼的所插入的宏塊M2鄰接，用于將第一到達(dá)的視頻數(shù)據(jù)流的宏塊Ml與第二到達(dá)的視頻數(shù)據(jù)流的宏塊M2彼此混合。 在對宏塊層上的視頻混合的更為精確地描述方面(例如在熵解碼和重編碼方面)參閱在文獻(xiàn)WO 2009/049974 A2中所包含的技術(shù)教導(dǎo)。如已經(jīng)結(jié)合圖5的描述所解釋的那樣，原始宏塊的運(yùn)動向量由與跳過的宏塊相鄰的編碼的宏塊來計(jì)算，這些宏塊在時間上在原始宏塊之前被編碼。因而，在圖12中所示的示意性布局中不利的會是，為了計(jì)算第二視頻數(shù)據(jù)流的跳過的宏塊M2而考慮第一視頻數(shù)據(jù)流的鄰接的宏塊Ml。在混合第一視頻數(shù)據(jù)流和第二視頻數(shù)據(jù)流的宏塊時，因而在不要單個混合的數(shù)據(jù)流的情況下，對于跳過的宏塊的運(yùn)動向量的計(jì)算與對于原始宏塊的運(yùn)動向量的計(jì)算不同。也就是說，如果在圖12中所示的由編碼宏塊M1、M2的混合構(gòu)成的示意性布局的情況下，第一視頻數(shù)據(jù)流的宏塊Ml被考慮用于計(jì)算跳過的宏塊M2的運(yùn)動向量，則所計(jì)算的針對跳過的宏塊的運(yùn)動向量會被設(shè)置為零。因而，對于到達(dá)的第二視頻數(shù)據(jù)流52的跳過的宏塊M2的運(yùn)動信息被明確編碼，例如通過使用規(guī)則的P宏塊模式來編碼，該規(guī)則的P宏塊模式具有要被考慮用于計(jì)算運(yùn)動向量的16X16個宏塊的原始宏塊的劃分、即在視頻編碼標(biāo)準(zhǔn)H. 264/AVC中的最大劃分。針對以這種方式計(jì)算的跳過的宏塊，運(yùn)動向量隱含地被調(diào)節(jié)為使得運(yùn)動向量被設(shè)置為零。以這種方式計(jì)算的跳過的宏塊的數(shù)據(jù)率盡管大于不要混合的視頻數(shù)據(jù)流的數(shù)據(jù)率，然而與未被跳過的宏塊的數(shù)據(jù)率相比小。插入具有“跳過”模式的宏塊有利地可以用于對視頻圖序再采樣，例如以便將具有不同的采樣頻率的兩個或更多視頻圖序混合。為了闡明，在圖13中示出了第一視頻數(shù)據(jù)流和第二視頻數(shù)據(jù)流的所預(yù)先計(jì)算的圖像在再采樣和混合之前的示意性序列60、61和在再采樣和混合之后的示意性序列66、67。第一視頻數(shù)據(jù)流的所預(yù)先計(jì)算的圖像的示意性序列 60例如具有30fps (每秒幀數(shù)(frames per second))的采樣頻率，而第二視頻數(shù)據(jù)流的所預(yù)先計(jì)算的圖像的示意性序列61具有15fps的采樣頻率。通過第二視頻數(shù)據(jù)流的與第一視頻數(shù)據(jù)流相比被減半的采樣頻率，在第二視頻數(shù)據(jù)流的所預(yù)先計(jì)算的圖像B12、B22、B32、 B42之間布置有人工編碼的所預(yù)先計(jì)算的圖像B21、B41、B61。為了平衡第一視頻數(shù)據(jù)流和第二視頻數(shù)據(jù)流的不同的采樣頻率，在第二視頻數(shù)據(jù)流中，如圖13中的示意性序列67所示出的那樣，人工編碼的視頻幀B52、B62、B72被引入到現(xiàn)有的幀B12、B22、B32、B42之間，使得所插入的人工編碼的幀被實(shí)施為參考幀。通過實(shí)施人工編碼的所插入的幀B52、B62、B72 實(shí)現(xiàn)的是混合的視頻數(shù)據(jù)流的預(yù)測結(jié)構(gòu)對應(yīng)于到達(dá)的第一視頻數(shù)據(jù)流的那個預(yù)測結(jié)構(gòu)， 如在圖13中的示意性序列60中所示出的那樣。因而，混合的視頻數(shù)據(jù)流1和2的預(yù)測結(jié)構(gòu)具有線性預(yù)測結(jié)構(gòu)。為了簡單的表示，在圖13中的所預(yù)先計(jì)算的圖像的示意性序列60、 61的情況下假設(shè)的是，到達(dá)的第一視頻數(shù)據(jù)流和到達(dá)的第二視頻數(shù)據(jù)流的采樣頻率的比例是自然數(shù)。但是，在到達(dá)的第一視頻數(shù)據(jù)流和到達(dá)的第二視頻數(shù)據(jù)流的采樣頻率的任何比例的情況下，在圖13中描繪的用于將到達(dá)的第一視頻數(shù)據(jù)流和到達(dá)的第二視頻數(shù)據(jù)流以如下采樣頻率混合成發(fā)出的視頻數(shù)據(jù)流的方法都是可能的該采樣頻率與到達(dá)的第一視頻數(shù)據(jù)流或到達(dá)的第二視頻數(shù)據(jù)流的較高的采樣頻率相適應(yīng)。這樣，在圖13中所示的由所預(yù)先計(jì)算的圖像的示意性序列構(gòu)成的布局的情況下，具有較低的采樣頻率的視頻數(shù)據(jù)流的在任何時刻都不可用的幀(由跳過的宏塊組成的幀)被插入到具有較低采樣頻率的視頻數(shù)據(jù)流中，如上面已經(jīng)針對圖13所解釋的那樣。通過使用用于修改在編碼域中由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的設(shè)備，可以與具有抖動緩沖器的解決方案相比實(shí)現(xiàn)了具有補(bǔ)償?shù)亩秳拥臄?shù)據(jù)流的降低的延遲。公知的抖動緩沖器將在數(shù)據(jù)流中存在的在兩個相繼的編碼數(shù)據(jù)包之間的最大延遲插入到數(shù)據(jù)流中，以補(bǔ)償抖動。而用于補(bǔ)償編碼域中的抖動的設(shè)備具備用于通過將編碼數(shù)據(jù)包插入到數(shù)據(jù)流中和/ 或?qū)F(xiàn)有數(shù)據(jù)包從數(shù)據(jù)流中去除來補(bǔ)償不同類型的抖動(例如延遲抖動)的附加裝置。相對于借助代碼轉(zhuǎn)換器來補(bǔ)償抖動的方法，本方法借助用于修改在編碼域中由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的設(shè)備而具有對數(shù)據(jù)流的較小規(guī)模的干預(yù)，因?yàn)榕c借助代碼轉(zhuǎn)換器的方法(解碼和重新編碼)相比除了其他未新編碼的數(shù)據(jù)包之外可以僅僅編碼跳過的宏塊。 此外，與用于借助代碼轉(zhuǎn)換器來補(bǔ)償編碼域中的抖動的方法相比(其中所有編碼數(shù)據(jù)包被解碼并且重新被編碼)，出現(xiàn)數(shù)據(jù)流的更小的延遲。原因在于數(shù)據(jù)流的在借助代碼轉(zhuǎn)換器的方法中通過信號處理以如下方式形成的顯著延遲所有編碼數(shù)據(jù)包必須被完全解碼并且重新完全編碼。與高度信號處理相聯(lián)系的延遲在借助用于補(bǔ)償編碼平面中的抖動的設(shè)備的方法中通過如下方式避免并非所有數(shù)據(jù)包被解碼和被編碼，而是僅僅一些人工編碼的數(shù)據(jù)包(例如以跳過的宏塊的形式作為參考幀或作為非參考幀)被插入到在其他情況下不被處理的編碼數(shù)據(jù)流中。與借助代碼轉(zhuǎn)換器的方法相反，在用于借助用于修改在編碼域中由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的設(shè)備來修改由數(shù)據(jù)包構(gòu)成的編碼數(shù)據(jù)流的方法中，沒有出現(xiàn)待傳輸?shù)木幋a數(shù)據(jù)包的質(zhì)量損失。在借助代碼轉(zhuǎn)換器的方法中，編碼數(shù)據(jù)流的質(zhì)量受損于對數(shù)據(jù)流的每個編碼數(shù)據(jù)包的解碼和重新編碼，而在補(bǔ)償編碼域中的抖動時未被人工編碼的數(shù)據(jù)包沒有被改變。
權(quán)利要求
1.一種用于修改由數(shù)據(jù)包(Pl，P2，P3，P4，P5)構(gòu)成的編碼數(shù)據(jù)流的方法，其中每個數(shù)據(jù)包(P1、P2、P3、P4、P5)都包括信息(B1，B2)，其中相繼的數(shù)據(jù)包(P1、P2、P3、P4、P5)的信息(B1、B2、B3、B4、B5)彼此間具有時間間隔(dl，d3)，所述時間間隔(dl，d3)與期望時間間隔(dl)不一致并且所述時間間隔(dl，d3)通過在時間上在第二數(shù)據(jù)包(P2)之后將人工編碼的第一數(shù)據(jù)包(P2')插入到編碼域中的編碼數(shù)據(jù)流中或者通過將在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包(P4)從編碼域中的編碼數(shù)據(jù)流中去除而適應(yīng)于期望時間間隔(dl)。
2.根據(jù)權(quán)利要求1所述的方法，其中，在編碼域中生成人工編碼的第一數(shù)據(jù)包(P2')， 所述人工編碼的第一數(shù)據(jù)包(P2')包括參考被第二數(shù)據(jù)包(P)包括的第二信息(B2)的第一信息(B2')，并且如果跟隨第二數(shù)據(jù)包(P2)的第三數(shù)據(jù)包(P3)以到第二數(shù)據(jù)包(P2)為大于期望時間間隔(dl)的時間間隔(dl，d3)而是可用的，則人工編碼的第一數(shù)據(jù)包(P2’) 在時間上在第二數(shù)據(jù)包(P2)之后以到第二數(shù)據(jù)包(P2)為期望時間間隔(dl)地被插入到編碼數(shù)據(jù)流中。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，數(shù)據(jù)包(Pl、P2、P3、P4、P5)在時間上在將人工編碼的第一數(shù)據(jù)包(P2’)插入到編碼數(shù)據(jù)流之前或者在將第四數(shù)據(jù)包(P4)從編碼數(shù)據(jù)流中去除之前被暫存在抖動緩沖器(JB)中，并且將人工編碼的第一數(shù)據(jù)包(P2’)插入到編碼數(shù)據(jù)流中或者將第四數(shù)據(jù)包(P4)從編碼數(shù)據(jù)流中去除來使得能夠調(diào)節(jié)在抖動緩沖器 (JB)中暫存的數(shù)據(jù)包(P1、P2、P3、P4、P5)的數(shù)目。
4.根據(jù)上述權(quán)利要求之一所述的方法，其中，編碼數(shù)據(jù)流是視頻數(shù)據(jù)流，其中編碼數(shù)據(jù)流的每個數(shù)據(jù)包(P1、P2、P3、P4、P5)都包括視頻幀(B1、B2、B3、B4、B5)的部分，并且人工編碼的第一數(shù)據(jù)包(P2’)包括視頻幀(B2')的部分，所述視頻幀(B2')包括第二數(shù)據(jù)包(P2) 的視頻幀(B2)的沒有運(yùn)動向量和/或變換系數(shù)的信息。
5.根據(jù)權(quán)利要求4所述的方法，其中，視頻數(shù)據(jù)流的每個數(shù)據(jù)包(P1、P2、P3、P4、P5)包括按照視頻編碼標(biāo)準(zhǔn)H. 264/AVC.H. 263或者M(jìn)PEG-4 Visual之一編碼的視頻幀(B1、B2、B3、 B4、B5)的部分，其中人工編碼的第一數(shù)據(jù)包(P2’)包括由跳過的宏塊組成的視頻幀(B2') 的部分。
6.根據(jù)上述權(quán)利要求之一所述的方法，其中，解碼回路中的去塊濾波器在生成人工編碼的第一數(shù)據(jù)包(P2')期間被斷開。
7.根據(jù)上述權(quán)利要求之一所述的方法，其中，人工編碼的第一數(shù)據(jù)包(P2’)包括作為非參考幀或者作為參考幀被插入的視頻幀(B2')的部分。
8.根據(jù)上述權(quán)利要求所述的方法，其中，如果跟隨第四數(shù)據(jù)包(P4)的第五數(shù)據(jù)包(P5) 以到在第四數(shù)據(jù)包(P4)之前的第三數(shù)據(jù)包(P3)為期望時間間隔(dl)而是可用的，則在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包(P4)從編碼域中的編碼數(shù)據(jù)流中被去除。
9.根據(jù)上述權(quán)利要求之一所述的方法，其中，編碼數(shù)據(jù)流是視頻數(shù)據(jù)流，并且從視頻數(shù)據(jù)流中去除的第四數(shù)據(jù)包(P4)包括非參考幀(B4)的部分。
10.根據(jù)權(quán)利要求9所述的方法，其中，針對線性預(yù)測結(jié)構(gòu)的情況，僅僅一個具有圖像序列(圖像組)的最后的視頻幀(B4)的部分的數(shù)據(jù)包(P4)從視頻數(shù)據(jù)流中被去除，并且針對分層預(yù)測結(jié)構(gòu)的情況，具有來自最低時層的視頻幀(B4)的部分的數(shù)據(jù)包(P4)從視頻數(shù)據(jù)流中被去除。
11.根據(jù)上述權(quán)利要求之一所述的方法，其中，在動態(tài)插入和去除數(shù)據(jù)包(P2’，P4)的情況下實(shí)施自適應(yīng)抖動緩沖器的功能。
12.根據(jù)權(quán)利要求4至11之一所述的方法，其中，第二視頻數(shù)據(jù)流的期望時間間隔 (dl)對應(yīng)于第一視頻數(shù)據(jù)流的在相繼的編碼幀(B11，B21，B31)之間的時間間隔，其中第二視頻數(shù)據(jù)流(61)的人工編碼的第一數(shù)據(jù)包(P2’)的第一視頻幀(B52)與第一視頻數(shù)據(jù)流 (60)的編碼數(shù)據(jù)包的第一視頻幀(B21)混合成視頻幀(50)。
13.根據(jù)權(quán)利要求12所述的方法，其中，第二視頻數(shù)據(jù)流具有比第一視頻數(shù)據(jù)流(60) 更低的采樣頻率，并且人工編碼的第一視頻幀(B52)被插入到具有相對于第一視頻數(shù)據(jù)流 (60)更低的采樣頻率的第二視頻數(shù)據(jù)流(61)中，使得具有所插入的人工編碼的第一視頻幀 (B52)的第二視頻數(shù)據(jù)流(67)具有第一視頻數(shù)據(jù)流(66)的采樣頻率。
14.一種用于修改由數(shù)據(jù)包(P1、P2、P3、P4、P5)構(gòu)成的編碼數(shù)據(jù)流的設(shè)備(CDD)，尤其是用于執(zhí)行權(quán)利要求1至13之一所述的方法，其中每個數(shù)據(jù)包(P1、P2、P3、P4、P5)都包括信息(B1、B2、B3、B4、B5)，其中相繼的數(shù)據(jù)包(P1、P2、P3、P4、P5)的信息(B1、B2、B3、B4、B5) 彼此間具有時間間隔(dl，d3)，所述時間間隔(dl，d3)與期望時間間隔(dl)不一致并且所述時間間隔(dl，d3)能適應(yīng)于期望時間間隔(dl)，該設(shè)備包括-用于在時間上在第二數(shù)據(jù)包(P2)之后將人工編碼的第一數(shù)據(jù)包(P2')插入到編碼域中的編碼數(shù)據(jù)流中的裝置，和/或-用于將在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包(P4)從編碼域中的編碼數(shù)據(jù)流中去除的直ο
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中，在該設(shè)備(CDD)的上游連接有抖動緩沖器 (JB)，編碼數(shù)據(jù)包(P1、P2、P3、P4、P5)能被暫存到所述抖動緩沖器(JB)中，并且用于將人工編碼的第一數(shù)據(jù)包(P2’ )插入到編碼數(shù)據(jù)流中和/或用于將第四數(shù)據(jù)包(P4)從編碼數(shù)據(jù)流中去除的裝置被構(gòu)造為使得能調(diào)節(jié)在所述抖動緩沖器(JB)中暫存的數(shù)據(jù)包(P1、P2、P3、 P4、P5)的數(shù)目。
全文摘要
本發(fā)明涉及一種用于修改由數(shù)據(jù)包(P1，P2，P3，P4，P5)構(gòu)成的編碼數(shù)據(jù)流的方法，其中每個數(shù)據(jù)包(P1、P2、P3、P4、P5)都包括信息(B1、B2、B3、B4、B5)。在數(shù)據(jù)流中，相繼的數(shù)據(jù)包(P1、P2、P3、P4、P5)的信息(B1、B2)彼此間具有時間間隔(d1，d3)，所述時間間隔(d1，d3)與期望時間間隔(d1)不一致并且所述時間間隔(d1，d3)通過在時間上在第二數(shù)據(jù)包(P2)之后將人工編碼的第一數(shù)據(jù)包(P2′)插入到編碼域中的編碼數(shù)據(jù)流中或通過將在編碼數(shù)據(jù)流中存在的第四數(shù)據(jù)包(P4)從編碼域中的編碼數(shù)據(jù)流中去除而適應(yīng)于期望時間間隔(d1)。
文檔編號H04N7/50GK102318356SQ201080007161
公開日2012年1月11日 申請日期2010年5月7日 優(yōu)先權(quán)日2010年5月7日
發(fā)明者阿格特 B., 奧爾特爾 N., 阿蒙 P. 申請人:西門子企業(yè)通訊有限責(zé)任兩合公司