用于使用視點(diǎn)之間的相關(guān)性對(duì)圖像進(jìn)行處理的設(shè)備和方法
【專利摘要】一種用于使用視點(diǎn)之間的相關(guān)性對(duì)圖像進(jìn)行處理的設(shè)備和方法可包括：噪聲去除單元，用于從至少一個(gè)輸入的深度圖像去除噪聲；視點(diǎn)變換單元，用于執(zhí)行去除了噪聲的所述至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間；加權(quán)均值濾波器單元，用于從第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間產(chǎn)生至少一個(gè)加權(quán)系數(shù)，并且使用產(chǎn)生的加權(quán)系數(shù)來(lái)產(chǎn)生加權(quán)均值濾波器；深度圖像變換單元，用于通過(guò)應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點(diǎn)的第一深度圖像和深度空間變換第三深度圖像。
【專利說(shuō)明】用于使用視點(diǎn)之間的相關(guān)性對(duì)圖像進(jìn)行處理的設(shè)備和方法
[0001]本申請(qǐng)要求于2012年9月11日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2012-0100237號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)利益，其公開通過(guò)引用合并于此。
【技術(shù)領(lǐng)域】
[0002]下面描述的示例實(shí)施例涉及一種用于使用視點(diǎn)之間的相關(guān)性對(duì)圖像進(jìn)行處理的設(shè)備和方法，更具體地講，涉及一種在深度圖像的壓縮中可支持前置濾波器(pre-filter)和環(huán)路濾波器中的恢復(fù)功能的圖像處理設(shè)備和方法。
【背景技術(shù)】
[0003]三維(3D)圖像壓縮系統(tǒng)可被用于對(duì)彩色圖像和深度圖像(例如，深度圖)進(jìn)行壓縮。例如，H.264/先進(jìn)視頻編碼(AVC)方案、H.264/多視點(diǎn)視頻編碼(MVC)方案、高效率視頻編碼(HEVC)方案可被用于有效地對(duì)彩色圖像進(jìn)行壓縮。然而，深度圖像的圖像特征與彩色圖像的圖像特征完全不同。
[0004]用于對(duì)圖像進(jìn)行壓縮或編碼的現(xiàn)有標(biāo)準(zhǔn)可包括例如H.261、H.263、運(yùn)動(dòng)圖像專家組(MPEG) -K MPEG-2, MPEG-4, H.264 和 HEVC 等。
[0005]現(xiàn)有壓縮標(biāo)準(zhǔn)彼此稍有不同，但通常配置有相似的結(jié)構(gòu)，其中，所述結(jié)構(gòu)包括運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、變換編碼和熵編碼。
[0006]具體地，H.264和HEVC被公知為通過(guò)在恢復(fù)的圖像中最小化塊邊界失真來(lái)提高主觀圖像質(zhì)量并且在運(yùn)動(dòng)估計(jì)和壓縮處理中使得能夠進(jìn)行更精確的預(yù)測(cè)，從而提高總編碼效率。
[0007]上面的去塊濾波器在具有低比特率的圖像中表現(xiàn)出良好的性能。然而，在高質(zhì)量圖像中，去塊濾波器的性能可能難以表現(xiàn)，或者可能甚至降低編碼性能。
[0008]另外，最近針對(duì)壓縮標(biāo)準(zhǔn)采用的自適應(yīng)環(huán)路濾波器(ALF)可被用于最小化原始圖像和恢復(fù)的圖像之間的誤差。當(dāng)ALF和去塊濾波器兩者被應(yīng)用于高質(zhì)量圖像時(shí)，編碼效率可增加。
[0009]典型的ALF被用作基于維納濾波器的恢復(fù)濾波器。
[0010]最近，正提出一種用于通過(guò)在去塊濾波器之后設(shè)置ALF以提高客觀圖像質(zhì)量的方法。

【發(fā)明內(nèi)容】

[0011]通過(guò)提供一種圖像處理設(shè)備來(lái)實(shí)現(xiàn)前述和/或其他方面，其中，所述圖像處理設(shè)備包括:噪聲去除單元，用于從至少一個(gè)輸入的深度圖像去除噪聲；視點(diǎn)變換單元，用于執(zhí)行去除了噪聲的所述至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間；加權(quán)均值濾波器單元，用于從第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間產(chǎn)生至少一個(gè)加權(quán)系數(shù)，并且使用產(chǎn)生的加權(quán)系數(shù)來(lái)產(chǎn)生加權(quán)均值濾波器；深度圖像變換單元，用于通過(guò)應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點(diǎn)的第一深度圖像和深度空間變換第三深度圖像，其中，變換的第三深度圖像被用于對(duì)深度圖像進(jìn)行編碼。
[0012]噪聲去除單元可使用范圍操作從所述至少一個(gè)輸入的深度圖像去除噪聲。
[0013]視點(diǎn)變換單元可將第二深度圖像變換為深度空間，并且可使用所述深度空間將第二深度圖像的第二視點(diǎn)變換到第一視點(diǎn)。
[0014]加權(quán)均值濾波器單元可使用第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的標(biāo)準(zhǔn)差、方差、梯度以及分辨率中的至少一個(gè)來(lái)確定閾值，并且可使用確定的閾值來(lái)產(chǎn)生加權(quán)系數(shù)。
[0015]還通過(guò)提供一種圖像處理設(shè)備來(lái)實(shí)現(xiàn)前述和/或其他方面，其中，所述圖像處理設(shè)備包括:視點(diǎn)變換單元，用于執(zhí)行至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間；加權(quán)均值濾波器單元，用于基于第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間中的至少一個(gè)的圖像特征來(lái)確定閾值，并且基于確定的閾值來(lái)對(duì)深度空間執(zhí)行加權(quán)均值濾波；深度圖像變換單元，用于將經(jīng)過(guò)濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。
[0016]加權(quán)均值濾波器單元可基于第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的圖像特征和壓縮條件來(lái)確定閾值。
[0017]加權(quán)均值濾波器單元可基于第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的圖像特征和量化參數(shù)(QP)，針對(duì)每個(gè)訪問(wèn)單元或針對(duì)每個(gè)條帶來(lái)確定閾值。
[0018]通過(guò)提供一種圖像處理方法來(lái)實(shí)現(xiàn)前述和/或其他方面，其中，所述圖像處理方法包括:由噪聲去除單元從至少一個(gè)輸入的深度圖像去除噪聲；由視點(diǎn)變換單元執(zhí)行去除了噪聲的所述至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間；由加權(quán)均值濾波器單元從第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間產(chǎn)生至少一個(gè)加權(quán)系數(shù)；由加權(quán)均值濾波器單元使用產(chǎn)生的加權(quán)系數(shù)產(chǎn)生加權(quán)均值濾波器；由深度圖像變換單元通過(guò)應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點(diǎn)的第一深度圖像和深度空間變換第三深度圖像，其中，變換的第三深度圖像被用于對(duì)深度圖像進(jìn)行編碼。
[0019]執(zhí)行視點(diǎn)變換的步驟可包括:由視點(diǎn)變換單元將第二深度圖像變換為深度空間；由視點(diǎn)變換單元使用所述深度空間將第二深度圖像的第二視點(diǎn)變換到第一視點(diǎn)。
[0020]產(chǎn)生所述至少一個(gè)加權(quán)系數(shù)的步驟可包括:由加權(quán)均值濾波器單元使用第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的標(biāo)準(zhǔn)差、方差、梯度以及分辨率中的至少一個(gè)來(lái)確定閾值；由加權(quán)均值濾波器單元使用確定的閾值來(lái)產(chǎn)生加權(quán)系數(shù)。
[0021]通過(guò)提供一種圖像處理方法來(lái)實(shí)現(xiàn)前述和/或其他方面，其中，所述圖像處理方法包括:由視點(diǎn)變換單元執(zhí)行至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間；由加權(quán)均值濾波器單元基于第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間中的至少一個(gè)的圖像特征和壓縮條件來(lái)確定閾值；由加權(quán)均值濾波器單元基于確定的閾值對(duì)深度空間執(zhí)行加權(quán)均值濾波；由深度圖像變換單元將經(jīng)過(guò)濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。[0022]確定閾值的步驟可包括:基于第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的圖像特征和QP，針對(duì)每個(gè)訪問(wèn)單元或針對(duì)每個(gè)條帶來(lái)確定閾值。
[0023]確定閾值的步驟可包括:使用多個(gè)閾值對(duì)深度空間執(zhí)行濾波，將所述多個(gè)閾值之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的閾值確定為最終閾值。
[0024]確定閾值的步驟可包括:使用多個(gè)權(quán)重對(duì)深度空間執(zhí)行濾波，將所述多個(gè)權(quán)重之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的權(quán)重確定為最終權(quán)重。
[0025]示例實(shí)施例的另外的方面、特征和/或優(yōu)點(diǎn)將在下面的描述中被部分闡明，還有一部分從描述中將是清楚的或可通過(guò)本公開的實(shí)施而被得知。
【專利附圖】

【附圖說(shuō)明】
[0026]從下面結(jié)合附圖對(duì)示例實(shí)施例的描述中，這些和/或其他方面和優(yōu)點(diǎn)將變得清楚并更易于理解，其中:
[0027]圖1示出根據(jù)示例實(shí)施例的作為預(yù)處理位置的視點(diǎn)間濾波器(inter-viewfilter)操作的圖像處理設(shè)備的框圖；
[0028]圖2示出根據(jù)示例實(shí)施例的作為環(huán)路位置的視點(diǎn)間濾波器操作的圖像處理設(shè)備的框圖；
[0029]圖3示出根據(jù)示例實(shí)施例的三維(3D)圖像壓縮系統(tǒng)的編碼器的示圖；
[0030]圖4示出根據(jù)示例實(shí)施例的3D圖像壓縮系統(tǒng)的解碼器的示圖；
[0031]圖5示出根據(jù)示例實(shí)施例的深度圖像的視點(diǎn)變換的示圖；
[0032]圖6示出根據(jù)示例實(shí)施例的作為預(yù)處理位置的視點(diǎn)間濾波器操作的圖像處理設(shè)備的圖像處理方法的流程圖；
[0033]圖7示出根據(jù)示例實(shí)施例的作為環(huán)路位置的視點(diǎn)間濾波器操作的圖像處理設(shè)備的圖像處理方法的流程圖。
【具體實(shí)施方式】
[0034]現(xiàn)在將詳細(xì)參照示例實(shí)施例，其示例在附圖中示出，其中，相同的標(biāo)號(hào)始終指示相同的元件。下面通過(guò)參照附圖來(lái)描述實(shí)施例以解釋本公開。
[0035]圖1示出根據(jù)示例實(shí)施例的作為預(yù)處理位置的視點(diǎn)間濾波器操作的圖像處理設(shè)備100的框圖。
[0036]圖1的圖像處理設(shè)備100可支持前置濾波器和環(huán)路濾波器中的恢復(fù)功能。圖1與前置濾波器的功能有關(guān)，并且示出具有用于提高鄰近視點(diǎn)之間的圖像的相似度并提高圖像的壓縮率的預(yù)處理濾波功能的圖像處理設(shè)備100。
[0037]預(yù)處理濾波可支持通過(guò)從原始圖像去除各種噪聲和非重要部分來(lái)最小化圖像的比特率以及提高壓縮率的功能，并且可支持通過(guò)提高鄰近視點(diǎn)之間的圖像的相似度來(lái)最大化圖像的質(zhì)量以及提高壓縮率的功能。
[0038]在圖1中，可提供聯(lián)合視點(diǎn)間濾波器(JVT)方案。JVT方案可被用于當(dāng)多視點(diǎn)深度圖像被輸入時(shí)，通過(guò)使用鄰近視點(diǎn)中的深度圖像之間的高相關(guān)性來(lái)執(zhí)行濾波，以從深度圖像去除噪聲并提高壓縮效率。
[0039]圖像處理設(shè)備100可包括噪聲去除單元110、視點(diǎn)變換單元120、加權(quán)均值濾波單元130和深度圖像變換單元140。
[0040]噪聲去除單元110可從至少一個(gè)輸入的深度圖像去除噪聲。
[0041]例如，噪聲去除單元110可使用范圍操作(range operation)來(lái)從所述至少一個(gè)輸入的深度圖像去除噪聲。
[0042]具體地，噪聲去除單元110可使用下面的等式I從所述至少一個(gè)輸入的深度圖像去除噪聲:
[0043][等式I]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 噪聲去除單元，適用于從至少一個(gè)輸入的深度圖像去除噪聲； 視點(diǎn)變換單元，適用于執(zhí)行去除了噪聲的所述至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間； 加權(quán)均值濾波器單元，適用于從第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間產(chǎn)生至少一個(gè)加權(quán)系數(shù)，并且使用產(chǎn)生的加權(quán)系數(shù)來(lái)產(chǎn)生加權(quán)均值濾波器； 深度圖像變換單元，適用于通過(guò)應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點(diǎn)的第一深度圖像和深度空間變換第三深度圖像， 其中，變換的第三深度圖像被用于對(duì)深度圖像進(jìn)行編碼。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，噪聲去除單元使用范圍操作從所述至少一個(gè)輸入的深度圖像去除噪聲。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，視點(diǎn)變換單元將第二深度圖像變換為深度空間，并且使用所述深度空間將第二深度圖像的第二視點(diǎn)變換到第一視點(diǎn)。
4.如權(quán)利要求1所述的圖像處理設(shè)備，其中，加權(quán)均值濾波器單元使用第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的標(biāo)準(zhǔn)差、方差、梯度以及分辨率中的至少一個(gè)來(lái)確定閾值，并且使用確定的閾值來(lái)產(chǎn)生加權(quán)系數(shù)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 預(yù)測(cè)單元，適用于使用幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)來(lái)輸出預(yù)測(cè)圖像；` 變換和量化單元，適用于輸出差分圖像； 熵編碼單元； 反量化和反變換單元，適用于對(duì)差分圖像執(zhí)行反量化和反變換； 畫面緩沖器，適用于存儲(chǔ)第三深度圖像，使得第三深度圖像可被用作參考圖像。
6.一種圖像處理設(shè)備，包括: 視點(diǎn)變換單元，適用于執(zhí)行至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間； 加權(quán)均值濾波器單元，適用于基于第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間中的至少一個(gè)的圖像特征來(lái)確定閾值，并且基于確定的閾值來(lái)對(duì)第一視點(diǎn)的深度空間執(zhí)行加權(quán)均值濾波； 深度圖像變換單元，適用于將第一視點(diǎn)的經(jīng)過(guò)濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。
7.如權(quán)利要求6所述的圖像處理設(shè)備，其中，加權(quán)均值濾波器單元基于第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的圖像特征和壓縮條件來(lái)確定閾值。
8.如權(quán)利要求7所述的圖像處理設(shè)備，其中，加權(quán)均值濾波器單元基于第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的圖像特征和量化參數(shù)QP，針對(duì)每個(gè)訪問(wèn)單元或針對(duì)每個(gè)條帶來(lái)確定閾值。
9.一種圖像處理方法，包括: 由噪聲去除單元從至少一個(gè)輸入的深度圖像去除噪聲； 由視點(diǎn)變換單元執(zhí)行去除了噪聲的所述至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間；由加權(quán)均值濾波器單元從第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間產(chǎn)生至少一個(gè)加權(quán)系數(shù)； 由加權(quán)均值濾波器單元使用產(chǎn)生的加權(quán)系數(shù)產(chǎn)生加權(quán)均值濾波器； 由深度圖像變換單元通過(guò)應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點(diǎn)的第一深度圖像和深度空間變換第三深度圖像， 其中，變換的第三深度圖像被用于對(duì)深度圖像進(jìn)行編碼。
10.如權(quán)利要求9所述的圖像處理方法，其中，執(zhí)行視點(diǎn)變換的步驟包括: 由視點(diǎn)變換單元將第二深度圖像變換為深度空間； 由視點(diǎn)變換單元使用所述深度空間將第二深度圖像的第二視點(diǎn)變換到第一視點(diǎn)。
11.如權(quán)利要求9所述的圖像處理方法，其中，產(chǎn)生所述至少一個(gè)加權(quán)系數(shù)的步驟包括: 由加權(quán)均值濾波器單元使用第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的標(biāo)準(zhǔn)差、方差、梯度以及分辨率中的至少一個(gè)來(lái)確定閾值； 由加權(quán)均值濾波器單元使用確定的閾值來(lái)產(chǎn)生加權(quán)系數(shù)。
12.—種圖像處理方法，包括: 由視點(diǎn)變換單元執(zhí)行至少一個(gè)輸入的深度圖像之中的第二視點(diǎn)的第二深度圖像的視點(diǎn)變換，使得第二視點(diǎn)的第二深度圖像被變換為第一視點(diǎn)的深度空間； 由加權(quán)均值濾波器單元基于第一視點(diǎn)的第一深度圖像和第一視點(diǎn)的深度空間中的至少一個(gè)的圖像特征和壓縮條件來(lái)確定閾值； 由加權(quán)均值濾波器單元基于確定的閾值對(duì)深度空間執(zhí)行加權(quán)均值濾波； 由深度圖像變換單元將經(jīng)過(guò)濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。
13.如權(quán)利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:基于第一視點(diǎn)的第一深度圖像和深度空間中的至少一個(gè)的圖像特征和量化參數(shù)QP，針對(duì)每個(gè)訪問(wèn)單元或針對(duì)每個(gè)條帶來(lái)確定閾值。
14.如權(quán)利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:使用多個(gè)閾值對(duì)深度空間執(zhí)行濾波，將所述多個(gè)閾值之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的閾值確定為最終閾值。
15.如權(quán)利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:使用多個(gè)權(quán)重對(duì)深度空間執(zhí)行濾波，將所述多個(gè)權(quán)重之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的權(quán)重確定為最終權(quán)重。
【文檔編號(hào)】H04N19/597GK103686192SQ201310412382
【公開日】2014年3月26日 申請(qǐng)日期:2013年9月11日 優(yōu)先權(quán)日:2012年9月11日
【發(fā)明者】任一淳, 魏浩千, 李在濬 申請(qǐng)人:三星電子株式會(huì)社