幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明涉及一種幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置，其中，幀視頻轉(zhuǎn)換方法包括：提取2D幀視頻的最長(zhǎng)線段；根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖；根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息；根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖；根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。本發(fā)明實(shí)施例提供的幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置，與僅用一個(gè)深度線索合成的深度圖相比具有更高的可靠性，且能保持良好的深度邊緣信息，從而使生成深度圖更加真實(shí)，轉(zhuǎn)換而成的3D幀視頻逼真自然，有利于提高用戶體驗(yàn)。
【專(zhuān)利說(shuō)明】幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置。
【背景技術(shù)】
[0002]3D技術(shù)能將真實(shí)世界中的事物以更加逼真的效果展現(xiàn)給人們。然而，相比于3D顯示的硬件設(shè)備來(lái)說(shuō)，3D內(nèi)容的數(shù)量明顯不足。盡管可以使用3D設(shè)備拍攝3D內(nèi)容，但若能將已有豐富的2D資源轉(zhuǎn)換為3D資源，無(wú)疑能有效地解決3D資源匱乏的問(wèn)題。
[0003]目前，基于深度圖的3D合成技術(shù)是一種比較主流的2D轉(zhuǎn)3D技術(shù)。該技術(shù)主要利用2D轉(zhuǎn)3D時(shí)人的視覺(jué)經(jīng)驗(yàn)和視覺(jué)記憶構(gòu)成的人眼的心理立體視覺(jué)。2D圖像存在的深度線索，如運(yùn)動(dòng)視差、聚焦/散焦、線性透視、大氣散射、陰影、遮擋、相對(duì)高度以及相對(duì)大小等，通過(guò)對(duì)這些深度線索進(jìn)行分析，可以將2D圖像中的深度信息估計(jì)出來(lái)，從而根據(jù)估計(jì)出來(lái)的深度信息生成對(duì)應(yīng)的深度圖。根據(jù)原始視圖及其對(duì)應(yīng)的深度圖，利用基于深度圖像繪制(Depth image based rendering,DIBR)技術(shù),可以合成虛擬的左右視圖，將左右視圖合成，通過(guò)3D顯示設(shè)備即可得到具有3D效果的立體圖。
[0004]隨著DIBR技術(shù)的成熟，基于深度圖的3D合成技術(shù)被廣泛研究，如何準(zhǔn)確估計(jì)出2D圖像的深度信息成為了該技術(shù)的關(guān)鍵。

【發(fā)明內(nèi)容】

[0005]摶術(shù)問(wèn)是頁(yè)
[0006]有鑒于此，本發(fā)明要解決的技術(shù)問(wèn)題是，如何準(zhǔn)確估計(jì)出2D圖像的深度信息，從而提高基于該深度信息的3D合成技術(shù)得到的深度圖像的真實(shí)性。
[0007]解決方案
[0008]為了解決上述技術(shù)問(wèn)題，根據(jù)本發(fā)明一實(shí)施例，在第一方面，提供了一種幀圖像轉(zhuǎn)換方法，包括:
[0009]提取2D幀圖像的最長(zhǎng)線段；
[0010]根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀圖像的第一深度圖；
[0011]根據(jù)所述第一深度圖及所述2D幀圖像，生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
[0012]結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，所述提取2D幀圖像的最長(zhǎng)線段，包括:
[0013]利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理；
[0014]利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像，以提取所述2D幀圖像的最長(zhǎng)線段。
[0015]結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖，包括:
[0016]根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向；[0017]將雙邊濾波后的所述2D幀圖像進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)；
[0018]基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
[0019]結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向，包括:
[0020]以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述2D幀圖像的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系；
[0021]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換；
[0022]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換；
[0023]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
[0024]結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，在所述基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖后，還包括:
[0025]利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0026]為了解決上述技術(shù)問(wèn)題，根據(jù)本發(fā)明另一實(shí)施例，在第二方面，提供了一種幀視頻轉(zhuǎn)換方法，包括:
[0027]提取2D幀視頻的最長(zhǎng)線段；
[0028]根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖；
[0029]根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息；
[0030]根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖；
[0031]根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0032]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，所述提取2D幀視頻的最長(zhǎng)線段，包括:
[0033]利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理；
[0034]利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻，以提取所述2D幀視頻的最長(zhǎng)線段。
[0035]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖，包括:
[0036]根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向；
[0037]將雙邊濾波后的所述2D幀視頻進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)；
[0038]基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
[0039]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向，包括:[0040]以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系，
[0041]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換；
[0042]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換；
[0043]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
[0044]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，在所述基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖后，還包括:
[0045]利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0046]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息，包括:
[0047]根據(jù)與所述2D幀視頻相鄰的一幀視頻，估計(jì)得到所述2D幀視頻的每個(gè)像素的運(yùn)
動(dòng)矢量；
[0048]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量得到所述每個(gè)像素的運(yùn)動(dòng)信息。
[0049]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖，包括:
[0050]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息，得到所述每個(gè)像素的深度信息；
[0051]根據(jù)所述每個(gè)像素的深度信息得到所述2D幀視頻的第二深度圖。
[0052]結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻，包括:
[0053]將所述第一深度圖與所述第二深度圖融合生成所述2D幀視頻的第三深度圖；
[0054]根據(jù)所述第三深度圖及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0055]為了解決上述技術(shù)問(wèn)題，根據(jù)本發(fā)明又一實(shí)施例，在第三方面，提供了一種幀圖像轉(zhuǎn)換裝置，包括:
[0056]第一提取模塊，用于提取2D幀圖像的最長(zhǎng)線段；
[0057]第一確定模塊，與所述第一提取模塊連接，用于根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖；
[0058]第一生成模塊，與所述第一確定模塊連接，用于根據(jù)所述第一深度圖及所述2D幀圖像生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
[0059]結(jié)合第三方面，在一種可能的實(shí)現(xiàn)方式中，所述第一提取模塊包括:
[0060]第一雙邊濾波處理單元，用于利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理；
[0061]第一提取單元，與所述第一雙邊濾波處理單元連接，用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像，以提取所述2D幀圖像的最長(zhǎng)線段。
[0062]結(jié)合第三方面，在一種可能的實(shí)現(xiàn)方式中，所述第一確定模塊包括:
[0063]第一深度變換方向確定單元，用于根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向；
[0064]第一分塊單元，用于將雙邊濾波后的所述2D幀圖像進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)；
[0065]第一確定單元，與所述第一深度變換方向確定單元和第一分塊單元連接，用于基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
[0066]結(jié)合第三方面，在一種可能的實(shí)現(xiàn)方式中，所述第一深度變換方向確定單元用于:
[0067]以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述幀圖像的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系，
[0068]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換；
[0069]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換；
[0070]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
[0071]結(jié)合第三方面，在一種可能的實(shí)現(xiàn)方式中，還包括:
[0072]第一交叉雙邊濾波處理模塊，用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0073]為了解決上述技術(shù)問(wèn)題，根據(jù)本發(fā)明又一實(shí)施例，在第四方面，提供了一種幀視頻轉(zhuǎn)換裝置，包括:
[0074]第二提取模塊，用于提取2D幀視頻的最長(zhǎng)線段；
[0075]第二確定模塊，與所述第二提取模塊連接，用于根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖；
[0076]第三確定模塊，用于根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息；以及用于根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖；
[0077]第二生成模塊，與所述第二確定模塊與第三確定模塊連接，用于根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0078]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述第二提取模塊包括:
[0079]第二雙邊濾波處理單元，用于利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理；
[0080]第二提取單元，與所述第二雙邊濾波處理單元連接，用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻，以提取所述2D幀視頻的最長(zhǎng)線段。
[0081]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述第二確定模塊包括:
[0082]第二深度變換方向確定單元，用于根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向；
[0083]第二分塊單元，用于將雙邊濾波后的所述2D幀視頻進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)；
[0084]第二確定單元，與所述第二深度變換方向確定單元和第二分塊單元連接，基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
[0085]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述第二深度變換方向確定單元用于:
[0086]以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系，
[0087]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換；
[0088]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換；
[0089]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
[0090]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述幀視頻轉(zhuǎn)換裝置還包括:
[0091]第二交叉雙邊濾波處理模塊，用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0092]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述第三確定模塊用于:
[0093]根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的每個(gè)像素的運(yùn)動(dòng)矢量;
[0094]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量得到所述每個(gè)像素的運(yùn)動(dòng)信息。
[0095]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述第三確定模塊還用于:
[0096]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息，得到所述每個(gè)像素的深度信息；
[0097]根據(jù)所述每個(gè)像素的深度信息確定所述2D幀視頻的第二深度圖。
[0098]結(jié)合第四方面，在一種可能的實(shí)現(xiàn)方式中，所述第二生成模塊用于:
[0099]將所述第一深度圖與所述第二深度圖融合生成所述2D幀視頻的第三深度圖；
[0100]根據(jù)所述第三深度圖及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0101]有益.效果
[0102]本發(fā)明實(shí)施例的幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置，能夠根據(jù)所提取的最長(zhǎng)線段的方向，準(zhǔn)確估計(jì)該2D幀圖像的基于相對(duì)高度線索的深度信息，從而使根據(jù)該深度信息生成的深度圖更加真實(shí)，轉(zhuǎn)換而成的3D圖像逼真自然。本發(fā)明實(shí)施例的幀視頻轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置，能夠根據(jù)所述最長(zhǎng)線段的方向，準(zhǔn)確的估計(jì)出該2D幀視頻的基于相對(duì)高度線索的深度信息以及該2D幀視頻的運(yùn)動(dòng)信息，估計(jì)出該2D幀視頻的基于運(yùn)動(dòng)線索的深度信息，結(jié)合基于相對(duì)高度線索的深度信息和基于運(yùn)動(dòng)線索的深度信息來(lái)合成深度圖。這樣，與僅用一個(gè)深度線索合成的深度圖相比具有更高的可靠性，且能保持良好的深度邊緣信息，從而使生成深度圖更加真實(shí)，轉(zhuǎn)換而成的3D幀視頻逼真自然，有利于提高用戶體驗(yàn)。
[0103]根據(jù)下面參考附圖對(duì)示例性實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的其它特征及方面將變得清楚?！緦?zhuān)利附圖】

【附圖說(shuō)明】
[0104]包含在說(shuō)明書(shū)中并且構(gòu)成說(shuō)明書(shū)的一部分的附圖與說(shuō)明書(shū)一起示出了本發(fā)明的示例性實(shí)施例、特征和方面，并且用于解釋本發(fā)明的原理。
[0105]圖1示出根據(jù)本發(fā)明一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖；
[0106]圖2示出根據(jù)本發(fā)明另一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖；
[0107]圖3示出根據(jù)本發(fā)明一實(shí)施例的幀視頻轉(zhuǎn)換方法的流程圖；
[0108]圖4示出根據(jù)本發(fā)明另一實(shí)施例的幀視頻轉(zhuǎn)換方法的流程圖；
[0109]圖5示出根據(jù)本發(fā)明一實(shí)施例的幀圖像轉(zhuǎn)換裝置的結(jié)構(gòu)框圖；
[0110]圖6示出根據(jù)本發(fā)明另一實(shí)施例的幀圖像轉(zhuǎn)換裝置的結(jié)構(gòu)框圖；
[0111]圖7示出根據(jù)本發(fā)明一實(shí)施例的幀視頻轉(zhuǎn)換裝置的結(jié)構(gòu)框圖；
[0112]圖8示出根據(jù)本發(fā)明另一實(shí)施例的幀視頻轉(zhuǎn)換裝置的結(jié)構(gòu)框圖；
[0113]圖9示出根據(jù)本發(fā)明又一實(shí)施例的幀圖像轉(zhuǎn)換裝置的結(jié)構(gòu)框圖；
[0114]圖10示出根據(jù)本發(fā)明又一實(shí)施例的幀視頻轉(zhuǎn)換裝置的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0115]以下將參考附圖詳細(xì)說(shuō)明本發(fā)明的各種示例性實(shí)施例、特征和方面。附圖中相同的附圖標(biāo)記表示功能相同或相似的元件。盡管在附圖中示出了實(shí)施例的各種方面，但是除非特別指出，不必按比例繪制附圖。
[0116]在這里專(zhuān)用的詞“示例性”意為“用作例子、實(shí)施例或說(shuō)明性”。這里作為“示例性”所說(shuō)明的任何實(shí)施例不必解釋為優(yōu)于或好于其它實(shí)施例。
[0117]另外，為了更好的說(shuō)明本發(fā)明，在下文的【具體實(shí)施方式】中給出了眾多的具體細(xì)節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，沒(méi)有某些具體細(xì)節(jié)，本發(fā)明同樣可以實(shí)施。在一些實(shí)例中，對(duì)于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件和電路未作詳細(xì)描述，以便于凸顯本發(fā)明的主旨。
[0118]如【背景技術(shù)】和
【發(fā)明內(nèi)容】
所述，本申請(qǐng)的方法是基于深度圖的3D合成技術(shù)。該技術(shù)主要是根據(jù)對(duì)2D圖像或視頻存在的深度線索，如運(yùn)動(dòng)視差、聚焦/散焦、線性透視、大氣散射、陰影、遮擋、相對(duì)高度以及相對(duì)大小等進(jìn)行分析，將2D圖像或視頻中的深度信息估計(jì)出來(lái)，從而根據(jù)估計(jì)出來(lái)的深度信息生成對(duì)應(yīng)的深度圖。生成該2D圖像或視頻對(duì)應(yīng)的深度圖一個(gè)非常關(guān)鍵的地方在于估計(jì)出來(lái)的深度信息是否準(zhǔn)確。因此，本申請(qǐng)?zhí)岢隽艘环N基于相對(duì)高度信息的幀圖像轉(zhuǎn)換方法，根據(jù)該幀圖像轉(zhuǎn)換方法，可以將2D幀圖像轉(zhuǎn)換成3D幀圖像，從而生成對(duì)應(yīng)的3D圖像。以及在此基礎(chǔ)上提出了一種基于相對(duì)高度信息和運(yùn)動(dòng)信息的幀視頻轉(zhuǎn)換方法，根據(jù)該幀視頻轉(zhuǎn)換方法，將2D幀視頻轉(zhuǎn)換成3D幀視頻，從而生成對(duì)應(yīng)的3D視頻。這兩種方法的具體描述可以詳見(jiàn)下面實(shí)施例的闡述。
[0119]實(shí)施例1
[0120]圖1示出根據(jù)本發(fā)明一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖。如圖1所示，該方法主要可以包括:
[0121]步驟S100、提取2D幀圖像的最長(zhǎng)線段；
[0122]步驟S110、根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖；
[0123]步驟S120、根據(jù)所述第一深度圖及所述2D幀圖像生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。[0124]根據(jù)本發(fā)明實(shí)施例的幀圖像轉(zhuǎn)換方法，首先，提取所述2D幀圖像的最長(zhǎng)線段；然后，根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀圖像的第一深度圖；最后，根據(jù)所述第一深度圖及所述2D幀圖像，生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
[0125]本發(fā)明實(shí)施例提供的幀圖像轉(zhuǎn)換方法，是一種基于相對(duì)高度線索來(lái)估計(jì)該2D幀圖像的深度信息的方法，該方法能夠根據(jù)所提取的最長(zhǎng)線段的方向，準(zhǔn)確估計(jì)該2D幀圖像的基于相對(duì)高度線索的深度信息，從而使根據(jù)該深度信息生成的深度圖更加真實(shí)，轉(zhuǎn)換而成的3D圖像逼真自然。
[0126]實(shí)施例2
[0127]圖2示出根據(jù)本發(fā)明另一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖。圖2中標(biāo)號(hào)與圖1相同的步驟具有相同的功能，為簡(jiǎn)明起見(jiàn)，省略對(duì)這些步驟的詳細(xì)說(shuō)明。
[0128]如圖2所示，圖2所示的幀圖像轉(zhuǎn)換方法與圖1所示幀圖像轉(zhuǎn)換方法的主要區(qū)別在于，上述步驟SlOO具體可以包括以下步驟:
[0129]步驟S1001、利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理；
[0130]步驟S1002、利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像，以提取所述2D幀圖像的最長(zhǎng)線段。
[0131]對(duì)于上述步驟S1001，對(duì)幀圖像It，先對(duì)該幀圖像It進(jìn)行平滑去噪處理，以減少噪聲和雜亂邊緣，保留該幀圖像It中的最長(zhǎng)線段。在一種可能的實(shí)現(xiàn)方式中，其公式如(I)所示:
【權(quán)利要求】
1.一種幀圖像轉(zhuǎn)換方法，其特征在于，包括: 提取2D幀圖像的最長(zhǎng)線段； 根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀圖像的第一深度圖； 根據(jù)所述第一深度圖及所述2D幀圖像，生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
2.根據(jù)權(quán)利要求1所述的幀圖像轉(zhuǎn)換方法，其特征在于，所述提取2D幀圖像的最長(zhǎng)線段，包括: 利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理； 利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像，以提取所述2D幀圖像的最長(zhǎng)線段。
3.根據(jù)權(quán)利要求1或2所述的幀圖像轉(zhuǎn)換方法，其特征在于，所述根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀圖像的第一深度圖，包括: 根據(jù)所述最長(zhǎng)線段的方向，確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向； 將雙邊濾波后的所述2D幀圖像進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)； 基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。`
4.根據(jù)權(quán)利要求3所述的幀圖像轉(zhuǎn)換方法，其特征在于，所述根據(jù)所述最長(zhǎng)線段的方向，確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向，包括: 以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述2D幀圖像的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
5.根據(jù)權(quán)利要求3或4所述的幀圖像轉(zhuǎn)換方法，其特征在于，在所述基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖后，還包括: 利用交叉雙邊濾波處理所得到的所述第一深度圖。
6.一種幀視頻轉(zhuǎn)換方法，其特征在于，包括: 提取2D幀視頻的最長(zhǎng)線段； 根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀視頻的第一深度圖； 根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息； 根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖； 根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻，生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
7.根據(jù)權(quán)利要求6所述的幀視頻轉(zhuǎn)換方法，其特征在于，所述提取2D幀視頻的最長(zhǎng)線段，包括: 利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理； 利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻，以提取所述2D幀視頻的最長(zhǎng)線段。
8.根據(jù)權(quán)利要求6或7所述的幀視頻轉(zhuǎn)換方法，其特征在于，所述根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀視頻的第一深度圖，包括: 根據(jù)所述最長(zhǎng)線段的方向，確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向； 將雙邊濾波后的所述2D幀視頻進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)； 基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
9.根據(jù)權(quán)利要求8所述的幀視頻轉(zhuǎn)換方法，其特征在于，所述根據(jù)所述最長(zhǎng)線段的方向，確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向，包括: 以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一`范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
10.根據(jù)權(quán)利要求8或9所述的幀視頻轉(zhuǎn)換方法，其特征在于，在所述基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖后，還包括: 利用交叉雙邊濾波處理所得到的所述第一深度圖。
11.根據(jù)權(quán)利要求6-10中任一項(xiàng)所述的幀視頻轉(zhuǎn)換方法，其特征在于，根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息，包括: 根據(jù)與所述2D幀視頻相鄰的一幀視頻，估計(jì)得到所述2D幀視頻的每個(gè)像素的運(yùn)動(dòng)矢量; 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量，得到所述每個(gè)像素的運(yùn)動(dòng)信息。
12.根據(jù)權(quán)利要求11所述的幀視頻轉(zhuǎn)換方法，其特征在于，所述根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖，包括: 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息，得到所述每個(gè)像素的深度信息； 根據(jù)所述每個(gè)像素的深度信息，得到所述2D幀視頻的第二深度圖。
13.根據(jù)權(quán)利要求6-12中任一項(xiàng)所述的幀視頻轉(zhuǎn)換方法，其特征在于，所述根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻，生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻，包括: 將所述第一深度圖與所述第二深度圖融合，以生成所述2D幀視頻的第三深度圖；根據(jù)所述第三深度圖及所述2D幀視頻，生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
14.一種幀圖像轉(zhuǎn)換裝置，其特征在于，包括: 第一提取模塊，用于提取2D幀圖像的最長(zhǎng)線段； 第一確定模塊，與所述第一提取模塊連接，用于根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖； 第一生成模塊，與所述第一確定模塊連接，用于根據(jù)所述第一深度圖及所述2D幀圖像，生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
15.根據(jù)權(quán)利要求14所述的幀圖像轉(zhuǎn)換裝置，其特征在于，所述第一提取模塊包括: 第一雙邊濾波處理單元，用于利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理； 第一提取單元，與所述第一雙邊濾波處理單元連接，用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像，以提取所述2D幀圖像的最長(zhǎng)線段。
16.根據(jù)權(quán)利要求14或15所述的幀圖像轉(zhuǎn)換裝置，其特征在于，所述第一確定模塊包括: 第一深度變換方向確定單元，用于根據(jù)所述最長(zhǎng)線段的方向，確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向； 第一分塊單元，用于將雙邊濾波后的所述2D幀圖像進(jìn)行分塊，并對(duì)結(jié)果分塊進(jìn)行分組聚類(lèi)；` 第一確定單元，與所述第一深度變換方向確定單元和第一分塊單元連接，用于基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
17.根據(jù)權(quán)利要求16所述的幀圖像轉(zhuǎn)換裝置，其特征在于，所述第一深度變換方向確定單元用于: 以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述幀圖像的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
18.根據(jù)權(quán)利要求16或17所述的幀圖像轉(zhuǎn)換裝置，其特征在于，還包括: 第一交叉雙邊濾波處理模塊，用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
19.一種幀視頻轉(zhuǎn)換裝置，其特征在于，包括: 第二提取模塊，用于提取2D幀視頻的最長(zhǎng)線段； 第二確定模塊，與所述第二提取模塊連接，用于根據(jù)所述最長(zhǎng)線段的方向，確定所述2D幀視頻的第一深度圖； 第三確定模塊，用于根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的運(yùn)動(dòng)信息；以及用于根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖；第二生成模塊，與所述第二確定模塊和第三確定模塊連接，用于根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻，生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
20.根據(jù)權(quán)利要求19所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述第二提取模塊包括: 第二雙邊濾波處理單元，用于利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理； 第二提取單元，與所述第二雙邊濾波處理單元連接，用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻，以提取所述2D幀視頻的最長(zhǎng)線段。
21.根據(jù)權(quán)利要求19或20所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述第二確定模塊包括: 第二深度變換方向確定單元，用于根據(jù)所述最長(zhǎng)線段的方向，確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向； 第二分塊單元，用于將雙邊濾波后的所述2D幀視頻進(jìn)行分塊，并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi)； 第二確定單元，與所述第二深度變換方向確定單元和第二分塊單元連接，基于所述初始深度模板，根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果，得到所述第一深度圖。
22.根據(jù)權(quán)利要求21所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述第二深度變換方向確定單元用于: 以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn)，以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向，豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系；` 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換； 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi)，則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
23.根據(jù)權(quán)利要求21或22所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述幀視頻轉(zhuǎn)換裝置還包括: 第二交叉雙邊濾波處理模塊，用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
24.根據(jù)權(quán)利要求19-23中任一項(xiàng)所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述第三確定模塊用于: 根據(jù)與所述2D幀視頻相鄰的一幀視頻，確定所述2D幀視頻的每個(gè)像素的運(yùn)動(dòng)矢量； 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量，得到所述每個(gè)像素的運(yùn)動(dòng)信息。
25.根據(jù)權(quán)利要求24所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述第三確定模塊還用于: 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息，得到所述每個(gè)像素的深度信息； 根據(jù)所述每個(gè)像素的深度信息，確定所述2D幀視頻的第二深度圖。
26.根據(jù)權(quán)利要求19-25中任一項(xiàng)所述的幀視頻轉(zhuǎn)換裝置，其特征在于，所述第二生成模塊用于: 將所述第一深度圖與所述第二深度圖融合，以生成所述2D幀視頻的第三深度圖；根據(jù)所述第三深度圖及所述`2D幀視頻，生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
【文檔編號(hào)】H04N13/04GK103686139SQ201310712466
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】韓明臣, 鄭喆坤, 王磊, 侯彪 申請(qǐng)人:華為技術(shù)有限公司