視差圖計(jì)算方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及視差圖計(jì)算方法和裝置，更具體地，涉及基于歷史信息計(jì)算視差圖的方法和裝置。
【背景技術(shù)】
[0002]近年來(lái)，立體視覺(jué)技術(shù)獲得廣泛關(guān)注。立體視覺(jué)的基本原理是結(jié)合兩個(gè)(雙目)或更多視點(diǎn)的信息，以獲得不同視角下同一物體的圖像，并利用三角測(cè)量原理來(lái)計(jì)算圖像的像素點(diǎn)之間的位置偏差，從而獲得物體的立體信息。該立體視覺(jué)包括圖像獲取、攝像機(jī)定標(biāo)、特征提取、立體匹配、深度及內(nèi)插等處理，其中，通過(guò)立體匹配技術(shù)得到的視差信息(深度信息)可用來(lái)估量攝像機(jī)和物體之間的相對(duì)距離。這些視差信息可以應(yīng)用于諸多場(chǎng)合，例如三維電影、機(jī)器人、監(jiān)控、基于三維技術(shù)的道路檢測(cè)、行人檢測(cè)、自動(dòng)駕駛、智能車輛控制等等。例如，在智能車輛控制中，基于通過(guò)視差信息獲得的視差圖，可以很容易地檢測(cè)到路面上的包括行人和車輛等的目標(biāo)，從而可以基于檢測(cè)結(jié)果對(duì)車輛進(jìn)行智能控制?？梢?jiàn)，獲得魯棒和準(zhǔn)確的視差圖在立體視覺(jué)中起著重要的作用。
[0003]通常，立體匹配技術(shù)可以分成兩類，一類是樸素的基于像素的算法，另一類是基于分割的算法。基于像素的算法單獨(dú)考慮每個(gè)像素。如圖1所示，基于像素的算法為像素P和Q單獨(dú)尋找對(duì)應(yīng)像素，實(shí)際上，P和Q均位于路面區(qū)域，它們的視差值之間滿足某種特定關(guān)系?；谙袼氐乃惴ㄐ枰荛L(zhǎng)的處理時(shí)間。
[0004]另外一種常用的算法是基于分割的算法。該算法的基本思想是根據(jù)參考圖像的灰度值將參考圖像分割為區(qū)塊，對(duì)同一區(qū)域塊內(nèi)的所有像素一起進(jìn)行考慮，即利用區(qū)域塊內(nèi)有效像素的視差值來(lái)估計(jì)每個(gè)區(qū)域塊的視差分布。圖2為典型的基于分割的立體匹配算法的系統(tǒng)框圖，該算法包括對(duì)參考圖像進(jìn)行分割，根據(jù)參考圖像和目標(biāo)圖像計(jì)算初始視差值獲得初始視差圖像，對(duì)每個(gè)分割的區(qū)域塊計(jì)算視差值從而利用計(jì)算的視差值更新初始視差圖像來(lái)獲得視差圖像。
[0005]基于分割的算法在很大程度上解決了基于像素的算法所存在的問(wèn)題:處理時(shí)間過(guò)長(zhǎng)。但是，典型的基于分割的立體匹配算法有些盲目，僅僅基于灰度值的分割結(jié)果常常不太可靠，得到的視差圖可能不夠準(zhǔn)確。

【發(fā)明內(nèi)容】

[0006]鑒于現(xiàn)有技術(shù)中的上述問(wèn)題，本申請(qǐng)?zhí)岢隽嘶跉v史信息的視差圖計(jì)算方法及裝置。
[0007]根據(jù)本發(fā)明的一個(gè)方面，提供了視差圖計(jì)算方法，該方法可以包括:獲得目標(biāo)場(chǎng)景的當(dāng)前幀的左右灰度圖像以及在當(dāng)前幀之前的預(yù)定數(shù)量幀的歷史信息；以所述左右灰度圖像的任意一個(gè)作為參考圖像，從所獲得的左右灰度圖像生成當(dāng)前幀的初始視差圖；基于該預(yù)定數(shù)量幀的歷史信息對(duì)該參考圖像進(jìn)行分割；根據(jù)分割結(jié)果優(yōu)化該初始視差圖，將優(yōu)化后的視差圖作為當(dāng)前幀的視差圖。
[0008]根據(jù)一個(gè)實(shí)施例，該歷史信息可以包括目標(biāo)場(chǎng)景中的對(duì)象的位置信息、歷史視差分布信息以及運(yùn)動(dòng)特征信息。
[0009]根據(jù)一個(gè)實(shí)施例，基于該預(yù)定數(shù)量幀的歷史信息對(duì)該參考圖像進(jìn)行分割的步驟可以包括:根據(jù)目標(biāo)場(chǎng)景中的對(duì)象在該預(yù)定數(shù)量幀中的位置信息和該對(duì)象的運(yùn)動(dòng)特征信息預(yù)測(cè)對(duì)象在當(dāng)前幀中的位置；基于該預(yù)定數(shù)量幀中的對(duì)象的歷史視差分布信息和所預(yù)測(cè)的對(duì)象在當(dāng)前幀中的位置，獲得用于對(duì)該參考圖像中的預(yù)測(cè)對(duì)象區(qū)域進(jìn)行分界的分界線；在該參考圖像中的分界線附近進(jìn)行邊緣檢測(cè)；根據(jù)邊緣檢測(cè)結(jié)果分割參考圖像。
[0010]根據(jù)一個(gè)實(shí)施例，根據(jù)分割結(jié)果優(yōu)化該初始視差圖的步驟可以包括通過(guò)在分割的區(qū)域內(nèi)傳播所述初始視差圖中的相應(yīng)視差值以獲得優(yōu)化的視差圖。
[0011]根據(jù)一個(gè)實(shí)施例，該視差圖計(jì)算方法還可以包括:根據(jù)該預(yù)定數(shù)量幀中的對(duì)象的歷史視差分布信息建立對(duì)象表面的視差分布模型；以及通過(guò)將傳播的視差值與所建立的視差分布模型進(jìn)行匹配而獲得對(duì)象的視差圖。
[0012]根據(jù)一個(gè)實(shí)施例，可以采用中值濾波方法來(lái)在分割的區(qū)域內(nèi)傳播相應(yīng)視差值。
[0013]根據(jù)一個(gè)實(shí)施例，可以利用canny算子方法來(lái)進(jìn)行邊緣檢測(cè)。
[0014]根據(jù)一個(gè)實(shí)施例，可以利用立體匹配算法基于所獲得的左右灰度圖像生成當(dāng)前幀的初始視差圖。
[0015]根據(jù)一個(gè)實(shí)施例，該視差圖計(jì)算方法還可以包括:根據(jù)所獲得的當(dāng)前幀的視差圖進(jìn)行目標(biāo)場(chǎng)景中的對(duì)象的檢測(cè)和跟蹤，并將該檢測(cè)和跟蹤結(jié)果存儲(chǔ)，作為當(dāng)前幀的歷史信肩、O
[0016]根據(jù)本發(fā)明的另一方面，提供了視差圖計(jì)算裝置，該裝置可以包括:獲得部件，用于獲得目標(biāo)場(chǎng)景的當(dāng)前幀的左右灰度圖像以及在當(dāng)前幀之前的預(yù)定數(shù)量幀的歷史信息；生成部件，用于以所述獲得部件所獲得的左右灰度圖像的任意一個(gè)作為參考圖像，從所獲得的左右灰度圖像生成當(dāng)前幀的初始視差圖；分割部件，用于基于所述獲得部件所獲得的該預(yù)定數(shù)量幀的歷史信息對(duì)該參考圖像進(jìn)行分割；優(yōu)化部件，用于根據(jù)所述分割部件的分割結(jié)果優(yōu)化該初始視差圖，將優(yōu)化后的視差圖作為當(dāng)前幀的視差圖。
[0017]根據(jù)本發(fā)明的視差圖計(jì)算方法和裝置，可以在分割參考圖像時(shí)參考在前幀的歷史信息，使得分割結(jié)果更準(zhǔn)確，由此根據(jù)分割結(jié)果優(yōu)化當(dāng)前幀的初始視差圖，可以獲得更加準(zhǔn)確的當(dāng)前幀的視差圖。
【附圖說(shuō)明】
[0018]圖1是基于像素的立體匹配算法的示意圖。
[0019]圖2是基于分割的立體匹配算法的示意圖。
[0020]圖3是本發(fā)明的實(shí)施例可應(yīng)用的硬件系統(tǒng)的框圖。
[0021]圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的視差圖計(jì)算方法的流程圖。
[0022]圖5示出了示例的場(chǎng)景及相應(yīng)的初始視差圖。
[0023]圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的參考圖像分割方法的流程圖。
[0024]圖7是根據(jù)本發(fā)明的另一實(shí)施例的視差圖計(jì)算裝置的框圖。
【具體實(shí)施方式】
[0025]現(xiàn)在將詳細(xì)參照本發(fā)明的具體實(shí)施例，在附圖中例示了本發(fā)明的例子。盡管將結(jié)合具體實(shí)施例描述本發(fā)明，但是可以理解，不意圖將本發(fā)明限于所公開(kāi)的具體實(shí)施例。應(yīng)注意，在此所述的方法步驟都可以由任何功能塊或功能布置來(lái)實(shí)現(xiàn)，且任何功能塊或功能布置可被實(shí)現(xiàn)為物理實(shí)體或邏輯實(shí)體、或者兩者的組合。
[0026]如上所述，典型的基于分割的方法過(guò)于盲目，基于灰度值的分割結(jié)果常常不太可靠。然而，如果能夠獲得目標(biāo)場(chǎng)景的之前幀的歷史信息并利用該歷史信息對(duì)參考圖像進(jìn)行分割，則獲得的視差圖將更加準(zhǔn)確。根據(jù)本發(fā)明，基于之前幀的歷史信息對(duì)參考圖像進(jìn)行分害I]，根據(jù)分割結(jié)果優(yōu)化初始視差圖以獲得當(dāng)前幀的視差圖，從而獲得更加準(zhǔn)確的視差圖，以下詳細(xì)描述。
[0027]首先參考圖3，描述應(yīng)用于本發(fā)明的實(shí)施例的硬件系統(tǒng)300的框圖。
[0028]硬件系統(tǒng)300包括:立體相機(jī)310，用于從兩個(gè)或更多視點(diǎn)拍攝兩個(gè)或更多圖像；解碼器320，用于從立體相機(jī)310拍攝的圖像中提取與像素相關(guān)的圖像信息，例如灰度信息、彩色信息等；處理器330，用于對(duì)解碼器320輸出的各種信息進(jìn)行處理；存儲(chǔ)器340，與處理器130耦合，用于存儲(chǔ)由處理器330處理的數(shù)據(jù)以及向處理器330提供數(shù)據(jù)。
[0029]根據(jù)本發(fā)明的實(shí)施例的視差圖計(jì)算方法可以實(shí)現(xiàn)在圖3所示的處理器330中。當(dāng)然，這僅僅是一個(gè)例子，其實(shí)現(xiàn)方式不限于此。
[0030]以下參考圖4的流程圖描述根據(jù)本發(fā)明的一個(gè)實(shí)施例的視差圖計(jì)算方法400。
[0031]如