使用最小費(fèi)用流網(wǎng)絡(luò)的寬基線雙目物體匹配方法
【專利摘要】一種使用最小費(fèi)用流網(wǎng)絡(luò)的寬基線雙目物體匹配方法，包括捕獲第一圖像和第二圖像，第一圖像從第一攝像機(jī)裝置捕獲并且第二圖像從第二攝像機(jī)裝置捕獲。多個圖像應(yīng)用于第一圖像和第二圖像并且確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用。確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的選定的匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用。基于檢測費(fèi)用和匹配費(fèi)用確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑并且基于至少一個費(fèi)用流路徑跟蹤目標(biāo)物體。
【專利說明】使用最小費(fèi)用流網(wǎng)絡(luò)的寬基線雙目物體匹配方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及使用雙目攝像機(jī)系統(tǒng)的物體檢測和匹配。
【背景技術(shù)】
[0002]這部分的陳述主要提供關(guān)于本公開的背景信息。因此這些陳述并非旨在承認(rèn)構(gòu)成現(xiàn)有技術(shù)。
[0003]主動安全和駕駛員輔助系統(tǒng)(ASDAS)利用單目視覺系統(tǒng)作為檢測目標(biāo)物體諸如沿道路行進(jìn)的前車輛的低費(fèi)用解決方案。單目視覺系統(tǒng)基于平地的假設(shè)來估計深度。但是，當(dāng)平地假設(shè)并不適用時，深度估計偏離其真實(shí)值。例如，當(dāng)平地假設(shè)并不適用時，單目視覺系統(tǒng)可能將離目標(biāo)物體的距離估計為比目標(biāo)物體實(shí)際距離更遠(yuǎn)。
[0004]眾所周知，例如，利用距離檢測裝置諸如雷達(dá)和激光雷達(dá)來檢測目標(biāo)物體的存在和離目標(biāo)物體的距離。但是，這種距離檢測裝置費(fèi)用較高，增加了配備ASDAS的車輛的價格。
[0005]還已知，例如，通過從兩個捕獲的圖像(每個圖像來自相應(yīng)的攝像機(jī)裝置)的視差圖提取三維特征，且匹配關(guān)鍵點(diǎn)的稀疏集以利用立體成像方案來確定目標(biāo)物體的存在。但是，這種立體成像方案具有深度不準(zhǔn)確的缺點(diǎn)，這歸因于兩個攝像機(jī)裝置之間的窄基線，因為深度準(zhǔn)確度隨深度以二次方降級。此外，當(dāng)兩個攝像機(jī)裝置之間的基線增加時，可出現(xiàn)導(dǎo)致不能用的視差圖的像素對應(yīng)問題。
[0006]因此，需要改進(jìn)使用立體成像而不提取三維特征(其需要使用視差圖)的深度準(zhǔn)確度。

【發(fā)明內(nèi)容】

[0007]利用雙目系統(tǒng)跟蹤目標(biāo)物體的方法包括:捕獲第一圖像和第二圖像，第一圖像從第一攝像機(jī)裝置捕獲，而第二圖像從第二攝像機(jī)裝置捕獲。多個圖像應(yīng)用于第一圖像和第二圖像并且確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用。確定各與第一圖像與第二圖像之間的圖像塊的選定的匹配對中的相應(yīng)匹配對相對應(yīng)的多個匹配費(fèi)用?；跈z測費(fèi)用和匹配費(fèi)用確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑并且基于至少一個費(fèi)用流路徑跟蹤目標(biāo)物體。
[0008]本發(fā)明包括以下方案:
方案1.一種利用雙目攝像機(jī)系統(tǒng)跟蹤目標(biāo)物體的方法，包括:
捕獲第一圖像和第二圖像，第一圖像從第一攝像機(jī)裝置捕獲，而第二圖像從第二攝像機(jī)裝置捕獲；
將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個；
確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)
用；
確定各與第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對相對應(yīng)的多個選定匹配費(fèi)用；
基于檢測費(fèi)用和匹配費(fèi)用確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑；以及
基于至少一個費(fèi)用流路徑跟蹤目標(biāo)物體。
[0009]方案2.根據(jù)方案I所述的方法，其中跟蹤目標(biāo)物體包括下列中的至少一個:
跟蹤離目標(biāo)物體的距離；以及
跟蹤目標(biāo)物體的速度。
[0010]方案3.根據(jù)方案I所述的方法，其中第一攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第一端附近并且第二攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第二端附近。
[0011]方案4.根據(jù)方案I所述的方法，其中將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個包括:
將預(yù)定數(shù)量的圖像塊應(yīng)用到第一圖像和第二圖像，每個圖像塊包括矩形框并且具有離散尺寸和位置。
[0012]方案5.根據(jù)方案4所述的方法，其中應(yīng)用于第一圖像的多個圖像塊中的每一個由第一圖像的第一層和第一圖像的第二層表示，并且應(yīng)用于第二圖像的多個圖像塊中的每一個由第二圖像的第一層和第二圖像的第二層表示。
[0013]方案6.根據(jù)方案5所述的方法,其中由相應(yīng)第一層表不的應(yīng)用于的第一圖像的多個圖像塊中的每一個鏈結(jié)到源頂點(diǎn)并且由相應(yīng)第二層表示的應(yīng)用于第二圖像的多個圖像塊中的每一個鏈結(jié)到沉頂點(diǎn)。
[0014]方案7.根據(jù)方案I所述的方法，其中確定各與應(yīng)用于第一圖像和第二圖像的圖像塊的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用包括:
應(yīng)用包括多個判定邊界的線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個，每個判定邊界對應(yīng)于可能的目標(biāo)物體的相應(yīng)視角；以及下列情況的一種:
當(dāng)線性向量分類器的量值小于零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的負(fù)檢測費(fèi)用，以及 當(dāng)線性向量分類器的量值至少為零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的正檢測費(fèi)用。
[0015]方案8.根據(jù)方案7所述的方法，還包括:
當(dāng)確定了相關(guān)聯(lián)的負(fù)檢測費(fèi)用時，將相應(yīng)圖像塊指定為被占據(jù)；以及 當(dāng)確定了相關(guān)聯(lián)的正檢測費(fèi)用時，將相應(yīng)圖像塊指定為未被占據(jù)。
[0016]方案9.根據(jù)方案7所述的方法，其中包括判定邊界的向量分類器包括線性權(quán)向量和預(yù)定偏置檢測閾值。
[0017]方案10.根據(jù)方案I所述的方法，其中第一圖像與第二圖像之間的圖像塊的選定匹配對中的相應(yīng)匹配對如下來選擇:
監(jiān)視應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個的位置信息；
監(jiān)視應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個的外觀信息；
選擇所述匹配對包括選擇具有相關(guān)外觀信息和相關(guān)位置信息的應(yīng)用于第一圖像的圖像塊中的選定圖像塊和應(yīng)用于第二圖像的圖像塊中的選定圖像塊。
[0018]方案11.根據(jù)方案10所述的方法，還包括
當(dāng)應(yīng)用于第一圖像和第二圖像的圖像塊中的選定圖像塊的每一個的監(jiān)視的位置信息以小于預(yù)定位置閾值偏離時，認(rèn)為圖像塊中的選定圖像塊的每一個之間的位置信息為相關(guān)的。
[0019]方案12.根據(jù)方案10所述的方法，還包括:
當(dāng)應(yīng)用于第一圖像和第二圖像的圖像塊中的選定圖像塊中每一個的監(jiān)視的外觀信息以小于預(yù)定外觀閾值偏離時，認(rèn)為圖像塊中的選定圖像塊中每一個之間的外觀信息為相關(guān)的。
[0020]方案13.根據(jù)方案I所述的方法，其中確定各與第一圖像與第二圖像之間的圖像塊的選定匹配對中的相應(yīng)匹配對相對應(yīng)的多個匹配費(fèi)用包括:
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的位置信息；
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的外觀信息；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點(diǎn)；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的外觀信息的相異點(diǎn)；以及基于與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點(diǎn)和外觀信息的相異點(diǎn)來確定多個匹配費(fèi)用。
[0021]方案14.根據(jù)方案I所述的方法，其中確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑包括:
監(jiān)視從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的多個費(fèi)用流路徑；
將每個費(fèi)用流路徑分段成多個運(yùn)載單元，
每個運(yùn)載單元包括下列之一:檢測成本之一和匹配費(fèi)用之一；
基于從每個相應(yīng)費(fèi)用流路徑分段的每個運(yùn)載單元的之和來確定每個費(fèi)用流路徑的總累積費(fèi)用；以及
基于具有最低總累積費(fèi)用的費(fèi)用流路徑來選擇最少費(fèi)用流路徑。
[0022]方案15.根據(jù)方案11所述的方法，其中最少費(fèi)用流路徑包括負(fù)的總累積費(fèi)用。
[0023]方案16.使用立體成像用于估計離前目標(biāo)車輛的距離的方法，包括:
從安裝于駕駛員側(cè)A-柱附近的第一向前的攝像機(jī)裝置捕獲第一圖像；
從安裝于乘客側(cè)A-柱附近的第二向前的攝像機(jī)裝置捕獲第二圖像；
將預(yù)定數(shù)量的圖像塊應(yīng)用于第一圖像和第二圖像的每一個，每個圖像塊包括矩形框并且具有離散尺寸和位置；
應(yīng)用線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個來確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用；
選擇圖像塊的匹配對，包括基于具有相關(guān)外觀信和相關(guān)位置信息的應(yīng)用于第一圖像的圖像塊中選定圖像塊以及應(yīng)用于第二圖像的圖像塊中選定圖像塊；
確定各對應(yīng)于圖像塊的選定匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用；
基于檢測費(fèi)用和匹配費(fèi)用來確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的最小費(fèi)用流路徑；以及
基于最小費(fèi)用流路徑估計前目標(biāo)車輛的距離。
[0024]方案17.根據(jù)方案16所述的方法，其中應(yīng)用線性向量分類器到圖像塊中的每一個包括下列之一:
當(dāng)線性向量分類器的量值小于零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的負(fù)檢測費(fèi)用以及將相應(yīng)圖像塊指定為被占據(jù)；以及 當(dāng)線性向量分類器的量值至少為零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的正檢測費(fèi)用以及將相應(yīng)圖像塊指定為未被占據(jù)。
[0025]方案18.根據(jù)方案16所述的方法，其中確定各對應(yīng)于圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用包括:
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的位置信息；
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的外觀信息；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點(diǎn)；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的外觀信息的相異點(diǎn)；以及基于與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點(diǎn)和外觀信息的相異點(diǎn)來確定多個匹配費(fèi)用。
[0026]方案19.根據(jù)方案16所述的方法，其中基于檢測費(fèi)用和匹配費(fèi)用來確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的最小費(fèi)用流路徑包括:
監(jiān)視從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的多個費(fèi)用流路徑；
將每個費(fèi)用流路徑分段成多個運(yùn)載單元，
每個運(yùn)載單元包括下列之一:檢測費(fèi)用之一和匹配費(fèi)用之一；
基于從每個相應(yīng)費(fèi)用流路徑分段的每個裝配單元的之和來確定每個費(fèi)用流路徑的總累積費(fèi)用；以及
基于具有最低總累積費(fèi)用的費(fèi)用流路徑選擇最小費(fèi)用流路徑。
[0027]方案20.—種利用雙目攝像機(jī)系統(tǒng)跟蹤目標(biāo)物體的設(shè)備，包括:
包括第一攝像機(jī)裝置和第二攝像機(jī)裝置的雙目攝像機(jī)系統(tǒng)，第一攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第一端附近并且第二攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第二端附近；以及
物體檢測和匹配模塊；
捕獲第一圖像和第二圖像，第一圖像從第一攝像機(jī)裝置捕獲并且第二圖像從第二攝像機(jī)裝置捕獲；
將多個圖像塊應(yīng)用于第一圖像和第二圖像的每一個；
確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)
用；
確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用；
基于檢測費(fèi)用和匹配費(fèi)用來確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑；以及
基于至少一個費(fèi)用流路徑來跟蹤目標(biāo)物體。
【專利附圖】

【附圖說明】
[0028]現(xiàn)將參考附圖以舉例方式描述一個或多個實(shí)施例，其中:
圖1示出根據(jù)本公開的單目攝像機(jī)裝置和雷達(dá)裝置的實(shí)驗和導(dǎo)出數(shù)據(jù)，其描繪了在彎曲路面上離目標(biāo)物體的距離測量；
圖2示出根據(jù)本公開利用雙目攝像機(jī)系統(tǒng)來跟蹤目標(biāo)物體的示例性主動安全駕駛員輔助系統(tǒng)(ASDAS)；
圖3示出根據(jù)本公開的具有寬基線的示例性雙目攝像機(jī)系統(tǒng)，其包括安裝于源車輛擋風(fēng)玻璃的第一端附近的第一攝像機(jī)裝置和安裝于源車輛擋風(fēng)玻璃的第二端附近的第二攝像機(jī)裝置；
圖4示出根據(jù)本公開的從圖3的第一攝像機(jī)裝置捕獲的第一圖像和應(yīng)用于第一圖像的多個圖像塊；
圖5示出根據(jù)本公開的從圖3的第二攝像機(jī)裝置捕獲的第二圖像和應(yīng)用于第二圖像的多個圖像塊；
圖6示出根據(jù)本公開的圖4的第一圖像和圖5的第二圖像的示例性四層有向圖，用來基于與圖像塊相關(guān)聯(lián)的檢測費(fèi)用和匹配費(fèi)用來確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的費(fèi)用流路徑；
圖7示出根據(jù)本公開的示例性四層有向圖，其示出從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的兩個費(fèi)用流路徑；
圖8示出根據(jù)本公開的來自第一攝像機(jī)裝置、第二攝像機(jī)裝置和雙目攝像機(jī)系統(tǒng)的實(shí)驗數(shù)據(jù)和導(dǎo)出數(shù)據(jù)，其描繪了根據(jù)每幀錯誤物體檢測的漏失的物體檢測；
圖9示出根據(jù)本公開的來自第一攝像機(jī)裝置、第二攝像機(jī)裝置和雙目攝像機(jī)系統(tǒng)的實(shí)驗數(shù)據(jù)和導(dǎo)出數(shù)據(jù)，其描繪了根據(jù)每幀錯誤物體檢測的多個物體檢測精確度；
圖10用曲線圖示出根據(jù)本公開，來自單目攝像機(jī)裝置、雷達(dá)裝置和雙目攝像機(jī)系統(tǒng)的實(shí)驗數(shù)據(jù)和導(dǎo)出數(shù)據(jù)，其描繪了離目標(biāo)物體距離的估計；以及
圖11為根據(jù)本公開的利用雙目攝像機(jī)系統(tǒng)來跟蹤目標(biāo)物體的示例性流程圖。
【具體實(shí)施方式】
[0029]現(xiàn)參考附圖，其中展示圖只是出于示出某些示例性實(shí)施例的目的而不用于限制它們的目的，圖1用曲線圖示出根據(jù)本公開的來自單目攝像機(jī)裝置和雷達(dá)裝置的實(shí)驗數(shù)據(jù)和導(dǎo)出數(shù)據(jù)的曲線100，其描繪了在彎曲路面上的離目標(biāo)物體的距離測量。水平軸線表示以秒為單位的測試時間，而豎直軸線表示以米為單位的離目標(biāo)物體的間距。曲線100描繪了使用單目攝像機(jī)裝置估計的離目標(biāo)物體的距離測量分布曲線102以及使用具有分米準(zhǔn)確度的雷達(dá)裝置的離目標(biāo)物體的實(shí)際距離測量分布曲線104。使用雷達(dá)裝置進(jìn)行的目標(biāo)物體檢測可稱作地面實(shí)況，其提供離目標(biāo)物體的實(shí)際距離或盡可能接近準(zhǔn)確距離的距離。應(yīng)意識到違背了平地假設(shè)，因為目標(biāo)物體是在彎曲路面上，且因此，由于違背平地假設(shè)，所以在估計距離測量分布曲線102與實(shí)際測量曲線圖104之間存在顯著偏差。
[0030]圖2示出根據(jù)本公開的利用雙目攝像機(jī)系統(tǒng)201和物體檢測和匹配(ODM)模塊200來跟蹤目標(biāo)物體的示例性主動安全駕駛員輔助系統(tǒng)(ASDAS) 250。ASDAS 250位于源車輛內(nèi)。本公開不限于ASDAS 250所在的源車輛的部分或車廂。顯然的是，當(dāng)違背平地假設(shè)時，利用具有與示例性O(shè)DM模塊200相關(guān)聯(lián)的寬基線的雙目攝像機(jī)系統(tǒng)201允許準(zhǔn)確估計離目標(biāo)物體的距離，而無需從視差圖提取三維特征。跟蹤目標(biāo)物體可包括估計離前目標(biāo)車輛的距離和估計前目標(biāo)車輛的速度中的至少一個。
[0031]參考圖3，示出了根據(jù)本公開的示例性雙目攝像機(jī)系統(tǒng)具有寬基線310，包括第一攝像機(jī)裝置302和第二攝像機(jī)裝置304。第一攝像機(jī)裝置302安裝于源車輛擋風(fēng)玻璃305的第一端307附近(例如，左側(cè))和駕駛員側(cè)A-柱附近。因此，第一攝像機(jī)裝置302可稱作駕駛員側(cè)攝像機(jī)裝置。第二攝像機(jī)裝置304安裝于源車輛擋風(fēng)玻璃305的第二端309的附近(例如，右側(cè))和乘客側(cè)A-柱的附近。因此，第二攝像機(jī)裝置304可稱作乘客側(cè)攝像機(jī)裝置。因此，具有寬基線310的雙目攝像機(jī)系統(tǒng)能提供立體成像以增加深度和距離估計的準(zhǔn)確度。在示例性實(shí)施例中，寬基線310為大約兩米。應(yīng)意識到距離估計準(zhǔn)確度分別隨著第一攝像機(jī)裝置302與第二攝像機(jī)裝置304之間的基線310寬度增加而增加。第一攝像機(jī)裝置320和第二攝像機(jī)裝置304中的每一個分別被配置成捕獲車輛前方的道路場景的相應(yīng)圖像，包括目標(biāo)物體315，例如如在道路場景上行進(jìn)的目標(biāo)車輛。第一攝像機(jī)裝置302和第二攝像機(jī)裝置304分別可各被稱作朝前攝像機(jī)裝置。應(yīng)意識到這里討論的實(shí)施例可同樣實(shí)施為使用兩個朝后攝像機(jī)裝置的雙目攝像機(jī)系統(tǒng)。
[0032]示例性O(shè)DM模塊200分別從雙目攝像機(jī)系統(tǒng)201接收第一圖像203和第二圖像205。雙目攝像機(jī)系統(tǒng)201包括第一個攝像機(jī)裝置202和第二攝像機(jī)裝置204。第一攝像機(jī)裝置202可包括駕駛員側(cè)攝像機(jī)裝置和乘客側(cè)攝像機(jī)裝置之一，而第二攝像機(jī)裝置204包括右側(cè)攝像機(jī)裝置和左側(cè)攝像機(jī)裝置中的另一個。第一圖像203從第一攝像機(jī)裝置捕獲。為了簡單起見，第一圖像203對應(yīng)于從包括駕駛員側(cè)攝像機(jī)裝置的第一攝像機(jī)裝置捕獲的駕駛員側(cè)圖像。第二圖像205從第二攝像機(jī)裝置捕獲。為了簡單起見，第二圖像205對應(yīng)于從包括乘客側(cè)攝像機(jī)裝置的第二攝像機(jī)裝置捕獲的乘客側(cè)圖像。在示例性實(shí)施例中，第一攝像機(jī)裝置202對應(yīng)于圖3的第一攝像機(jī)裝置302，而第二攝像機(jī)裝置204對應(yīng)于圖3的第二攝像機(jī)裝置304。
[0033]ASDAS 250包括雙目攝像機(jī)系統(tǒng)201、ODM模塊200和車輛控制模塊230。ODM模塊200包括圖像塊檢測模塊206、流網(wǎng)絡(luò)模塊212、費(fèi)用模塊216、費(fèi)用流模塊222和跟蹤模塊226。費(fèi)用模塊216還包括檢測費(fèi)用模塊218和匹配費(fèi)用模塊220。跟蹤模塊226被配置成跟蹤或估計離目標(biāo)物體的距離227和/或目標(biāo)物體的速度。車輛控制模塊230配置成基于目標(biāo)物體的跟蹤來自動地或半自動地控制源車輛。例如，如果目標(biāo)物體在預(yù)定距離內(nèi)或低于預(yù)定速度行進(jìn)，那么車輛控制模塊230可發(fā)送制動請求來降低源車輛的速度。
[0034]控制模塊、模塊、控件、控制器、控制單元、處理器和類似術(shù)語表示下列中的任一個或者一個或多個的各種組合:(多個)專用集成電路(ASIC)、(多個)電子電路、(多個)中央處理單元(優(yōu)選地(多個)微處理器)，和執(zhí)行一個或多個軟件或固件程序或例程的相關(guān)存儲器和儲存裝置(只讀、可編程只讀、隨機(jī)存取、硬驅(qū)動等)、(多個)組合邏輯電路、(多個)輸入/輸出電路和裝置，適當(dāng)信號條件和緩沖器電路以及提供所描述的功能的其它組件。軟件、固件、程序、指令、例程、代碼、算法和類似術(shù)語表示任何控制器可執(zhí)行的指令集合，包括校準(zhǔn)和查找表。控制模塊具有通過執(zhí)行來提供所需功能的控制例程。通過諸如中央處理單元來執(zhí)行例程，并且例程可通過操作以監(jiān)視自傳感裝置和其它聯(lián)網(wǎng)的控制模塊的輸入，并且執(zhí)行控制和診斷例程來控制致動器的操作。在正在進(jìn)行發(fā)動機(jī)和車輛操作期間可以固定間隔執(zhí)行例程，例如每3.125,6.25、12.5、25和100毫秒。
[0035]參考圖4，示出第一圖像203包括在源車輛前方的駕駛場景上的目標(biāo)物體403 (例如，圖3的目標(biāo)物體315)。在示例性實(shí)施例中，第一圖像203為從駕駛員側(cè)攝像機(jī)裝置捕獲的駕駛員側(cè)圖像，駕駛員側(cè)攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的駕駛員側(cè)附近和駕駛員側(cè)A-柱附近。參考圖5，示出第二圖像205包括在源車輛前方的駕駛場景上的目標(biāo)物體415(例如，圖3的目標(biāo)物體315)。在示例性實(shí)施例中，第二圖像205為從乘客側(cè)攝像機(jī)裝置捕獲的乘客側(cè)圖像，乘客側(cè)攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的乘客側(cè)的附近和乘客側(cè)A-柱的附近。
[0036]圖像塊檢測模塊206分別從雙目攝像機(jī)系統(tǒng)201接收第一圖像203和第二圖像205。預(yù)定數(shù)量的圖像塊208應(yīng)用于第一圖像203且通過流網(wǎng)絡(luò)模塊212接收。同樣，預(yù)定數(shù)量的圖像塊210應(yīng)用于第二圖像205且通過流網(wǎng)絡(luò)模塊212接收。這些圖像塊中的每一個指示關(guān)注的包含物體的候選物(例如，在本實(shí)施例中包括前目標(biāo)車輛的目標(biāo)物體)。在示例性實(shí)施例中，參看圖4和圖5，圖像塊檢測模塊206將多個圖像塊1、2、3、4、5分別應(yīng)用于第一圖像203和第二圖像205中的每一個。因此，預(yù)定數(shù)量的圖像塊208對應(yīng)于應(yīng)用于在圖4中示出的第一圖像203的圖像塊1、2、3、4、5且預(yù)定數(shù)量的圖像塊210對應(yīng)于應(yīng)用于在圖5中示出的第二圖像205的圖像塊1、2、3、4、5。應(yīng)用于第一圖像203的每個圖像塊1、
2、3、4、5包括具有相對于第一圖像203的離散尺寸和位置的矩形框，且應(yīng)用于第二圖像205的每個圖像塊1、2、3、4、5包括具有相對于第二圖像205的離散尺寸和位置的矩形框。應(yīng)意識到相同預(yù)定數(shù)量的圖像塊將分別應(yīng)用于第一圖像203和第二圖像205中的每一個。每個圖像塊1、2、3、4、5可稱作物體候選物。參考檢測費(fèi)用模塊218在下文中更詳細(xì)討論，基于圖像塊1、2、3、4、5中的每一個的檢測費(fèi)用，圖像塊中的每一個可被指定為被目標(biāo)物體占據(jù)或不被目標(biāo)物體占據(jù)之一。為了確定圖像塊是否被目標(biāo)物體占據(jù)或不被目標(biāo)物體占據(jù)中的一種情況，可比較每個圖像塊與考慮到例如客車的目標(biāo)物體的視角的目標(biāo)模板。例如，可比較每個圖像塊與表示客車不同視角的六個模板之一。
[0037]流網(wǎng)絡(luò)模塊212接收應(yīng)用于第一圖像203的預(yù)定數(shù)量的圖像塊208和應(yīng)用于第二圖像205的預(yù)定數(shù)量的圖像塊210。流網(wǎng)絡(luò)模塊212基于與圖像塊相關(guān)聯(lián)的檢測費(fèi)用和匹配費(fèi)用生成四層有向圖214來最終確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的費(fèi)用流路徑。
[0038]參考圖6，四層有向圖214包括第一圖像203，第一圖像203具有包括第一層601和第二層602的兩層。四層有向圖214還包括第二圖像205，第二圖像205具有包括第三層603和第四層604的兩層。對于第一層601的所有可能圖像塊，應(yīng)用于第一圖像203的圖像塊208將被列舉為1_1、1_2、1-3、1-4、1-5。因此，所列舉的圖像塊1_1、1_2、1-3、1-4、1-5為第一層601的頂點(diǎn)并且分別對應(yīng)于應(yīng)用于圖4中示出的第一圖像203的圖像塊1、2、3、4、5中的相應(yīng)圖像塊。對于第二層602的所有可能圖像塊而言，應(yīng)用于第一圖像203的圖像塊208還被列舉為2-1、2-2、2-3、2-4、2-5。因此，所列舉的圖像塊2-1、2-2、2-3、2-4、2-5為第二層602的頂點(diǎn)。第二層602被認(rèn)為是第一層601的陰影，且因此，第二層602包括與第一層601相同的結(jié)構(gòu)。因此，應(yīng)用于第一圖像203的多個圖像塊1、2、3、4、5中的每一個由第一圖像203的第一層601和第二層602表示。第一層601和第二層602中的每一個的相應(yīng)所列舉的圖像塊之間的弧分別表示檢測費(fèi)用ξα610。例如，檢測費(fèi)用ζα610由在1-1與
2-1、1-2與2-2、1-3與2-3、1-4與2_4以及1_5與2_5之間的弧中的每一個確定。換言之，確定各與應(yīng)用于第一圖像203的圖像塊中的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用ζ α610。在下文參考費(fèi)用模塊216更詳細(xì)討論確定檢測費(fèi)用ζα610。
[0039]對于第三層603的所有可能圖像塊，應(yīng)用于第二圖像205的圖像塊210被列舉為
3-1、3-2、3-3、3-4、3-5。因此，所列舉的圖像塊3-1、3-2、3-3、3-4、3_5為第三層603的頂點(diǎn)并且分別對應(yīng)于應(yīng)用于圖5中示出的第二圖像205的圖像塊1、2、3、4、5的相應(yīng)圖像塊。對于第四層604的所有可能圖像塊，應(yīng)用于第二圖像205的圖像塊210被進(jìn)一步列舉為4_1、
4-2、4-3、4-4、4-5。因此，所列舉的圖像塊4-1、4-2、4-3、4-4、4_5為第四層604的頂點(diǎn)。第四層604被認(rèn)為是第三層603的陰影，且因此，第四層604包括與第三層603相同的結(jié)構(gòu)。因此，應(yīng)用于第二圖像205的多個圖像塊1、2、3、4、5中的每一個由第二圖像205的第三層603和第四層604表示。第三層603和第四層604中的每一個的相應(yīng)所列舉的圖像塊之間的弧分別表示檢測費(fèi)用ζ e620。例如，檢測費(fèi)用ζ ,620由在3-1與4-1、3-2與4_2、3_3與4-3、3-4與4-4以及3-5與4_5之間的弧中的每一個來確定。換言之，確定各與應(yīng)用于第二圖像205的圖像塊中的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用ζ062Ο。在下文參考費(fèi)用模塊216更詳細(xì)討論確定或計算檢測費(fèi)用ζ 0620。
[0040]由第二層602和第三層603表示的所列舉的圖像塊之間的附隨的弧分別表示應(yīng)用于第一圖像203的圖像塊與應(yīng)用于第二圖像205的圖像塊之間的可能匹配。μ α063Ο表示應(yīng)用于第一圖像203的圖像塊與應(yīng)用于第二圖像205的圖像塊之間的可能匹配的費(fèi)用。例如，匹配費(fèi)用μ α e630由2-2與3_2、2_3與3_2、2_3與3_3、2_3與3-4以及2-4與3-2之間的弧中的每一個來確定。換言之，確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用。在下文中參考費(fèi)用模塊216將更詳細(xì)討論確定或計算匹配費(fèi)用μ α063Ο。
[0041]由第一層601表示的應(yīng)用于第一圖像203的多個圖像塊1_1、1_2、1_3、1_4、1_5中的每一個鏈結(jié)到源頂點(diǎn)O。到源頂點(diǎn)O的每一個鏈路的成本為零，如由虛線所示。由第四層604表示的應(yīng)用于第二圖像205的多個圖像塊4-1、4-2、4-3、4-4、4-5中的每一個鏈結(jié)到沉頂點(diǎn)50。到沉頂點(diǎn)50的每一個鏈路的成本為零,如由虛線所示。
[0042]參考圖2和圖6，四層有向圖214輸入至費(fèi)用模塊216。費(fèi)用模塊216包括檢測費(fèi)用模塊218和匹配費(fèi)用模塊22`0。檢測費(fèi)用模塊218確定分別應(yīng)用于第一圖像203和第二圖像205的圖像塊208和210中的每一個的檢測費(fèi)用219。顯然，基于相應(yīng)圖像塊的檢測費(fèi)用，可以檢測在圖像塊內(nèi)目標(biāo)物體的存在(例如，圖像塊被占據(jù))。圖6所示的檢測費(fèi)用ζ α610和ζ 0620由輸入到費(fèi)用流模塊222的檢測費(fèi)用219表示。
[0043]檢測費(fèi)用模塊218可包括線性支持向量機(jī)(SVM)，其被訓(xùn)練為基于每個圖像塊的檢測費(fèi)用219來確定應(yīng)用于第一圖像和第二圖像的每個圖像塊是否被占據(jù)或未被占據(jù)中的一種情況。SVM將線性向量分類器應(yīng)用于用于第一圖像和第二圖像的圖像塊中的每一個。在示例性實(shí)施例中，線性向量分類器應(yīng)用于圖像塊1、2、3、4、5中的每一個，圖像塊1、2、3、
4、5分別應(yīng)用于在圖4和圖5中示出的第一圖像203和第二圖像205。線性分類器包括多個判定邊界。每個判定邊界對應(yīng)于可能的目標(biāo)物體的相應(yīng)視角。例如，可能的目標(biāo)物體的視角可包括車輛的邊緣。判定邊界可包括線性權(quán)向量和預(yù)定偏置檢測閾值。線性向量分類器應(yīng)用到用于第一圖像的圖像塊中的每一個來確定與分別應(yīng)用于第一圖像203和第二圖像205的圖像塊中的相應(yīng)圖像塊相關(guān)聯(lián)的檢測費(fèi)用219，可表達(dá)如下:
【權(quán)利要求】
1.一種利用雙目攝像機(jī)系統(tǒng)跟蹤目標(biāo)物體的方法，包括: 捕獲第一圖像和第二圖像，第一圖像從第一攝像機(jī)裝置捕獲，而第二圖像從第二攝像機(jī)裝置捕獲； 將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個； 確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用； 確定各與第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對相對應(yīng)的多個選定匹配費(fèi)用； 基于檢測費(fèi)用和匹配費(fèi)用確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑；以及 基于至少一個費(fèi)用流路徑跟蹤目標(biāo)物體。
2.根據(jù)權(quán)利要求1所述的方法，其中跟蹤目標(biāo)物體包括下列中的至少一個: 跟蹤離目標(biāo)物體的距離；以及 跟蹤目標(biāo)物體的速度。
3.根據(jù)權(quán)利要求1所述的方法，其中第一攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第一端附近并且第二攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第二端附近。`
4.根據(jù)權(quán)利要求1所述的方法，其中將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個包括: 將預(yù)定數(shù)量的圖像塊應(yīng)用到第一圖像和第二圖像，每個圖像塊包括矩形框并且具有離散大小和位置。
5.根據(jù)權(quán)利要求4所述的方法，其中應(yīng)用于第一圖像的多個圖像塊中的每一個由所述第一圖像的第一層和第一圖像的第二層表示，并且應(yīng)用于第二圖像的多個圖像塊中的每一個由第二圖像的第一層和第二圖像的第二層表示。
6.根據(jù)權(quán)利要求5所述的方法，其中由所述相應(yīng)第一層表示的應(yīng)用于的第一圖像的多個圖像塊中的每一個鏈結(jié)到源頂點(diǎn)并且由相應(yīng)第二層表示的應(yīng)用于第二圖像的多個圖像塊中的每一個鏈結(jié)到沉頂點(diǎn)。
7.根據(jù)權(quán)利要求1所述的方法，其中確定各與應(yīng)用于第一圖像和第二圖像的圖像塊的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用包括: 應(yīng)用包括多個判定邊界的線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個，每個判定邊界對應(yīng)于可能的目標(biāo)物體的相應(yīng)視角；以及下列情況的一種: 當(dāng)線性向量分類器的量值小于零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的負(fù)檢測費(fèi)用，以及 當(dāng)線性向量分類器的量值至少為零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的正檢測費(fèi)用。
8.根據(jù)權(quán)利要求7所述的方法，還包括: 當(dāng)確定了相關(guān)聯(lián)的負(fù)檢測費(fèi)用時，將相應(yīng)圖像塊指定為被占據(jù)；以及 當(dāng)確定了相關(guān)聯(lián)的正檢測費(fèi)用時，將相應(yīng)圖像塊指定為未被占據(jù)。
9.使用立體成像用于估計離前目標(biāo)車輛的距離的方法，包括: 從安裝于駕駛員側(cè)A-柱附近的第一向前的攝像機(jī)裝置捕獲第一圖像； 從安裝于乘客側(cè)A-柱附近的第二向前的攝像機(jī)裝置捕獲第二圖像； 將預(yù)定數(shù)量的圖像塊應(yīng)用于第一圖像和第二圖像的每一個，每個圖像塊包括矩形框并且具有離散尺寸和位置； 應(yīng)用線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個來確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用； 選擇圖像塊的匹配對，包括基于具有相關(guān)外觀信和相關(guān)位置信息的應(yīng)用于第一圖像的圖像塊中選定圖像塊以及應(yīng)用于第二圖像的圖像塊中選定圖像塊； 確定各對應(yīng)于圖像塊的選定匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用； 基于檢測費(fèi)用和匹配費(fèi)用來確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的最小費(fèi)用流路徑；以及 基于最小費(fèi)用流路徑估計前目標(biāo)車輛的距離。
10.一種利用雙目攝像機(jī)系統(tǒng)跟蹤目標(biāo)物體的設(shè)備，包括: 包括第一攝像機(jī)裝置和第二攝像機(jī)裝置的雙目攝像機(jī)系統(tǒng)，第一攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第一端附近并且第二攝像機(jī)裝置安裝于源車輛擋風(fēng)玻璃的第二端附近；以及 物體檢測和匹配模塊； 捕獲第一圖像和第二圖像，第一圖像從第一攝像機(jī)裝置捕獲并且第二圖像從第二攝像機(jī)裝置捕獲； 將多個圖像塊應(yīng)用于第一圖像和第二圖像的每一個； 確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費(fèi)用； 確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費(fèi)用； 基于檢測費(fèi)用和匹配費(fèi)用來確定從第一圖像的源頂點(diǎn)到第二圖像的沉頂點(diǎn)的至少一個費(fèi)用流路徑；以及 基于至少一個費(fèi)用流路徑來跟蹤目標(biāo)物體。
【文檔編號】G06K9/62GK103530868SQ201310265291
【公開日】2014年1月22日 申請日期:2013年6月28日 優(yōu)先權(quán)日:2012年6月28日
【發(fā)明者】S.曾 申請人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司