用于車輛攝像機的在線校準的方法和裝置制造方法
【專利摘要】一種用于確定布置在車輛上的攝像機相對于車輛坐標系的取向的方法，所述方法包括：基于所述攝像機的視頻流的光流測量所述攝像機的坐標系中的增量車輛運動；以由直線運動分量和轉(zhuǎn)動運動構(gòu)成的運動表示所述增量車輛運動，其中，以方向向量表示所述直線運動，以轉(zhuǎn)動軸和轉(zhuǎn)動角表示所述轉(zhuǎn)動運動；基于所確定的轉(zhuǎn)動角將所測量的增量車輛運動分類為直線運動或轉(zhuǎn)動運動；測量至少一個分類為直線運動的增量運動；測量至少一個分類為轉(zhuǎn)動運動的增量運動；和使用至少一個所測量的直線運動的方向向量來估算車輛的縱軸；使用至少一個所測量的轉(zhuǎn)動運動的轉(zhuǎn)動向量來估算車輛平面的法線，使得所述攝像機相對于車輛坐標系的取向是由在所述攝像機的坐標系中已經(jīng)分別確定的車輛縱軸和所述車輛平面的法線推出的。
【專利說明】用于車輛攝像機的在線校準的方法和裝置
[0001] 本發(fā)明涉及一種用于確定連接到車輛的攝像機相對于車輛坐標系的取向，即自動 的攝像機-車輛校準（以下稱為在線校準）的方法和裝置。
[0002] 目前，攝像機相對于車輛的取向的確定通過所謂的離線校準來執(zhí)行。這涉及在車 輛生產(chǎn)周期結(jié)束時專門的硬件設(shè)置。
[0003] 該過程既不靈活，同時還是昂貴的。這種死板的校準過程的最大缺點在于假設(shè)攝 像機取向在最終使用者（駕駛員）使用車輛期間不會變化。但是，機械負載和溫度影響導(dǎo) 致去校準，也即是說，導(dǎo)致實際值和工廠確定值之間的差異。因此，存在在實際使用期間發(fā) 生攝像機系統(tǒng)去校準的技術(shù)問題（通過機械負載和溫度影響對車輛結(jié)構(gòu)的影響），這導(dǎo)致 攝像機相對于車輛不精確或錯誤的定位，從而導(dǎo)致對例如駕駛員輔助系統(tǒng)（ADAS)的不精 確或錯誤的輸入數(shù)據(jù)。
[0004] 為此，車輛制造商對通過在最終使用者處全自動的校準來替換或補充離線校準非 常感興趣。
[0005]因此，本發(fā)明的一個目的是這種全自動校準，以及駕駛時自動校正發(fā)生的去校準。
[0006] 已經(jīng)存在的用于在線校準的方法基于道路標志的檢測或基于檢測道路上的特征。 而首先提及的方法導(dǎo)致對適合于校準的環(huán)境的嚴格限制；后者提及的方法易于產(chǎn)生錯誤， 這是因為一方面不能總是滿足在特定圖像區(qū)域內(nèi)平整道路的假設(shè)，另一方面稀疏的柏油路 紋理是對于特征提取非常不利的環(huán)境。
[0007] 基于道路標志檢測的構(gòu)想例如在人.Cataldi-Prat、J.Rataj和R.Reulke的 Self-calibrationsystemfortheorientationofavehiclecamera,Proc.ofthe ISPRSCom.VSymposium:ImageEngineeringandVisionMetrology，2006，第 68 - 73 頁，以及在S.Hold、S.Gormer、A.Kummert、Μ·Meute和S.Muller-Schneiders的Anovel approachfortheonlineinitialcalibrationofextrinsicparametersfora car-mountedcamera,IntelligentTransportationSystems, 2009.ITSC^ 09. 12th Inter-nationalIEEEConferenceon，IEEE，2009，第I_6 頁，或在M.Wu和X.An的 Anautomaticextrinsicparametercalibrationmethodforcamera-〇n-vehicle onstructuredroad,VehicularElectronicsandSafety,2007.IC-VES.IEEE InternationalConferenceon，IEEE，2007，第I_5 頁中進行描述。
[0008] 在M.Miksch、B.Yang和K.Zimmermann的Homography-basedextrinsic self-calibrationforcamerasinautomotiveapplications,WorkshoponIntelligent Transportation, 2010，第17 - 22頁中的描述的系統(tǒng)使用柏油路的自然紋理用于校準，但 是，其假設(shè)了平整的柏油路，且其在圖像中的取向需要是已知的，而且系統(tǒng)需要車輛里程 計。
[0009] 因此，本發(fā)明的一個目的是提供一種避免所述現(xiàn)有技術(shù)的缺點的在線校準方法和 裝直。
[0010] 根據(jù)一個實施方案，提供了一種用于確定連接到車輛的攝像機相對于車輛坐標系 的取向的方法，其包括： toon] 基于攝像機的視頻流的光流測量攝像機的坐標系中的增量車輛運動；
[0012] 以由直線運動分量和轉(zhuǎn)動運動構(gòu)成的運動表示增量車輛運動，其中，以方向向量 表示所述直線運動分量，以轉(zhuǎn)動軸和轉(zhuǎn)動角表示所述轉(zhuǎn)動運動；
[0013] 基于所確定的轉(zhuǎn)動角將所測量的增量車輛運動分類為直線運動或轉(zhuǎn)動運動；
[0014] 測量至少一個已經(jīng)分類為直線運動的增量運動；
[0015] 測量至少一個已經(jīng)分類為轉(zhuǎn)動運動的增量運動；和
[0016] 使用至少一個所測量的直線運動的方向向量來估算車輛的縱軸；
[0017] 使用至少一個所測量的轉(zhuǎn)動運動的轉(zhuǎn)動向量來估算車輛平面的法線，使得攝像機 相對于車輛坐標系的取向是由攝像機的坐標系中已經(jīng)分別確定的車輛縱軸和車輛平面的 法線推出的。
[0018] 通過使用只是視覺里程計的數(shù)據(jù)，可以省略其它信息來源。這些用于在線校準的 數(shù)據(jù)的使用通過使用車輛運動的相對簡單的模型成為可能，所述模型將運動分類為轉(zhuǎn)動運 動或直線運動，且之后基于此的所述模型直接基于所測量的運動確定車輛縱軸或車輛法線 的估算。
[0019] 根據(jù)一個實施方案，所述方法還包括：
[0020] 測量多個增量車輛運動；
[0021] 使用車輛縱軸和轉(zhuǎn)動軸的多個估算來確定對車輛縱軸和轉(zhuǎn)動軸的改善的估算。
[0022] 通過將多個測量值包括進估算中，可以提高精確度。
[0023] 根據(jù)一個實施方案，所述方法還包括：
[0024] 當增量車輛運動的轉(zhuǎn)動角小于特定閾值時，將運動分類為直線運動；
[0025] 當增量運動的轉(zhuǎn)動角大于特定閾值時，將運動分類為轉(zhuǎn)動運動。
[0026] 這樣，車輛運動可以以簡單的方式分類為兩種類別"直線運動"或"機動/曲線/ 轉(zhuǎn)動運動"中的一種。
[0027] 根據(jù)一個實施方案，所述方法還包括：
[0028] 使用直線運動或直線運動分量的平面的法線作為對除了轉(zhuǎn)動軸之外的車輛縱軸 的垂線的另一估算；
[0029] 基于所確定的直線運動或運動分量的垂線和轉(zhuǎn)動運動的轉(zhuǎn)動軸的結(jié)合來確定對 車輛平面的法線的估算。
[0030] 因此，還可以考慮以下事實：直線運動的平面（穿過其法線）傳達了關(guān)于車輛法線 的信息和由此關(guān)于轉(zhuǎn)動軸的信息。
[0031] 根據(jù)一個實施方案，基于由測量確定的或由直線運動分量確定的直線運動的平面 的法線與轉(zhuǎn)動向量應(yīng)當平行的要求來確定所述結(jié)合。
[0032] 這使得直線運動和轉(zhuǎn)動運動的數(shù)據(jù)能夠融合。
[0033] 根據(jù)一個實施方案，通過增量車輛運動的重復(fù)測量來迭代地確定車輛的縱軸和車 輛的法線的估算值。
[0034] 這提高了估算的精確度。
[0035] 根據(jù)一個實施方案，所述方法還包括：
[0036] 通過測量i將車輛的法線的更新值確定為：
【權(quán)利要求】
1. 一種用于確定連接到車輛的攝像機相對于車輛坐標系的取向的方法，其包括： 基于所述攝像機的視頻流的光流測量所述攝像機的坐標系中的增量車輛運動； 以由直線運動分量和轉(zhuǎn)動運動構(gòu)成的運動表示所述增量車輛運動，其中，以方向向量 表示所述直線運動分量，以轉(zhuǎn)動軸和轉(zhuǎn)動角表示所述轉(zhuǎn)動運動； 基于所確定的轉(zhuǎn)動角將所測量的增量車輛運動分類為直線運動或轉(zhuǎn)動運動； 測量至少一個已經(jīng)分類為直線運動的增量運動； 測量至少一個已經(jīng)分類為轉(zhuǎn)動運動的增量運動；和 使用至少一個所測量的直線運動的方向向量來估算所述車輛的縱軸； 使用至少一個所測量的轉(zhuǎn)動運動的轉(zhuǎn)動向量來估算車輛平面的法線，使得所述攝像機 相對于車輛坐標系的取向是由在所述攝像機的坐標系中已經(jīng)分別確定的車輛縱軸和所述 車輛平面的法線推出的。
2. 權(quán)利要求1所述的方法，其還包括： 測量多個增量車輛運動； 使用車輛縱軸和轉(zhuǎn)動軸的多個估算來確定對所述車輛縱軸和所述轉(zhuǎn)動軸的改善的估 算。
3. 權(quán)利要求1或2所述的方法，其還包括： 當所述增量車輛運動的轉(zhuǎn)動角小于特定閾值時，將所述運動分類為直線運動； 當所述增量運動的轉(zhuǎn)動角大于特定閾值時，將所述運動分類為轉(zhuǎn)動運動。
4. 前述權(quán)利要求中任一項所述的方法，其還包括： 使用所述直線運動或所述直線運動分量的平面的法線作為對除了所述轉(zhuǎn)動軸之外的 所述車輛縱軸的垂線的另一估算； 基于所確定的直線運動或運動分量的垂線和所述轉(zhuǎn)動運動的轉(zhuǎn)動軸的結(jié)合來確定對 所述車輛平面的法線的估算。
5. 權(quán)利要求4所述的方法，其中， 基于由所述測量確定的或由所述直線運動分量確定的所述直線運動的平面的法線與 所述轉(zhuǎn)動向量應(yīng)當平行的要求來確定所述結(jié)合。
6. 前述權(quán)利要求中任一項所述的方法，其中， 通過所述增量車輛運動的重復(fù)測量來迭代地確定所述車輛的縱軸和所述車輛的法線 的估算值。
7. 權(quán)利要求6所述的方法，其包括： 通過測量i將所述車輛的法線的更新值確定為：
其中，= +馬是權(quán)重或信息矩陣，且其中，Qt和義是直 線車輛軸或所述車輛的法線的協(xié)方差矩陣，所述協(xié)方差矩陣具有高斯過程噪聲。
8. -種用于確定連接到車輛的攝像機相對于車輛坐標系的取向的裝置，其包括： 用于基于所述攝像機的視頻流的光流測量所述攝像機的坐標系中的增量車輛運動的 模塊； 用于以由直線運動分量和轉(zhuǎn)動運動構(gòu)成的運動表示所述增量車輛運動的模塊，其中， 以方向向量表示所述直線運動分量，以轉(zhuǎn)動軸和轉(zhuǎn)動角表示所述轉(zhuǎn)動運動； 用于基于所確定的轉(zhuǎn)動角將所測量的增量車輛運動分類為直線運動或轉(zhuǎn)動運動的模 塊； 用于測量至少一個已經(jīng)分類為直線運動的增量運動的模塊； 用于測量至少一個已經(jīng)分類為轉(zhuǎn)動運動的增量運動的模塊；和 用于使用至少一個所測量的直線運動的方向向量來估算所述車輛的縱軸的模塊； 用于使用至少一個所測量的轉(zhuǎn)動運動的轉(zhuǎn)動向量來估算車輛平面的法線的模塊，使得 所述攝像機相對于車輛坐標系的取向是由在所述攝像機的坐標系中已經(jīng)分別確定的車輛 縱軸和所述車輛平面的法線推出的。
9. 權(quán)利要求8所述的裝置，其還包括： 一個或更多個用于實施根據(jù)權(quán)利要求1至7中任一項所述的方法的模塊。
10. -種計算機程序，其包括： 計算機程序代碼，所述計算機程序代碼在計算機上執(zhí)行時使得其能夠?qū)嵤└鶕?jù)權(quán)利要 求1至7中任一項所述的方法。
【文檔編號】G06T7/00GK104246825SQ201380006092
【公開日】2014年12月24日 申請日期:2013年1月17日 優(yōu)先權(quán)日:2012年1月20日
【發(fā)明者】克里斯多夫·普夫盧格, 朱里·普拉托諾夫, 帕維爾·卡奇馬爾斯基, 托馬斯·加保爾 申請人:Esg電子系統(tǒng)及邏輯股份有限公司