用于校準(zhǔn)攝像機(jī)的方法、車(chē)輛用的設(shè)備和計(jì)算機(jī)程序產(chǎn)品的制作方法
【專(zhuān)利摘要】本發(fā)明涉及用于校準(zhǔn)攝像機(jī)的方法、車(chē)輛用的設(shè)備和計(jì)算機(jī)程序產(chǎn)品。本發(fā)明涉及用于校準(zhǔn)用于在車(chē)輛中進(jìn)行視向識(shí)別的攝像機(jī)的方法、用于具有攝像機(jī)和至少一個(gè)其他元件的機(jī)動(dòng)車(chē)輛的設(shè)備和計(jì)算機(jī)程序產(chǎn)品。在此所述至少一個(gè)其他元件與攝像機(jī)以固定的幾何關(guān)系布置。所述方法包括借助于在攝像機(jī)（500）的圖像中探測(cè)至少一個(gè)相對(duì)的視向改變來(lái)校準(zhǔn)，其中用戶朝向所述其他元件（100、200、300、400）改變其視向。所述方法的特征在于，根據(jù)用戶的至少一個(gè)行動(dòng)來(lái)探測(cè)，進(jìn)行了或者將進(jìn)行用戶的視線改變。于是所述視線改變也即通過(guò)雙重使用發(fā)揮優(yōu)點(diǎn)：所述視線改變不僅用于校準(zhǔn)而且用于用戶的行動(dòng)。
【專(zhuān)利說(shuō)明】
用于校準(zhǔn)攝像機(jī)的方法、車(chē)輛用的設(shè)備和計(jì)算機(jī)程序產(chǎn)品
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及用于校準(zhǔn)在車(chē)輛中的用于視向識(shí)別的攝像機(jī)的方法、用于具有攝像機(jī)和至少一個(gè)其他元件的車(chē)輛的設(shè)備和計(jì)算機(jī)程序產(chǎn)品。在此，至少一個(gè)其他元件與攝像機(jī)以固定的幾何關(guān)系被布置?！颈尘凹夹g(shù)】
[0002]攝像機(jī)被使用在車(chē)輛和其他應(yīng)用場(chǎng)景中，所述攝像機(jī)被布置為使得所述攝像機(jī)可以檢測(cè)用戶、例如車(chē)輛的駕駛員的頭部和眼睛。攝像機(jī)的基本定位在此允許確定用戶的視向。然而利用僅一個(gè)攝像機(jī)對(duì)視向的絕對(duì)確定要求:所述攝像機(jī)和視向識(shí)別事先被校準(zhǔn)。
[0003]所述攝像機(jī)在此例如借助于所謂的帶端校準(zhǔn)(Bandende-Kalibrierung)被校準(zhǔn)， 所述帶端校準(zhǔn)也被稱作E0L校準(zhǔn)(end of line Kalibrierung(線端校準(zhǔn)))。
[0004]對(duì)于視向識(shí)別，在DE 102005047160中使用用于確定視向的橢圓識(shí)別。從圓形瞳孔的橢圓形映射的精確位置中可以推斷出眼睛的位置和從中推斷出使用者的視向。
[0005]S.Kohlbecher等人在‘Calibrat1n-Free Eye Tracking by Reconstruct1n of the Pupil Ellipse in 3_D Space, ETRA’08，2008’中描述基于立體的無(wú)校準(zhǔn)方法。
[0006]校準(zhǔn)的另一可能性在于，使用戶與其他元件相互作用，例如其方式是:用戶必須利用眼睛跟蹤屏幕上的標(biāo)記，所述標(biāo)記關(guān)于攝像機(jī)的空間布置是已知的并且原則上是不可變的。
[0007]用戶的視向改變隨屏幕上標(biāo)記的每個(gè)位置變換而出現(xiàn)，所述視向改變?cè)跀z像機(jī)圖像中至少可以相對(duì)地被確定。必要時(shí)在使用攝像機(jī)的攝像機(jī)參數(shù)的情況下能夠再次由標(biāo)記的位置改變、屏幕與攝像機(jī)的固定的空間幾何關(guān)系和探測(cè)到的相對(duì)的視向改變來(lái)確定絕對(duì)的視向。
[0008]借助于多個(gè)絕對(duì)視向，因此可以獲得視向識(shí)別的穩(wěn)定的校準(zhǔn)。
【發(fā)明內(nèi)容】

[0009]發(fā)明人已經(jīng)認(rèn)識(shí)到，如果用戶的需要的視向改變可以在用戶的行動(dòng)的范圍內(nèi)進(jìn)行，其中所述用戶本來(lái)就實(shí)施所述行動(dòng)，那么所述校準(zhǔn)可以通過(guò)與其他元件的相互作用被改善。
[0010]按照本發(fā)明，按照權(quán)利要求1提供用于校準(zhǔn)用于在車(chē)輛中識(shí)別絕對(duì)視向的攝像機(jī)的方法。至少一個(gè)其他元件與攝像機(jī)以固定的空間幾何關(guān)系布置。所述校準(zhǔn)借助于在攝像機(jī)的圖像中探測(cè)至少一個(gè)相對(duì)視向改變進(jìn)行，其中用戶朝向該其他元件改變其視線。所述方法的特征在于，根據(jù)用戶的至少一個(gè)行動(dòng)來(lái)探測(cè)，進(jìn)行了或者將進(jìn)行用戶的相對(duì)視向改變。
[0011]于是所述視線改變也即通過(guò)雙重使用發(fā)揮優(yōu)點(diǎn):所述視線改變不僅用于校準(zhǔn)而且用于用戶的行動(dòng)。
[0012]在一種優(yōu)選的實(shí)施方式中，所述方法可以包括在使用相對(duì)的視向改變和固定的空間幾何關(guān)系的情況下測(cè)定絕對(duì)視向。
[0013]這改善所述校準(zhǔn)。
[0014]為了測(cè)定絕對(duì)視向，可以考慮來(lái)自(aus)帶端校準(zhǔn)的攝像機(jī)的攝像機(jī)參數(shù)。[0〇15]這進(jìn)一步改善所述校準(zhǔn)。
[0016]多個(gè)絕對(duì)視向可以被測(cè)定，所述絕對(duì)視向于是被考慮用于校準(zhǔn)視向識(shí)別。[0〇17]這更進(jìn)一步改善所述校準(zhǔn)。
[0018]所述校準(zhǔn)可以包括確定在由攝像機(jī)記錄的圖像中的頭部位置和眼睛位置，和根據(jù)確定的頭部位置和確定的眼睛位置測(cè)定相對(duì)的視向改變。[〇〇19 ]因此能夠容易地測(cè)定相對(duì)的視向改變。
[0020]所述其他元件可以例如包括收音機(jī)、汽車(chē)導(dǎo)航系統(tǒng)和/或空調(diào)設(shè)備，并且所述行動(dòng)可以包括對(duì)按鍵、觸摸板和/或觸摸屏的操作。
[0021]于是可以容易地探測(cè)視向改變的進(jìn)行。
[0022]所述其他元件也可以包括后視鏡和/或屏幕，并且所述行動(dòng)可以包括行駛機(jī)動(dòng)動(dòng)作。
[0023]所述方法可以包括使攝像機(jī)的視頻時(shí)間戳與所述其他元件的操作事件和/或顯示事件同步，所述操作事件和/或顯示事件觸發(fā)所述行動(dòng)或者通過(guò)所述行動(dòng)被觸發(fā)。
[0024]這使得在圖像中探測(cè)相對(duì)的視向改變變得簡(jiǎn)單。
[0025]按照本發(fā)明，此外按照權(quán)利要求9提出用于具有攝像機(jī)和至少一個(gè)其他元件的機(jī)動(dòng)車(chē)輛的設(shè)備。所述其他元件與攝像機(jī)以固定的空間幾何關(guān)系布置，其中所述設(shè)備被設(shè)立用于，實(shí)施按照本發(fā)明提出的方法的步驟。
[0026]最后還按照本發(fā)明提出按照權(quán)利要求10所述的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包括用于當(dāng)所述程序在車(chē)輛的控制設(shè)備上被實(shí)施時(shí)執(zhí)行按照本發(fā)明的方法的計(jì)算機(jī)可實(shí)施的程序代碼，其中所述車(chē)輛包括攝像機(jī)和與攝像機(jī)處于固定空間幾何關(guān)系的至少一個(gè)其他元件。
[0027]本發(fā)明的有利的改進(jìn)方案在從屬權(quán)利要求中說(shuō)明并且在說(shuō)明書(shū)中描述。【附圖說(shuō)明】
[0028]本發(fā)明的實(shí)施例根據(jù)附圖和以下描述進(jìn)一步被闡述。其中:圖1示出用于校準(zhǔn)車(chē)輛的內(nèi)部空間攝像機(jī)的示意性和示例性系統(tǒng)總覽。【具體實(shí)施方式】[0029 ]在圖1中示出用于校準(zhǔn)車(chē)輛的內(nèi)部空間攝像機(jī)的示意性和示例性系統(tǒng)總覽。
[0030]所述系統(tǒng)包括操作元件和/或顯示元件100、200、300、400、內(nèi)部空間攝像機(jī)500和電子控制設(shè)備(electronic control unit(電子控制單元)，ECU)600,其中所述內(nèi)部空間攝像機(jī)500檢測(cè)車(chē)輛的駕駛員的臉。
[0031]所述元件100、200、300、400通過(guò)車(chē)輛總線系統(tǒng)900、例如04~總線與控制設(shè)備600通信。操作元件和/或顯示元件100、200、300、400的包括導(dǎo)航系統(tǒng)、汽車(chē)音頻系統(tǒng)、側(cè)視鏡和后視鏡、儀表顯示器和空調(diào)控制面板。[〇〇32] 所述控制設(shè)備包括用于圖像處理的單元610,所述單元610與內(nèi)部空間攝像機(jī)500連接，并且在攝像機(jī)的圖像中確定頭部位置和眼睛位置，并且根據(jù)頭部位置和眼睛位置的變化確定相對(duì)的視向改變。
[0033] 所述控制設(shè)備此外包括用于例如在ACC隨動(dòng)行駛(automatic cruise control(自動(dòng)巡航控制))的范圍中評(píng)估車(chē)輛總線900上的人機(jī)接口活動(dòng)(他11^11-]\^1〇11；[116-111丨61€3。6-Aktivi tSt (人機(jī)接口活動(dòng))，HMI活動(dòng))的單元620。所述單元620可以例如從行駛機(jī)動(dòng)動(dòng)作 (例如閃光燈設(shè)置、車(chē)道轉(zhuǎn)換)推斷出:在攝像機(jī)圖像中探測(cè)到的相對(duì)的視向改變對(duì)應(yīng)于駕駛員到后視鏡中或者到側(cè)視鏡之一中的視線。類(lèi)似地，可以從到車(chē)輛的音頻系統(tǒng)或者導(dǎo)航系統(tǒng)中的輸入推斷出:在攝像機(jī)圖像中探測(cè)到的相對(duì)的視向改變對(duì)應(yīng)于駕駛員到所屬的操作元件或者操作系統(tǒng)的上的視線。[0〇34]由單元630使由單元610確定的視向改變與HMI活動(dòng)同步，所述HMI活動(dòng)由單元620確定。[〇〇35]其他數(shù)據(jù)700由單元640考慮，以便由與HMI活動(dòng)同步的視向改變計(jì)算絕對(duì)的視向。 其他數(shù)據(jù)700例如包括來(lái)自攝像機(jī)的帶端校準(zhǔn)的攝像機(jī)參數(shù)和關(guān)于操作元件相對(duì)于攝像機(jī)的光軸的空間幾何布置的數(shù)據(jù)。后者可以例如來(lái)自車(chē)輛的CAD模型。[〇〇36] 單元650最后從如由所述單元640確定的兩個(gè)或多個(gè)絕對(duì)的視向來(lái)測(cè)定絕對(duì)的視向，并且輸出視向的校準(zhǔn)參數(shù)800。
[0037]所述單元可以是獨(dú)立的硬件組件或者軟件模塊或者軟件組件。所述控制設(shè)備可以履行附加的任務(wù)。所述控制設(shè)備例如可以是主單元(head unit(主機(jī)))或者儀表組、顯示設(shè)備的部分，所述顯示設(shè)備用于顯示多個(gè)參數(shù)、例如速度、轉(zhuǎn)速、公里數(shù)和油箱液位。[〇〇38]所述軟件模塊或者軟件組件可以存儲(chǔ)在存儲(chǔ)介質(zhì)、也即例如⑶、DVD、USB棒或者閃速(Flash)構(gòu)件或者其他計(jì)算機(jī)程序產(chǎn)品上。[〇〇39]所述操作元件100、200、300、400可以例如是導(dǎo)航系統(tǒng)、汽車(chē)音頻系統(tǒng)或者空調(diào)設(shè)備。如果駕駛員例如操作所述汽車(chē)音頻系統(tǒng)或者所述導(dǎo)航系統(tǒng)，并且實(shí)施標(biāo)題搜索或者目標(biāo)搜索，則這按照本發(fā)明被認(rèn)為是關(guān)于以下的標(biāo)志:即所述駕駛員與搜索同時(shí)地將其視線對(duì)準(zhǔn)顯示裝置，在所述顯示裝置上顯示可選的標(biāo)題或者導(dǎo)航目標(biāo)。于是可以使在與操作同步的(一個(gè)或多個(gè))圖像中的頭部位置和(一個(gè)或多個(gè))眼睛位置與絕對(duì)的視向相關(guān)，其中絕對(duì)視向由顯示裝置相對(duì)于(im VerhSltnis zu)駕駛員座位和攝像機(jī)的光軸的固定的相對(duì)空間幾何布置得出。
[0040]因此能夠?qū)崿F(xiàn)視向改變識(shí)別的在線校準(zhǔn)，其使用駕駛員操作和/或與在車(chē)輛中或者車(chē)輛處的元件的駕駛員相互作用，其中所述元件相對(duì)于攝像機(jī)處于固定的空間布置。 [〇〇41]在按照本發(fā)明的方法的示例性實(shí)施方式中，首先執(zhí)行攝像機(jī)的內(nèi)部參數(shù)的預(yù)校準(zhǔn)。這可以例如包括帶端校準(zhǔn)。此外使攝像機(jī)在車(chē)輛為中心的坐標(biāo)系中的取向和位置生效。 例如根據(jù)車(chē)輛的CAD模型此外確定操作元件/顯示元件相對(duì)于攝像機(jī)的空間位置，所述操作元件/顯示元件可以被考慮用于視向改變的校準(zhǔn)。[〇〇42]在預(yù)校準(zhǔn)后，圖像處理裝置確定在圖像中的頭部位置和眼睛位置，并且由此確定相對(duì)的視向改變。
[0043]與此并行地分析駕駛員的操作過(guò)程和行動(dòng)、也即例如轉(zhuǎn)向機(jī)動(dòng)動(dòng)作或者閃光燈激活。
[0044]如果同步地、也即同時(shí)地、在操作或者行動(dòng)之前不久或者之后不久進(jìn)行相對(duì)的視向改變，則可以推斷出:相對(duì)的視向改變已經(jīng)將駕駛員的視向?qū)?zhǔn)到所述元件上，所述操作過(guò)程在所述元件處進(jìn)行或者所述操作過(guò)程與所述元件關(guān)聯(lián)。與在音頻系統(tǒng)或者導(dǎo)航系統(tǒng)中輸入同步的相對(duì)視向改變大概對(duì)準(zhǔn)相應(yīng)的系統(tǒng)。并且與引起車(chē)道轉(zhuǎn)換的行動(dòng)同步的相對(duì)視向改變大概朝向后視鏡或者側(cè)視鏡對(duì)準(zhǔn)。同樣例如可以假設(shè)，與顯示器上的警報(bào)信號(hào)同步的相對(duì)視向改變對(duì)應(yīng)于駕駛員朝向顯示器上的視線改變。
[0045]由所屬的元件的相對(duì)位置于是可以確定所屬的絕對(duì)視向，其中在所述元件處實(shí)施操作過(guò)程。
[0046]多個(gè)絕對(duì)視向于是可以被使用用于視向識(shí)別的總(al lgeme inen)校準(zhǔn)。
[0047]雖然本發(fā)明詳細(xì)地通過(guò)優(yōu)選的實(shí)施例被進(jìn)一步闡明和描述，但是本發(fā)明不因此通過(guò)公開(kāi)的示例限制，并且可以由專(zhuān)業(yè)人員從中導(dǎo)出其他的變體，而不偏離本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.用于校準(zhǔn)車(chē)輛中的用于識(shí)別絕對(duì)視向的攝像機(jī)(500)的方法，其中至少一個(gè)其他元 件(100、200、300、400)與攝像機(jī)(500)以固定的空間幾何關(guān)系被布置，其中所述校準(zhǔn)借助于 在攝像機(jī)(500)的圖像中探測(cè)至少一個(gè)相對(duì)的視向改變進(jìn)行，其中用戶朝向所述其他元件 (100、200、300、400)改變其視線，其特征在于，根據(jù)用戶的至少一個(gè)行動(dòng)來(lái)探測(cè)，進(jìn)行了或 者將進(jìn)行用戶的相對(duì)的視向改變。2.按照權(quán)利要求1所述的方法，其中所述方法包括在使用相對(duì)的視向改變和固定的空 間幾何關(guān)系的情況下測(cè)定絕對(duì)視向。3.按照權(quán)利要求2所述的方法，其中為了測(cè)定絕對(duì)視向，考慮來(lái)自帶端校準(zhǔn)的攝像機(jī) (500)的攝像機(jī)參數(shù)。4.按照權(quán)利要求2或3所述的方法，其中多個(gè)絕對(duì)視向被測(cè)定，所述多個(gè)絕對(duì)視向被考 慮用于校準(zhǔn)視向識(shí)別。5.按照權(quán)利要求2至4之一所述的方法，其中所述校準(zhǔn)包括在由攝像機(jī)(500)記錄的圖 像中確定頭部位置和眼睛位置，和根據(jù)所確定的頭部位置和確定的眼睛位置測(cè)定相對(duì)的視 向改變。6.按照權(quán)利要求1至5之一所述的方法，其中所述其他元件(100、200、300、400)包括收 音機(jī)、汽車(chē)導(dǎo)航系統(tǒng)和/或空調(diào)設(shè)備，并且所述行動(dòng)可以包括對(duì)按鍵、觸摸板和/或觸摸屏的 操作。7.按照權(quán)利要求1至5之一所述的方法，其中所述其他元件(100、200、300、400)包括后 視鏡和/或屏幕并且所述行動(dòng)包括行駛機(jī)動(dòng)動(dòng)作。8.按照權(quán)利要求1至7之一所述的方法，其中所述方法包括使攝像機(jī)(500)的視頻時(shí)間 戳與其他元件(1〇〇、200、300、400)的操作事件和/或顯示事件同步，所述操作事件和/或顯 示事件觸發(fā)所述行動(dòng)或者通過(guò)所述行動(dòng)被觸發(fā)。9.用于具有攝像機(jī)(500)和至少一個(gè)其他元件(100、200、300、400)的機(jī)動(dòng)車(chē)輛的設(shè)備 (600 )，所述其他元件(100、200、300、400)與攝像機(jī)(500)以固定的空間幾何關(guān)系被布置，其 中所述設(shè)備(600)被設(shè)立用于，實(shí)施按照上述權(quán)利要求之一所述的方法的步驟。10.計(jì)算機(jī)程序產(chǎn)品，具有用于當(dāng)所述程序在車(chē)輛的控制設(shè)備(600)上被實(shí)施時(shí)執(zhí)行按 照權(quán)利要求1至8之一所述的方法的計(jì)算機(jī)可實(shí)施的程序代碼，其中所述車(chē)輛包括攝像機(jī)和 與攝像機(jī)(500)處于固定空間幾何關(guān)系的至少一個(gè)其他元件(100、200、300、400)。
【文檔編號(hào)】B60R1/00GK105966311SQ201610132113
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年3月9日
【發(fā)明人】W.尼姆
【申請(qǐng)人】羅伯特·博世有限公司