雙目ar頭戴顯示設(shè)備及其信息顯示方法
【專利摘要】本發(fā)明公開(kāi)了一種雙目AR頭戴設(shè)備的信息顯示方法,在頭戴設(shè)備內(nèi)預(yù)置映射關(guān)系fc→s和fd→i的前提下，通過(guò)圖像跟蹤方法實(shí)時(shí)獲取目標(biāo)物體在攝像機(jī)拍攝的圖像上的位置，并映射到頭戴設(shè)備的屏幕坐標(biāo)系，計(jì)算出左像/右像的顯示位置；然后通過(guò)單目測(cè)距的方法，利用攝像機(jī)成像比例實(shí)時(shí)計(jì)算目標(biāo)物體與攝像機(jī)之間的距離，從而計(jì)算出左右像間距，繼而計(jì)算另一側(cè)像的顯示位置，相應(yīng)的,本發(fā)明還提供了一種雙目AR頭戴設(shè)備的信息顯示方法及增強(qiáng)現(xiàn)實(shí)信息顯示系統(tǒng),本發(fā)明方法可靠性高且成本低。傳統(tǒng)景深調(diào)節(jié)均是從改變光學(xué)原件像距入手，本發(fā)明打破傳統(tǒng)思維，不改變光學(xué)器件結(jié)構(gòu)，通過(guò)計(jì)算左右像顯示位置實(shí)現(xiàn)調(diào)節(jié)景深，具有開(kāi)創(chuàng)性，且相比改變光學(xué)焦距，更具有實(shí)用性。
【專利說(shuō)明】
雙目AR頭戴顯示設(shè)備及其信息顯示方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及頭戴顯示技術(shù)領(lǐng)域，尤其設(shè)及雙目AR頭戴顯示設(shè)備及其信息顯示方 法。
【背景技術(shù)】
[0002] 隨著穿戴設(shè)備的興起，各種頭戴顯示設(shè)備成為各大巨頭公司的研發(fā)熱點(diǎn)，逐漸進(jìn) 入人們的視野。頭戴顯示設(shè)備是增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality Technique,簡(jiǎn)稱AR) 的最佳運(yùn)用環(huán)境，其能將虛擬信息通過(guò)頭戴設(shè)備窗口呈現(xiàn)在真實(shí)環(huán)境中，但是目前多數(shù)現(xiàn) 有AR頭戴顯示設(shè)備，其AR信息疊加僅考慮與目標(biāo)位置Χ、Υ軸坐標(biāo)的相關(guān)性，而未計(jì)算目標(biāo) 的深度信息，使得虛擬信息漂浮在人眼前方，與環(huán)境融合度不高，用戶體驗(yàn)度欠佳。且當(dāng)用 戶視線在目標(biāo)物體和所疊加的AR信息之間切換時(shí)，由于二者在用戶的視覺(jué)范圍內(nèi)的深度 不同，須要頻繁調(diào)節(jié)眼睛的焦距來(lái)看清其內(nèi)容，會(huì)造成用戶眼睛負(fù)擔(dān)加重，長(zhǎng)時(shí)間使用會(huì)感 覺(jué)不適。
[0003] 現(xiàn)有技術(shù)中，也有在頭戴設(shè)備上調(diào)節(jié)景深的方法，大多都是采用機(jī)械方式調(diào)節(jié)光 學(xué)透鏡組的光學(xué)結(jié)構(gòu)，從而改變光學(xué)原件像距，進(jìn)而實(shí)現(xiàn)虛像景深調(diào)節(jié)，運(yùn)種方式使得頭戴 設(shè)備體積大、成本高且精度難控制。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種增強(qiáng)現(xiàn)實(shí)信息顯示系統(tǒng)、一種雙目AR頭戴顯示設(shè)備及 其信息顯示方法，W簡(jiǎn)單、低成本的方式實(shí)現(xiàn)自動(dòng)調(diào)節(jié)虛擬信息景深，使虛擬信息與環(huán)境完 全融合。 陽(yáng)〇化]為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種雙目AR頭戴設(shè)備的信息顯示方法，所 述頭戴設(shè)備內(nèi)預(yù)存有攝像機(jī)-屏幕映射關(guān)系f。^，^及左右像等效中屯、間距(11與虛像距人 眼距離Ln之間的映射關(guān)系fd^i;所述信息顯示方法包括：
[0006] 將攝像機(jī)拍攝的圖像上傳至服務(wù)器進(jìn)行圖像檢索；
[0007] 接收服務(wù)器返回的檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體 在上傳圖像中的位置數(shù)據(jù)0Λ /)、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息；
[000引 W (x°，/)為初始位置，對(duì)攝像機(jī)實(shí)時(shí)拍攝圖像中的目標(biāo)物體進(jìn)行跟蹤，若跟蹤成 功，則記錄當(dāng)前圖像中目標(biāo)物體的位置化及像素尺寸
[0009] 根據(jù)f。^將（X t，yt)映射到屏幕坐標(biāo)系，得到左像/右像在屏幕上的顯示位置；
[0010] 根據(jù)5,和，利用攝像機(jī)成像比例計(jì)算目標(biāo)物體與攝像機(jī)之間的距離〇t; W11] 將〇順值予山并根據(jù)f 4^計(jì)算出左右像等效中屯、間距d t;
[0012] 根據(jù)左像/右像位置及左右像等效中屯、間距dt，計(jì)算右像/左像在屏幕上的顯示 位置；
[0013] 在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛擬信息，或在左右像位置一定偏移位 置處顯示所述虛擬信息。
[0014] 優(yōu)選的，所述方法還包括根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì)攝像機(jī)拍攝的圖像進(jìn)行崎變校 正，在校正圖像基礎(chǔ)上進(jìn)行后續(xù)操作。
[0015] 優(yōu)選的，在目標(biāo)物體跟蹤成功后，根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì)當(dāng)前圖像進(jìn)行崎變校正， 在校正過(guò)的當(dāng)前圖像中計(jì)算目標(biāo)物體的位置W及像素尺寸、琴。
[0016] 優(yōu)選的，若服務(wù)器返回的檢索結(jié)果為檢索失敗，則間隔1秒~7秒向服務(wù)器上傳一 次攝像機(jī)拍攝的當(dāng)前圖像進(jìn)行檢索。
[0017] 優(yōu)選的，所述左右像等效中屯、間距(11與虛像距人眼距離Ln之間的映射關(guān)系f 為如下關(guān)系：
[0018]
[0019] 其中，D。為使用者瞳距，L 1為雙目距光學(xué)系統(tǒng)鏡組的等效距離，L為圖像顯示源距 光學(xué)系統(tǒng)鏡組的距離，f為光學(xué)系統(tǒng)鏡組焦距，d。為頭戴設(shè)備兩組光學(xué)系統(tǒng)的等效光軸間 距。
[0020] 相應(yīng)的，本發(fā)明還提供一種雙目AR頭戴顯示設(shè)備，包括光學(xué)模塊、圖像顯示屏、圖 像采集模塊、數(shù)據(jù)通訊模塊、跟蹤模塊和數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊內(nèi)預(yù)存有攝像 機(jī)-屏幕映射關(guān)系f。^^，^及左右像等效中屯、間距41與虛像距人眼距離Ln之間的映射關(guān) 系 fd-i;
[0021] 所述光學(xué)模塊包括至少一個(gè)光學(xué)透鏡，用戶透過(guò)光學(xué)模塊可同時(shí)看見(jiàn)外界環(huán)境和 圖像顯示屏上顯示的虛擬信息；
[0022] 所述圖像采集模塊，用于獲取攝像機(jī)拍攝的場(chǎng)景圖像，并將其轉(zhuǎn)換為灰度圖像；
[0023] 所述數(shù)據(jù)通訊模塊，用于將所述灰度圖像上傳至服務(wù)器進(jìn)行圖像檢索，并接收服 務(wù)器返回的檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體在上傳圖像中的 位置數(shù)據(jù)0Λ /)、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息；
[0024] 所述跟蹤模塊，W (x°，/)為初始位置，對(duì)攝像機(jī)實(shí)時(shí)拍攝圖像中的目標(biāo)物體進(jìn)行 跟蹤，若跟蹤成功，則記錄當(dāng)前圖像中目標(biāo)物體的位置化及像素尺寸
[00巧]所述數(shù)據(jù)處理模塊根據(jù)f。^將（X t，yt)映射到屏幕坐標(biāo)系，得到左像/右像在屏 幕上的顯示位置；
[0026] 所述數(shù)據(jù)處理模塊根據(jù)5郝.?，利用攝像機(jī)成像比例計(jì)算目標(biāo)物體與攝像機(jī)之間 的距離〇t，將賦值予Ln，再根據(jù)f 計(jì)算出左右像等效中屯、間距d t;最后根據(jù)左像/右 像位置及左右像等效中屯、間距dt，計(jì)算右像/左像在屏幕上的顯示位置；
[0027] 圖像顯示屏在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛擬信息，或在左右像位置 一定偏移位置處顯示所述虛擬信息。
[0028] 優(yōu)選的，所述圖像顯示屏為兩塊微型顯示屏，或所述圖像顯示屏為一塊整屏分左 右屏顯示。
[0029] 優(yōu)選的，所述頭戴顯示設(shè)備，還包括崎變校正模塊，用于對(duì)根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì) 攝像機(jī)拍攝圖像進(jìn)行崎變校正。
[0030] 優(yōu)選的，所述左右像等效中屯、間距(11與虛像距人眼距離Ln之間的映射關(guān)系f 為如下關(guān)系：
[0031]
[0032] 其中，D。為使用者瞳距，L 1為雙目距光學(xué)系統(tǒng)鏡組的等效距離，L為圖像顯示源距 光學(xué)系統(tǒng)鏡組的距離，f為光學(xué)系統(tǒng)鏡組焦距，d。為頭戴設(shè)備兩組光學(xué)系統(tǒng)的等效光軸間 距。
[0033] 相應(yīng)的，本發(fā)明還提供一種增強(qiáng)現(xiàn)實(shí)信息顯示系統(tǒng)，包括頭戴顯示設(shè)備和服務(wù)器， 服務(wù)器上存儲(chǔ)有目標(biāo)物體的樣本圖像、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息； 所述服務(wù)器接收到來(lái)自頭戴顯示設(shè)備的圖像檢索請(qǐng)求后，執(zhí)行圖像檢索，并向頭戴顯示設(shè) 備返回檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體在上傳圖像中的位置 數(shù)據(jù)0Λ/)、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息；所述頭戴顯示設(shè)備為上述 的雙目AR頭戴顯示設(shè)備。
[0034] 本發(fā)明方案簡(jiǎn)單，在頭戴設(shè)備內(nèi)預(yù)置映射關(guān)系f。^和fd^l的前提下，通過(guò)圖像 跟蹤方法實(shí)時(shí)獲取目標(biāo)物體在攝像機(jī)拍攝的圖像上的位置，并映射到頭戴設(shè)備的屏幕坐標(biāo) 系，計(jì)算出左像/右像的顯示位置；然后通過(guò)單目測(cè)距的方法，利用攝像機(jī)成像比例實(shí)時(shí)計(jì) 算目標(biāo)物體與攝像機(jī)之間的距離，從而計(jì)算出左右像間距，繼而計(jì)算出右像/左像的顯示 位置，本發(fā)明方法可靠性高且成本低。傳統(tǒng)景深調(diào)節(jié)均是從改變光學(xué)原件像距入手，本發(fā) 明打破傳統(tǒng)思維，不改變光學(xué)器件結(jié)構(gòu)，通過(guò)計(jì)算左右像顯示位置實(shí)現(xiàn)調(diào)節(jié)景深，具有開(kāi)創(chuàng) 性，且相比改變光學(xué)焦距，更具有實(shí)用性。
【附圖說(shuō)明】
[0035] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可 W根據(jù)運(yùn)些附圖獲得其他的附圖：
[0036] 圖1為本發(fā)明實(shí)施例雙目AR頭戴設(shè)備的信息顯示方法流程示意圖；
[0037] 圖2為攝像頭成像不意圖；
[0038] 圖3為頭戴顯示設(shè)備光學(xué)模塊布局方式一示意圖；
[0039] 圖4為圖3的左右像等效中屯、距離cP示意圖；
[0040] 圖5為頭戴顯示設(shè)備光學(xué)模塊布局方式二示意圖；
[0041] 圖6為圖5的左右像等效中屯、距離cP示意圖。
【具體實(shí)施方式】
[0042] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0043] AR :Au卵ented Reality,增強(qiáng)現(xiàn)實(shí)。
[0044] 攝像機(jī)-屏幕映射關(guān)系：通過(guò)離線標(biāo)定方式獲得，標(biāo)定方式為：目標(biāo)在攝像機(jī)拍攝 圖像中的坐標(biāo)，映射到光學(xué)模塊的屏幕上，與用戶通過(guò)透鏡看到的目標(biāo)位置重合，本發(fā)明方 案稱該映射關(guān)系為攝像機(jī) 屏巷映射關(guān)系，記為 W45] 左右像等效中屯、間距(11與虛像距人眼距離Ln之間的映射關(guān)系f 4^1:雙目頭戴設(shè) 備佩戴者通過(guò)左右眼分別觀察到左右兩幅虛擬圖像，當(dāng)左眼觀察左側(cè)虛擬圖像的視線與右 眼觀察右側(cè)虛擬圖像的視線在空間區(qū)域相匯，雙目觀察到的將是一幅重疊的并距觀察者一 定距離的虛擬畫面，此虛擬畫面距離人眼的距離Ln是由左右虛擬圖像分別與左右眼構(gòu)成 的空間視線矢量決定的。左右眼構(gòu)空間視線矢量又是由其觀看的目標(biāo)所決定，因此在雙目 頭戴設(shè)備上，左右兩組有效顯示圖像的中屯、點(diǎn)對(duì)坐標(biāo)又可W決定用戶左右眼構(gòu)成的空間視 線矢量，因此雙目頭戴設(shè)備中虛像的投影距離Ln與頭戴設(shè)備圖像源上左右像等效中屯、間 距(11之間存在對(duì)應(yīng)關(guān)系，本發(fā)明實(shí)施例稱運(yùn)一映射關(guān)系為f d^。
[0046] 由于本發(fā)明實(shí)施例提到了左右像等效中屯、間距，下面對(duì)其進(jìn)行定義：
[0047] 等效光軸：W人眼為出瞳的目視光學(xué)系統(tǒng)采用逆向光路設(shè)計(jì)系統(tǒng)時(shí)，W過(guò)出瞳中 屯、且垂直于出瞳面的軸線為等效光軸；
[0048] 等效圖象源顯示屏：在W人眼為出瞳的目視光學(xué)系統(tǒng)中，逆向追跡一過(guò)光軸的光 線，即此光線過(guò)出瞳中屯、且垂直于出瞳面，當(dāng)此光線第一次與光學(xué)面相交時(shí)，在相交點(diǎn)處做 一與此光學(xué)面相切的平面，此光學(xué)面之后的未追跡過(guò)的光學(xué)面W此平面為鏡面展開(kāi)（即W 此平面為鏡面，獲得此光學(xué)面之后的未追跡過(guò)的光學(xué)面的對(duì)稱像），在展開(kāi)后的光學(xué)系統(tǒng) 中，在未追跡過(guò)的光學(xué)面組成的系統(tǒng)中繼續(xù)追跡此光線；當(dāng)此光線第二次與光學(xué)面相交時(shí)， 在相交點(diǎn)處做一與此光學(xué)面相切的平面，此光學(xué)面之后的未追跡過(guò)的光學(xué)面W此平面為鏡 面展開(kāi)，如此依次展開(kāi)直至最后一面，至此可獲得展開(kāi)后的圖象源顯示屏的對(duì)稱像，此對(duì)稱 像為等效圖象源顯示屏。
[0049] 定義左右兩組等效顯示屏上有效顯示信息的中屯、距離為左右像等效中屯、間距 cT，。本領(lǐng)域技術(shù)人員可W理解，圖像顯示屏左右顯示的信息需要能夠疊加，必須使左右兩 組等效顯示屏上有效顯示信息的中屯、點(diǎn)連線與0S軸垂直，因此本發(fā)明提到的左右像等效 中屯、距離dt，均指與左右中屯、點(diǎn)連線與0S軸垂直情況下的間距。
[0050] 參見(jiàn)圖3~圖6,若頭戴顯示光學(xué)模塊采用圖3所示的布局（圖像顯示源1位于人 眼上方，圖像顯示源1發(fā)出的光線經(jīng)放大系統(tǒng)2后，由可透可反鏡3反射入人眼4)，則放大 系統(tǒng)的等效中屯、距d。，左右像等效中屯、間距dt參見(jiàn)圖4所示，其中11、12為左右圖像顯示 源，21、21我左右放大系統(tǒng)，D為瞳距；若頭戴顯示光學(xué)模塊采用圖5所示的布局（圖像顯示 源11、12位于人眼兩側(cè)）則放大系統(tǒng)的等效中屯、距d。，左右像等效中屯、間距dt參見(jiàn)圖6所 /J、- 〇
[0051] 本發(fā)明頭戴設(shè)備內(nèi)需要預(yù)存攝像機(jī)-屏幕映射關(guān)系f。^化及左右像等效中屯、間 距dt與虛像距人眼距離Ln之間的映射關(guān)系fd^i;參見(jiàn)圖1為本發(fā)明實(shí)施例雙目AR頭戴設(shè) 備的信息顯示方法流程示意圖，包括如下步驟：
[0052] S101 :將攝像機(jī)拍攝的圖像上傳至服務(wù)器進(jìn)行圖像檢索；為了節(jié)約開(kāi)銷，可W先 將攝像機(jī)拍攝的圖像轉(zhuǎn)換為灰度圖像，再將灰度圖像上傳至服務(wù)器做圖像檢索，找出灰度 圖像中的目標(biāo)物體；
[0053] S102:接收服務(wù)器返回的檢索結(jié)果，若檢索成功，則返回的檢索結(jié)果包含檢索成功 的目標(biāo)物體在上傳圖像中的位置數(shù)據(jù)ΟΛ /)、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛 擬信息，進(jìn)入步驟S103 ;若檢索失敗，則重復(fù)執(zhí)行步驟101，為減少服務(wù)器壓力，可設(shè)置再 次上傳圖像做檢索的時(shí)間間隔為1~7秒（時(shí)間間隔太長(zhǎng)會(huì)增加用戶的等待時(shí)間，體驗(yàn)不 佳）；
[0054] S103 : W 0Λ /)為初始位置，對(duì)攝像機(jī)實(shí)時(shí)拍攝圖像中的目標(biāo)物體進(jìn)行跟蹤，若 跟蹤成功，則記錄當(dāng)前圖像中目標(biāo)物體的位置yt) W及像素尺寸sj;若跟蹤失敗，則重 復(fù)步驟S101~S102 ; 陽(yáng)化5] S104:根據(jù)f。^將yt)映射到屏幕坐標(biāo)系，得到左像在屏幕上的顯示位置 (球化中t表示時(shí)間：
[0056]
[0057] S105 :根據(jù)5濟(jì)，利用攝像機(jī)成像比例計(jì)算目標(biāo)物體與攝像機(jī)之間的距離〇t; 參見(jiàn)圖2,為攝像頭成像示意圖，AB為物，A'B'為像，記物距OB為U，像距OB'為V，令物長(zhǎng) AB = X，像長(zhǎng)A' B' = y，則由Ξ角形相似關(guān)系可得：
W60] 當(dāng)攝像頭焦距固定時(shí)，根據(jù)上式即可計(jì)算出物距。本實(shí)施例中：目標(biāo)物體與攝像 機(jī)之間的距離即為物距，目標(biāo)物體的實(shí)際尺寸Sf即為物長(zhǎng)，目標(biāo)物的像素尺寸即為像 長(zhǎng)。像距V由攝像頭內(nèi)部光學(xué)結(jié)構(gòu)確定，攝像頭光學(xué)結(jié)構(gòu)確定后，像距V即為定值，其測(cè)量 時(shí)可測(cè)量一組x，y數(shù)據(jù)進(jìn)行多項(xiàng)式擬合。且由于攝像頭拍攝的圖像存在徑向崎變和切向崎 變，尤其在圖像邊緣崎變程度更為明顯，上式計(jì)算會(huì)存在一定誤差（對(duì)圖像進(jìn)行崎變校正 會(huì)減小該誤差），因此測(cè)量大量數(shù)據(jù)進(jìn)行擬合，擬合出1階或更高階的多項(xiàng)式，測(cè)距結(jié)果會(huì) 更加精確。 陽(yáng)OW] S106 :將賦值予Ln，并根據(jù)f 計(jì)算出左右像等效中屯、間距cT: W62] dt=fd^i0t)
[0063] S107:根據(jù)左像位置及左右像等效中屯、間距dt，計(jì)算右像在屏幕上的顯示位置 轅消;
[0064]
W65] S108 :顯示AR信息：在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛擬信息，或在左 右像位置一定偏移位置處顯示所述虛擬信息。在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛 擬信息時(shí)，使用者通過(guò)頭戴設(shè)備可在目標(biāo)物位置上看到虛擬信息；在左右像位置一定偏移 位置處顯示所述虛擬信息，使用者通過(guò)頭戴設(shè)備可在目標(biāo)物旁邊看到虛擬信息，設(shè)置一定 的偏移量可W將虛擬信息顯示在目標(biāo)物旁邊，W免遮擋目標(biāo)物，更符合用戶習(xí)慣。在偏移時(shí) 注意左右虛擬信息的信息源圖像必須保持同步偏移，即左右信息源圖像中屯、間距和相對(duì)位 置保持不變，僅其在圖像顯示源上的位置發(fā)生改變。
[0066] 本實(shí)施例中，攝像機(jī)-屏幕映射關(guān)系f。^若為攝像機(jī)與左屏的映射關(guān)系，則步驟 S104首先得到左像位置，再根據(jù)S107步驟計(jì)算右像位置；若攝像機(jī)-屏幕映射關(guān)系t ^ 為攝像機(jī)與右屏的映射關(guān)系，則步驟S104首先得到右像位置，再根據(jù)S107步驟計(jì)算左像位 置，權(quán)利要求中"/"表示"或"。
[0067] 本實(shí)施例中，所述左右像等效中屯、間距cT與虛像距人眼距離Ln之間的映射關(guān)系 可W為如下關(guān)系：
[0068]
[0069] 其中，D。為使用者瞳距，L 1為雙目距光學(xué)系統(tǒng)鏡組的等效距離，L為圖像顯示源距 光學(xué)系統(tǒng)鏡組的距離，f為光學(xué)系統(tǒng)鏡組焦距，d。為頭戴設(shè)備兩組光學(xué)系統(tǒng)的等效光軸間 距。當(dāng)頭戴顯示設(shè)備結(jié)構(gòu)固定后，使用者瞳距D。、雙目距光學(xué)系統(tǒng)鏡組的等效距離L1、圖像 顯示源距光學(xué)系統(tǒng)鏡組的距離^兩組光學(xué)系統(tǒng)的等效光軸間距do W及光學(xué)系統(tǒng)鏡組焦距 f通常會(huì)為固定值，此時(shí)虛像距人眼距離Ln就僅與左右兩組有效顯示信息的等效中屯、距離 d*相關(guān)。
[0070] 由于攝像頭拍攝的圖像存在徑向崎變和切向崎變，尤其在圖像邊緣崎變程度更為 明顯，根據(jù)圖1方法計(jì)算位置存在一定誤差（誤差最大的是S103步驟計(jì)算像素尺寸），在步 驟S101中，還包括根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì)攝像機(jī)拍攝的圖像進(jìn)行崎變校正，在校正圖像基 礎(chǔ)上進(jìn)行后續(xù)操作。但是此種方式對(duì)攝像機(jī)拍攝的所有圖像都要進(jìn)行崎變校正，開(kāi)銷過(guò)大， 另一種方式為：在目標(biāo)物體跟蹤成功后，根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì)當(dāng)前圖像進(jìn)行崎變校正，在 校正過(guò)的當(dāng)前圖像中計(jì)算目標(biāo)物體的位置W及像素尺寸
[0071] 本發(fā)明實(shí)施例還提供一種與上述信息顯示方法對(duì)應(yīng)的雙目AR頭戴顯示設(shè)備，包 括光學(xué)模塊、圖像顯示屏、圖像采集模塊、數(shù)據(jù)通訊模塊、跟蹤模塊和數(shù)據(jù)處理模塊，所述數(shù) 據(jù)處理模塊內(nèi)預(yù)存有攝像機(jī)-屏幕映射關(guān)系f。^，^及左右像等效中屯、間距(11與虛像距人 眼距離Ln之間的映射關(guān)系fd^i;所述映射關(guān)系f 同樣可W為公式1. 1 ;
[0072] 所述光學(xué)模塊包括至少一個(gè)光學(xué)透鏡，用戶透過(guò)光學(xué)模塊可同時(shí)看見(jiàn)外界環(huán)境和 圖像顯示屏上顯示的虛擬信息；
[0073] 所述圖像采集模塊，用于獲取攝像機(jī)拍攝的場(chǎng)景圖像，并將其轉(zhuǎn)換為灰度圖像；
[0074] 所述數(shù)據(jù)通訊模塊，用于將所述灰度圖像上傳至服務(wù)器進(jìn)行圖像檢索，并接收服 務(wù)器返回的檢索結(jié)果，檢索結(jié)果分檢索成功和檢索失敗，無(wú)論成功與否，數(shù)據(jù)通訊模塊都會(huì) 接到來(lái)自服務(wù)器的檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體在上傳圖 像中的位置數(shù)據(jù)0Λ /)、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息；
[0075] 所述跟蹤模塊，W (x°，/)為初始位置，對(duì)攝像機(jī)實(shí)時(shí)拍攝圖像中的目標(biāo)物體進(jìn)行 跟蹤，若跟蹤成功，則記錄當(dāng)前圖像中目標(biāo)物體的位置化及像素尺寸
[0076] 所述數(shù)據(jù)處理模塊根據(jù)f。^將（X t，yt)映射到屏幕坐標(biāo)系，得到左像/右像在屏 幕上的顯示位置；
[0077] 所述數(shù)據(jù)處理模塊根據(jù)Sf和:?，利用攝像機(jī)成像比例計(jì)算目標(biāo)物體與攝像機(jī)之 間的距離〇t，將賦值予Ln，再根據(jù)f 1計(jì)算出左右像等效中屯、間距d t;最后根據(jù)左像/ 右像位置及左右像等效中屯、間距dt，計(jì)算右像/左像在屏幕上的顯示位置；
[0078] 圖像顯示屏在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛擬信息，或在左右像位置 一定偏移位置處顯示所述虛擬信息。
[0079] 所述圖像顯示屏為兩塊微型顯示屏，或所述圖像顯示屏為一塊整屏分左右屏顯 /J、- 〇
[0080] 優(yōu)選的，所述頭戴顯示設(shè)備還包括崎變校正模塊，用于對(duì)根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì) 攝像機(jī)拍攝圖像進(jìn)行崎變校正。崎變校正包括兩種方式：1)對(duì)攝像機(jī)拍攝的所有圖像都要 進(jìn)行崎變校正，在校正圖像基礎(chǔ)上進(jìn)行后續(xù)操作；2)在目標(biāo)物體跟蹤成功后，根據(jù)攝像機(jī) 內(nèi)部參數(shù)對(duì)當(dāng)前圖像進(jìn)行崎變校正，在校正過(guò)的當(dāng)前圖像中計(jì)算目標(biāo)物體的位置（x% yt) W及像素尺寸、
[0081] 相應(yīng)的，本發(fā)明實(shí)施例還提供一種增強(qiáng)現(xiàn)實(shí)信息顯示系統(tǒng)，包括頭戴顯示設(shè)備和 服務(wù)器，所述頭戴顯示設(shè)備為上述實(shí)施例所述的雙目AR頭戴顯示設(shè)備，服務(wù)器上存儲(chǔ)有目 標(biāo)物體的樣本圖像、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息；所述服務(wù)器接收到 來(lái)自頭戴顯示設(shè)備的圖像檢索請(qǐng)求后，執(zhí)行圖像檢索，并向頭戴顯示設(shè)備返回檢索結(jié)果，檢 索結(jié)果包括檢索成功和檢索失敗，無(wú)論成功與否，服務(wù)器都會(huì)向頭戴顯示設(shè)備返回檢索結(jié) 果，若檢索成功，則向頭戴顯示設(shè)備返回的檢索結(jié)果包含檢索成功的目標(biāo)物體在上傳圖像 中的位置數(shù)據(jù)0Λ /)、目標(biāo)物體的實(shí)際尺寸Sf及目標(biāo)物相關(guān)的虛擬信息。
[0082] 本發(fā)明實(shí)施例中，映射關(guān)系可W通過(guò)光學(xué)和空間幾何學(xué)理論推導(dǎo)為公式1. 1， 還可W是通過(guò)離線標(biāo)定方式獲得，標(biāo)定方式為在圖像顯示源上左右顯示標(biāo)定圖樣，眼動(dòng)跟 蹤系統(tǒng)記錄使用者注視投影在人眼前方的重疊標(biāo)定圖時(shí)的眼球視線矢量，記錄眼球視線矢 量與標(biāo)定圖樣坐標(biāo)間的關(guān)系，根據(jù)標(biāo)定圖樣坐標(biāo)可W計(jì)算Ln，根據(jù)眼球視線矢量可W計(jì)算 〇t，多人進(jìn)行多組測(cè)試得到多組數(shù)據(jù)，由多組數(shù)據(jù)擬合得到一個(gè)較為準(zhǔn)確的映射關(guān)系。
[0083] 本發(fā)明根據(jù)"虛擬畫面距離人眼的距離Ln等于目標(biāo)距使用者的垂直距離時(shí)，虛 擬畫面與目標(biāo)物即具有一致的空間位置"運(yùn)一理論，實(shí)現(xiàn)將虛擬信息精確疊加到目標(biāo)物位 置附近，使虛擬信息與環(huán)境高度融合，實(shí)現(xiàn)真正意義上的增強(qiáng)虛擬現(xiàn)實(shí)。本發(fā)明方案簡(jiǎn)單， 在頭戴設(shè)備內(nèi)預(yù)置映射關(guān)系f。^和f 4^1的前提下，通過(guò)圖像跟蹤方法實(shí)時(shí)獲取目標(biāo)物體 在攝像機(jī)拍攝的圖像上的位置，并映射到頭戴設(shè)備的屏幕坐標(biāo)系，計(jì)算出左像/右像的顯 示位置；然后通過(guò)單目測(cè)距的方法，利用攝像機(jī)成像比例實(shí)時(shí)計(jì)算目標(biāo)物體與攝像機(jī)之間 的距離，從而計(jì)算出左右像間距，繼而計(jì)算出右像/左像的顯示位置，本發(fā)明方法可靠性高 且成本低。傳統(tǒng)景深調(diào)節(jié)均是從改變光學(xué)原件像距入手，本發(fā)明打破傳統(tǒng)思維，不改變光學(xué) 器件結(jié)構(gòu)，通過(guò)計(jì)算左右像顯示位置實(shí)現(xiàn)調(diào)節(jié)景深，具有開(kāi)創(chuàng)性，且相比改變光學(xué)焦距，更 具有實(shí)用性。
[0084] 本說(shuō)明書中公開(kāi)的所有特征，或公開(kāi)的所有方法或過(guò)程中的步驟，除了互相排斥 的特征和/或步驟W外，均可任何方式組合。
[0085] 本說(shuō)明書（包括任何附加權(quán)利要求、摘要和附圖）中公開(kāi)的任一特征，除非特別敘 述，均可被其他等效或具有類似目的的替代特征加 W替換。目P，除非特別敘述，每個(gè)特征只 是一系列等效或類似特征中的一個(gè)例子而已。
[0086] 本發(fā)明并不局限于前述的【具體實(shí)施方式】。本發(fā)明擴(kuò)展到任何在本說(shuō)明書中披露的 新特征或任何新的組合，w及披露的任一新的方法或過(guò)程的步驟或任何新的組合。
【主權(quán)項(xiàng)】
1. 一種雙目AR頭戴設(shè)備的信息顯示方法，其特征在于，所述頭戴設(shè)備內(nèi)預(yù)存有攝像 機(jī)-屏幕映射關(guān)系，以及左右像等效中心間距cT與虛像距人眼距離Ln之間的映射關(guān) 系f d_1;所述信息顯示方法包括： 將攝像機(jī)拍攝的圖像上傳至服務(wù)器進(jìn)行圖像檢索； 接收服務(wù)器返回的檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體在上 傳圖像中的位置數(shù)據(jù)（x°，y°)、目標(biāo)物體的實(shí)際尺寸&及目標(biāo)物相關(guān)的虛擬信息； 以（x°，y°)為初始位置，對(duì)攝像機(jī)實(shí)時(shí)拍攝圖像中的目標(biāo)物體進(jìn)行跟蹤，若跟蹤成功， 則記錄當(dāng)前圖像中目標(biāo)物體的位置（xSyt)以及像素尺寸 根據(jù)f_s將（X % y)映射到屏幕坐標(biāo)系，得到左像/右像在屏幕上的顯示位置； 根據(jù)&和利用攝像機(jī)成像比例計(jì)算目標(biāo)物體與攝像機(jī)之間的距離DN 將D1武值予Ln，并根據(jù)f ^ i計(jì)算出左右像等效中心間距d N 根據(jù)左像/右像位置及左右像等效中心間距d%計(jì)算右像/左像在屏幕上的顯示位置； 在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛擬信息，或在左右像位置一定偏移位置處 顯示所述虛擬信息。2. 如權(quán)利要求1所述的方法，其特征在于，所述方法還包括根據(jù)攝像機(jī)內(nèi)部參數(shù)對(duì)攝 像機(jī)拍攝的圖像進(jìn)行畸變校正，在校正圖像基礎(chǔ)上進(jìn)行后續(xù)操作。3. 如權(quán)利要求1所述的方法，其特征在于，在目標(biāo)物體跟蹤成功后，根據(jù)攝像機(jī)內(nèi)部參 數(shù)對(duì)當(dāng)前圖像進(jìn)行畸變校正，在校正過(guò)的當(dāng)前圖像中計(jì)算目標(biāo)物體的位置（χ\ y)以及像 素尺寸。4. 如權(quán)利要求1所述的方法，其特征在于，若服務(wù)器返回的檢索結(jié)果為檢索失敗，則間 隔1秒~7秒向服務(wù)器上傳一次攝像機(jī)拍攝的當(dāng)前圖像進(jìn)行檢索。5. 如權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述左右像等效中心間距d 1與 虛像距人眼距離Ln之間的映射關(guān)系為如下關(guān)系：其中，D。為使用者瞳距，L 雙目距光學(xué)系統(tǒng)鏡組的等效距離，L為圖像顯示源距光學(xué) 系統(tǒng)鏡組的距離，f為光學(xué)系統(tǒng)鏡組焦距，d。為頭戴設(shè)備兩組光學(xué)系統(tǒng)的等效光軸間距。6. -種雙目AR頭戴顯示設(shè)備，其特征在于，包括光學(xué)模塊、圖像顯示屏、圖像采集模 塊、數(shù)據(jù)通訊模塊、跟蹤模塊和數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊內(nèi)預(yù)存有攝像機(jī)-屏幕映 射關(guān)系f。^，以及左右像等效中心間距cT與虛像距人眼距離Ln之間的映射關(guān)系f d_1; 所述光學(xué)模塊包括至少一個(gè)光學(xué)透鏡，用戶透過(guò)光學(xué)模塊可同時(shí)看見(jiàn)外界環(huán)境和圖像 顯示屏上顯示的虛擬信息； 所述圖像采集模塊，用于獲取攝像機(jī)拍攝的場(chǎng)景圖像，并將其轉(zhuǎn)換為灰度圖像； 所述數(shù)據(jù)通訊模塊，用于將所述灰度圖像上傳至服務(wù)器進(jìn)行圖像檢索，并接收服務(wù)器 返回的檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體在上傳圖像中的位置 數(shù)據(jù)（x°，/)、目標(biāo)物體的實(shí)際尺寸&及目標(biāo)物相關(guān)的虛擬信息； 所述跟蹤模塊，以（x°，y°)為初始位置，對(duì)攝像機(jī)實(shí)時(shí)拍攝圖像中的目標(biāo)物體進(jìn)行跟 蹤，若跟蹤成功，則記錄當(dāng)前圖像中目標(biāo)物體的位置（xSyt)以及像素尺寸 所述數(shù)據(jù)處理模塊根據(jù)將US y)映射到屏幕坐標(biāo)系，得到左像/右像在屏幕上 的顯示位置； 所述數(shù)據(jù)處理模塊根據(jù)&和S|，利用攝像機(jī)成像比例計(jì)算目標(biāo)物體與攝像機(jī)之間的 距離〇\將Dt賦值予Ln，再根據(jù)f 計(jì)算出左右像等效中心間距d N最后根據(jù)左像/右像 位置及左右像等效中心間距d%計(jì)算右像/左像在屏幕上的顯示位置； 圖像顯示屏在左右像位置分別顯示所述目標(biāo)物相關(guān)的虛擬信息，或在左右像位置一定 偏移位置處顯示所述虛擬信息。7. 如權(quán)利要求5所述的頭戴顯示設(shè)備，其特征在于，所述圖像顯示屏為兩塊微型顯示 屏，或所述圖像顯示屏為一塊整屏分左右屏顯示。8. 如權(quán)利要求6所述的頭戴顯示設(shè)備，其特征在于，還包括畸變校正模塊，用于對(duì)根據(jù) 攝像機(jī)內(nèi)部參數(shù)對(duì)攝像機(jī)拍攝圖像進(jìn)行畸變校正。9. 如權(quán)利要求7至9任一項(xiàng)所述的頭戴顯示設(shè)備，其特征在于，所述左右像等效中心間 距cT與虛像距人眼距離Ln之間的映射關(guān)系f 為如下關(guān)系：其中，D。為使用者瞳距，L 雙目距光學(xué)系統(tǒng)鏡組的等效距離，L為圖像顯示源距光學(xué) 系統(tǒng)鏡組的距離，f為光學(xué)系統(tǒng)鏡組焦距，d。為頭戴設(shè)備兩組光學(xué)系統(tǒng)的等效光軸間距。10. -種增強(qiáng)現(xiàn)實(shí)信息顯示系統(tǒng)，包括頭戴顯示設(shè)備和服務(wù)器，其中：服務(wù)器上存儲(chǔ)有 目標(biāo)物體的樣本圖像、目標(biāo)物體的實(shí)際尺寸&及目標(biāo)物相關(guān)的虛擬信息； 所述服務(wù)器接收到來(lái)自頭戴顯示設(shè)備的圖像檢索請(qǐng)求后，執(zhí)行圖像檢索，并向頭戴顯 示設(shè)備返回檢索結(jié)果，若檢索成功，則檢索結(jié)果包含檢索成功的目標(biāo)物體在上傳圖像中的 位置數(shù)據(jù)（x°，y°)、目標(biāo)物體的實(shí)際尺寸&及目標(biāo)物相關(guān)的虛擬信息； 所述頭戴顯示設(shè)備為權(quán)利要求6至9任一項(xiàng)所述的雙目AR頭戴顯示設(shè)備。
【文檔編號(hào)】H04N13/04GK105872526SQ201510029392
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2015年1月21日
【發(fā)明人】柳寅秋, 黃琴華, 劉洋, 李薪宇, 宋海濤
【申請(qǐng)人】成都理想境界科技有限公司