本發(fā)明涉及用于生成寬視角圖像的裝置和方法。

背景技術(shù)：

實(shí)踐中連接到游戲機(jī)的HMD(頭戴式顯示器)單元安放在用戶的頭上，以允許用戶操作控制器等來(lái)玩游戲，同時(shí)觀看在頭戴式顯示單元上顯示的屏幕圖像。在連接到游戲機(jī)的普通靜態(tài)型顯示單元中，用戶的視場(chǎng)范圍也擴(kuò)展到顯示單元的屏幕圖像的外部側(cè)，并且因此用戶可能沒(méi)有集中于顯示單元的屏幕圖像上，或者有時(shí)缺乏游戲中的沉浸式體驗(yàn)。在這點(diǎn)上，在頭戴式顯示單元安放在用戶上時(shí)，因?yàn)橛脩舫嗽陬^戴式顯示單元上顯示的視頻外不能觀看任何其他，所以存在增強(qiáng)視頻世界中的沉浸式體驗(yàn)并且進(jìn)一步增強(qiáng)游戲的娛樂(lè)價(jià)值的效果。

此外，如果在頭戴式顯示單元上顯示全景圖像，使得如果穿戴頭戴式顯示單元的用戶旋轉(zhuǎn)頭部，那么顯示全景圖像或虛擬空間超過(guò)360度，那么進(jìn)一步增強(qiáng)視頻中的沉浸式體驗(yàn)，并且還改善諸如游戲的應(yīng)用的可操作性。

技術(shù)實(shí)現(xiàn)要素：

[技術(shù)問(wèn)題]

在顯示寬視角的圖像的頭戴式顯示設(shè)備中，因?yàn)槲锢砩想y以實(shí)現(xiàn)通過(guò)其完全移除設(shè)備中諸如透鏡的光學(xué)系統(tǒng)的畸變的配置，所以設(shè)備中圖像顯示單元的每個(gè)像素的顯示位置與通過(guò)光學(xué)系統(tǒng)的觀看者的顯示位置之間的對(duì)應(yīng)關(guān)系常常變?yōu)榉蔷€性。特別地，因?yàn)樯鲜鰧?duì)應(yīng)關(guān)系由于光學(xué)系統(tǒng)的特性中的差別而在不同的頭戴式顯示設(shè)備之間不同，所以為了生成適于每個(gè)獨(dú)立的頭戴式顯示單元的圖像，需要不同設(shè)備之間不同的圖像轉(zhuǎn)換。

目前，采用這樣的系統(tǒng)，其中諸如游戲機(jī)或個(gè)人計(jì)算機(jī)的圖像生成裝置側(cè)以適于頭戴式顯示設(shè)備的特性的格式生成圖像，并且將生成的圖像傳送到頭戴式顯示單元。然而，在描述的系統(tǒng)的情況下，隨著今后頭戴式顯示設(shè)備的類型的數(shù)目增加，變得需要圖像生成裝置側(cè)分別根據(jù)每個(gè)獨(dú)立的頭戴式顯示單元生成圖像，并且變得難以處理。盡管目前存在提供頭戴式顯示單元的若干廠商，但是因?yàn)椴淮嬖诟黝^戴式顯示單元公共的圖像傳輸格式，目前的情況是必須根據(jù)每個(gè)獨(dú)立的頭戴式顯示設(shè)備的特性生成圖像。

另一方面，如果照原樣壓縮并且傳輸諸如由圖像生成裝置側(cè)生成的全景圖像的寬視角圖像，然后根據(jù)光學(xué)特性轉(zhuǎn)換并且由頭戴式顯示單元側(cè)顯示，那么取決于向視點(diǎn)進(jìn)行的光線的方向在角分辨率中出現(xiàn)偏差，并且在圖像的中心區(qū)域中明顯畫(huà)面質(zhì)量劣化。這是當(dāng)以寬視角觀看其分辨率在整體屏幕圖像上均勻的圖像時(shí)出現(xiàn)的現(xiàn)象，并且可能不但對(duì)于頭戴式顯示單元而且對(duì)于水平延長(zhǎng)或垂直延長(zhǎng)型的顯示單元成為問(wèn)題。

已經(jīng)鑒于上述這種問(wèn)題做出本發(fā)明，并且本發(fā)明的目的是提供一種圖像生成裝置和圖像生成方法，其能夠生成適于由頭戴式顯示單元等顯示的寬視角圖像。

[對(duì)于問(wèn)題的解決方案]

為了解決上述問(wèn)題，根據(jù)本發(fā)明的一個(gè)方面的圖像生成裝置包括：圖像生成單元，被配置為生成從給定視點(diǎn)觀看的圖像；以及圖像轉(zhuǎn)換單元，被配置為將所生成的圖像轉(zhuǎn)換為傳輸格式的圖像，其中響應(yīng)于朝向所述視點(diǎn)的光線方向，調(diào)整作為以所述視點(diǎn)為中心的每單位角度的像素的數(shù)量的角分辨率。

本發(fā)明的另一方面是一種圖像生成裝置。該裝置包括：光線跟蹤單元，被配置為沿相反方向跟蹤指向給定視點(diǎn)的光線以渲染圖像。所述光線跟蹤單元以傳輸格式生成圖像，其中，響應(yīng)于朝向所述視點(diǎn)的光線方向，調(diào)整作為以所述視點(diǎn)為中心的每單位角度的像素的數(shù)量的角分辨率。

本發(fā)明的另一方面是一種圖像生成方法。該方法包括：圖像生成步驟，生成從給定視點(diǎn)觀看的圖像；以及圖像轉(zhuǎn)換步驟，將所生成的圖像轉(zhuǎn)換為傳輸格式的圖像，其中響應(yīng)于朝向所述視點(diǎn)的光線方向，調(diào)整作為以所述視點(diǎn)為中心的每單位角度的像素的數(shù)量的角分辨率。

本發(fā)明的又一方面是一種圖像生成方法。該方法包括：光線跟蹤步驟，沿相反方向跟蹤進(jìn)入給定視點(diǎn)的光線以渲染圖像。所述光線跟蹤步驟以傳輸格式生成圖像，其中，響應(yīng)于朝向所述視點(diǎn)的光線方向，調(diào)整作為以所述視點(diǎn)為中心的每單位角度的像素的數(shù)量的角分辨率。

應(yīng)當(dāng)注意，上述組件的任意組合和在方法，設(shè)備，系統(tǒng)，計(jì)算機(jī)程序，數(shù)據(jù)結(jié)構(gòu)，記錄介質(zhì)等之間轉(zhuǎn)換本發(fā)明的表示的結(jié)果作為本發(fā)明的方式是有效的。

[發(fā)明的有益效果]

根據(jù)本發(fā)明，可以生成適于在頭戴式顯示單元等上顯示的寬視角圖像。

附圖說(shuō)明

圖1是頭戴式顯示單元的外觀視圖。

圖2是頭戴式顯示單元的功能框圖。

圖3是描繪根據(jù)實(shí)施例的全景圖像生成系統(tǒng)的配置的視圖。

圖4是根據(jù)實(shí)施例的全景圖像生成裝置的功能框圖。

圖5是圖示在顯示平面上顯示的圖像的角分辨率的視圖。

圖6A是圖示在朝向視點(diǎn)的光線方向與顯示平面上的像素之間的位置上的關(guān)系的視圖。

圖6B是圖示圖像格式的視圖，其中布置像素使得角分辨率均勻而不管朝向視點(diǎn)的光線方向。

圖7A是圖示標(biāo)準(zhǔn)化格式的視圖，其中角分辨率均勻而不管朝向視點(diǎn)的光線方向。

圖7B是圖示標(biāo)準(zhǔn)化格式的視圖，其中角分辨率均勻而不管朝向視點(diǎn)的光線方向。

圖8A是圖示標(biāo)準(zhǔn)化格式的不同示例的視圖，其中角分辨率均勻而不管朝向視點(diǎn)的光線方向。

圖8B是圖示標(biāo)準(zhǔn)化格式的不同示例的視圖，其中角分辨率均勻而不管朝向視點(diǎn)的光線方向。

圖9是圖示通過(guò)本實(shí)施例的全景圖像生成系統(tǒng)的圖像生成和圖像傳輸?shù)倪^(guò)程的序列圖。

圖10是描繪由圖4的全景圖像處理單元生成的全景圖像的示例的視圖。

圖11(a)和11(b)是圖示用于比較的情況的視圖，其中圖10的全景圖像以普通傳輸格式傳送到頭戴式顯示單元并且由頭戴式顯示單元再現(xiàn)。

圖12(a)和12(b)是圖示這樣的情況的視圖，其中圖10的全景圖像以本實(shí)施例的寬視角圖像傳輸格式傳送到頭戴式顯示單元并且由頭戴式顯示單元再現(xiàn)。

具體實(shí)施方式

圖1是頭戴式顯示單元100的外觀視圖。頭戴式顯示單元100包括主體單元110、前頭部接觸單元120和側(cè)頭部接觸單元130。

頭戴式顯示單元100是安裝在用戶頭部上使得用戶欣賞顯示在顯示單元上的靜止畫(huà)面或運(yùn)動(dòng)畫(huà)面并且收聽(tīng)從耳機(jī)輸出的聲音、音樂(lè)等的顯示裝置。

用戶的位置信息可以通過(guò)諸如內(nèi)置在或外部安裝在頭戴式顯示單元100上的GPS(全球定位系統(tǒng))裝置的位置傳感器來(lái)測(cè)量。此外，姿態(tài)信息(例如穿戴頭戴式顯示單元100的用戶的頭部的旋轉(zhuǎn)角度或傾斜)可以通過(guò)內(nèi)置在或外部安裝在頭戴式顯示單元100上的姿態(tài)傳感器來(lái)測(cè)量。

主體單元110包括顯示單元、位置信息獲取傳感器、姿態(tài)傳感器、通信裝置等。前頭部接觸單元120和側(cè)頭部接觸單元130可以具有作為可選部件的生物信息獲取傳感器，其可以測(cè)量生物信息，諸如用戶的體溫、脈搏、血液成分、出汗、腦波和腦血流量。

頭戴式顯示單元100還可以包括用于拍攝用戶的眼睛的圖像的相機(jī)。通過(guò)結(jié)合在頭戴式顯示單元100中的相機(jī)，可以檢測(cè)用戶的視線、瞳孔的移動(dòng)、眼睛的眨眼等。

這里，描述要在頭戴式顯示單元100上顯示的圖像的生成方法。本實(shí)施例的圖像生成方法不僅可以應(yīng)用于狹義的頭戴式顯示單元100，而且可以應(yīng)用于眼鏡、眼鏡型顯示單元、眼鏡型相機(jī)、耳機(jī)(headphone)、頭戴式受話器(具有麥克風(fēng)的耳機(jī))、耳機(jī)(earphone)、耳環(huán)、耳機(jī)(ear camera)、帽、具有相機(jī)的帽、發(fā)帶等。

圖2是頭戴式顯示單元100的功能框圖。

控制單元10是處理和輸出諸如圖像信號(hào)或傳感器信號(hào)的信號(hào)、指令或數(shù)據(jù)的主處理器。輸入接口20接受來(lái)自觸摸面板和觸摸面板控制器的操作信號(hào)或設(shè)置信號(hào)，并將接受的信號(hào)提供給控制單元10。輸出接口30從控制單元10接收?qǐng)D像信號(hào)，并使顯示單元顯示所接收的圖像信號(hào)。背光32向液晶顯示單元提供背光。

通信控制單元40通過(guò)網(wǎng)絡(luò)適配器42或天線44通過(guò)有線或無(wú)線通信將從控制單元10輸入的數(shù)據(jù)傳送到外部。此外，通信控制單元40通過(guò)網(wǎng)絡(luò)適配器42或天線44通過(guò)有線或無(wú)線通信從外部接收數(shù)據(jù)，并將數(shù)據(jù)輸出到控制單元10。

存儲(chǔ)單元50臨時(shí)存儲(chǔ)要由控制單元10處理的數(shù)據(jù)、參數(shù)、操作信號(hào)等。

GPS單元60從GPS衛(wèi)星接收位置信息，并根據(jù)來(lái)自控制單元10的操作信號(hào)將位置信息提供給控制單元10。無(wú)線單元62從無(wú)線基站接收位置信息，并根據(jù)來(lái)自控制單元10的操作信號(hào)將位置信息提供給控制單元10。

姿態(tài)傳感器64檢測(cè)姿態(tài)信息，諸如頭戴式顯示單元100的主體單元110的旋轉(zhuǎn)角度或傾斜。姿態(tài)傳感器64通過(guò)陀螺傳感器、加速度傳感器、角加速度傳感器等的適當(dāng)組合實(shí)現(xiàn)。

外部輸入/輸出端子接口70是用于連接諸如USB(通用串行總線)控制器的外圍裝置的接口。外部存儲(chǔ)器72是諸如閃存的外部存儲(chǔ)器。

時(shí)鐘單元80響應(yīng)于來(lái)自控制單元10的設(shè)置信號(hào)設(shè)置時(shí)間信息，并且將時(shí)間數(shù)據(jù)提供給控制單元10。

在頭戴式顯示單元100中，只有在位于用戶眼睛前方的顯示面板上顯示圖像時(shí)，圖像呈現(xiàn)失焦?fàn)顟B(tài)并且看起來(lái)模糊。因此，使用諸如棱鏡和透鏡的光學(xué)系統(tǒng)，使得可以在寬視角上觀看圖像而沒(méi)有失真。圖像轉(zhuǎn)換單元90從控制單元10接收?qǐng)D像信號(hào)，根據(jù)頭戴式顯示單元100的光學(xué)系統(tǒng)的失真特性轉(zhuǎn)換圖像信號(hào)，并將轉(zhuǎn)換后的圖像信號(hào)返回到控制單元10。

控制單元10可以向輸出接口30提供圖像或文本數(shù)據(jù)，以使顯示單元在其上顯示圖像或文本數(shù)據(jù)，或者可以向通信控制單元40提供圖像或文本數(shù)據(jù)，以便傳輸圖像或文本數(shù)據(jù)到外部。

圖3是示出根據(jù)實(shí)施例的全景圖像生成系統(tǒng)的配置的視圖。頭戴式顯示單元100通過(guò)諸如無(wú)線通信或連接外圍設(shè)備的USB的接口連接到游戲機(jī)200。游戲機(jī)200還可以通過(guò)網(wǎng)絡(luò)連接到服務(wù)器。在這種情況下，服務(wù)器可以將諸如其中多個(gè)用戶可以通過(guò)網(wǎng)絡(luò)參與的游戲的在線應(yīng)用提供給游戲機(jī)200。頭戴式顯示單元100可以連接到代替游戲機(jī)200的計(jì)算機(jī)或便攜式終端。

圖4是根據(jù)本實(shí)施例的全景圖像生成裝置700的功能框圖。圖4描繪了集中于功能的框圖，并且功能塊可以僅以硬件、僅從軟件或從它們的組合以各種形式實(shí)現(xiàn)。

全景圖像生成裝置700安裝在連接有頭戴式顯示單元100的游戲機(jī)200上。然而，全景圖像生成裝置700的功能的至少一部分可以合并在頭戴式顯示單元100的控制單元10中。具體地，下面描述的圖像轉(zhuǎn)換單元780的功能可以并入頭戴式顯示單元100側(cè)?？商娲兀皥D像生成裝置700的部分功能可以被并入通過(guò)網(wǎng)絡(luò)連接到游戲機(jī)200的服務(wù)器中。

縮放指令獲取單元710獲取用戶通過(guò)頭戴式顯示單元100的輸入接口20指定的縮放倍率。由縮放指令獲取單元710獲取的縮放倍率被提供給靈敏度調(diào)整單元720和全景圖像處理單元750。

位置和旋轉(zhuǎn)信息獲取單元730基于由GPS單元60或頭部的運(yùn)動(dòng)傳感器檢測(cè)到的位置信息以及由姿態(tài)傳感器64檢測(cè)的姿態(tài)信息，獲取與穿戴頭戴式顯示單元100的用戶的頭部的位置和旋轉(zhuǎn)有關(guān)的信息?？梢酝ㄟ^(guò)由游戲機(jī)200的照相機(jī)檢測(cè)頭戴式顯示單元100的移動(dòng)來(lái)獲取用戶的頭部的位置。

位置和旋轉(zhuǎn)信息獲取單元730基于由靈敏度調(diào)整單元720指定的靈敏度來(lái)獲取用戶的頭部的位置和旋轉(zhuǎn)。例如，如果用戶旋轉(zhuǎn)頸部，則也改變但是，靈敏度調(diào)整單元720指示位置和旋轉(zhuǎn)信息獲取單元730忽略檢測(cè)到的角度變化，直到角度變化超過(guò)預(yù)定值為止。

此外，靈敏度調(diào)節(jié)單元720基于從縮放指令獲取單元710獲取的縮放倍率來(lái)調(diào)節(jié)頭部的角度檢測(cè)的靈敏度。隨著縮放倍率增加，頭部的角度檢測(cè)的靈敏度降低。由于變焦減小了視角，所以可以通過(guò)降低頭部的角度檢測(cè)靈敏度來(lái)抑制通過(guò)頭部的搖晃的顯示圖像的振動(dòng)。

作為運(yùn)動(dòng)傳感器，可以使用3軸地磁傳感器、3軸加速度傳感器和3軸陀螺儀(角速度)傳感器中的至少一個(gè)或多個(gè)的組合來(lái)檢測(cè)向前和向后方向，向左和向右方向以及向上和向下方向上用戶的頭部的移動(dòng)?？商娲?，可以組合用戶的頭部的不同的位置信息，以提高頭部的移動(dòng)檢測(cè)的精度。

坐標(biāo)變換單元740使用由位置和旋轉(zhuǎn)信息獲取單元730獲取的頭戴式顯示單元100的位置和旋轉(zhuǎn)來(lái)執(zhí)行坐標(biāo)變換，以生成要在具有跟蹤功能的頭戴式顯示單元100上顯示的圖像。

全景圖像處理單元750從全景圖像存儲(chǔ)單元760讀出全景圖像數(shù)據(jù)，通過(guò)由縮放指令獲取單元710指定的縮放倍率生成與頭戴式顯示單元100的位置和旋轉(zhuǎn)對(duì)應(yīng)的全景圖像，并且將所生成的全景圖像提供給圖像轉(zhuǎn)換單元780.這里，全景圖像數(shù)據(jù)可以是預(yù)先生成的運(yùn)動(dòng)畫(huà)面或靜止畫(huà)面內(nèi)容，或者可以是渲染的計(jì)算機(jī)圖形。

圖像轉(zhuǎn)換單元780將由全景圖像處理單元750生成的寬視角圖像的格式轉(zhuǎn)換為適合于用戶的眼睛的特性的傳輸格式。

在一般的HDTV(高清晰度電視)的情況下，水平視角為大約33度。然而，在要在頭戴式顯示單元100等上顯示類似全景圖像的寬視角圖像的情況下，需要大于90度的水平視角。如果對(duì)于相同分辨率的圖像，視角從40度增加到100度，則像素密度減小，并且圖像的中心區(qū)域中的分辨率(dpi：每英寸點(diǎn)數(shù))減少到大約1/3.2倍。

特別地，當(dāng)穿戴頭戴式顯示單元100的用戶觀看寬視角的全景圖像時(shí)，角分辨率是影響圖像質(zhì)量的重要因素?！敖欠直媛省笔且砸朁c(diǎn)為中心的每單位角度的像素?cái)?shù)。在頭戴式顯示單元100顯示類似全景圖像的水平拉長(zhǎng)的圖像的情況下，取決于朝向視點(diǎn)的光線方向，在角度分辨率中出現(xiàn)偏差。

圖像轉(zhuǎn)換單元780根據(jù)用戶的眼睛的特性來(lái)調(diào)整角分辨率，以將圖像轉(zhuǎn)換成適于在圖像頭戴式顯示單元100上觀看寬視角的全景圖像的“寬視角圖像傳輸格式”。下面描述圖像轉(zhuǎn)換處理的細(xì)節(jié)。

圖像轉(zhuǎn)換單元780將以這種方式的轉(zhuǎn)換獲得的寬視角圖像傳輸格式的圖像提供給圖像提供單元77。圖像提供單元770將通過(guò)圖像轉(zhuǎn)換單元780的轉(zhuǎn)換獲得的全景圖像數(shù)據(jù)提供到頭戴式顯示單元100。

圖5是示出顯示在顯示平面上的圖像的角分辨率的視圖。在圖5中，顯示在顯示平面400上的像素由黑點(diǎn)示意性地表示。

當(dāng)從視點(diǎn)O觀看顯示在顯示平面400上的圖像時(shí)，發(fā)生色散，其中像素密度取決于進(jìn)入視點(diǎn)O的光線的方向。盡管對(duì)應(yīng)于從直接相對(duì)位置朝向視點(diǎn)O的光線方向的小角度α的像素?cái)?shù)目是三個(gè)，如附圖標(biāo)記410所示，但是與光線方向的小角度α對(duì)應(yīng)的像素?cái)?shù)目從朝向視點(diǎn)O的傾斜右側(cè)位置是七個(gè)，如附圖標(biāo)記420所示。以這種方式，當(dāng)從視點(diǎn)O觀看具有在顯示平面400上等間隔布置的像素的圖像時(shí)，角分辨率從直接相對(duì)位置的方向最低，并且角分辨率朝向從直接相對(duì)方向水平移位的方向增加。特別地，當(dāng)在頭戴式顯示單元100上觀看寬視角的全景圖像時(shí)，傾斜橫向方向上的角分辨率與從直接相對(duì)位置的方向上的角分辨率之間的差異變得顯著。盡管最初人類主要識(shí)別來(lái)自直接相對(duì)方向(圖像的中心區(qū)域)的光線，但是不能非常識(shí)別來(lái)自傾斜方向(圖像的周邊區(qū)域)的光線，這不方便的是圖像的中心區(qū)域中的角分辨率低于圖像的周邊區(qū)域的角分辨率。

在本實(shí)施例中，在全景圖像生成裝置700和每個(gè)單獨(dú)的頭戴式顯示單元100之間定義不依賴于頭戴式顯示裝置的公共傳輸格式，并且全景圖像生成裝置700直接以公共傳輸格式生成圖像或者生成的圖像被轉(zhuǎn)換為公共傳輸格式的圖像。然后，將公共傳輸格式的圖像傳輸?shù)矫總€(gè)單獨(dú)的頭戴式顯示單元100。每個(gè)單獨(dú)的頭戴式顯示單元100將從全景圖像生成裝置700接收的公共傳輸格式的圖像轉(zhuǎn)換為格式適合于每個(gè)設(shè)備的光學(xué)特性的格式，以在顯示面板上顯示轉(zhuǎn)換的圖像。全景圖像生成裝置700可以通過(guò)使用不依賴于裝置的公共傳輸格式來(lái)生成圖像，而不識(shí)別頭戴式顯示裝置的差異。因此，消除了單獨(dú)處理具有不同光學(xué)特性的各個(gè)頭戴式顯示單元的必要性。

此外，在本實(shí)施方式中，作為適于在頭戴式顯示單元100上顯示寬視角圖像的公共傳輸格式，采用了“寬視角圖像傳輸格式”，其中根據(jù)用戶的眼睛的特征調(diào)整角分辨率。這里，作為根據(jù)用戶的眼睛的特征調(diào)整角分辨率的示例，描述了其中響應(yīng)于朝向視點(diǎn)的光線方向調(diào)整角分辨率的寬視角圖像傳輸格式。更具體地，首先描述其中將角分辨率調(diào)整為均勻而不考慮朝向視點(diǎn)的光線方向的傳輸格式。

圖6A是示出朝向視點(diǎn)的光線方向和像素在顯示平面上的位置的關(guān)系的視圖。從視點(diǎn)O到顯示平面400的距離被假定為1。從視點(diǎn)O直接觀察顯示平面400時(shí)的像素由P表示。存在于相對(duì)于直接相對(duì)位置的角度β的光線方向上的顯示平面400上的像素由Q表示。像素Q位于與顯示平面400上的像素P相距tanβ的距離處。

存在于相對(duì)于直接相對(duì)位置的角度nβ(n是自然數(shù))的光線方向上的顯示平面400上的像素由R表示。像素R位于距離顯示平面400上的像素P tan(nβ)的位置。如果像素在顯示平面400上沒(méi)有以相等的距離設(shè)置，而是設(shè)置在顯示平面400上與像素P間隔距離tanβ、tan2β、tan3β、...的位置處，不管朝向視點(diǎn)O的光線方向如何，都可以使角分辨率均勻。

圖6B是示出其中像素被布置為使得角分辨率變得均勻而與朝向視點(diǎn)的光線方向無(wú)關(guān)的圖像格式的視圖。在圖6B中，由于對(duì)于每個(gè)角度β，像素被布置在由tan(nβ)(n是自然數(shù))表示的顯示平面400上的位置處，因此可以使朝向視點(diǎn)O的任何光線方向上的角分辨率(每單位角度的像素?cái)?shù))均勻。

圖7A和7B是示出作為寬視角圖像傳輸格式的示例的標(biāo)準(zhǔn)化格式的視圖，其中不管朝向視點(diǎn)的光線方向如何，都使角分辨率均勻。

盡管在普通電視機(jī)或顯示單元中，在寬視角圖像傳輸格式中，在要發(fā)射光的面板的位置處的像素的顏色信息被傳輸，但是存在于朝向視點(diǎn)的光線方向上的像素的顏色信息被傳輸。這里，視點(diǎn)的位置由(0,0,0)表示，并且水平方向，垂直方向和前后方向分別被取為X軸、Y軸和Z軸。此外，將向前方向作為Z軸的正方向。假設(shè)生成的圖像的像素(X，Y)以相等的距離并置。此外，水平方向和垂直方向中的每一個(gè)中的分辨率和視角被設(shè)置為面板裝置唯一的值，并且獨(dú)立于圖像的傳輸格式來(lái)確定。

在通常并且廣泛地傳統(tǒng)使用的圖像的傳輸格式中，假設(shè)像素(X，Y)在朝向視點(diǎn)的光線方向(X，Y，1)上，確定像素的顯示位置，以相等的距離顯示像素。

然而，在傳統(tǒng)的傳輸格式中，圖像的中心區(qū)域中的角分辨率變得低于圖像的外圍區(qū)域處的角分辨率，因此，作為用于在寬視角的頭戴式顯示單元上顯示的傳輸格式，傳統(tǒng)的傳輸格式不是最佳的。因此，通過(guò)非線性地縮放像素的X軸和Y軸以響應(yīng)于朝向視點(diǎn)的光線方向來(lái)調(diào)整角分辨率以確定刻度。作為示例，為了使角分辨率固定而不考慮朝向視點(diǎn)的光線方向，像素的坐標(biāo)不是由(X，Y)而是由(tan(X)，tan(Y))取得。

當(dāng)要生成在X方向上為第i個(gè)和在Y方向上為第j個(gè)的像素時(shí)，在普通圖像格式中，在坐標(biāo)(X，Y)處生成由以下給出的像素

X＝Xscale×i+Xoffset

Y＝Y(jié)scale×j+Yoffset。

然而，在標(biāo)準(zhǔn)化格式中，生成坐標(biāo)(tan(X)，tan(Y))處的像素。這表示在顯示平面上發(fā)射的像素的光從光線方向(tan(X)，tan(Y)，1)進(jìn)入視點(diǎn)O。

以這種方式，普通格式的圖像被轉(zhuǎn)換為其中像素被布置在(tan(X)，tan(Y))的位置的標(biāo)準(zhǔn)化格式的圖像。結(jié)果，在標(biāo)準(zhǔn)化格式中，像素在顯示平面上的布置在圖像的中心區(qū)域中表現(xiàn)出高像素密度，而在圖像的周邊區(qū)域中表現(xiàn)出低像素密度，如圖6B所示。然而，無(wú)論朝向視點(diǎn)的光線方向如何，角分辨率都是均勻的。當(dāng)以標(biāo)準(zhǔn)化格式傳輸?shù)膱D像要被顯示在頭戴式顯示單元100上時(shí)，X方向上的第i個(gè)像素和Y方向上的第j個(gè)像素可以顯示在由顯示面板的坐標(biāo)(tan(X)，tan(Y))指示的位置處。

圖7A和7B立體地示出了到標(biāo)準(zhǔn)化格式的變換，并且描繪了以圖6B中的視點(diǎn)O為中心的半徑為1的球面。然而，在向標(biāo)準(zhǔn)化格式的變換中，由于z＝1，因此只能表示在視點(diǎn)O的前方在水平方向上擴(kuò)展180度的圖像。為了允許z具有負(fù)值，使得可以表示在水平方向上超過(guò)180度的視點(diǎn)后面的圖像，所有坐標(biāo)值可以乘以cos(X)cos(Y)，使得像素的光線方向可以由(sin(X)cos(Y)，cos(X)sin(Y)，cos(X)cos(Y))表示。應(yīng)注意，應(yīng)注意的事實(shí)是根據(jù)標(biāo)準(zhǔn)化格式，不能表示在垂直方向上超過(guò)180度的角度的圖像，因?yàn)樵谏舷路较蛏?0度處存在奇異點(diǎn)。

圖8A和8B是示出標(biāo)準(zhǔn)化格式的不同示例的視圖，其中使角分辨率均勻，而與朝向視點(diǎn)的光線方向無(wú)關(guān)。

標(biāo)準(zhǔn)化格式使用對(duì)應(yīng)于緯度和經(jīng)度的角度，使得可以顯示水平方向上360度和垂直方向上180度的圖像。具體地，假設(shè)像素的光從光線方向(sin(X)cos(Y)，sin(Y)，cos(X)cos(Y))指向視點(diǎn)O，定義圖像的格式。這除了奇異點(diǎn)和方向性之外，與光線方向(tan(X)，tan(Y)/cos(X)，1)相同。由于該格式在頂部和底部具有90度的奇異點(diǎn)，所以它是適于全景圖像的格式，其在高度方向上小于180度，在水平方向上大于180度。當(dāng)然，即使圖像的范圍在水平方向上不超過(guò)180度，也可以使用該格式。據(jù)說(shuō)，當(dāng)人用雙眼觀看時(shí)，視角在左右方向上超過(guò)180度，并且可以表示在水平方向上超過(guò)180度的圖像的格式是有利的，特別是對(duì)于全景圖像。

在前面的描述中，定義了標(biāo)準(zhǔn)化的圖像傳輸格式，使得角分辨率(以視點(diǎn)為中心的每單位角度的像素?cái)?shù))均勻化。然而，可以定義圖像傳輸格式，其中考慮到主要在人的視野中看到圖像的中心區(qū)域(在直接相反方向上看到的部分)，而周邊區(qū)域(在傾斜方向上看到的部分)沒(méi)有被看到(不被識(shí)別)，響應(yīng)于光線方向來(lái)調(diào)整角分辨率，使得中心區(qū)域中的角分辨率被設(shè)置為高，而角分辨率在周邊區(qū)域被設(shè)定為低?？商娲兀梢远x傳輸格式，其中可以指示使用參數(shù)來(lái)指定與光線方向相對(duì)應(yīng)的角分辨率的調(diào)整方法。

描述使用包括參數(shù)的函數(shù)的傳輸格式。在其中與上文參考圖7A和7B描述的與朝向視點(diǎn)的光線方向無(wú)關(guān)，作為與圖像的中心區(qū)域相比用于降低周邊區(qū)域中的分辨率的傳輸格式的角分辨率被均勻化的標(biāo)準(zhǔn)化格式中，像素的光線方向由(tan(X)，tan(Y)，1)表示。在由參數(shù)函數(shù)定義的傳輸格式中，光線方向由(sin(X)/(cos(X)^P1)，sin(Y)/(cos(Y)^P2)，1)表示。

P1和P2分別是在水平方向和垂直方向上有效的參數(shù)，并且當(dāng)P1和P2的值為1時(shí)，像素密度是均勻的，而與光線方向無(wú)關(guān)。然而，在P1和P2的值大于1的情況下，中心區(qū)域(從直接相對(duì)位置的光線方向)的像素密度較高，但是當(dāng)P1和P2的值小于1時(shí)，周邊區(qū)域(從傾斜水平方向的光線方向)的像素密度較高。全景圖像生成裝置700確定參數(shù)P1和P2，或者全景圖像生成裝置700接收由頭戴式顯示單元100指定的參數(shù)P1和P2，并且生成其中利用所需參數(shù)調(diào)整角分辨率的傳輸格式的圖像。

通常，可以通過(guò)定義通過(guò)包括參數(shù)的函數(shù)將每個(gè)像素的光指向視點(diǎn)的光線方向來(lái)定義其中使用參數(shù)函數(shù)的傳輸格式。

現(xiàn)在，描述可以通過(guò)指定像素的傳輸模式來(lái)調(diào)整角分辨率的傳輸格式。像素X和Y通過(guò)在傳輸時(shí)將第i和第j個(gè)像素乘以比例和偏移而生成，如X＝Xscale×i+Xoffset和Y＝Y(jié)scale×j+Yoffset。然而，使用特定模式省略要傳輸?shù)南袼亍＠?，代替從第一像素到?920像素傳輸1920個(gè)像素，從第一像素到第3000像素的3000個(gè)像素中，通過(guò)從第一個(gè)像素到第1080個(gè)像素的像素中僅傳輸奇數(shù)編號(hào)的像素，從第1081個(gè)像素傳輸?shù)降?920個(gè)像素傳輸所有像素，然后從第1921個(gè)像素到第3000個(gè)像素的像素中僅傳輸偶數(shù)編號(hào)的像素，總共1920個(gè)像素被傳輸?shù)筋^戴式顯示單元100。這使得可以在圖像的中心區(qū)域中將像素密度設(shè)置得高，并且在圖像的周邊區(qū)域中將像素密度設(shè)置得低。如果使用如上所述的可以將傳輸模式指定為參數(shù)的這種傳輸格式，則可以允許全景圖像生成裝置700或頭戴式顯示單元100指定傳輸模式以改變角分辨率的圖像。

圖9是示出本實(shí)施例的全景圖像生成系統(tǒng)的圖像生成和圖像傳輸?shù)倪^(guò)程的序列圖。

全景圖像生成裝置700的全景圖像處理單元750生成要在頭戴式顯示單元100上顯示的諸如全景圖像的寬視角圖像(S10)。該寬視角圖像可以是例如由相機(jī)實(shí)際捕獲的全景圖像或使用計(jì)算機(jī)圖形渲染的人工圖像。全景圖像不必是水平方向上的視角超過(guò)180度的圖像，而可以是水平方向上的視角等于或小于180度的圖像。此外，垂直方向上的視角可以超過(guò)180度，或者可以等于或小于180度。

圖像轉(zhuǎn)換單元780將所生成的圖像轉(zhuǎn)換為寬視角圖像傳輸格式的圖像，其中響應(yīng)于朝向視點(diǎn)的光線方向來(lái)調(diào)整圖像的角分辨率(S20)。

雖然在前面的描述中，所生成的圖像的格式被轉(zhuǎn)換為寬視角圖像傳輸格式一次，但是也可以通過(guò)使用光線跟蹤在相反方向跟蹤指向視點(diǎn)的光線，以直接通過(guò)計(jì)算確定每個(gè)像素的顏色信息，直接生成寬視角圖像傳輸格式的圖像。在這種情況下，不需要圖像轉(zhuǎn)換單元780的配置，并且具有光線跟蹤單元的功能的全景圖像處理單元750可以生成寬視角圖像傳輸格式的圖像。

圖像提供單元770將寬視角圖像傳輸格式的圖像傳送到頭戴式顯示單元100(S30)。

頭戴式顯示單元100接收寬視角圖像傳輸格式的圖像，并且圖像轉(zhuǎn)換單元90根據(jù)頭戴式顯示單元100特有的光學(xué)特性轉(zhuǎn)換圖像，以將圖像轉(zhuǎn)換為適合于顯示面板的圖像(S40)。輸出接口30在顯示單元上顯示用于頭戴式顯示單元100的轉(zhuǎn)換之后的圖像(S50)。

如果穿戴頭戴式顯示單元100的用戶移動(dòng)或旋轉(zhuǎn)頭部，則GPS單元60或運(yùn)動(dòng)傳感器獲取與用戶的頭部的位置有關(guān)的信息，并且姿態(tài)傳感器64獲取與旋轉(zhuǎn)有關(guān)的信息頭部(S60)。與位置和旋轉(zhuǎn)相關(guān)的信息被傳輸?shù)饺皥D像生成裝置700。

全景圖像產(chǎn)生設(shè)備700的坐標(biāo)變換單元740根據(jù)所獲取的與用戶頭部的位置和旋轉(zhuǎn)相關(guān)的信息，改變用于觀看全景圖像的視點(diǎn)位置和視線方向(S70)。處理返回到步驟S10，在步驟S10，全景圖像處理單元750生成全景圖像，其中從新的視點(diǎn)位置在新的視線方向上觀看全景圖像。此后，重復(fù)步驟S20至S70的處理。

圖10是示出由全景圖像處理單元750生成的全景圖像的示例的視圖。該示例是其在水平方向上的視角為180度的圖像。

圖11(a)和圖11(b)是示出圖10的全景圖像以普通的傳輸格式傳輸?shù)筋^戴式顯示單元100，并由頭戴式顯示單元100再現(xiàn)以進(jìn)行比較。

圖11(a)示出了通過(guò)普通傳輸格式壓縮圖10的全景圖像的方式。圖像在其中心區(qū)域和周邊區(qū)域中被均勻地壓縮。如果以這種方式通過(guò)普通傳輸格式壓縮的圖像被解壓縮并顯示在頭戴式顯示單元100上，則整體圖像模糊，并且類似于圖像的外圍區(qū)域中的分辨率，圖像的中心區(qū)域中的分辨率劣化，如圖11(b)所示。

圖12(a)和12(b)是示出另一種情況的視圖，其中圖10的全景圖像以本實(shí)施例的寬視角圖像傳輸格式傳送到頭戴式顯示單元，并在頭戴式顯示單元上再現(xiàn)。

圖12(a)示出了轉(zhuǎn)換為傳輸格式的圖像之后圖10的全景圖像，其中調(diào)整角分辨率以使其均勻，而不管朝向視點(diǎn)的光線方向如何。壓縮圖像，使得圖像的中心區(qū)域中的分辨率高于圖像的外圍區(qū)域中的分辨率。如果通過(guò)圖12(a)的傳輸格式壓縮的圖像解壓并且在頭戴式顯示單元100上顯示，雖然與中心區(qū)域相比周圍區(qū)域模糊，但是中心區(qū)域不模糊，因?yàn)橄袼孛芏雀?，如圖12(b)所示。這適合于在頭戴式顯示單元100上顯示。

如上所述，根據(jù)本實(shí)施例，圖像生成裝置以不依賴于每個(gè)單獨(dú)的頭戴式顯示裝置的光學(xué)特性的公共傳輸格式生成寬視角圖像，并將寬視角圖像傳輸?shù)筋^戴式顯示單元，并且頭戴式顯示單元根據(jù)其光學(xué)特性轉(zhuǎn)換圖像。因此，不需要根據(jù)各個(gè)頭戴式顯示裝置的特性來(lái)生成圖像。因此，能夠?qū)崿F(xiàn)不依賴于頭戴式顯示裝置的寬視場(chǎng)角圖像的生成處理。

此外，通過(guò)使用響應(yīng)于朝向視點(diǎn)的光線方向調(diào)整角分辨率的寬視角圖像傳輸格式，可以提供適合于任何類型的頭戴式顯示單元的寬視角圖像。在其中以將整個(gè)圖像被均勻壓縮的傳統(tǒng)傳輸格式由圖像生成裝置生成的寬視角圖像被傳輸?shù)筋^戴式顯示單元的情況下，如果寬視角圖像被顯示在頭戴式顯示單元上，那么在圖像的中心區(qū)域中明顯畫(huà)面質(zhì)量劣化。然而，對(duì)于本實(shí)施例，由于響應(yīng)于朝向視點(diǎn)的光線方向來(lái)調(diào)整角分辨率，所以可以使圖像的中心區(qū)域中的分辨率與圖像的周圍區(qū)域相比較高，并且可以避免畫(huà)面質(zhì)量在圖像的中心區(qū)域的劣化。

已經(jīng)參照實(shí)施例描述了本發(fā)明。該實(shí)施例是示例性的，并且本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，可以在組件和過(guò)程的組合中進(jìn)行各種修改，并且這樣的修改仍然在本發(fā)明的范圍內(nèi)。描述這種修改。

雖然在前面的描述中，描述了在頭戴式顯示單元上顯示寬視角圖像的實(shí)施例，但是在寬視角圖像顯示在普通桌面型或墻壁的顯示單元上的情況，本實(shí)施例的圖像生成方法可以用于將圖像的格式轉(zhuǎn)換成其中圖像的角分辨率適合于人類的眼睛的特性的格式。用于響應(yīng)于朝向視點(diǎn)的光線方向調(diào)整角分辨率的技術(shù)在全景圖像顯示在水平伸長(zhǎng)或垂直伸長(zhǎng)的顯示單元上的情況下也是有效的。

附圖標(biāo)記說(shuō)明：

10控制單元，20輸入接口，30輸出接口，32背光，40通信控制單元，42網(wǎng)絡(luò)適配器，44天線，50存儲(chǔ)單元，60GPS單元，62無(wú)線單元，64姿態(tài)傳感器，70外部輸入/輸出端子接口，72外部存儲(chǔ)器，80時(shí)鐘單元，90圖像轉(zhuǎn)換單元，100頭戴式顯示單元，110主體單元，120前頭部接觸單元，130側(cè)頭部接觸單元，200游戲機(jī)，700全景圖像生成裝置，710變焦指示獲取單元，720靈敏度調(diào)節(jié)單元，730位置和旋轉(zhuǎn)信息獲取單元，740坐標(biāo)變換單元，750全景圖像處理單元，760全景圖像存儲(chǔ)單元，770圖像提供單元，780圖像轉(zhuǎn)換單元。

[工業(yè)實(shí)用性]

本發(fā)明可以應(yīng)用于生成寬視角圖像的技術(shù)。