本說明書中描述的技術(shù)涉及用于處理追蹤觀察者的移動的圖像的信息處理裝置、信息處理方法、計算機程序以及圖像處理系統(tǒng)。

背景技術(shù)：

已知佩帶在用戶的頭部或面部上的圖像顯示裝置(即，頭戴式顯示器)。頭戴式顯示器在右眼和左眼兩者上設(shè)置有圖像顯示單元并且被配置為能夠與聽筒一起使用控制視覺和聽覺感知。用于在佩帶在頭部上時完全遮住外部世界的配置在觀看期間提高虛擬現(xiàn)實。頭戴式顯示器能夠?qū)⒉煌囊曨l圖像投影到每個眼鏡上并能夠通過在左眼和右眼上顯示具有視差的圖像呈現(xiàn)3D圖像。

這類頭戴式顯示器在眼睛的視網(wǎng)膜上形成虛擬圖象以允許用戶對其進(jìn)行觀察。在這點上，虛擬圖象形成在比焦距更靠近透鏡的物體側(cè)。作為一個實例，已開發(fā)了一種頭戴式顯示器，頭戴式顯示器通過將廣視角的虛擬圖像光學(xué)系統(tǒng)放置成與瞳孔的前部間隔開25毫米并將具有大約0.7英寸的有效像素范圍的尺寸的顯示面板進(jìn)一步放置在廣視角光學(xué)系統(tǒng)的前方來在用戶的瞳孔上形成顯示圖像的放大虛擬圖像(例如，參見專利文獻(xiàn)1)。

用戶能夠觀察通過使用這類頭戴式顯示器對廣角圖像的一部分進(jìn)行分割獲得的圖像。作為一個實例，已開發(fā)了一種頭戴式顯示器，頭戴式顯示器允許通過在頭部上安裝包括陀螺儀傳感器等的頭部運動追蹤設(shè)備并通過使其追蹤用戶的頭部的移動實現(xiàn)360度旋轉(zhuǎn)視圖的視頻圖像的真實體驗(參見專利文獻(xiàn)2和3)?？梢酝ㄟ^在廣角圖像中移動顯示區(qū)域以取消陀螺儀傳感器檢測的頭部的移動來實現(xiàn)自由視點觀看和視點移動環(huán)境。

技術(shù)實現(xiàn)要素：

技術(shù)問題

本說明書中描述的技術(shù)的目的是提供能夠適當(dāng)?shù)靥幚碜粉櫽^察者的移動的圖像的一種改善的信息處理裝置、信息處理方法、計算機程序、和圖像處理系統(tǒng)。

解決的問題

已考慮到上述問題做出本申請，并且權(quán)利要求1中描述的技術(shù)是信息處理裝置，包括：接收器，被配置為接收關(guān)于觀察者的頭部的姿勢的第一信息和關(guān)于觀察者的除頭部以外身體的姿勢的第二信息；以及圖像渲染處理單元(image rendering processing unit)，被配置為基于第一信息和第二信息生成對應(yīng)于觀察者的姿勢的顯示圖像。

根據(jù)在權(quán)利要求2中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的接收器接收至少觀察者的軀干的姿勢作為第二信息，并且圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)生成追蹤觀察者的頭部的姿勢的自由視點圖像。

根據(jù)在權(quán)利要求3中描述的技術(shù)，當(dāng)接收用于指示觀察者在自由視點空間中移動的控制信號作為輸入時，根據(jù)權(quán)利要求2所述的信息處理裝置的圖像渲染處理單元通過將基于從第二信息獲得的觀察者的軀干的姿勢定向的身體的朝向識別為前向方向確定移動之后的點(視點位置)。

根據(jù)在權(quán)利要求4中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過布置在基于從第二信息獲得的姿勢定向的固定位置中生成追蹤觀察者的頭部的姿勢的自由視點圖像。

根據(jù)在權(quán)利要求5中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的接收器接收至少觀察者的軀干的姿勢作為第二信息，并且圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向，通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)，并通過將預(yù)定圖像控件布置在基于從觀察者的軀干的姿勢定向的固定位置中生成追蹤觀察者的頭部的姿勢的自由視點圖像。

根據(jù)在權(quán)利要求6中描述的技術(shù)，根據(jù)權(quán)利要求1至5中任一項所述的信息處理裝置，進(jìn)一步包括被配置為獲得校準(zhǔn)參數(shù)的校準(zhǔn)處理單元。圖像渲染處理單元使用通過校準(zhǔn)參數(shù)校正的姿勢信息執(zhí)行圖像生成。

根據(jù)在權(quán)利要求7中描述的技術(shù)，根據(jù)權(quán)利要求8所述的信息處理裝置的校準(zhǔn)處理單元，基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算用于校正第二姿勢信息的校準(zhǔn)參數(shù)并且使用校準(zhǔn)參數(shù)校正第二姿勢信息。

根據(jù)在權(quán)利要求8中描述的技術(shù)，根據(jù)權(quán)利要求7所述的信息處理裝置的校準(zhǔn)處理單元通過使用頭部姿勢信息和第二姿勢信息計算用于將第二姿勢信息與頭部姿勢信息匹配的姿勢轉(zhuǎn)換參數(shù)作為校準(zhǔn)參數(shù)。

根據(jù)在權(quán)利要求9中描述的技術(shù)，由四元數(shù)(quaternion)表示姿勢信息。根據(jù)權(quán)利要求7所述的信息處理裝置的校準(zhǔn)處理單元通過將頭部姿勢信息從右邊乘以第二姿勢信息的四元數(shù)的倒數(shù)計算用于校正第二姿勢信息的校準(zhǔn)四元數(shù)，并且通過將第二姿勢信息的四元數(shù)從左邊乘以校準(zhǔn)四元數(shù)執(zhí)行校正。

根據(jù)在權(quán)利要求10中描述的技術(shù)，根據(jù)權(quán)利要求6所述的信息處理裝置的校準(zhǔn)處理單元基于從第一信息獲得的頭部姿勢的坐標(biāo)系和從第二信息獲得的姿勢的坐標(biāo)系的某個時段的旋轉(zhuǎn)位移以及人體的特性估計用于校正第二姿勢信息的校準(zhǔn)參數(shù)。

根據(jù)在權(quán)利要求11中描述的技術(shù)，根據(jù)權(quán)利要求6所述的信息處理裝置的校準(zhǔn)處理單元將基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算的某個時段的校準(zhǔn)參數(shù)的時間序列平均值設(shè)置為最后校準(zhǔn)參數(shù)。

根據(jù)在權(quán)利要求12中描述的技術(shù)，由四元數(shù)表示姿勢信息。信息處理裝置的校準(zhǔn)處理單元通過在基于從重新接收的第一信息和第二信息中的每一個獲得的姿勢信息的四元數(shù)重新計算的校準(zhǔn)四元數(shù)與由時間序列平均值確定的最后校準(zhǔn)四元數(shù)之間執(zhí)行球面線性內(nèi)插更新校準(zhǔn)四元數(shù)。

根據(jù)在權(quán)利要求13中描述的技術(shù)，基于第二信息計算觀察者的軀干的姿勢，并且當(dāng)重力方向被設(shè)為旋轉(zhuǎn)軸線時，根據(jù)權(quán)利要求11所述的信息處理裝置的校準(zhǔn)處理單元確定分別從重新接收的第一信息和第二信息獲得的頭部和軀干的姿勢信息的旋轉(zhuǎn)方向的角度差的平均值，并計算重力方向上的校準(zhǔn)參數(shù)和平均值。

根據(jù)在權(quán)利要求14中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的圖像渲染處理單元基于從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異處理顯示單元上的顯示圖像。

根據(jù)在權(quán)利要求15中描述的技術(shù)，在根據(jù)權(quán)利要求2和3中任一項所述的信息處理裝置中，圖像渲染處理單元通過在生物安全支持模式(biosafety support mode)下以自由視點空間中的頭部姿勢與軀干姿勢之間的差異減少的方式校正世界坐標(biāo)系生成自由視點圖像。

根據(jù)在權(quán)利要求16中描述的技術(shù)，根據(jù)權(quán)利要求2和3中任一項所述的信息處理裝置的圖像渲染處理單元通過在設(shè)置生物安全支持模式時的時間點在自由視點空間中固定頭部姿勢并通過在生物安全支持模式下根據(jù)由頭部姿勢檢測單元檢測的頭部姿勢在自由視點空間中改變軀干姿勢生成自由視點圖像。

根據(jù)在權(quán)利要求17中描述的技術(shù)，在根據(jù)權(quán)利要求15和16中任一項所述的信息處理裝置中，當(dāng)從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異超過第一閾值的狀態(tài)持續(xù)某個時間時設(shè)置生物安全支持模式，并且當(dāng)差異小于或等于第二閾值時釋放生物安全支持模式，第二閾值小于第一閾值。

在權(quán)利要求18中描述的技術(shù)是一種信息處理方法，包括：接收步驟，接收關(guān)于觀察者的頭部的姿勢的第一信息和關(guān)于觀察者的除身體的頭部以外的姿勢的第二信息；以及圖像渲染處理步驟，基于第一信息和第二信息生成對應(yīng)于觀察者的姿勢的顯示圖像。

在權(quán)利要求19中描述的技術(shù)是一種計算機程序，其以計算機可讀格式編寫，用于使計算機用作：頭部姿勢操作單元，被配置為基于通過在頭部姿勢檢測單元中的檢測獲得的結(jié)果計算觀察者的頭部的姿勢信息，頭部姿勢檢測單元被配置為檢測觀察者的頭部的姿勢；第二姿勢操作單元，被配置為基于通過第二姿勢檢測單元中的檢測獲得的結(jié)果計算觀察者的除頭部以外的身體的第二部分的姿勢信息，第二姿勢檢測單元被配置為檢測第二部分的一個或多個的姿勢；以及圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分的姿勢處理待顯示在顯示單元上的圖像，顯示單元被固定至觀察者的頭部或面部。

根據(jù)本申請的權(quán)利要求19所述的計算機程序定義一種以計算機可讀格式描述的計算機程序，以便在計算機上執(zhí)行預(yù)定處理。換言之，通過將根據(jù)本申請的權(quán)利要求19的計算機程序安裝在計算機中，在計算機上發(fā)揮協(xié)作作用，使得可以提供與根據(jù)本申請的權(quán)利要求1所述的信息處理裝置的效果相同的操作效果。

在權(quán)利要求20中描述的技術(shù)是圖像處理系統(tǒng)，包括：顯示單元，被固定至觀察者的頭部或面部；頭部姿勢檢測單元，被配置為檢測觀察者的頭部的姿勢；第二姿勢檢測單元，被配置為檢測身體的觀察者的除頭部以外的一個或多個第二部分的姿勢；以及圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分中的每一個的姿勢處理顯示單元上的顯示圖像。

有益效果

根據(jù)本說明書中描述的技術(shù)是提供能夠適當(dāng)?shù)靥幚碜粉櫽^察者的移動的圖像的一種改善的信息處理裝置、信息處理方法、計算機程序、和圖像處理系統(tǒng)。

應(yīng)注意，在本說明書中描述的有益效果僅為了示例，并且本發(fā)明的有益效果不限于此。此外，在一些情況下，本發(fā)明還可以表現(xiàn)出除以上給出的有益效果以外的附加有益效果。

將基于在下文中論述的示例性實施方式和附圖通過更詳細(xì)說明闡明在本說明書中公開的技術(shù)的進(jìn)一步目的、特征、以及優(yōu)點。

附圖說明

[圖1]圖1是示意性地示出應(yīng)用本文中公開的技術(shù)的圖像顯示系統(tǒng)100的示例性配置的示圖。

[圖2]圖2是示出了圖像顯示系統(tǒng)100的變形的示圖。

[圖3]圖3是示出了圖像顯示系統(tǒng)100的變形的示圖。

[圖4]圖4是示出了圖像顯示系統(tǒng)100的另一變形的示圖。

[圖5]圖5是佩帶顯示設(shè)備500的用戶的俯視圖。

[圖6]圖6是佩帶顯示設(shè)備500的用戶的前視圖。

[圖7]圖7是示出了用于渲染僅追蹤用戶頭部的移動的自由視點圖像的處理過程的流程圖。

[圖8]圖8是示出了如何基于從頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300中的每一個提供的姿勢信息在自由視點空間中單獨定向用戶的視線方向和軀干朝向的示圖。

[圖9]圖9是示出了通過考慮用戶的頭部的頭部姿勢和身體姿勢渲染自由視點圖像的處理過程的流程圖。

[圖10]圖10是示出以描述僅追蹤用戶頭部的移動的自由視點圖像的示圖。

[圖11]圖11是示出以描述通過考慮用戶的頭部姿勢和身體姿勢生成的自由視點圖像的示圖。

[圖12]圖12是示出了使用通過校準(zhǔn)參數(shù)校正的姿勢信息渲染自由視點圖像的處理過程的流程圖。

[圖13]圖13是示出了使用通過校準(zhǔn)參數(shù)校正的姿勢信息渲染自由視點圖像的另一處理過程的流程圖。

[圖14]圖14是示出了使用通過校準(zhǔn)參數(shù)校正的姿勢信息渲染自由視點圖像的又一處理過程的流程圖。

[圖15]圖15是示出了用于處理自動校準(zhǔn)的過程的流程圖。

[圖16]圖16是示出了用于處理自動校準(zhǔn)的另一過程的流程圖。

[圖17]圖17是示出了如何移動自由視點圖像使得通過在圖像中移動固定點1701用戶的視線方向1702朝向軀干的前方方向返回至初始位置的示圖。

[圖18]圖18是示出了自由視點圖像的圖像渲染處理過程的流程圖，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢的過程。

[圖19]圖19是示出了自由視點圖像的圖像渲染處理過程的流程圖，其包括使用第二方法減少或避免用戶的不自然的觀看姿勢的過程。

[圖20]圖20是示出了自由視點圖像的圖像渲染處理過程的流程圖，其包括使用第二方法減少或避免用戶的不自然的觀看姿勢的過程。

[圖21]圖21是示出了四元數(shù)q的示圖。

[圖22]圖22是示出了通過球面線性內(nèi)插(Slerp)補償四元數(shù)的方法的示圖。

[圖23]圖23是示出了通過將UI控件布置在基于用戶的軀干姿勢定向的固定位置中來渲染自由視點圖像的處理過程的流程圖。

[圖24]圖24是示出了通過將UI控件布置在基于用戶的軀干姿勢定向的固定位置中來渲染自由視點圖像的處理過程的流程圖。

[圖25]圖25是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖26]圖26是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖27]圖27是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖28]圖28是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢定向的固定位置中時用于渲染自由視點圖像的處理過程的示圖。

[圖29]圖29是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

[圖30]圖30是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

[圖31]圖31是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

[圖32]圖32是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢定向的固定位置中時的自由視點圖像的顯示實例的示圖。

具體實施方式

在下文中將參考附圖詳細(xì)描述本說明書中所公開的技術(shù)的實施方式。

A.系統(tǒng)配置

圖1是示意性地示出了應(yīng)用本文中公開的技術(shù)的圖像顯示系統(tǒng)100的示例性配置。所示出的圖像顯示系統(tǒng)100被配置為包括頭部運動追蹤設(shè)備200、軀干運動追蹤設(shè)備300、圖像渲染設(shè)備400、以及顯示設(shè)備500。

當(dāng)佩帶在觀察在顯示設(shè)備500上顯示的圖像的用戶頭部上時使用頭部運動追蹤設(shè)備200，并以預(yù)定發(fā)送間隔將用戶頭部的姿勢信息輸出至圖像渲染設(shè)備400。當(dāng)佩帶在用戶的軀干上時使用軀干運動追蹤設(shè)備300并以預(yù)定發(fā)送間隔將用戶的軀干的姿勢信息輸出至圖像渲染設(shè)備400。在所示出的實例中，頭部運動追蹤設(shè)備200被配置為包括傳感器單元201、姿勢角度操作單元202、以及用于將所獲得的姿勢信息發(fā)送至圖像渲染設(shè)備400的發(fā)送器203。軀干運動追蹤設(shè)備300被配置為包括傳感器單元301、姿勢角度操作單元302、以及用于將所獲得的姿勢信息發(fā)送至圖像渲染設(shè)備400的發(fā)送器303。頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300的不同之處可僅在于其附接至用戶的身體的部分或者彼此附接的方法，但在內(nèi)部配置和操作特征上可彼此相似。下面僅對頭部運動追蹤設(shè)備200的內(nèi)部配置進(jìn)行描述，但軀干運動追蹤設(shè)備300的內(nèi)部配置同樣適用。

作為一個實例，通過多個傳感器設(shè)備(諸如，陀螺儀傳感器、加速度傳感器、以及地磁傳感器)的組合配置傳感器單元201。在該說明書中，這是可檢測總共九個軸的傳感器(包括三軸陀螺儀傳感器、三軸加速度傳感器、以及三軸地磁傳感器)。姿勢角度操作單元202基于通過檢測傳感器單元201中的九個軸獲得的結(jié)果對諸如其所附接的用戶的頭部的部分的姿勢信息執(zhí)行運算。發(fā)送器203將所獲得的姿勢信息發(fā)送至圖像渲染設(shè)備400。然而，當(dāng)軀干運動追蹤設(shè)備300僅必須檢測用戶的軀干的朝向時，傳感器單元301可被配置為具有僅設(shè)置有陀螺儀傳感器且不必是九個軸的檢測傳感器的簡單結(jié)構(gòu)。

在本實施方式中，通過用四元數(shù)的形式表示其來處理頭部或軀干的姿勢信息。由于不存在奇點，因此四元數(shù)適于使用計算機的計算。在計算計制圖的領(lǐng)域中，通常使用四元數(shù)表示物體的姿勢。如在以下式(1)和圖21中所示出的，四元數(shù)q是包括旋轉(zhuǎn)軸(矢量)和旋轉(zhuǎn)角度(標(biāo)量)的四元數(shù)。

[數(shù)學(xué)式1]

然而，在頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300中，不必對由傳感器201和301檢測的姿勢角的信息中由四元數(shù)表示的姿勢信息執(zhí)行運算。頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300可以將其中用除了四元數(shù)以外的形式表示姿勢角度的信息發(fā)送至圖像渲染設(shè)備400，用以允許在圖像渲染設(shè)備400側(cè)上計算四元數(shù)。如在圖2中示出的，頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300可以在沒有任何修改地輸出傳感器單元201和傳感器單元301的傳感器信息，以允許布置在圖像渲染設(shè)備400中的姿勢角度操作單元202以四元數(shù)的形式或其他形式從傳感器信息中計算姿勢角度。

在所示出的圖像顯示系統(tǒng)100中，通過無線通信(諸如，藍(lán)牙(注冊商標(biāo))通信)在頭部運動追蹤設(shè)備200與圖像渲染設(shè)備400之間以及軀干運動追蹤設(shè)備300與圖像渲染設(shè)備400之間建立連接。可以經(jīng)由高速有線接口(諸如，通用串行總線(USB))代替無線通信在頭部運動追蹤設(shè)備200與圖像渲染設(shè)備400之間以及軀干運動追蹤設(shè)備300與圖像渲染設(shè)備400之間有保證地建立連接。

圖像渲染設(shè)備400對在顯示設(shè)備500上顯示的圖像執(zhí)行渲染處理。作為一個實例，圖像渲染設(shè)備400可被配置為配備有安卓(注冊商標(biāo))的終端，諸如，智能手機和平板電腦、個人計算機、或游戲機，但不限于這些設(shè)備。

在所示出的實例中，圖像渲染設(shè)備400被配置為包括用于從頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300接收姿勢信息的接收器401，用于基于姿勢信息執(zhí)行圖像的渲染處理的圖像渲染處理單元402，用于將渲染圖像發(fā)送至顯示設(shè)備500的發(fā)送器402，以及用作圖像數(shù)據(jù)的源的圖像源404。盡管未示出，圖像渲染設(shè)備400可被配置為包括音頻輸出單元。

接收器401經(jīng)由藍(lán)牙(注冊商標(biāo))通信等從頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300接收姿勢信息。如上所述，用四元數(shù)形式(quaternion form)表示來自頭部運動追蹤設(shè)備200的姿勢信息。

作為一個實例，圖像源404包括：存儲設(shè)備，諸如，硬盤驅(qū)動器(HDD)和固態(tài)驅(qū)動器(SSD)，用于記錄圖像內(nèi)容；媒介回放設(shè)備，用于回放記錄媒介，諸如，藍(lán)光(注冊商標(biāo))；廣播調(diào)諧器，用于選擇信道以接收由游戲機或數(shù)字廣播信號產(chǎn)生的游戲圖像；通信接口，用于接收在互聯(lián)網(wǎng)上從服務(wù)器流式傳輸?shù)膱D像內(nèi)容；以及無線接口，用于無線接收由設(shè)置在移動設(shè)備(諸如，無線電控制車和汽車)上的外部相機捕捉的圖像。

圖像渲染處理單元402渲染在顯示設(shè)備500一側(cè)顯示的來自圖像源404的圖像數(shù)據(jù)的圖像。作為一個實例，圖像渲染處理單元402通過將對應(yīng)于用戶的頭部和軀干的姿勢信息的顯示視角進(jìn)行分割渲染自由視點圖像，自由視點圖像是由接收器401從全方位類型的原始圖像或具有廣視角的原始圖像(諸如，從圖像源404提供的4K)接收的。設(shè)想互聯(lián)網(wǎng)上的服務(wù)器渲染自由視點圖像的示例性系統(tǒng)配置。在這種情況下，作為一個實例，優(yōu)選的是，頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300中的每一個將姿勢信息發(fā)送至用作圖像渲染設(shè)備400的服務(wù)器，并且顯示設(shè)備500接收并顯示由服務(wù)器分割的圖像。

作為一個實例，經(jīng)由有線電纜(諸如，高清晰度多媒體接口(HDMI，注冊商標(biāo))和動高清晰度連接(MHL))在圖像渲染設(shè)備400與顯示設(shè)備之間建立連接。替換地，可以通過無線通信(諸如，wirelessHD和Miracast)建立這種連接。發(fā)送器403使用通信路徑中的任何一個將由圖像渲染處理單元402渲染的未壓縮圖像數(shù)據(jù)(或者，也可采用壓縮圖像數(shù)據(jù))發(fā)送至顯示設(shè)備500。

顯示設(shè)備500被配置為包括用于從圖像渲染設(shè)備400接收圖像數(shù)據(jù)的接收器501和用于顯示所接收的圖像的顯示單元502。作為一個實例，顯示設(shè)備500(或顯示單元502)被配置為頭戴式顯示器，頭戴式顯示器被固定到觀察圖像的用戶的頭部或面部部分(例如，參見專利文獻(xiàn)1)。

作為一個實例，接收器501經(jīng)由通信路徑(諸如，HDMI(注冊商標(biāo))和MHL)從圖像渲染設(shè)備400接收圖像數(shù)據(jù)。當(dāng)存在壓縮圖像數(shù)據(jù)時，接收器執(zhí)行解碼和解壓縮處理。顯示單元502在屏幕上顯示所接收的圖像數(shù)據(jù)。

作為一個實例，當(dāng)顯示設(shè)備500被配置為頭戴式顯示器時，顯示單元502設(shè)置有分別固定地安裝在用戶的左眼和右眼中的左屏幕和右屏幕，并且顯示左眼圖像和右眼圖像。作為一個實例，顯示單元502的屏幕包括顯示面板或激光掃描顯示器(諸如，視網(wǎng)膜直接顯示器)，顯示面板包括微型顯示器(諸如，有機電動發(fā)光設(shè)備(OLED))和液晶顯示器(LCD)。顯示單元502設(shè)置有虛擬圖像光學(xué)系統(tǒng)，虛擬圖像光學(xué)系統(tǒng)擴大顯示屏幕，對其進(jìn)行投影，并將具有預(yù)定圖像視角的放大的虛擬圖象聚焦在用戶的瞳孔上。

作為一個實例，在圖像渲染設(shè)備400一側(cè)，渲染通過從全方位類型的原始圖像或具有廣視角的原始圖像(諸如,4K)中分割對應(yīng)于用戶的頭部和軀干的姿勢信息的顯示視角獲得的圖像。在顯示設(shè)備500一側(cè)，移動原始圖像中的顯示區(qū)域以抵消用戶的頭部的姿勢的改變。因此，可以再現(xiàn)追蹤頭部的移動的自由視點圖像，從而允許用戶體驗大屏幕的觀看。顯示設(shè)備500可以根據(jù)圖像的移動定位聲音圖像的方向。

圖3示意性地示出了圖像顯示系統(tǒng)100的變形。在圖1和圖2中示出的實例中，圖像顯示系統(tǒng)100被配置為包括四個單獨的設(shè)備，即，頭部運動追蹤設(shè)備200、軀干運動追蹤設(shè)備300、圖像渲染設(shè)備400、以及顯示設(shè)備500。然而，在圖3中示出的實例中，在顯示設(shè)備500中配備圖像渲染設(shè)備400的功能。在圖3中，由相同的參考標(biāo)號表示與圖1中包含的部件相同的部件。如在圖1中示出的，如果頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300中至少一個被配置為與顯示設(shè)備500分開出售的可選擇產(chǎn)品(附帶商品，諸如，配件)，則顯示設(shè)備500將是緊湊的、重量輕的、且便宜的。

圖4示意性地示出了圖像顯示系統(tǒng)100的另一變形。在圖1和圖2中示出的實例中，圖像顯示系統(tǒng)100被配置為包括四個單獨的設(shè)備，即，頭部運動追蹤設(shè)備200、軀干運動追蹤設(shè)備300、圖像渲染設(shè)備400、以及顯示設(shè)備500。然而，在圖4中示出的實例中，在顯示設(shè)備500中配備頭戴式顯示器和圖像渲染設(shè)備400的功能。在圖4中，由相同的參考標(biāo)號表示與圖1中包含的部件相同的部件。如在圖1中示出的，只有軀干運動追蹤設(shè)備300可被配置為用作外部連接至顯示設(shè)備500的設(shè)備。

圖5和圖6示出了用戶1如何使用圖像顯示系統(tǒng)100。圖5是佩帶顯示設(shè)備500的用戶1的俯視圖，以及圖6是佩帶顯示設(shè)備500的用戶1的前視圖。

顯示設(shè)備500是頭戴式顯示器，并具有易于佩帶在人的頭部上的外觀構(gòu)造，諸如，類似眼鏡或者類似帽子的構(gòu)造。用戶1將顯示設(shè)備500佩帶在頭部上。頭部運動追蹤設(shè)備200(作為顯示設(shè)備500的配件)相似地附接至用戶1的頭部以檢測用戶1的頭部的姿勢信息。

如在圖6中示出的，軀干運動追蹤設(shè)備300附接至用戶1的軀干以檢測用戶1的軀干的姿勢信息。在所示出的實例中，盡管軀干運動追蹤設(shè)備300附接至用戶1的腰部附近，但其可以附接至除了腰部以外的部分(諸如，臂部或肩部)，只要檢測的姿勢信息可對應(yīng)于用戶1的軀干的朝向。在所示出的實例中，軀干運動追蹤設(shè)備300包含于附接至用戶1的軀干的盒子600中。

盒子600可以是專用設(shè)備，或者可以是具有內(nèi)置陀螺儀傳感器的設(shè)備，諸如，游戲機控制器。在后者的情況下，盒子600位于顯示設(shè)備500(諸如，頭戴式顯示器)與軀干運動追蹤設(shè)備300之間。軀干運動追蹤設(shè)備300可被配置為整體包括圖像渲染設(shè)備400的功能的設(shè)備，諸如，智能手機或平板電腦終端。用戶1將軀干運動追蹤設(shè)備300附接至軀干的方式是可選擇的，但盒子600不必設(shè)置在它們之間?？紤]到用戶的可用性，優(yōu)選允許用戶選擇性地選擇附接有軀干運動追蹤設(shè)備300的位置而不是嚴(yán)格限定附接位置。作為一個實例，設(shè)想用戶將其放入口袋的狀態(tài)或者用戶將其鉤在皮帶上的狀態(tài)。除此之外，附接至用戶1的軀干的軀干運動追蹤設(shè)備300的數(shù)目不限于一個，但可以布置兩個或更多個設(shè)備，從而根據(jù)具有高精確度的設(shè)備的數(shù)目檢測軀干的朝向。

如上所述，經(jīng)由無線通信(諸如，藍(lán)牙(注冊商標(biāo))通信)或高速有線接口(諸如，通用串行總線(USB))在頭部運動追蹤設(shè)備200與圖像渲染設(shè)備400以及軀干運動追蹤設(shè)備300與圖像渲染設(shè)備400之間建立連接。

當(dāng)用戶觀看在顯示設(shè)備500上顯示的圖像的同時用戶1改變他的頭部或軀干的朝向。圖像渲染設(shè)備400基于由頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300檢測的方向生成自由視點圖像(free viewpoint image)，并且然后將其輸出至顯示設(shè)備500。

應(yīng)用為顯示設(shè)備500的頭戴式顯示器可被配置為所謂的沉浸(immersive)、透視、視頻透視中的任一個。

作為一個實例，沉浸頭戴式顯示器附接至用戶的頭部或面部以覆蓋用戶的眼睛，并且設(shè)置有布置為面向用戶的眼睛的顯示單元(諸如，LCD和OLED)。由于這個原因，佩帶沉浸頭戴式顯示器的用戶難以看到外面的風(fēng)景(即，現(xiàn)實世界的風(fēng)景)。換言之，只有在顯示單元上顯示的視頻圖像落在視野內(nèi)，并且因此，可以為觀看圖像的用戶提供沉浸的感覺。

透視頭戴式顯示器設(shè)置有包括半反射鏡或?qū)Ч獍宓耐该鞯奶摂M圖像光學(xué)系統(tǒng)使得虛擬圖像光學(xué)系統(tǒng)可以面向用戶的眼睛，并在虛擬圖像光學(xué)系統(tǒng)的內(nèi)部顯示圖像。因此，即使在用戶觀看在虛擬圖像光學(xué)系統(tǒng)的內(nèi)部顯示的圖像時的時間期間，佩帶透視頭戴式顯示器的用戶可通過圖像看到外面的風(fēng)景。

作為一個實例，視頻透視頭戴式顯示器附接至用戶的頭部或面部以覆蓋用戶的眼鏡，并設(shè)置有顯示單元，顯示單元布置為面向用戶的眼睛，視頻透視頭戴式顯示器與沉浸頭戴式顯示器相似。然而，視頻透視頭戴式顯示器可被配置為還包括用于捕捉周圍的風(fēng)景的圖像捕捉單元(諸如，相機)，從而通過顯示單元上的圖像捕捉單元顯示沿著用戶的視線捕捉的圖像。盡管佩帶視頻透視頭戴式顯示器的用戶不能直接看到外面的風(fēng)景，但用戶可通過在顯示單元上顯示的所捕捉的圖像觀察外面的風(fēng)景。

B.自由視點圖像的圖像渲染處理

將描述由圖像顯示系統(tǒng)100顯示的自由視點圖像的圖像渲染處理。

在設(shè)置有僅安裝在用戶的頭部上的陀螺儀傳感器的頭戴式顯示器的情況下(例如，參見專利文獻(xiàn)2和3)，可以從頭部的位移中檢測用戶的視線，從而呈現(xiàn)追蹤用戶的頭部的移動的自由視點圖像。

圖7通過流程圖示出了用于在圖像顯示系統(tǒng)100中渲染追蹤用戶頭部的移動的自由視點圖像的處理過程。僅追蹤用戶頭部的移動意味著考慮用戶頭部的姿勢，而不考慮用戶的身體。更具體地，這表示圖像渲染設(shè)備400僅從頭部運動追蹤設(shè)備200接收姿勢信息q^H作為輸入，但不從軀干運動追蹤設(shè)備300接收姿勢信息q^B。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S701)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S702)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運動追蹤設(shè)備200接收表示頭部的姿勢的四元數(shù)q^H并接收用于在自由視點空間移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S703)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操縱的操縱屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據(jù)所輸入的控制信號v計算自由視點空間中的移動量Δ^H(步驟S704)。在該處理例程中，不使用可從軀干運動追蹤設(shè)備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可僅與用戶頭部的姿勢信息q^H相關(guān)聯(lián)，并且如在以下式(2)中示出的確定移動量Δ^H。在以下式(2)中，g是用于基于表示姿勢信息的四元數(shù)q^H從表示位移速度或位移量的控制信號v中計算自由視點空間中的移動量Δ^H的函數(shù)。

[數(shù)學(xué)式2]

Δ^H＝g(v，q^H)…(2)

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶頭部的姿勢q^H的方向(視線方向)將當(dāng)前點移動移動量Δ^H獲得的點p^H(步驟S705)。與用戶頭部的姿勢q^H相關(guān)聯(lián)的點p^H被設(shè)為新視點位置，從視點位置p^H渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^H(步驟S706)，并且然后在顯示設(shè)備500上顯示所渲染的圖像作為輸出。如在以下式(3)中示出的，基于用于生成從視點位置p^H和視線方向q^H看到的圖像的函數(shù)f生成在這個過程中獲得的自由視點圖像I^H。

[數(shù)學(xué)式3]

I^H＝f(p^H，q^H)…(3)

在從檢測用戶頭部的姿勢到顯示追蹤姿勢的圖像的時間期間，存在由于各種原因引起的時間延遲，諸如，當(dāng)頭部運動追蹤設(shè)備200將姿勢信息發(fā)送至圖像渲染設(shè)備400時發(fā)生的發(fā)送延遲，當(dāng)圖像渲染設(shè)備400對圖像執(zhí)行渲染處理時發(fā)生的渲染延遲，以及當(dāng)顯示設(shè)備500顯示圖像渲染數(shù)據(jù)時發(fā)生的顯示延遲。如果延遲時間增加，則渲染對應(yīng)于頭部的先前姿勢的圖像。因此，圖像追蹤頭部的運動的身體感覺劣化，這不利地使用戶經(jīng)歷運動病(motion sickness，暈動病)。因此，圖像渲染設(shè)備400可被配置為通過考慮延遲時間執(zhí)行圖像校正。作為一個實例，在轉(zhuǎn)讓給本申請人的PCT/2014/079205的說明書中公開的圖像處理技術(shù)是可適用的(圖像渲染設(shè)備400預(yù)測延遲時間并且然后在經(jīng)過延遲時間之后從所接收的姿勢角數(shù)據(jù)中預(yù)測姿勢角數(shù)據(jù)，從而在預(yù)測延遲時間中渲染圖像)。

在圖7中示出的處理過程中，圖像渲染設(shè)備400生成追蹤用戶頭部的姿勢的自由視點圖像I^H。然而，在僅檢測用戶頭部的姿勢同時忽視用戶的軀干的姿勢時，用戶界面(UI)處于無論軀干的朝向如何視線方向都向前的狀態(tài)或者其中通過游戲控制器確定自由視點空間中的移動方向使UI不自然地偏離真實空間的狀態(tài)。換言之，在視線與軀干的前方不匹配的狀態(tài)中(例如，當(dāng)頭部與一個側(cè)面成角度的同時向前移動)，僅基于頭部檢測姿勢位移使空間移動至軀干的前方(軀干的前向方向)，從而防止真實空間中的自然行為被表示成視頻圖像。這顯著減少了用于沉浸于視頻圖像中的感覺。

同時，在根據(jù)本實施方式的圖像顯示系統(tǒng)100中，可以基于由頭部運動追蹤設(shè)備200獲得的用戶頭部的姿勢信息q^H和由軀干運動追蹤設(shè)備300獲得的用戶的軀干的姿勢信息q^B在顯示設(shè)備500上顯示的自由視點空間中為用戶的視線方向和軀干朝向單獨進(jìn)行定向。

圖8示出了如何在自由視點空間中單獨定向用戶的視線方向和軀干朝向。如示出的，基于從頭部運動追蹤設(shè)備200提供的姿勢信息q^H為由參考標(biāo)號801表示的視線方向定向?；趶能|干運動追蹤設(shè)備300提供的姿勢信息q^B定向由參考標(biāo)號802表示的身體的朝向。當(dāng)圖像渲染設(shè)備400渲染自由視點圖像時，通過將身體的朝向802設(shè)置為自由視點空間的身體的朝向，可以獲得用戶將其識別為前方的方向。

因此，根據(jù)本實施方式的圖像顯示系統(tǒng)100允許使用自由視點圖像表示在視線與軀干前方不匹配(例如，在頭部與一側(cè)邊成角度時向前移動)的狀態(tài)下空間移動至軀干前方(軀干的前向方向)的真實空間中的自然行為。防止UI處于無論軀干的朝向如何視線方向都移動的狀態(tài)(例如，在頭部與一側(cè)面成角度時向前移動)或者其中通過游戲控制器確定自由視點空間中的移動方向使UI不自然地偏離真實空間的狀態(tài)。

圖9通過流程圖示出了通過考慮圖像顯示系統(tǒng)100中的用戶的身體的姿勢和頭部的姿勢渲染自由視點圖像的處理過程。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S901)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S902)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S911)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S912)并通過發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

然后，圖像渲染設(shè)備400從頭部運動追蹤設(shè)備200接收表示頭部姿勢的四元數(shù)q^H并從軀干運動追蹤設(shè)備300接收表示軀干姿勢的四元數(shù)q^B，并接收用于在自由視點空間中移動的控制信號v(諸如，位移的速度和位移量)作為輸入(步驟S903)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據(jù)所輸入的控制信號v計算自由視點空間中的移動量Δ^B(步驟S904)。在該處理例程中，使用可從軀干運動追蹤設(shè)備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可僅與用戶的軀干的姿勢信息q^B相關(guān)聯(lián)，并且如以下式(4)中所示確定移動量Δ^B。在以下式(4)中，g是用于基于表示姿勢信息的四元數(shù)q^B從表示位移速度或位移量的控制信號v中計算自由視點空間中的移動量Δ^B的函數(shù)(同上)。

[數(shù)學(xué)式4]

Δ^B＝g(v，q^B)…(4)

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B(即，軀干的前向方向)的方向?qū)?dāng)前點移動移動量Δ^B獲得的點p^B(步驟S905)。與用戶的軀干姿勢信息q^B相關(guān)聯(lián)的點p^B被設(shè)為自由視點空間中的視點位置，從視點位置p^B渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S906)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以下式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個過程中生成的自由視點圖像I^H。

[數(shù)學(xué)式5]

I^B＝f(p^B，q^H)…(5)

在上述式(4)中，基于用戶的軀干姿勢信息q^B計算移動量Δ^B。因此，在步驟S905中，相比使用基于用戶的頭部姿勢信息計算移動量q^H的上述式(2)的情況，可以計算更加自然的移動之后的點p^B。因此，在步驟S906中生成的自由視點圖像I^B變成UI，該UI比根據(jù)在圖7中示出的處理過程生成的自由視點圖像I^H更自然。換言之，在視線與軀干的前方不一致的狀態(tài)中(例如，在頭部與一側(cè)面成角度時向前移動)可以通過將空間移動至軀干的前方(軀干的前向方向)表示真實空間中的自然行為。

同樣在圖9中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

在本實施方式中，如參照圖8描述的，基于從頭部運動追蹤設(shè)備200提供的姿勢信息q^H定向用戶在自由視點空間中的視線方向801，并且基于從軀干運動追蹤設(shè)備300提供的姿勢信息q^B定向用戶的身體在自由視點空間中的朝向802。然后，將身體的朝向802設(shè)為用戶將其識別為前方的方向。

如在圖7和以上式(2)中示出的，當(dāng)僅考慮頭部姿勢信息時，與頭部姿勢q^H(即，視線的朝向)相關(guān)聯(lián)地計算自由視點空間中的移動量。在這種情況下，參照圖8，將提供其中自由視點空間朝向視線方向801而不是用戶的前向方向802移動的圖像，并且因此圖像移動不自然。作為一個實例，使用游戲控制器的操縱桿等輸入用于指示移動至前向方向的控制信號v。圖10示出了僅追蹤用戶頭部的移動的自由視點圖像。如示出的，在用戶將他的頭部(視線方向1001)傾斜至左側(cè)的姿勢中，即使從控制器輸入指向前向方向1002的指令，在從當(dāng)前點沿著用戶的頭部姿勢q^H(視線方向)1001的方向移動移動量Δ^H的點處生成圖像I^H并從點p^H處沿視線方向q^H觀看該圖像。換言之，即使存在移動至前向方向的指令，待生成的圖像I^H行進(jìn)至視線方向1001，并且因此圖像將不自然。

同時，如在圖9中和以上式(4)中示出的，存在通過考慮頭部和軀干姿勢信息計算自由視點空間中的移動量的情況。在這種情況下，參照圖8，基于頭部姿勢信息定向視線方向801并基于軀干姿勢信息定向自由視點空間中的用戶的身體朝向802。因此，可以通過將身體朝向802識別為用戶前方的位置來計算在自由視點空間中的移動量。因此，可以渲染追蹤用戶的頭部和身體的移動的自然自由視點圖像。作為一個實例，使用游戲控制器的操縱桿等輸入用于指示移動至前向方向的控制信號v。

圖11示出了通過考慮用戶的頭部姿勢和身體姿勢生成的自由視點圖像。如示出的，在用戶將他的頭部傾斜(視線方向1001)至左側(cè)的姿勢中，當(dāng)從控制器輸入指向前向方向1102的指令時，在從當(dāng)前點沿著用戶的軀干姿勢q^B的方向(視線方向)1102移動移動量Δ^B的點處生成圖像I^B并從點p^B處沿視線方向q^H觀看。換言之，生成視線方向1101的風(fēng)景行進(jìn)至前向方向1102的自然圖像I^B。

C.校準(zhǔn)

當(dāng)如上所述在自由視點空間中單獨定向用戶的視線方向和軀干朝向時，需要使頭部運動追蹤設(shè)備200檢測用戶的頭部姿勢的坐標(biāo)系與軀干運動追蹤設(shè)備300檢測用戶的軀干姿勢的坐標(biāo)系相關(guān)聯(lián)。

當(dāng)頭部運動追蹤設(shè)備200結(jié)合到用作顯示設(shè)備500的頭戴式顯示器中時，可以機械的方式大致嚴(yán)格地限定頭部運動追蹤設(shè)備200附接至用戶的頭部的位置。這是因為根據(jù)用戶通過左眼和右眼中的每一個的圖像顯示單元觀看的事實每次佩戴時用戶都將其佩戴在基本固定的位置。

另一方面，嚴(yán)格限定以機械的方式附接至用戶的軀干的初始朝向的方法也可以考慮用于軀干運動追蹤設(shè)備300。然而，在使用包含于附接至用戶的軀干的盒子600中的軀干運動追蹤設(shè)備300的模式中(例如，參照圖6)，難以如頭戴式顯示器一樣嚴(yán)格地限定附接位置。

考慮到用戶可用性，優(yōu)選用戶通過用戶自身的選擇來選擇軀干運動追蹤設(shè)備300的附接位置而不是嚴(yán)格地限定。作為一個實例，設(shè)想用戶將其放入口袋的狀態(tài)或者用戶將其鉤在皮帶上的狀態(tài)。

因此，需要通過校準(zhǔn)確定用于相互轉(zhuǎn)換頭部運動追蹤設(shè)備200檢測用戶的頭部姿勢的坐標(biāo)系和軀干運動追蹤設(shè)備300檢測用戶的軀干姿勢的坐標(biāo)系的參數(shù)。當(dāng)嚴(yán)格限定附接頭部運動追蹤設(shè)備200的位置時，可以校準(zhǔn)軀干運動追蹤設(shè)備300的初始位置。換言之，只要在用戶佩帶軀干運動追蹤設(shè)備300之后僅執(zhí)行一次校準(zhǔn)，用戶可以通過用戶自身的選擇確定附接軀干運動追蹤設(shè)備300的位置。

在用戶面向用戶頭部正前方并且身體布置在一條線上(即，直立姿勢)的狀態(tài)下，通過確定頭部運動追蹤設(shè)備200的檢測坐標(biāo)系與軀干運動追蹤設(shè)備300的檢測坐標(biāo)系之間的相應(yīng)關(guān)系來執(zhí)行校準(zhǔn)。下面描述了用于執(zhí)行包括項(a)至(c)的校準(zhǔn)的觸發(fā)器的實例。

(a)設(shè)置在頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300中的觸發(fā)按鈕的用戶操作。

(b)用戶選擇通過在顯示設(shè)備500上顯示的圖形用戶界面(GUI)執(zhí)行校準(zhǔn)。

(c)用戶輸入用于頭部運動追蹤設(shè)備200或軀干運動追蹤設(shè)備300的特定輸入(例如，當(dāng)頭部豎直地?fù)u動兩次時頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300的旋轉(zhuǎn)角速度同步的時刻被設(shè)置為觸發(fā)器)。

替換地，可在圖像顯示系統(tǒng)100中自動地執(zhí)行校準(zhǔn)，而不是使用戶執(zhí)行如在以上項(a)至(c)中描述的校準(zhǔn)的觸發(fā)操作。

作為一個實例，在某個時段可以顯示(或者，通過聲音表示)誘導(dǎo)用戶采用直立姿勢的圖像，并且在該時段可以執(zhí)行校準(zhǔn)。

替換地，可以記錄從記錄用戶發(fā)起自由視點觀看的狀態(tài)起的某個時段坐標(biāo)系的旋轉(zhuǎn)位移，并且可以從坐標(biāo)系的旋轉(zhuǎn)位移的記錄數(shù)據(jù)和人體的特性確定在用戶站立的狀態(tài)下的軀干運動追蹤設(shè)備300的傳感器單元301的坐標(biāo)系。

圖12通過流程圖示出了在圖像顯示系統(tǒng)100中使用由校準(zhǔn)參數(shù)校正的姿勢信息來渲染自由視點圖像的處理過程。在執(zhí)行校準(zhǔn)之后的正常操作期間執(zhí)行所示出的處理過程。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1201)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S1202)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1211)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S1212)并通過發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運動追蹤設(shè)備200接收表示頭部姿勢的四元數(shù)q^H并且從軀干運動追蹤設(shè)備300接收表示軀干姿勢的四元數(shù)q^B。然后，獲得校準(zhǔn)四元數(shù)q作為校準(zhǔn)參數(shù)(步驟S1221)。然后，使用校準(zhǔn)參數(shù)q校正表示軀干姿勢的四元數(shù)q^B，并且獲得校正的四元數(shù)q′^B(步驟S1213)。

校準(zhǔn)四元數(shù)q是用于相互轉(zhuǎn)換頭部運動追蹤設(shè)備200檢測用戶的頭部姿勢的坐標(biāo)系和軀干運動追蹤設(shè)備300檢測用戶的軀干姿勢的坐標(biāo)系并通過校正確定的參數(shù)。當(dāng)使用四元數(shù)表示姿勢信息時，用于對其進(jìn)行校正的校準(zhǔn)參數(shù)是用四元數(shù)形式表示的校準(zhǔn)四元數(shù)。在步驟S1213中，通過根據(jù)以下式(6)從左側(cè)乘以校準(zhǔn)四元數(shù)q來校正表示軀干姿勢的四元數(shù)q^B。

[數(shù)學(xué)式6]

q′^B＝qq^B…(6)

然后，圖像渲染設(shè)備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1203)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據(jù)所輸入的控制信號v計算自由視點空間中的移動量Δ^B(步驟S1204)。在該處理例程中，使用可從軀干運動追蹤設(shè)備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可與用戶的軀干的校正姿勢信息q’^B相關(guān)聯(lián)，并且如以下式(7)中所示確定移動量Δ^B。在以下式(7)中，g是用于基于表示姿勢信息的校正四元數(shù)q’^B從表示位移速度或位移量的控制信號v計算自由視點空間中的移動量Δ^B的函數(shù)(同上)。

[數(shù)學(xué)式7]

Δ^B＝g(v，q′^B)…(7)

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B(即，軀干的前向方向)的方向?qū)?dāng)前點移動移動量Δ^B獲得的點p^B(步驟S1205)。與用戶的軀干姿勢信息q^B相關(guān)聯(lián)的點p^B被設(shè)為自由視點空間中的視點位置，從視點位置p^B渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S1206)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個過程中生成的自由視點圖像I^H。

同樣在圖12中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

圖13通過流程圖示出了在圖像顯示系統(tǒng)100中使用由校準(zhǔn)參數(shù)校正的姿勢信息渲染自由視點圖像的另一處理過程。在所示出的處理過程中，根據(jù)如在以上項(a)至(c)中描述的明確操作執(zhí)行校準(zhǔn)。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1301)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S1302)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1311)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S1312)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400使用以下式(8)從表示用戶的頭部姿勢的從頭部運動追蹤設(shè)備200發(fā)送的四元數(shù)q^H和從軀干運動追蹤設(shè)備300發(fā)送的表示用戶的軀干姿勢的四元數(shù)q^B計算校準(zhǔn)四元數(shù)q(步驟S1321)，并將其暫時存儲。在以下式(8)中，“q^B-1”的上標(biāo)“-1”表示四元數(shù)“q^B”的倒數(shù)(inverse)(以下同樣)。

[數(shù)學(xué)式8]

q＝q^Hq^B-1…(8)

然后，圖像渲染設(shè)備400根據(jù)以上式(6)通過從左側(cè)乘以校準(zhǔn)四元數(shù)q來校正表示軀干姿勢的四元數(shù)(步驟S1313)。

接下來，圖像渲染設(shè)備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1303)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402由控制信號v計算在自由視點空間中的移動量Δ^B(步驟S1304)。在該處理例程中，使用可從軀干運動追蹤設(shè)備300獲得的用戶軀干的姿勢信息使得可以使控制信號v與用戶的軀干的校正姿勢信息q′^B相關(guān)聯(lián)，從而根據(jù)以上式(7)確定移動量Δ^B。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當(dāng)前點移動移動量Δ^B獲得的點p^B(步驟S1305)。與用戶的軀干姿勢信息q^B相關(guān)聯(lián)的點p^B被設(shè)為自由視點空間中的視點位置，從視點位置p^B渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S1306)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個過程中生成的自由視點圖像I^H。

同樣在圖13中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

圖14通過流程圖示出了在圖像顯示系統(tǒng)100中使用由校準(zhǔn)參數(shù)校正的姿勢信息渲染自由視點圖像的又一處理過程。在所示出的處理過程中，基于某個時段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性自動執(zhí)行校準(zhǔn)。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1401)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S1402)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1411)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S1412)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400基于某個時段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性估計校準(zhǔn)四元數(shù)q(步驟S1421)。在這個過程中，一直而不是僅在特定時間點執(zhí)行校準(zhǔn)四元數(shù)q的估計。下面將更詳細(xì)地描述在步驟S1421中估計校準(zhǔn)四元數(shù)q的方法。

然后，圖像渲染設(shè)備400根據(jù)以上式(6)通過從左側(cè)乘以校準(zhǔn)四元數(shù)q來校正表示軀干姿勢的四元數(shù)q^B(步驟S1413)。

接下來，圖像渲染設(shè)備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1403)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402由控制信號v計算在自由視點空間中的移動量Δ^B(步驟S1404)。在該處理例程中，使用可從軀干運動追蹤設(shè)備300獲得的用戶軀干的姿勢信息使得可以使控制信號v與用戶的軀干的校正姿勢信息q′^B相關(guān)聯(lián)，從而根據(jù)以上式(7)確定移動量Δ^B(同上)。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當(dāng)前點移動移動量Δ^B獲得的點p^B(步驟S1405)。與用戶的軀干姿勢信息q^B相關(guān)聯(lián)的點p^B被設(shè)為自由視點空間中的視點位置，從視點位置p^B渲染沿表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S1406)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個過程中生成的自由視點圖像I^H。

同樣在圖14中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

圖15通過流程圖示出了在圖14中示出的流程圖的步驟S1421中執(zhí)行的自動校準(zhǔn)的處理過程。在所示出的處理過程中，基于某個時段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性估計校準(zhǔn)四元數(shù)q。盡管可在圖像顯示系統(tǒng)100的設(shè)備200至500中的任何一個中執(zhí)行這個處理過程，但假定在圖像渲染設(shè)備400中執(zhí)行處理過程為方便起見將進(jìn)行描述。

圖像渲染設(shè)備400接收從頭部運動追蹤設(shè)備200發(fā)送的表示用戶的頭部姿勢的四元數(shù)q^H作為常數(shù)輸入以及從軀干運動追蹤設(shè)備300發(fā)送的表示用戶的軀干姿勢的四元數(shù)q^B作為時間序列數(shù)據(jù)(步驟S1501)。

根據(jù)以下式(9)，基于由頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300中的每一個重新檢測的姿勢信息的四元數(shù)，計算新校準(zhǔn)四元數(shù)q′并依次進(jìn)行記錄(步驟S1502)。

[數(shù)學(xué)式9]

q′＝q^Hq^B-1…(9)

由在用戶面向用戶頭部的正前方并且軀干布置成一直線(即，直立姿勢)的時刻檢測的四元數(shù)q^H和q^B計算的四元數(shù)q′是合適的校準(zhǔn)四元數(shù)。因此，在該處理過程中，基于當(dāng)長時間測量用戶的頭部和軀干姿勢時平均說來用戶經(jīng)常面向頭部的正前方并且身體布置成一直線的假設(shè)，通過采用在步驟S1502中記錄的校準(zhǔn)四元數(shù)q′的時間序列平均值計算最后校準(zhǔn)四元數(shù)q(步驟S1503)，并輸出(S1504)。

與根據(jù)在圖13中示出的明確操作執(zhí)行校準(zhǔn)的情況不同，在圖15中示出的處理過程中，校準(zhǔn)四元數(shù)q不是固定值而是會隨時發(fā)生變化，并且可以除去傳感器單元201或301的干擾因素，諸如站著或坐著的用戶。

在步驟S1502中，通過求取校準(zhǔn)四元數(shù)q′的時間序列的平均值更新最終校準(zhǔn)四元數(shù)，內(nèi)插更新前(pre-updated)的校準(zhǔn)四元數(shù)q_prev和新計算的校準(zhǔn)四元數(shù)q′以確定更新的校準(zhǔn)四元數(shù)q_updated。

表示姿勢的四元數(shù)被描述為三維球體上的一點。因此，如在以下式(10)和圖22中示出的，通過球面線性內(nèi)插(Slerp)更新的校準(zhǔn)四元數(shù)q_updated可以用于對四元數(shù)q_prev與q′之間的三維球體執(zhí)行線性內(nèi)插。

[數(shù)學(xué)式10]

在以上式(10)中，通過用權(quán)重(1-δ)加權(quán)的更新前的校準(zhǔn)四元數(shù)q_prev和用δ加權(quán)的新的計算值q′的加權(quán)平均值確定更新的校準(zhǔn)四元數(shù)q_updated(內(nèi)插(interpolation)而不是外插(extrapolation，外推))。作為一個實例，權(quán)重系數(shù)δ＝0.01。首先，用權(quán)重1更新四元數(shù)q_updated。因此，當(dāng)用戶在啟動的時候采用正確姿勢時(頭部面向正前方并且身體成一條線)，不久達(dá)到收斂。

Slerp的運算僅定義為二元關(guān)系，如在以上式(10)中示出的。因此，不適合同時用大量四元數(shù)計算平均值(如上所述，四元數(shù)的順序更新q_updated是可以的)。為了解決這個問題(即，為了同時用大量四元數(shù)計算平均值)，考慮對數(shù)空間中的算術(shù)平均值。利用單位向量u，表示繞u旋轉(zhuǎn)的角度θ的四元數(shù)q可表示為如在以下式(11)中示出的。采用這個對數(shù)，得出以下式(12)。

[數(shù)學(xué)式11]

[數(shù)學(xué)式12]

因此，通過對數(shù)變換將校準(zhǔn)四元數(shù){q′}的時間序列映射到三維空間以計算代表值(諸如，算術(shù)平均值)，并且然后可以通過如在以下式(13)中示出的指數(shù)轉(zhuǎn)換設(shè)置回四元數(shù)。當(dāng)計算算術(shù)平均值時，可視情況執(zhí)行所需過程，諸如，去除異常值。

[數(shù)學(xué)式13]

圖16通過流程圖示出了在圖14中示出的流程圖的步驟S1421中執(zhí)行的自動校準(zhǔn)的另一處理過程。在所示出的處理過程中，基于某個時段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性估計校準(zhǔn)參數(shù)q?？深A(yù)見用戶的頭部和軀干姿勢在作為共用軸線的重力方向上的情況，并且假設(shè)傳感器單元201和301具有檢測重力方向并執(zhí)行自動校準(zhǔn)的功能。盡管可在圖像顯示系統(tǒng)100的設(shè)備200至500中的任何一個中執(zhí)行這個處理過程，但假定在圖像渲染設(shè)備400中執(zhí)行處理過程為方便起見將進(jìn)行描述。

圖像渲染設(shè)備400接收從頭部運動追蹤設(shè)備200發(fā)送的表示用戶的頭部姿勢的四元數(shù)q^H作為常數(shù)輸入并接收從軀干運動追蹤設(shè)備300發(fā)送的表示用戶的軀干姿勢的四元數(shù)q^B作為時間序列數(shù)據(jù)(步驟S1601)。

用戶的頭部和軀干姿勢在作為共用軸線的重力方向上，并且坐標(biāo)系的偏差僅累加成θ的一個參數(shù)。因此，當(dāng)重力方向被設(shè)為旋轉(zhuǎn)軸線時，計算并依次進(jìn)行記錄表示用戶的頭部姿勢的四元數(shù)q^H和表示用戶的軀干姿勢的四元數(shù)q^B的旋轉(zhuǎn)方向的角度差θ(t)(步驟S1602)。

然后，計算角度差θ(t)的平均值，并且估計計算結(jié)果作為在頭部運動追蹤設(shè)備200的傳感器單元201和軀干運動追蹤設(shè)備300的傳感器單元301所附接的位置的偏差量(步驟S1603)。

因此，基于重力方向和角度差θ(t)的平均值計算校準(zhǔn)四元數(shù)q(步驟S1604)，并輸出(步驟S1605)。

在步驟S1604中，假設(shè)計算用于將用戶的軀干姿勢的四元數(shù)q^B轉(zhuǎn)換成與頭部姿勢的四元數(shù)q^H相同的坐標(biāo)系的表示的校準(zhǔn)四元數(shù)。

在圖16中示出的處理過程中，校準(zhǔn)四元數(shù)q不是固定值而是會隨時發(fā)生變化，并且可以去除傳感器單元201或301的干擾因素(諸如，站著或坐著的用戶)(同上)。

在步驟S1603中，除了計算角度差θ(t)的簡單平均之外，可以采用以下項(d)至(g)的任意計算方法。

(d)頻率分布的中值

(e)去除異常值之后的平均值

(f)用于確定材料的速度和加速度數(shù)據(jù)的組合

(g)用于確定材料的頭部旋轉(zhuǎn)的極限值的組合

在項(f)中描述的“用于確定材料的速度和加速度數(shù)據(jù)的組合”僅使用在自由視點空間中以某個范圍的速度和加速度執(zhí)行移動時的數(shù)據(jù)。當(dāng)長時間保持靜止?fàn)顟B(tài)時，不包含于樣本。

在項(g)中描述了“用于確定材料的頭部旋轉(zhuǎn)的極限值的組合”，僅使用在范圍[θ_max-θ_th,θ_min+θ_th]內(nèi)的數(shù)據(jù)計算角度差θ(t)的平均值，其中，極限值θ_th暫時被設(shè)為120度，測量數(shù)據(jù)中的角度差的最大值被設(shè)為θ_max并且最小值被設(shè)為θ_min。

D.生物安全支持

在由顯示設(shè)備500(諸如，頭戴式顯示器)呈現(xiàn)的自由視點空間中，當(dāng)用戶試圖通過從初始位置移動固定點超過90度而往回看時，用戶可以采用以下(A)和(B)兩種類型的運動。

(A)僅轉(zhuǎn)動頭部90度

(B)轉(zhuǎn)動整個軀干90度

當(dāng)僅通過檢測用戶的頭部姿勢渲染自由視點圖像時，用戶不能確定是否執(zhí)行以上項(A)和(B)的運動中的任一個。運動(A)是不自然的姿勢，并且因此擔(dān)心影響人體，從而導(dǎo)致生產(chǎn)安全性問題。

同時，在根據(jù)本實施方式的圖像顯示系統(tǒng)100中，除了通過頭部運動追蹤設(shè)備200得到的用戶的頭部的姿勢信息q^H之外，可使用通過軀干運動追蹤設(shè)備300得到的用戶的軀干的姿勢信息q^B。因此，用戶可以確定所執(zhí)行的運動是項(A)還是(B)。因此，可以引入用于基于通過確定運動得出的結(jié)果來減少或避免由于自由視點觀看引起的頭部的不自然的觀看姿勢的機構(gòu)。

作為一個實例，用于減少或避免用戶不自然的觀看姿勢的第一方法可以包括顯示圖像以將用戶的頭部返回到正常位置。如果由用戶的頭部和軀干的姿勢信息q^H和q^B確定某個時段保持伴有用戶的不自然的姿勢的運動(A)(諸如，極度地扭轉(zhuǎn)頭部或軀干)的狀態(tài)，以低速無意識地顯示用戶的頭部朝向軀干的前向方向返回到初始位置的圖像。圖17示出了如何移動自由視點圖像使得可以通過在圖像中移動固定點1701而使用戶的視線方向1702朝向軀干的前向方向回到初始位置。

在圖9、圖12、圖13、以及圖14中示出的處理過程中，渲染通過將分別通過頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300實際上檢測的頭部姿勢q^H和軀干姿勢q^B沒有任何修改地映射至自由視點空間的世界坐標(biāo)系得到的自由視點圖像。同時，在減少或避免用戶的不自然的觀看姿勢的第一方法中，如果在用戶觀看自由視點圖像時用戶的姿勢不自然(頭部相對于軀干扭曲)，則對自由視點空間的世界坐標(biāo)系進(jìn)行校正使得自由視點空間中的頭部姿勢q^H*與軀干姿勢q^B*之間的差異可以減小，從而提示甚至在真實空間中要減小用戶的頭部姿勢q^H與軀干姿勢q^B之間的差異。

作為減少或避免用戶的不自然的觀看姿勢的第二方法可以包括自動取消追蹤頭部的移動(頭部追蹤)。如果確定在某個時段保持伴有用戶的不自然的姿勢的運動(A)的狀態(tài)，則自動取消追蹤頭部的移動(頭部追蹤)并且使用戶的頭部利用在前方顯示的固定點朝向軀干的前向方向返回到初始位置，從而重新執(zhí)行坐標(biāo)對準(zhǔn)?？梢酝ㄟ^用戶的主動操作(諸如，按壓按鈕)取消頭部追蹤而不是自動取消。

在減少或避免用戶的不自然的觀看姿勢的第二方法中，當(dāng)指示取消頭部追蹤時通過在自由視點空間中固定頭部姿勢而保持在前方顯示固定點。然后，在取消頭部追蹤的期間，根據(jù)由頭部運動追蹤設(shè)備200檢測的頭部姿勢q^H引起自由視點空間中的軀干姿勢發(fā)生改變(即，用戶移動脖子相同的量)。這提示用戶的頭部朝向軀干的前向方向回到初始姿勢。

圖18通過流程圖示出了用于渲染自由視點圖像的處理過程，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢的過程。通過校正自由視點空間的世界坐標(biāo)系執(zhí)行這個過程。盡管在圖18中未示出，表示世界坐標(biāo)系的校正的四元數(shù)q^W的初始值被設(shè)為單位四元數(shù)。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1801)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S1802)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1811)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S1812)并通過發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運動追蹤設(shè)備200接收表示頭部姿勢的四元數(shù)q^H并且從軀干運動追蹤設(shè)備300接收表示軀干姿勢的四元數(shù)q^B。然后，獲得校準(zhǔn)四元數(shù)q作為校準(zhǔn)參數(shù)(步驟S1821)。然后，使用校準(zhǔn)參數(shù)q校正表示軀干姿勢的四元數(shù)q^B，并且獲得校正的四元數(shù)q′^B(步驟S1813)。

校準(zhǔn)四元數(shù)q是用于相互轉(zhuǎn)換頭部運動追蹤設(shè)備200檢測用戶的頭部姿勢的坐標(biāo)系和軀干運動追蹤設(shè)備300檢測用戶的軀干姿勢的坐標(biāo)系的參數(shù)(如上所述)。獲得校準(zhǔn)四元數(shù)q的方法是可選擇的。在步驟S1813中，通過根據(jù)以上式(6)從左邊乘以校準(zhǔn)四元數(shù)q校正表示軀干姿勢的四元數(shù)q^B。

然后，基于從頭部運動追蹤設(shè)備200接收的頭部姿勢四元數(shù)q^H和校正后的軀干姿勢四元數(shù)q′^B執(zhí)行圖像顯示系統(tǒng)100是否處于生物安全支持模式的模式確定(步驟S1831)。模式確定的方法是可選擇的。作為一個實例，根據(jù)如下所述的條件(C1)至(C3)執(zhí)行模式確定。

(C1)在初始狀態(tài)下關(guān)掉生物安全支持模式。

(C2)當(dāng)在關(guān)掉生物安全支持模式的狀態(tài)下用戶的頭部與軀干姿勢之間的差異ψ超過第一閾值ψ_th1的狀態(tài)持續(xù)一定時間時，開啟生物安全支持模式。

(C3)當(dāng)在開啟生物安全支持模式的狀態(tài)下用戶的頭部與軀干姿勢之間的差異ψ降到第二閾值ψ_th2以下時，關(guān)掉生物安全支持模式。

在這點上，在以上條件(C2)中，可通過以下式(14)使用頭部姿勢四元數(shù)q^H和校正后的軀干姿勢四元數(shù)q′^B計算用戶的頭部與軀干姿勢之間的差異ψ。

[數(shù)學(xué)式14]

ψ＝||q^Hq′^B-1||...(14)

通過將通過以上式(14)計算的頭部與軀干姿勢之間的差異ψ與閾值ψ_th2和ψ_th2中的每一個進(jìn)行比較可以確定是否設(shè)置生物安全支持模式。然而，根據(jù)以上條件(C1)至(C3)，當(dāng)用戶處于不舒服的姿勢可以主動(或手動)執(zhí)行生物安全支持模式的開/關(guān)之間的轉(zhuǎn)換，而不是生物安全支持模式的開/關(guān)之間的自動轉(zhuǎn)換。

然后，在生物安全支持模式下(在步驟S1831中為是)，對自由視點空間中的世界坐標(biāo)系進(jìn)行校正使得自由視點空間中的頭部姿勢與軀干姿勢之間的差異可以減少(步驟S1832)。如果未處于生物安全支持模式中(在步驟S1831中為否)，則跳過世界坐標(biāo)系的校正處理。

在步驟S1832中執(zhí)行的世界坐標(biāo)系的校正對應(yīng)于通過逐漸旋轉(zhuǎn)世界坐標(biāo)系使頭部姿勢接近軀干姿勢的操作。如在以下式(15)中示出的，當(dāng)表示世界坐標(biāo)系的校正的四元數(shù)是q^W時，通過從左側(cè)乘以接近軀干姿勢的四元數(shù)δ來更新世界坐標(biāo)系的校正四元數(shù)q^W。世界坐標(biāo)系的校正四元數(shù)q^W的初始值是單位四元數(shù)(如上所述)。

[數(shù)學(xué)式15]

q^W＝δq^W…(15)

如在以下式(16)中示出的，逐漸接近軀干姿勢的四元數(shù)δ是通過將表示頭部姿勢與軀干姿勢之間的差異的四元數(shù)劃分成n得出的四元數(shù)。在此，n是允許用戶不費事地(或無意識地)觀察的劃分的數(shù)目。替換地，如在以下式(17)中示出的，逐漸接近軀干姿勢的四元數(shù)δ是通過將通過標(biāo)準(zhǔn)化頭部姿勢與軀干姿勢之間的差異得出的四元數(shù)乘以小標(biāo)量ε得出的四元數(shù)。

[數(shù)學(xué)式16]

[數(shù)學(xué)式17]

當(dāng)使用以上式(16)校正世界坐標(biāo)系時，每當(dāng)它出現(xiàn)時校正量都發(fā)生變化。因此，如果改變大，可能會被觀察為不自然的移動。同時，當(dāng)使用以上式(17)校正世界坐標(biāo)系時，可使每當(dāng)出現(xiàn)時校正量恒定。

然后，通過將在步驟S1802中計算的頭部姿勢的四元數(shù)q^H和在步驟S1813中校正的軀干姿勢的四元數(shù)q′^B中的每一個從左側(cè)乘以四元數(shù)q^W來執(zhí)行在自由視點空間中的頭部姿勢q^H*和軀干姿勢q′^B*中的每一個的校正(步驟S1833和S1834)，并且通過逐漸旋轉(zhuǎn)世界坐標(biāo)系執(zhí)行使頭部姿勢接近軀干姿勢的操作。

圖像渲染設(shè)備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1803)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

然后，在圖像渲染處理單元402中，基于通過用四元數(shù)q^W校正世界坐標(biāo)系得出的自由視點空間中的軀干姿勢q′^B*，使用以下式(18)計算對應(yīng)于所輸入的控制信號v的移動量Δ^B*(步驟S1804)。在以下式(18)中，g是用于基于表示姿勢信息的校正四元數(shù)q′^B*由表示位移速度和位移量的控制信號v計算自由視點空間中的移動量Δ^B*的函數(shù)(同上)。

[數(shù)學(xué)式18]

Δ^B*＝g(v，q′^B*)…(18)

然后，圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當(dāng)前點移動移動量Δ^B*獲得的點p^B*(步驟S1805)。與校正后的用戶的軀干姿勢信息q^B*相關(guān)聯(lián)的點p^B*被設(shè)為自由視點空間中的視點位置，從視點位置p^B*渲染在表示為頭部姿勢的校正后的四元數(shù)q^H*的視線方向看到的圖像I^B*(步驟S1806)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出?；谟糜谏蓮囊朁c位置p^B*和視線方向q^H*看到的圖像的函數(shù)f生成在這個過程中生成的自由視點圖像I^B*(同上)。

同樣在圖18中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

圖19和圖20通過流程圖示出了用于渲染自由視點圖像的處理過程，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢的過程。通過校正自由視點空間的世界坐標(biāo)系執(zhí)行這個過程。盡管在圖19和圖20中未示出，但表示世界坐標(biāo)系的校正的四元數(shù)q^W的初始值被設(shè)為單位四元數(shù)。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S1901)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行操作(步驟S1902)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S1911)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S1912)并通過發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運動追蹤設(shè)備200接收表示頭部姿勢的四元數(shù)q^H并且從軀干運動追蹤設(shè)備300接收表示軀干姿勢的四元數(shù)q^B。然后，獲得校準(zhǔn)四元數(shù)q作為校準(zhǔn)參數(shù)(步驟S1921)。然后，使用校準(zhǔn)參數(shù)q校正表示軀干姿勢的四元數(shù)q^B，并且獲得軀干姿勢的校正后的四元數(shù)q′^B(步驟S1913)。

校準(zhǔn)四元數(shù)q是用于相互轉(zhuǎn)換頭部運動追蹤設(shè)備200檢測用戶的頭部姿勢的坐標(biāo)系和軀干運動追蹤設(shè)備300檢測用戶的軀干姿勢的坐標(biāo)系的參數(shù)(如上所述)。獲得校準(zhǔn)四元數(shù)q的方法是可選擇的。在步驟S1913中，通過根據(jù)以上式(6)從左側(cè)乘以校準(zhǔn)四元數(shù)q來校正表示軀干姿勢的四元數(shù)q^B。

然后，確定圖像顯示系統(tǒng)100是否處于生物安全支持模式(步驟S1941)。作為一個實例，通過判斷根據(jù)以上式(14)計算的頭部和軀干姿勢之間的差異ψ是否超過預(yù)定閥值可以自動執(zhí)行確定是否設(shè)置生物安全支持模式。替換地，可以由判斷是否指示取消頭部追蹤的用戶主動執(zhí)行這個確定(或者，通過手動，諸如，按壓按鈕)。

如果設(shè)置生物安全支持模式(在步驟S1941中為是)，進(jìn)一步檢查當(dāng)前時間是否是設(shè)置生物安全支持模式的時刻(步驟S1942)，然后在設(shè)置模式的時刻的用戶的頭部姿勢q^H被保存為q^H0(步驟S1943)。

然后，在生物安全支持模式期間，通過用q^H0替換重新檢測并計算的頭部姿勢的四元數(shù)q^H來固定自由視點空間中的頭部姿勢，從而防止在渲染時執(zhí)行頭部追蹤。通過替換根據(jù)以下式(19)在步驟S1913中校正的軀干姿勢的q′^B，自由視點空間中的軀干姿勢q′^B可以改變通過由頭部運動追蹤設(shè)備200檢測的頭部姿勢q^H改變的量(步驟S1944)。更具體地，通過將軀干姿勢q′^B從左側(cè)乘以當(dāng)前頭部姿勢的四元數(shù)q^H的倒數(shù)和在取消頭部追蹤的時刻頭部姿勢的四元數(shù)q^H0(按以上順序)，使用軀干姿勢補償頭部姿勢上的改變。

[數(shù)學(xué)式19]

另一方面，如果沒有設(shè)置生物安全支持模式(在步驟S1941中為否)，確定這個時間是否是釋放生物安全支持模式的時刻(步驟S1945)。然后，如果這個時間是釋放生物安全支持模式的時刻(在步驟S1945中為是)，則使用以下式(20)更新用于校正世界坐標(biāo)系的四元數(shù)以補償在生物安全支持模式期間頭部姿勢實際上的改變(步驟S1946)。更具體地，通過將四元數(shù)q^W從左側(cè)乘以當(dāng)前頭部姿勢的四元數(shù)q^H的倒數(shù)和在取消頭部追蹤的時刻頭部姿勢的四元數(shù)q^H0(按以上順序)，使用軀干姿勢補償頭部姿勢上的改變。

[數(shù)學(xué)式20]

q^W＝q^Wq^H0q^H-1…(20)

然后，通過將頭部姿勢的四元數(shù)q^H和軀干姿勢的四元數(shù)q′^B中的每一個從左側(cè)乘以四元數(shù)q^W執(zhí)行自由視點空間中的頭部姿勢q^H*和軀干姿勢q′^B*中的每一個的校正(步驟S1947和S1948)，并且通過逐漸旋轉(zhuǎn)世界坐標(biāo)系執(zhí)行使頭部姿勢接近軀干姿勢的操作。

圖像渲染設(shè)備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S1903)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

然后，在圖像渲染處理單元402中，基于通過用四元數(shù)q^W校正世界坐標(biāo)系得出的自由視點空間中的軀干姿勢q′^B*，使用以上式(18)計算對應(yīng)于所輸入的控制信號v的移動量Δ^B*(步驟S1904)。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當(dāng)前點移動移動量Δ^B*獲得的點p^B*(步驟S1905)。與校正后的用戶的軀干姿勢信息q^B*相關(guān)聯(lián)的點p^B*被設(shè)為自由視點空間中的視點位置，從視點位置p^B*渲染在表示為頭部姿勢的校正后的四元數(shù)q^H*的視線方向看到的圖像I^B*(步驟S1906)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出?；谟糜谏蓮囊朁c位置p^B*和視線方向q^H*看到的圖像的函數(shù)f生成在這個過程中生成的自由視點圖像I^B*(同上)。

同樣在圖19和圖20中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

以這種方式，在根據(jù)本實施方式的圖像顯示系統(tǒng)100中，除了由頭部運動追蹤設(shè)備200得到的用戶的頭部姿勢信息q^H之外，可以使用由軀干運動追蹤設(shè)備300得到的用戶的軀干姿勢信息q^B。因此，可以減少或避免由于自由視點觀看引起的頭部的不自然的觀看姿勢。

E.自由視點圖像的元信息的顯示

除了現(xiàn)有的TV廣播之外，自由視點圖像內(nèi)容的實例可以包括由安置在移動設(shè)備(諸如，汽車)和無線電控制中的廣角相機捕捉的圖像和第一人稱視點的游戲圖像。

用戶有時想要指的是與正在觀看的自由視點圖像內(nèi)容有關(guān)的元信息。本文中所指的元信息的實例可包括與內(nèi)容播放位置或剩余播放時間有關(guān)的信息，與指示其在虛擬空間中自身的當(dāng)前位置的地圖或坐標(biāo)有關(guān)的信息，以及在游戲中操縱的人物的狀態(tài)(例如，在戰(zhàn)斗游戲中，疲勞或損傷程度、武器或彈藥的剩余數(shù)量、迄今進(jìn)行的破壞、分?jǐn)?shù)等)。

觀看自由視點圖像的用戶的視野與外部世界隔絕或者用戶沉浸于虛擬世界中。因此，用戶有時想要指的是真實世界信息而不是如上所述的元信息。真實世界信息的實例可包括當(dāng)前時間或其他環(huán)境信息、電子郵件或電話呼叫通知等。

用戶可以通過在自由視點圖像中用在其上描述的這樣的內(nèi)容元信息或真實世界信息顯示用戶界面組件而在不妨礙觀看自由視點圖像的情況下檢查期望元信息或真實世界信息。

當(dāng)通過僅考慮用戶的頭部姿勢布置這樣的UI控件時，即，當(dāng)UI控件布置在基于頭部姿勢定向的固定位置中時，自由視點圖像追蹤用戶的頭部姿勢，即，視線方向，并且繼續(xù)在同一地方顯示UI控件。

當(dāng)始終在同一地方顯示UI控件時，用戶可以在觀看期間在任何時間檢查元信息或真實世界信息。自由視點圖像隨著頭部姿勢的移動而改變，但始終在同一地方的UI控件的布置是反常的，這會導(dǎo)致顯著削弱真實或沉浸的感覺。與自由視點圖像有關(guān)的信息通常將位于布置UI控件的地點，從而使用戶感覺觀看或播放游戲困難。有時，存在用戶不想看元信息或真實世界信息的時域，并且用戶從UI控件的顯示中可以感覺到繁重。

圖25和圖26示出了當(dāng)UI控件布置在基于從頭部運動追蹤設(shè)備200獲得的用戶的頭部姿勢定向的固定位置中時的自由視點圖像的顯示實例。

在圖25中示出的實例中，用戶的頭部面向前方，并且UI控件布置在用戶的頭部的前向方向上，如由參考標(biāo)號2501表示的。因此，在這種情況下，如由參考標(biāo)號2502表示的，UI控件投影到自由視點圖像2500上。

在圖26中示出的實例中，用戶鞠躬且他的頭部朝下。在這種情況下，UI控件布置在用戶的頭部的前向方向上，如由參考標(biāo)號2601表示。因此，同樣在這種情況下，UI控件被投影到自由視點圖像2600上，如由參考標(biāo)號2602表示。換言之，無論用戶的頭部姿勢怎樣，UI控件一直存在于自由視點圖像中。

圖27和圖28示出了當(dāng)UI控件布置在基于從頭部運動追蹤設(shè)備200獲得的用戶的頭部姿勢定向的固定位置中時的自由視點圖像的另一顯示實例。

在圖27中示出的實例中，用戶的頭部面向前方，并且UI控件布置在如由參考標(biāo)號2701表示的用戶的頭部的前向方向上。因此，在這種情況下，UI控件投影到自由視點圖像2700上，如由參考標(biāo)號2702表示的。

在圖28中示出的實例中，用戶向左轉(zhuǎn)彎并且頭朝向左邊。在這種情況下，UI控件如由參考標(biāo)號2801表示的布置在用戶的頭部的前向方向上。因此，在這種情況下，UI控件如由參考標(biāo)號2802表示的被投影到自由視點圖像2800上。換言之，無論用戶的頭部姿勢怎樣，UI控件一直存在于自由視點圖像中。

另一方面，圖29和圖30示出了當(dāng)UI控件布置在基于從軀干運動追蹤設(shè)備300獲得的用戶的軀干姿勢定向的固定位置中時自由視點圖像的顯示實例。

在圖29中示出的實例中，用戶的頭部面向前方，但UI控件布置在用戶的軀干的前向方向上，如由參考標(biāo)號2901表示的。因此，在這種情況下，自由視點圖像2600中不存在UI控件。

在圖30中示出的實例中，用戶鞠躬且他的頭部向下轉(zhuǎn)。在這種情況下，UI控件如由參考標(biāo)號3001表示的布置在用戶的軀干的前向方向上。因此，用戶的頭向下轉(zhuǎn)使得UI控件能夠顯示在自由視點圖像3000上，如由參考標(biāo)號3002表示的。

換言之，盡管在用戶將他的頭向前轉(zhuǎn)的正常的姿勢中UI控件隱藏，但可以通過向下轉(zhuǎn)動頭使UI控件在自由視點圖像中顯示。三維UI控件可以通過根據(jù)用戶的頭部姿勢校正基于用戶面向前方的軀干姿勢定向在固定位置的UI控件的姿勢而布置在自由視點圖像中。

另一方面，圖31和圖32示出了當(dāng)UI控件布置在基于從軀干運動追蹤設(shè)備300獲得的用戶的軀干姿勢定向的固定位置中時自由視點圖像的另一顯示實例。

在圖31中示出的實例中，用戶的頭部面向前方，但UI控件布置在用戶的軀干的左側(cè)方向上，如由參考標(biāo)號3101表示的。因此，在這種情況下，自由視點圖像3100中不存在UI控件。

在圖32中示出的實例中，用戶向左轉(zhuǎn)彎并且頭朝向左邊。在這種情況下，UI控件如由參考標(biāo)號3201表示的布置在用戶的軀干的左側(cè)方向上。因此，用戶的頭向左轉(zhuǎn)使得UI控件能夠顯示在自由視點圖像3200上，如由參考標(biāo)號3202表示的。

換言之，盡管在用戶將他的頭向前轉(zhuǎn)的正常的姿勢中UI控件隱藏，但可以通過向左轉(zhuǎn)動頭使UI控件顯示在自由視點圖像中。三維UI控件可以通過根據(jù)用戶的頭部姿勢校正基于用戶面向前方的軀干姿勢定向在固定位置的UI控件的姿勢而布置在自由視點圖像中。

圖23通過流程圖示出了其中UI控件布置在基于用戶的軀干姿勢定向的固定位置中的自由視點圖像的圖像渲染處理的過程。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S2301)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S2302)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S2311)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S2312)并通過發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

然后，如果圖像渲染設(shè)備400接收上述內(nèi)容元信息或真實世界信息作為輸入(步驟S2321)，表示所輸入的信息的UI控件布置在基于表示用戶的軀干姿勢的四元數(shù)q^B定向在用戶軀干坐標(biāo)系上的固定位置中(步驟S2313)。然后，圖像渲染處理單元402基于表示用戶的頭部姿勢的四元數(shù)q^H將布置在用戶軀干坐標(biāo)系上的UI控件的位置和姿勢轉(zhuǎn)換成頭部坐標(biāo)系上的位置和姿勢(步驟S2314)。

當(dāng)將用戶軀干坐標(biāo)系中的第i個UI控件的位置設(shè)為p_i，并將其姿勢設(shè)為q_i時，可以根據(jù)以下式(21)和(22)將位置和姿勢轉(zhuǎn)換成用戶頭部坐標(biāo)系中的位置p′_i和姿勢q′_i。

[數(shù)學(xué)式21]

p′_i＝p_i+p^BH…(21)

[數(shù)學(xué)式22]

q′_i＝q^Bq^H-1q_i…(22)

在以上式(21)中，p^BH是如從用戶頭部坐標(biāo)系的原點看到的用戶軀干坐標(biāo)系的原點位置。如果可以獲得頭部或軀干的位置信息(以及姿勢信息)，實際測量值可以用于p^BH。作為一個實例，通過使用日本成年男性的平均值，p^BH可以參數(shù)化，諸如，p^BH＝(0m、0m、-0.75m)等。

在以上式(22)中，通過將表示用戶的軀干姿勢的四元數(shù)q^B從右側(cè)乘以表示頭部姿勢的四元數(shù)q^H的倒數(shù)得出右側(cè)中的q^Bq^H-1，并且是用于將軀干坐標(biāo)系中的物體(UI控件)的姿勢轉(zhuǎn)換成頭部坐標(biāo)系中的姿勢的四元數(shù)。

然后，圖像渲染處理單元402渲染其中在由四元數(shù)q^H表示的視線方向上觀看布置有UI控件的自由視點的圖像(步驟S2315)，并且然后渲染的圖像顯示在顯示設(shè)備500上作為輸出。

同樣在圖23中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

盡管在圖23中示出的流程圖中未示出，通過采用在以上項C中描述的校準(zhǔn)處理，可以執(zhí)行由頭部運動追蹤設(shè)備200檢測的用戶的頭部姿勢的坐標(biāo)系與由軀干運動追蹤設(shè)備300檢測的用戶的軀干姿勢的坐標(biāo)系之間的關(guān)聯(lián)。

圖24通過流程圖示出了用于渲染其中UI控件布置在基于用戶的軀干姿勢定向的固定位置中的自由視點圖像的處理過程的另一實例。圖24中示出的處理過程與圖23中示出的處理過程的不同之處在于基于用戶的軀干姿勢控制自由視點中的用戶的視點位置。

在頭部運動追蹤設(shè)備200中，傳感器單元201檢測用戶頭部的姿勢(步驟S2401)，并且姿勢角度操作單元202基于檢測結(jié)果對表示用戶頭部的姿勢的四元數(shù)q^H執(zhí)行運算(步驟S2402)并通過發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運動追蹤設(shè)備300中，傳感器單元301檢測用戶的軀干姿勢(步驟S2411)。姿勢角度操作單元202基于檢測結(jié)果對表示用戶的軀干的姿勢的四元數(shù)q^B執(zhí)行運算(步驟S2412)并通過發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

然后，如果圖像渲染設(shè)備400接收上述內(nèi)容元信息或真實世界信息作為輸入(步驟S2421)，則表示所輸入的信息的UI控件布置在基于表示用戶的軀干姿勢的四元數(shù)q^B定向在用戶軀干坐標(biāo)系上的固定位置中(步驟S2413)。然后，圖像渲染處理單元402根據(jù)以上式(21)和(22)基于表示用戶的頭部姿勢的四元數(shù)q^H將布置在用戶軀干坐標(biāo)系上的UI控件的位置和姿勢轉(zhuǎn)換成頭部坐標(biāo)系上的位置和姿勢(步驟S2414)。

圖像渲染設(shè)備400接收用于在自由視點空間中移動的控制信號v(諸如，位移速度和位移量)作為輸入(步驟S2431)。作為一個實例，當(dāng)生成三維圖像(諸如，游戲)時，圖像渲染設(shè)備400接收對應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號v作為輸入。通過使智能手機顯示用戶要操作的操作屏幕，可以接收控制信號v作為輸入。替換地，可以輸入使用安裝在外部的相機等檢測的用戶的頭部的物理位置的移動作為控制信號v。

圖像渲染處理單元402根據(jù)所輸入的控制信號v計算自由視點空間中的移動量Δ^B(步驟S2432)。在該處理例程中，使用可從軀干運動追蹤設(shè)備300獲得的用戶的軀干的姿勢信息，并且因此，控制信號v可與用戶的軀干的姿勢信息q^B相關(guān)聯(lián)，并且如以上式(4)中所示確定移動量Δ^B。

圖像渲染處理單元402計算通過在自由視點空間中沿著用戶的軀干姿勢q^B的方向(即，軀干的前向方向)將當(dāng)前點移動移動量Δ^B獲得的點p^B(步驟S2433)。

與用戶的軀干姿勢信息q^B相關(guān)聯(lián)的點p^B被設(shè)為自由視點空間中的視點位置，從視點位置p^B渲染在表示為頭部姿勢的四元數(shù)q^H的視線方向看到的圖像(步驟S2415)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。

同樣在圖24中示出的處理過程中，可以通過考慮在從檢測用戶的頭部和軀干姿勢到顯示圖像的時間期間出現(xiàn)的延遲時間執(zhí)行圖像渲染(同上)。

盡管在圖24中示出的流程圖中未示出，通過采用在以上項C中描述的校準(zhǔn)處理，可以執(zhí)行由頭部運動追蹤設(shè)備200檢測的用戶的頭部姿勢的坐標(biāo)系與由軀干運動追蹤設(shè)備300檢測的用戶的軀干姿勢的坐標(biāo)系之間的關(guān)聯(lián)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：特開2012-141461號公報

專利文獻(xiàn)2：特開平9-106322號公報

專利文獻(xiàn)3：特開2010-256534號公報

工業(yè)實用性

因此上文參照具體實施方式詳細(xì)地描述了本說明書中公開的技術(shù)。然而，對本領(lǐng)域中的技術(shù)人員顯而易見的是，在不偏離在本說明書中公開的精神的前提下，可以對這些實施方式進(jìn)行修改和替換。

盡管本文中已主要描述了用于實現(xiàn)自由視點觀看和具有頭戴式顯示器的視點移動的環(huán)境的實施方式，但本文中描述的技術(shù)可應(yīng)用于其他使用案例。作為一個實例，坐在大屏幕顯示器(諸如，電視或投影儀)的前方玩游戲的用戶可佩帶頭部運動追蹤設(shè)備200和軀干運動追蹤設(shè)備300，從而在電視的游戲屏幕中實現(xiàn)自由視點觀看和視點移動的環(huán)境。

本文中描述的技術(shù)可應(yīng)用于任何類型的沉浸、透視、視頻透視頭戴式顯示器。本文中描述的技術(shù)可應(yīng)用于任何類型的雙眼和單眼頭戴式顯示器。

基本上，已通過舉例的方式描述了本說明書中公開的技術(shù)，并且本說明書陳述的內(nèi)容不應(yīng)當(dāng)被解釋為限制性的。應(yīng)當(dāng)考慮到權(quán)利要求確定本說明書中公開的技術(shù)的精神。

此外，還可以如下配置本技術(shù)。

(1)

一種信息處理裝置，包括：

接收器，被配置為接收關(guān)于觀察者的頭部的姿勢的第一信息和關(guān)于觀察者的除頭部以外的身體的姿勢的第二信息；以及

圖像渲染處理單元，被配置為基于第一信息和第二信息生成對應(yīng)于觀察者的姿勢的顯示圖像。

(2)

根據(jù)(1)所述的信息處理裝置，

其中，接收器接收至少觀察者的軀干的姿勢作為第二信息，并且

圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)，來生成追蹤觀察者的頭部的姿勢的自由視點圖像。

(3)

根據(jù)(2)所述的信息處理裝置，

其中，當(dāng)接收用于指示觀察者在自由視點空間中移動的控制信號作為輸入時，圖像渲染處理單元通過將基于從第二信息獲得的觀察者的軀干的姿勢定向的身體的朝向識別為前向方向，來確定移動之后的點(視點位置)。

(4)

根據(jù)(1)所述的信息處理裝置，

其中，圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向并通過布置在基于從第二信息獲得的姿勢定向的固定位置中，來生成追蹤觀察者的頭部的姿勢的自由視點圖像。

(5)

根據(jù)(1)所述的信息處理裝置，

其中，接收器接收至少觀察者的軀干的姿勢作為第二信息，并且

圖像渲染處理單元通過基于第一信息在自由視點空間中定向觀察者的視線方向、通過基于從第二信息獲得的觀察者的軀干的姿勢在自由視點空間中定向觀察者的身體的朝向(視點位置)、并通過將預(yù)定圖像控件布置在基于觀察者的軀干的姿勢定向的固定位置中，來生成追蹤觀察者的頭部的姿勢的自由視點圖像。

(5-1)

根據(jù)(4)和(5)中任一項所述的信息處理裝置，

其中圖像渲染處理單元布置包括與自由視點圖像有關(guān)的原信息的圖像控件。

(6)

根據(jù)(1)至(5)中任一項所述的信息處理裝置，進(jìn)一步包括：

校準(zhǔn)處理單元，被配置為獲得校準(zhǔn)參數(shù)，

其中，圖像渲染處理單元使用通過校準(zhǔn)參數(shù)校正的姿勢信息執(zhí)行圖像生成。

(7)

根據(jù)(6)所述的信息處理裝置，

其中，校準(zhǔn)處理單元基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算用于校正第二姿勢信息的校準(zhǔn)參數(shù)并且使用校準(zhǔn)參數(shù)校正第二姿勢信息。

(8)

根據(jù)(7)所述的信息處理裝置，

其中，校準(zhǔn)處理單元通過使用頭部姿勢信息和第二姿勢信息計算用于將第二姿勢信息與頭部姿勢信息匹配的姿勢轉(zhuǎn)換參數(shù)作為校準(zhǔn)參數(shù)。

(9)

根據(jù)(7)所述的信息處理裝置，

其中，由四元數(shù)表示姿勢信息，

校準(zhǔn)處理單元通過將頭部姿勢信息從右側(cè)乘以第二姿勢信息的四元數(shù)的倒數(shù)計算用于校正第二姿勢信息的校準(zhǔn)四元數(shù)，并且

通過將第二姿勢信息的四元數(shù)從左側(cè)乘以校準(zhǔn)四元數(shù)執(zhí)行校正。

(10)

根據(jù)(6)所述的信息處理裝置，

其中，校準(zhǔn)處理單元基于從第一信息獲得的頭部姿勢的坐標(biāo)系和從第二信息獲得的姿勢的坐標(biāo)系的某個時段的旋轉(zhuǎn)位移以及人體的特性估計用于校正第二姿勢信息的校準(zhǔn)參數(shù)。

(11)

根據(jù)(6)所述的信息處理裝置，

其中，校準(zhǔn)處理單元將基于從第一信息獲得的頭部姿勢信息和從第二信息獲得的第二姿勢信息計算的某個時段的校準(zhǔn)參數(shù)的時間序列平均值設(shè)置為最終校準(zhǔn)參數(shù)。

(12)

根據(jù)(11)所述的信息處理裝置，

其中，由四元數(shù)表示姿勢信息，并且

校準(zhǔn)處理單元通過在基于從重新接收的第一信息和第二信息中的每一個獲得的姿勢信息的四元數(shù)重新計算的校準(zhǔn)四元數(shù)與由時間序列平均值確定的最后校準(zhǔn)四元數(shù)之間執(zhí)行球面線性內(nèi)插，來更新校準(zhǔn)四元數(shù)。

(12-1)

根據(jù)(11)所述的圖像顯示設(shè)備，

其中校準(zhǔn)處理單元通過對數(shù)轉(zhuǎn)換將校準(zhǔn)四元數(shù)的時間序列映射到三維空間上、計算包括算術(shù)平均值的代表值、并且然后通過指數(shù)轉(zhuǎn)換將所得出的值返回至四元數(shù)。

(13)

根據(jù)(11)所述的信息處理裝置，

其中，基于第二信息計算觀察者的軀干的姿勢，并且

當(dāng)重力方向被設(shè)為旋轉(zhuǎn)軸線時，校準(zhǔn)處理單元確定分別從重新接收的第一信息和第二信息獲得的頭部和軀干的姿勢信息的旋轉(zhuǎn)方向的角度差的平均值、并計算重力方向上的校準(zhǔn)參數(shù)和平均值。

(14)

根據(jù)(1)所述的信息處理裝置，

其中，圖像渲染處理單元基于從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異處理顯示單元上的顯示圖像。

(15)

根據(jù)(2)和(3)中任一項所述的信息處理裝置，

其中，圖像渲染處理單元通過在生物安全支持模式下以自由視點空間中的頭部姿勢與軀干姿勢之間的差異減少的方式校正世界坐標(biāo)系，來生成自由視點圖像。

(16)

根據(jù)(2)和(3)中任一項所述的信息處理裝置，

其中，圖像渲染處理單元通過在設(shè)置生物安全支持模式時的時間點在自由視點空間中固定頭部姿勢并通過在生物安全支持模式下根據(jù)由頭部姿勢檢測單元檢測的頭部姿勢在自由視點空間中改變軀干姿勢，來生成自由視點圖像。

(17)

根據(jù)(15)和(16)中任一項所述的信息處理裝置，

其中，當(dāng)從第一信息獲得的頭部姿勢與從第二信息獲得的軀干姿勢之間的差異超過第一閾值的狀態(tài)持續(xù)一定時間時設(shè)置生物安全支持模式，并且當(dāng)差異等于或小于第二閾值時釋放生物安全支持模式，第二閾值小于第一閾值。

(18)

一種信息處理方法，包括：

接收步驟，接收關(guān)于觀察者的頭部的姿勢的第一信息以及關(guān)于觀察者的除頭部以外的身體的姿勢的第二信息；以及

圖像渲染處理步驟，基于第一信息和第二信息生成對應(yīng)于觀察者的姿勢的顯示圖像。

(19)

一種計算機程序，其以計算機可讀格式編寫，用于使計算機用作：

頭部姿勢操作單元，被配置為基于通過在頭部姿勢檢測單元中的檢測獲得的結(jié)果計算觀察者的頭部的姿勢信息，頭部姿勢檢測單元被配置為檢測觀察者的頭部的姿勢；

第二姿勢操作單元，被配置為基于通過第二姿勢檢測單元中的檢測獲得的結(jié)果計算觀察者的除頭部以外的身體的第二部分的姿勢信息，第二姿勢檢測單元被配置為檢測第二部分的一個或多個的姿勢；以及

圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分的姿勢處理待顯示在顯示單元上的圖像，顯示單元被固定至觀察者的頭部或面部。

(20)

一種圖像處理系統(tǒng)，包括：

顯示單元，被固定至觀察者的頭部或面部；

頭部姿勢檢測單元，被配置為檢測觀察者的頭部的姿勢；

第二姿勢檢測單元，被配置為檢測觀察者的除頭部以外的身體的一個或多個第二部分的姿勢；以及

圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢和第二部分中的每一個的姿勢處理顯示單元上的顯示圖像。

符號說明

100 圖像顯示系統(tǒng)

200 頭部運動追蹤設(shè)備

201 傳感器單元

202 姿勢角度操作單元

203 發(fā)送器

300 軀干運動追蹤設(shè)備

301 傳感器單元

302 姿勢角度操作單元

303 發(fā)送器

400 圖像渲染設(shè)備

401 接收器

402 圖像渲染處理單元

403 發(fā)送器

404 圖像源

500 顯示設(shè)備

501 接收器

502 顯示單元。