混合現實增強的制作方法
【專利說明】混合現實増強
[0001]背景
[0002]增強或混合現實體驗可在大的虛擬世界(諸如城市、景色、戰(zhàn)場等)中發(fā)生。一些混合現實設備和體驗可允許用戶采用現實世界物理移動來作為遍歷虛擬世界的方式。然而，直接將混合現實參與者的現實世界物理移動映射到這樣大的虛擬世界中的虛擬運動可產生若干個挑戰(zhàn)。
[0003]例如，大的虛擬世界可向用戶呈現數公里的虛擬地形，甚至數百或數千公里的地形，來通過。這種虛擬地形的范圍可比經由用戶的物理移動的直接映射所能方便涵蓋的范圍大得多，而無需用戶變得累或無聊。在一些示例中，其中用戶的可用現實世界空間比用戶正體驗的虛擬世界要小，用戶將在現實世界中遇到阻止用戶在虛擬世界的該方向上進一步通過的物理對象(諸如房間的墻壁)。附加地，在這樣的情況下，沉浸于混合現實體驗中的用戶可能沒有注意到物理墻壁，并可不經意地碰觸到墻壁并接收到不愉快的驚嚇。
[0004]概沭
[0005]本文公開了涉及在混合現實環(huán)境中的運動放大的各個實施例。例如，一個公開的實施例提供用于在混合現實環(huán)境中向虛擬環(huán)境提供運動放大的方法。該方法包括接收來自頭戴式顯示設備的與物理環(huán)境中用戶的運動相對應的運動數據。經由頭戴式顯示設備呈現以主方向運動的虛擬環(huán)境，其中相比于用戶在對應的主方向上的運動，主方向運動被放大第一倍數。還經由頭戴式顯示設備呈現以次方向運動的虛擬環(huán)境，其中相比于用戶在對應的次方向上的運動，次方向運動被放大第二倍數，其中第二倍數小于第一倍數。
[0006]提供本概述是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。
[0007]附圖簡沐
[0008]圖1是根據本公開的一實施例的混合現實增強系統(tǒng)的示意圖。
[0009]圖2示出根據本公開的一實施例的示例頭戴式顯示設備。
[0010]圖3是佩戴圖2的頭戴式顯示設備并在房間中從初始位置走到后續(xù)位置的用戶的示意性透視圖。
[0011]圖4是顯不了用戶從初始位置到后續(xù)位置的運動的圖3的用戶的不意性俯視圖。
[0012]圖5是在圖4的初始位置處通過頭戴式顯示設備被用戶看到的虛擬環(huán)境的示意性視圖。
[0013]圖6是圖5的虛擬環(huán)境的示意性俯視圖。
[0014]圖7是在圖4的后續(xù)位置處通過頭戴式顯示設備被用戶看到的虛擬環(huán)境的示意性視圖。
[0015]圖8是圖7的虛擬環(huán)境的示意性俯視圖。
[0016]圖9是按比例縮小的圖5的虛擬環(huán)境的示意性視圖。
[0017]圖10是在包括初始虛擬場景和通向另一虛擬場景的虛擬入口的混合現實環(huán)境中用戶的示意性視圖。
[0018]圖11是初始虛擬場景和虛擬入口的示意性俯視圖。
[0019]圖12是后續(xù)虛擬場景和虛擬入口的示意性俯視圖。
[0020]圖13A、13B和13C示出了根據本公開的一實施例的用于在混合現實環(huán)境中向虛擬環(huán)境提供運動放大的方法的流程圖。
[0021]圖14是計算設備的一實施例的簡化示意圖解。
[0022]詳細描沐
[0023]圖1示出混合現實增強系統(tǒng)10的一個實施例的示意圖。混合現實增強系統(tǒng)10包括可被存儲在計算設備22的大容量存儲18中的混合現實增強程序14?；旌犀F實增強程序14可被加載到存儲器26中并由計算設備22的處理器30執(zhí)行以執(zhí)行下文更為詳細地描述的方法和過程中的一個或多個。
[0024]混合現實增強系統(tǒng)10包括混合現實顯示程序32，該混合現實顯示程序32可生成用于在顯示設備(諸如頭戴式顯示器(HMD)設備36)上顯示的虛擬環(huán)境34以創(chuàng)建混合現實環(huán)境38。虛擬環(huán)境34包括一個或多個虛擬對象40。這樣的虛擬對象40可包括一個或多個虛擬圖像(諸如三維全息圖像)和其他虛擬對象(諸如二維虛擬對象)。
[0025]計算設備22可采用以下形式:臺式計算設備，諸如智能電話、膝上型計算機、筆記本或平板計算機之類的移動計算設備，網絡計算機，家庭娛樂計算機，交互式電視，游戲系統(tǒng)，或其他合適類型的計算設備。關于計算設備22的組件和計算方面的附加細節(jié)在下文中參考圖14更詳細地描述。
[0026]計算設備22可使用有線連接來與HMD設備36在操作上連接，或可采用經由WiF1、藍牙或任何其他合適的無線通信協(xié)議的無線連接。另外，圖1中示出的示例將計算設備22示為與HMD設備36分開的組件。將理解，在其他示例中，計算設備22可被集成到HMD設備36中。
[0027]現在還參考圖2，提供了一副具有透明顯示器44的可配戴眼鏡形式的HMD設備200的示例。將明白，在其他示例中，HMD設備200可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設備36可以采取HMD設備200的形式(如在下文更詳細地描述的)或任何其他合適的HMD設備。另外，在本公開的范圍內還可使用具有各種形狀因子的許多其他類型和配置的顯示設備。此類顯示設備可包括但不限于手持式智能電話、平板計算機以及其他適當的顯示設備。
[0028]參考圖1和2，在這一示例中，HMD設備36包括顯示系統(tǒng)48和使圖像(諸如全息對象)能夠被遞送到用戶46的眼睛的透明顯示器44。透明顯示器44可被配置成向透過該透明顯示器查看物理環(huán)境50的用戶46在視覺上增強該物理環(huán)境(包括一個或多個物理對象52)的外觀。例如，物理環(huán)境50的外觀可以由經由透明顯示器44呈現的圖形內容(例如，一個或多個像素，每一像素具有相應色彩和亮度)來增強以創(chuàng)建混合現實環(huán)境38。
[0029]透明顯示器44還可被配置成使用戶能夠透過顯示虛擬對象表示的一個或多個部分透明的像素來查看物理環(huán)境50中的物理現實世界對象52 ο在一個示例中，透明顯示器44可包括位于透鏡204內的圖像生成元件(諸如例如透視有機發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器44可包括在透鏡204邊緣上的光調制器。在這一示例中，透鏡204可以擔當光導以供將光從光調制器遞送到用戶的眼睛。這樣的光導可以使用戶能夠感覺3D全息圖像位于用戶正在查看的物理環(huán)境50內，同時還允許用戶查看物理環(huán)境中的物理對象52，由此創(chuàng)建混合現實環(huán)境38。
[0030]作為另一示例，透明顯示器44可包括其中可生成阻擋圖像的一個或多個不透明層。該一個或多個不透明層可選擇性地在從物理環(huán)境50接收到的現實世界光到達佩戴HMD設備36的用戶46的眼睛之前阻擋該光。通過選擇性地阻擋現實世界光，該一個或多個不透明層可增強虛擬對象40和在其中虛擬對象被用戶感知到的物理環(huán)境50之間的視覺對比。
[0031]HMD設備36還可包括各種傳感器和相關系統(tǒng)。例如，HMD設備36可包括利用至少一個面向內的傳感器216的眼睛跟蹤傳感器系統(tǒng)56。該面向內的傳感器216可以是被配置成從用戶的眼睛獲取眼睛跟蹤信息形式的圖像數據的圖像傳感器。假定用戶已同意獲取和使用這一信息，眼睛跟蹤傳感器系統(tǒng)56可以使用這一信息來跟蹤用戶的眼睛的位置和/或運動。
[0032]HMD設備36還可包括從物理環(huán)境50接收物理環(huán)境數據60的傳感器系統(tǒng)。例如，HMD設備36可包括利用至少一個面向外的傳感器212 (如光學傳感器)的光學傳感器系統(tǒng)
62。面向外的傳感器212可以檢測其視野內的運動，如視野內的用戶46或人或物理對象所執(zhí)行的基于姿勢的輸入或其他運動。面向外的傳感器212還可從物理環(huán)境50和該環(huán)境內的物理對象52捕捉二維圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機、可見光相機、紅外光相機，和/或位置跟蹤相機。
[0033]HMD設備36可包括經由一個或多個深度相機的深度感測。在一個示例中，每一深度相機可包括立體視覺系統(tǒng)的左和右相機。來自這些深度相機中的一個或多個的時間分辨的圖像可被彼此配準和/或與來自另一光學傳感器(如可見光譜相機)的圖像配準，且可被組合以產生深度分辨的視頻。
[0034]在其他示例中，結構化光深度相機可被配置成投影結構化紅外照明并對從照明被投影到其之上的場景中反射的該照明進行成像。基于所成像的場景的各個區(qū)域內鄰近特征之間的間隔，可構造該場景的深度圖。在其他示例中，深度相機可以采取飛行時間深度相機的形式，其被配置成將脈沖的紅外照明投影到該場景上以及檢測從該場景反射的照明?？梢岳斫?，在本發(fā)明的范圍內可使用任意其他合適的深度相機。
[0035]面向外的傳感器212可以捕捉用戶46位于其中的物理環(huán)境50的圖像。在一個示例中，混合現實顯示程序32可包括使用這樣的輸入來生成對圍繞該用戶4