混合現(xiàn)實體驗共享的制作方法
【專利說明】混合現(xiàn)實體驗共享
[0001]
[0002]混合現(xiàn)實或增強現(xiàn)實現(xiàn)顯示設備，諸如頭戴式顯示設備)可被用在各種真實世界環(huán)境和上下文中。這樣的設備可包括用于從周圍環(huán)境中收集數(shù)據(jù)(諸如圖像、深度信息、音頻等)的各種傳感器?；旌犀F(xiàn)實設備的用戶可通過在進行體驗時收集數(shù)據(jù)來捕捉各種體驗。
[0003]—人可能希望查看當前體驗和/或重新體驗由混合現(xiàn)實設備的多個用戶捕捉的一個或多個體驗。類似地，這種設備的一個或多個用戶可能希望與第三方共享體驗。不幸的是，以有利于方便地共享豐富混合現(xiàn)實體驗的方式來組合并管理來自多個混合現(xiàn)實設備的數(shù)據(jù)的能力至今受到限制。
[0004]概沭
[0005]本文公開了涉及呈現(xiàn)物理環(huán)境的紋理化共享世界模型以供顯示設備顯示的各種實施例。例如，一個公開的實施例提供用于經由顯示設備呈現(xiàn)物理環(huán)境的紋理化共享世界模型的方法。該方法包括接收地理定位在物理環(huán)境處并包括深度信息的眾包的結構數(shù)據(jù)項。眾包的結構數(shù)據(jù)項被縫合在一起以生成物理環(huán)境的3D空間共享世界模型。
[0006]地理定位在物理環(huán)境處的眾包的紋理數(shù)據(jù)項也從多個源被接收。紋理數(shù)據(jù)項中的每一個包括被打上時間戳的圖像或被打上時間戳的視頻。時間過濾參數(shù)的用戶輸入被接收并被用于過濾眾包的紋理數(shù)據(jù)項以生成紋理數(shù)據(jù)項的在時間上過濾了的子組。眾包的紋理數(shù)據(jù)項的在時間上過濾了的子組被應用到物理環(huán)境的3D空間共享世界模型的表面來生成物理環(huán)境的紋理化共享世界模型。物理環(huán)境的紋理化共享世界模型接著被提供到顯示程序以供顯示設備顯示。
[0007]提供本概述是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。
[0008]附圖簡沐
[0009]圖1是根據(jù)本公開的一實施例的混合現(xiàn)實體驗共享系統(tǒng)的示意圖。
[0010]圖2示出根據(jù)本公開的一實施例的示例頭戴式顯示設備。
[0011]圖3是呈現(xiàn)在圖形用戶界面中的時間過濾選擇器的示意圖。
[0012]圖4A是其中佩戴頭戴式顯示設備的用戶所處于的賓館大堂和酒吧的示意圖。
[0013]圖4B是圖4A的賓館大堂和酒吧在較早的日期和時間時的示意圖。
[0014]圖5A和5B是用于根據(jù)本發(fā)明的一實施例來呈現(xiàn)物理環(huán)境的紋理化共享世界模型的方法的流程圖。
[0015]圖6是計算系統(tǒng)的一實施例的簡化示意圖解。
【具體實施方式】
[0016]圖1顯示了混合現(xiàn)實體驗共享系統(tǒng)10的一個實施例的示意圖?；旌犀F(xiàn)實體驗共享系統(tǒng)10包括可被存儲在計算設備22的大容量存儲18中的混合現(xiàn)實體驗共享程序14?；旌犀F(xiàn)實體驗共享程序14可被加載到存儲器24中并由計算設備22的處理器26執(zhí)行以執(zhí)行下文更為詳細地描述的方法和過程中的一個或多個。
[0017]計算設備22可采用以下形式:網絡計算機、家庭娛樂計算機、臺式計算設備、諸如智能電話、膝上型計算機、筆記本或平板計算機之類的移動計算設備或其他合適類型的計算設備。關于計算設備22的組件和計算方面的附加細節(jié)在下文中參考圖6更詳細地描述。
[0018]如以下更加詳細解釋的，混合現(xiàn)實體驗共享程序14可從多個源接收包括地理定位的結構數(shù)據(jù)項28和地理定位的紋理數(shù)據(jù)項30的眾包數(shù)據(jù)。如圖1中顯示的，在一個示例中，這樣的眾包數(shù)據(jù)可涉及物理環(huán)境32以及該環(huán)境的被數(shù)據(jù)捕捉設備捕捉的各方面。地理定位的結構數(shù)據(jù)項28可包括但不限于，與物理環(huán)境32中的結構、對象和對應的表面有關的深度信息。地理定位的紋理數(shù)據(jù)項30可包括但不限于，光、靜止和視頻圖像以及可被應用到在地理定位的結構數(shù)據(jù)項28中所表示的表面的其他數(shù)據(jù)項。地理定位的紋理數(shù)據(jù)項30還可包括與物理環(huán)境32有關的其他數(shù)據(jù)項，諸如從物理環(huán)境中記錄的音頻以及在物理環(huán)境中地理定位的全息圖和其他虛擬圖像。
[0019]眾包的地理定位的結構數(shù)據(jù)項28和地理定位的紋理數(shù)據(jù)項30可被多個捕捉設備捕捉并可經由一個或多個網絡連接(未顯示)從這樣的設備中接收。捕捉設備中的一個或多個可采取將圖像遞送到用戶54的眼睛的頭戴式顯示(HMD)設備34的形式。在這個示例中，HMD設備34包括顯示程序38被存儲在其上的計算設備36。顯示程序38可生成虛擬環(huán)境以供經由顯示系統(tǒng)40顯示來創(chuàng)建混合現(xiàn)實環(huán)境。虛擬環(huán)境可包括一個或多個虛擬圖像，諸如二維(2D)虛擬對象和三維(3D)全息對象。關于計算設備36的組件和計算方面的附加細節(jié)在下文中參考圖6更詳細地描述。
[0020]現(xiàn)在還參考圖2，提供了一副具有透明顯示器202的可配戴眼鏡形式的HMD設備200的示例。將明白，在其他示例中，HMD設備200可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設備34可以采取HMD設備200的形式(如在下文更詳細地描述的)或任何其他合適的HMD設備。另外，在本公開的范圍內還可使用具有各種形狀因子的許多其他類型和配置的捕捉設備。這樣的捕捉設備可包括但不限于，數(shù)碼相機、數(shù)碼攝像機、深度相機、智能電話、平板計算機和其他合適的捕捉設備以及上述捕捉設備的組合。
[0021]參考圖1和2，在這一示例中，HMD設備34包括顯示系統(tǒng)40和使圖像能夠被遞送到用戶的眼睛的透明顯示器202。透明顯示器202可被配置成針對透過該透明顯示器查看物理環(huán)境32的用戶54視覺地增強該物理環(huán)境32的外觀。例如，物理環(huán)境32的外觀可以由經由透明顯示器202呈現(xiàn)的圖形內容(例如，一個或多個像素，每一像素具有相應色彩和亮度)來增強以創(chuàng)建混合現(xiàn)實環(huán)境。
[0022]透明顯示器202還可被配置成使用戶54能夠透過顯示虛擬對象表示的一個或多個部分透明的像素來查看物理環(huán)境32中的物理現(xiàn)實世界對象。在一個示例中，透明顯示器202可包括位于透鏡204內的圖像生成元件(諸如例如透視有機發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器202可包括在透鏡204邊緣上的光調制器。在這一示例中，透鏡204可以擔當光導以供將光從光調制器遞送到用戶54的眼睛。這樣的光導可以使用戶54能夠感覺3D全息圖像位于用戶正在查看的物理環(huán)境32內，同時還允許用戶查看物理環(huán)境中的物理對象。
[0023]如以上提到的，HMD設備34還包括用于捕捉來自物理環(huán)境32的數(shù)據(jù)的各種傳感器、組件和相關系統(tǒng)。例如，HMD設備34包括利用至少一個面向外的傳感器212(如光學傳感器)的光學傳感器系統(tǒng)42。面向外的傳感器212可以檢測其視野內的移動，如視野內的用戶或人或物理對象所執(zhí)行的基于姿勢的輸入或其他移動。面向外的傳感器212還可從物理環(huán)境32和該環(huán)境內的物理對象捕捉二維圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機、可見光相機、紅外光相機，和/或位置跟蹤相機。如在以下更加詳細討論的，這樣的圖像信息可以以地理定位的紋理數(shù)據(jù)項30’的形式被遞送到混合現(xiàn)實體驗共享程序14。這樣的深度信息還可以以地理定位的結構數(shù)據(jù)項28’的形式被遞送到混合現(xiàn)實體驗共享程序14。
[0024]HMD設備34包括用于感測和生成深度信息的一個或多個深度相機。在一個示例中，每一深度相機可包括立體視覺系統(tǒng)的左和右相機。來自這些深度相機中的一個或多個的時間分辨的圖像可被彼此配準和/或與來自另一光學傳感器(如可見光譜相機)的圖像配準，且可被組合以產生具有深度分辨的視頻形式的深度信息。
[0025]在其他示例中，結構化光深度相機可被配置成投影結構化紅外照明并對從照明被投影到其之上的場景中反射的該照明進行成像?；谒上竦膱鼍暗母鱾€區(qū)域內鄰近特征之間的間隔，可構造該場景的深度圖。在其他示例中，深度相機可以采取飛行時間深度相機的形式，其被配置成將脈沖的紅外照明投影到該場景上以及檢測從該場景反射的照明?？梢岳斫?，在本發(fā)明的范圍內可使用任意其他合適的深度相機。
[0026]HMD設備34還可包括位置傳感器系統(tǒng)44，該位置傳感器系統(tǒng)44利用一個或多個