本公開整體涉及與顯示生成部件并且任選地與和第一用戶相關(guān)聯(lián)的提供計算機生成的體驗的外部計算機系統(tǒng)通信的計算機系統(tǒng)，包括但不限于經(jīng)由顯示器提供虛擬現(xiàn)實和混合現(xiàn)實體驗的電子設(shè)備。

背景技術(shù)：

1、近年來，用于增強現(xiàn)實的計算機系統(tǒng)的發(fā)展顯著增加。示例增強現(xiàn)實環(huán)境包括至少一些替換或增強物理世界的虛擬元素。用于計算機系統(tǒng)和其他電子計算設(shè)備的輸入設(shè)備(諸如相機、控制器、操縱桿、觸敏表面和觸摸屏顯示器)用于與虛擬/增強現(xiàn)實環(huán)境進(jìn)行交互。示例性虛擬元素包括諸如數(shù)字圖像、視頻、文本、圖標(biāo)和控制元素(諸如按鈕和其他圖形)的虛擬對象。

技術(shù)實現(xiàn)思路

1、用于在包括至少一些虛擬元素的環(huán)境中(例如，應(yīng)用程序、增強現(xiàn)實環(huán)境、混合現(xiàn)實環(huán)境和虛擬現(xiàn)實環(huán)境)顯示用戶的表示的一些方法和界面是麻煩、低效且受限的。例如，為在物理環(huán)境中跟蹤用戶的各部分并基于不充分的反饋顯示表示提供不充分反饋的系統(tǒng)是復(fù)雜、乏味且容易出錯的，給用戶造成了顯著的認(rèn)知負(fù)擔(dān)，并有損于虛擬/增強現(xiàn)實環(huán)境的體驗。此外，這些方法花費的時間比必要的要長，從而浪費了計算機系統(tǒng)的能量。這后一考慮在電池驅(qū)動的設(shè)備中是特別重要的。

2、因此，需要具有改進(jìn)的方法和界面的計算機系統(tǒng)來向用戶提供計算機生成的體驗，當(dāng)接收到的反饋不足時，其顯示用戶的連續(xù)且可理解的表示，使得與計算機系統(tǒng)的交互對于用戶來說更有效且更直觀。此類方法和界面任選地補充或替換用于向用戶提供擴展現(xiàn)實體驗的常規(guī)方法。此類方法和界面通過幫助用戶理解所提供的輸入與設(shè)備對這些輸入的響應(yīng)之間的聯(lián)系，減少了來自用戶的輸入的數(shù)量、程度和/或性質(zhì)，從而形成了更有效的人機界面。

3、通過所公開的系統(tǒng)減少或消除了與計算機系統(tǒng)的用戶界面相關(guān)聯(lián)的上述缺陷和其他問題。在一些實施方案中，計算機系統(tǒng)是具有相關(guān)聯(lián)顯示器的臺式計算機。在一些實施方案中，計算機系統(tǒng)是便攜式設(shè)備(例如，筆記本電腦、平板電腦或手持式設(shè)備)。在一些實施方案中，計算機系統(tǒng)是個人電子設(shè)備(例如，可穿戴電子設(shè)備，諸如手表或頭戴式設(shè)備)。在一些實施方案中，計算機系統(tǒng)具有觸摸板。在一些實施方案中，計算機系統(tǒng)具有一個或多個相機。在一些實施方案中，計算機系統(tǒng)具有觸敏顯示器(也稱為“觸摸屏”或“觸摸屏顯示器”)。在一些實施方案中，計算機系統(tǒng)具有一個或多個眼睛跟蹤部件。在一些實施方案中，計算機系統(tǒng)具有一個或多個手部跟蹤部件。在一些實施方案中，除顯示生成部件之外，計算機系統(tǒng)還具有一個或多個輸出設(shè)備，這些輸出設(shè)備包括一個或多個觸覺輸出發(fā)生器和/或一個或多個音頻輸出設(shè)備。在一些實施方案中，計算機系統(tǒng)具有圖形用戶界面(gui)、一個或多個處理器、存儲器和一個或多個模塊、存儲在存儲器中用于執(zhí)行多個功能的程序或指令集。在一些實施方案中，用戶通過觸控筆和/或手指在觸敏表面上的接觸和手勢、用戶的眼睛和手部在相對于gui(和/或計算機系統(tǒng))或用戶身體的空間中的移動(如由相機和其他移動傳感器捕獲的)和/或語音輸入(如由一個或多個音頻輸入設(shè)備捕獲的)與gui進(jìn)行交互。在一些實施方案中，通過交互執(zhí)行的功能任選地包括圖像編輯、繪圖、演示、文字處理、電子表格制作、玩游戲、接打電話、視頻會議、收發(fā)電子郵件、即時通訊、測試支持、數(shù)字?jǐn)z影、數(shù)字視頻錄制、網(wǎng)頁瀏覽、數(shù)字音樂播放、記筆記和/或數(shù)字視頻播放。用于執(zhí)行這些功能的可執(zhí)行指令任選地被包括在被配置用于由一個或多個處理器執(zhí)行的暫態(tài)和/或非暫態(tài)計算機可讀存儲介質(zhì)或其他計算機程序產(chǎn)品中。

4、需要具有改進(jìn)的方法和界面的電子設(shè)備來在接收到與用戶的狀態(tài)相關(guān)的不充分反饋時顯示用戶的表示。此類方法和界面可補充或替換用于與三維環(huán)境中的其他用戶通信的常規(guī)方法。此類方法和界面減少了來自用戶的輸入的數(shù)量、程度和/或性質(zhì)，并且產(chǎn)生更高效的人機界面。對于電池驅(qū)動的計算設(shè)備，此類方法和界面節(jié)省功率，并且增大電池充電之間的時間間隔。

5、根據(jù)一些實施方案，描述了一種方法。該方法在與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信的計算機系統(tǒng)處執(zhí)行。該方法包括：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴展現(xiàn)實環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴展現(xiàn)實環(huán)境中的一個或多個對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計算機系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計的該身體的該部分的估計狀態(tài)。

6、根據(jù)一些實施方案，描述了一種非暫態(tài)計算機可讀存儲介質(zhì)。該非暫態(tài)計算機可讀存儲介質(zhì)存儲一個或多個程序，該一個或多個程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信的計算機系統(tǒng)的一個或多個處理器執(zhí)行，該一個或多個程序包括用于以下操作的指令：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴展現(xiàn)實環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴展現(xiàn)實環(huán)境中的一個或多個對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計算機系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計的該身體的該部分的估計狀態(tài)。

7、根據(jù)一些實施方案，描述了一種暫態(tài)計算機可讀存儲介質(zhì)。該暫態(tài)計算機可讀存儲介質(zhì)存儲一個或多個程序，該一個或多個程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信的計算機系統(tǒng)的一個或多個處理器執(zhí)行，該一個或多個程序包括用于以下操作的指令：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴展現(xiàn)實環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴展現(xiàn)實環(huán)境中的一個或多個對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計算機系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計的該身體的該部分的估計狀態(tài)。

8、根據(jù)一些實施方案，描述了一種計算機系統(tǒng)。該計算機系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信。該計算機系統(tǒng)包括：一個或多個處理器；和存儲器，該存儲器存儲一個或多個程序，該一個或多個程序被配置為由該一個或多個處理器執(zhí)行，該一個或多個程序包括用于以下操作的指令：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴展現(xiàn)實環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴展現(xiàn)實環(huán)境中的一個或多個對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計算機系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計的該身體的該部分的估計狀態(tài)。

9、根據(jù)一些實施方案，描述了一種計算機系統(tǒng)。該計算機系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信。該計算機系統(tǒng)包括：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：用于經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示的構(gòu)件，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴展現(xiàn)實環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴展現(xiàn)實環(huán)境中的一個或多個對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計算機系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計的該身體的該部分的估計狀態(tài)。

10、根據(jù)一些實施方案，描述了一種方法。該方法在與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信的計算機系統(tǒng)處執(zhí)行。該方法包括：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

11、根據(jù)一些實施方案，描述了一種非暫態(tài)計算機可讀存儲介質(zhì)。該非暫態(tài)計算機可讀存儲介質(zhì)存儲一個或多個程序，該一個或多個程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信的計算機系統(tǒng)的一個或多個處理器執(zhí)行，該一個或多個程序包括用于以下操作的指令：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

12、根據(jù)一些實施方案，描述了一種暫態(tài)計算機可讀存儲介質(zhì)。該暫態(tài)計算機可讀存儲介質(zhì)存儲一個或多個程序，該一個或多個程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信的計算機系統(tǒng)的一個或多個處理器執(zhí)行，該一個或多個程序包括用于以下操作的指令：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

13、根據(jù)一些實施方案，描述了一種計算機系統(tǒng)。該計算機系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信。該計算機系統(tǒng)包括：一個或多個處理器；和存儲器，該存儲器存儲一個或多個程序，該一個或多個程序被配置為由該一個或多個處理器執(zhí)行，該一個或多個程序包括用于以下操作的指令：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

14、根據(jù)一些實施方案，描述了一種計算機系統(tǒng)。該計算機系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計算機系統(tǒng)通信。該計算機系統(tǒng)包括：響應(yīng)于接收到在擴展現(xiàn)實環(huán)境中顯示該第一用戶的表示的請求：用于經(jīng)由該顯示生成部件在該擴展現(xiàn)實環(huán)境中顯示該第一用戶的該表示的構(gòu)件，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

15、需注意，上述各種實施方案可與本文所述任何其他實施方案相結(jié)合。本說明書中描述的特征和優(yōu)點并不全面，具體來說，根據(jù)附圖、說明書和權(quán)利要求書，許多另外的特征和優(yōu)點對本領(lǐng)域的普通技術(shù)人員將是顯而易見的。此外，應(yīng)當(dāng)指出，出于可讀性和指導(dǎo)性目的，在原則上選擇了本說明書中使用的語言，并且可以不這樣選擇以描繪或界定本發(fā)明的主題。