本公開整體涉及視頻通話系統(tǒng)。例如，本公開的各方面涉及針對一個設(shè)備上多個對象的視頻通話體驗(yàn)。

背景技術(shù)：

1、電話系統(tǒng)已成為遠(yuǎn)程用戶進(jìn)行通信的普遍工具。如今，電話系統(tǒng)通常支持多個常見功能，諸如語音通信、視頻通信、呼叫等待、呼叫保持和會議等等。一般來講，視頻通話的性能質(zhì)量可取決于用于建立和進(jìn)行視頻通話的網(wǎng)絡(luò)連接的質(zhì)量。然而，即使隨著更快和更可靠的通信協(xié)議和技術(shù)變得越來越普遍和可用，網(wǎng)絡(luò)問題仍然普遍存在。例如，視頻通話的穩(wěn)定性/連續(xù)性常常受到網(wǎng)絡(luò)問題的阻礙。網(wǎng)絡(luò)問題可導(dǎo)致在通話期間幀丟失(例如，兩個用戶之間的通話、電話會議等)，這可中斷通話并且迫使通話中的用戶等待問題解決以便繼續(xù)通話。

2、除了連接/網(wǎng)絡(luò)問題之外，在視頻通話期間使用的相機(jī)的放置位置可引起問題，諸如例如通話的參與者在相機(jī)的視場(fov)之外，并且因此從由相機(jī)捕獲的視頻幀中排除，這阻止了通話另一端的用戶看到該通話參與者。又如，根據(jù)相機(jī)的放置位置，相機(jī)可捕獲無意地捕獲并且包括于在通話期間發(fā)送的視頻幀中的其他用戶或干擾。

技術(shù)實(shí)現(xiàn)思路

1、公開了用于針對設(shè)備上多個對象的視頻通話體驗(yàn)的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。根據(jù)至少一個示例，提供了一種用于針對設(shè)備上多個對象的視頻通話體驗(yàn)的方法。該方法可以包括：在設(shè)備與遠(yuǎn)程設(shè)備之間建立視頻通話；顯示第一相機(jī)饋送和第二相機(jī)饋送的預(yù)覽，該第一相機(jī)饋送包括由設(shè)備的第一圖像捕獲設(shè)備捕獲的第一視頻幀和由設(shè)備的第二圖像捕獲設(shè)備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預(yù)覽內(nèi)在視覺上分開；接收對在預(yù)覽中描繪的對象集的選擇；以及基于第一相機(jī)饋送和第二相機(jī)饋送生成描繪該對象集的單個幀。

2、根據(jù)至少一個示例，提供了一種用于針對裝置上多個對象的視頻通話體驗(yàn)的裝置。該裝置可以包括存儲器和一個或多個處理器，該一個或多個處理器耦合到該存儲器，該一個或多個處理器被配置為：在設(shè)備與遠(yuǎn)程設(shè)備之間建立視頻通話；顯示第一相機(jī)饋送和第二相機(jī)饋送的預(yù)覽，該第一相機(jī)饋送包括由設(shè)備的第一圖像捕獲設(shè)備捕獲的第一視頻幀和由設(shè)備的第二圖像捕獲設(shè)備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預(yù)覽內(nèi)在視覺上分開；接收對在預(yù)覽中描繪的對象集的選擇；以及基于第一相機(jī)饋送和第二相機(jī)饋送生成描繪該對象集的單個幀。

3、根據(jù)至少一個示例，提供了另一種用于針對裝置上多個對象的視頻通話體驗(yàn)的裝置。該裝置可以用于進(jìn)行以下操作的構(gòu)件：在設(shè)備與遠(yuǎn)程設(shè)備之間建立視頻通話；顯示第一相機(jī)饋送和第二相機(jī)饋送的預(yù)覽，該第一相機(jī)饋送包括由設(shè)備的第一圖像捕獲設(shè)備捕獲的第一視頻幀和由設(shè)備的第二圖像捕獲設(shè)備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預(yù)覽內(nèi)在視覺上分開；接收對在預(yù)覽中描繪的對象集的選擇；以及基于第一相機(jī)饋送和第二相機(jī)饋送生成描繪該對象集的單個幀。

4、根據(jù)至少一個示例，提供了一種用于針對裝置上多個對象的視頻通話體驗(yàn)的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀介質(zhì)可以包括指令，這些指令在由一個或多個處理器執(zhí)行時使得該一個或多個處理器進(jìn)行以下操作：在設(shè)備與遠(yuǎn)程設(shè)備之間建立視頻通話；顯示第一相機(jī)饋送和第二相機(jī)饋送的預(yù)覽，該第一相機(jī)饋送包括由設(shè)備的第一圖像捕獲設(shè)備捕獲的第一視頻幀和由設(shè)備的第二圖像捕獲設(shè)備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預(yù)覽內(nèi)在視覺上分開；接收對在預(yù)覽中描繪的對象集的選擇；以及基于第一相機(jī)饋送和第二相機(jī)饋送生成描繪該對象集的單個幀。

5、在一些方面中，上文所描述的方法、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)和裝置可從第一圖像捕獲設(shè)備獲得第一視頻幀以及從第二圖像捕獲設(shè)備獲得第二視頻幀。

6、在一些示例中，第一視頻幀和第二視頻幀描繪包括對象集的多個對象，并且對該對象集的選擇可以包括第一輸入和第二輸入，該第一輸入選擇對象集作為要包括在單個幀中的多個對象的子集，該第二輸入選擇要從單個幀中排除的多個對象中的一個或多個對象。在一些示例中，一個或多個對象可以不同于該對象集。

7、在一些示例中，生成單個幀可以包括基于第一輸入和/或第二輸入，從單個幀中排除多個對象中的一個或多個對象；以及向遠(yuǎn)程設(shè)備傳送單個幀。在一些示例中，從單個幀中排除一個或多個對象可以包括從預(yù)覽、第一視頻幀、第二視頻幀和/或單個幀中移除一個或多個對象。

8、在一些方面中，生成單個幀可以包括將第一視頻幀的至少一部分和第二視頻幀的至少一部分組合成單個幀。在一些示例中，將第一視頻幀的至少一部分和第二視頻幀的至少一部分組合成單個幀可以包括將第一視頻幀的至少一部分和第二視頻幀的至少一部分布置到單個幀的相應(yīng)幀區(qū)域中。在一些示例中，每個幀區(qū)域可以描繪來自對象集的相應(yīng)對象。

9、在一些示例中，第一視頻幀可以包括來自該對象集的一個或多個第一對象，并且第二視頻幀可以包括來自該對象集的一個或多個第二對象。在一些方面中，生成單個幀可以包括基于與第一視頻幀相關(guān)聯(lián)的第一元數(shù)據(jù)確定一個或多個第一對象中的每個第一對象在第一視頻幀內(nèi)的相應(yīng)位置；基于與第二視頻幀相關(guān)聯(lián)的第二元數(shù)據(jù)確定一個或多個第二對象中的每個第二對象在第二視頻幀內(nèi)的相應(yīng)位置；以及基于一個或多個第一對象中的每個第一對象在第一視頻幀內(nèi)的相應(yīng)位置和一個或多個第二對象中的每個第二對象在第二視頻幀內(nèi)的相應(yīng)位置，確定描繪一個或多個第一對象的第一視頻幀的第一部分和描繪一個或多個第二對象的第二視頻幀的第二部分。在一些示例中，第一元數(shù)據(jù)可以包括與一個或多個第一對象相關(guān)聯(lián)的坐標(biāo)。在一些示例中，第二元數(shù)據(jù)可以包括與一個或多個第二對象相關(guān)聯(lián)的坐標(biāo)。

10、在一些示例中，生成單個幀可以包括將第一視頻幀的第一部分和第二視頻幀的第二部分組合成單個幀。在一些情況下，將第一視頻幀的第一部分和第二視頻幀的第二部分組合成單個幀可以包括將第一視頻幀的第一部分和第二視頻幀的第二部分放置在單個幀的相應(yīng)幀區(qū)域內(nèi)。在一些示例中，相應(yīng)幀區(qū)域的第一區(qū)域描繪一個或多個第一對象，并且相應(yīng)幀區(qū)域的第二區(qū)域描繪一個或多個第二對象。

11、在一些示例中，生成單個幀可以包括在單個幀內(nèi)呈現(xiàn)第一視頻幀的至少一部分和第二視頻幀的至少一部分。在一些情況下，第一視頻幀的至少一部分與第二視頻幀的至少一部分在視覺上分開。在一些情況下，第一視頻幀的至少一部分和第二視頻幀的至少一部分由視覺標(biāo)記物在視覺上分開。在一些示例中，視覺標(biāo)記物可以包括線、輪廓、框、高亮、標(biāo)簽、顏色、陰影和/或視覺標(biāo)記。

12、在一些方面中，上文所描述的方法、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)和裝置可以確定一個或多個對象處于第一圖像捕獲設(shè)備的視場(fov)內(nèi)；以及觸發(fā)第一圖像捕獲設(shè)備捕獲第一視頻幀。在一些示例中，第一視頻幀描繪一個或多個對象。

13、在一些方面中，上文所描述的方法、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)和裝置可以基于由第一圖像捕獲設(shè)備捕獲的一個或多個視頻幀跟蹤一個或多個對象；基于該跟蹤，確定一個或多個對象不再處于第一圖像捕獲設(shè)備的fov內(nèi)；以及基于該確定一個或多個對象不再處于第一圖像捕獲設(shè)備的fov內(nèi)，確定停止從第一圖像捕獲設(shè)備向遠(yuǎn)程設(shè)備發(fā)送視頻數(shù)據(jù)。

14、在一些方面中，上文所描述的方法、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)和裝置可以響應(yīng)于確定至少一個對象處于第二圖像捕獲設(shè)備的fov內(nèi)，經(jīng)由第二圖像捕獲設(shè)備獲得描繪至少一個對象的第三視頻幀；以及向遠(yuǎn)程設(shè)備傳送第三視頻幀。

15、在一些方面中，上文所描述的裝置可以包括一個或多個傳感器。在一些示例中，上文所描述的裝置可以包括移動電話、會議系統(tǒng)、電話系統(tǒng)、可穿戴設(shè)備、顯示設(shè)備、移動計(jì)算機(jī)、頭戴式顯示器和/或相機(jī)。

16、在一些方面中，上文所描述的裝置中的一者或多者可以是物聯(lián)網(wǎng)(iot)設(shè)備和/或擴(kuò)展現(xiàn)實(shí)(xr)設(shè)備(例如，虛擬現(xiàn)實(shí)(vr)設(shè)備、增強(qiáng)現(xiàn)實(shí)(ar)設(shè)備或混合現(xiàn)實(shí)(mr)設(shè)備)的一部分，或可以包括這些設(shè)備。在一些示例中，該裝置可包括車輛、移動設(shè)備(例如，移動電話或所謂的“智能電話”或其他移動設(shè)備)、可穿戴設(shè)備、個人計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、機(jī)器人設(shè)備或系統(tǒng)、航空系統(tǒng)或其他設(shè)備，或是這些設(shè)備的一部分。在一些方面中，該裝置包括用于捕獲一個或多個圖像的一個圖像傳感器(例如，一個相機(jī))或多個圖像傳感器(例如，多個相機(jī))。在一些方面中，該裝置包括用于顯示一個或多個圖像、通知和/或其他可顯示數(shù)據(jù)的一個或多個顯示器。在一些方面中，該裝置包括一個或多個揚(yáng)聲器、一個或多個發(fā)光設(shè)備和/或一個或多個麥克風(fēng)。在一些方面中，上文所描述的裝置可以包括一個或多個傳感器。例如，一或多個傳感器可包括光傳感器、音頻傳感器、運(yùn)動傳感器、溫度傳感器、濕度傳感器、圖像傳感器、加速度計(jì)、陀螺儀、壓力傳感器、觸摸傳感器和磁力計(jì)中的至少一者。在一些情況下，一個或多個傳感器可用于確定裝置的位置、裝置的狀態(tài)和/或用于其他目的。

17、該
技術(shù)實(shí)現(xiàn)要素：
不旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵或必要特征，其也不旨在孤立地用于確定所要求保護(hù)的主題的范圍。本主題應(yīng)當(dāng)參考本專利的整個說明書的合適部分、任何或所有附圖、以及每項(xiàng)權(quán)利要求來理解。

18、前述內(nèi)容以及其他特征和方面將在參照以下說明書、權(quán)利要求書和所附附圖時變得更明顯。