本公開的實(shí)施例涉及語(yǔ)音界面，更具體地涉及使用多模式界面生成和呈現(xiàn)口頭命令建議。

背景技術(shù)：

1、對(duì)于基于語(yǔ)音界面的用戶而言，適當(dāng)?shù)目陬^命令的可發(fā)現(xiàn)性(意識(shí)和理解)代表了長(zhǎng)期挑戰(zhàn)。事實(shí)上，就可發(fā)現(xiàn)性而言，指的是用戶不知道哪些口頭命令可用(意識(shí))和/或如何用措辭表達(dá)命令以便這些命令將被支持界面的系統(tǒng)理解(理解)，當(dāng)其成為基于語(yǔ)音界面的用戶所面臨的障礙時(shí)，是僅次于語(yǔ)音識(shí)別準(zhǔn)確性的問(wèn)題。用戶通常最終猜測(cè)他們認(rèn)為支持系統(tǒng)可能會(huì)識(shí)別和/或使用他們習(xí)慣于使用的、但系統(tǒng)可能無(wú)法理解的慣用語(yǔ)或白話的口頭命令，兩者通常都會(huì)導(dǎo)致執(zhí)行錯(cuò)誤和挫折。

2、解決這些可發(fā)現(xiàn)性挑戰(zhàn)的一種方法是，系統(tǒng)為用戶提供示例性命令的列表作為入門(onboarding)體驗(yàn)的一部分，因?yàn)檫@是讓用戶接觸由基于語(yǔ)音的系統(tǒng)支持的操作和命令的自然時(shí)機(jī)。然而，當(dāng)用戶未參與任何特定任務(wù)或動(dòng)作時(shí)在入門期間呈現(xiàn)的此類列表通常在被透徹地、完全地回顧之前已被用戶關(guān)閉。即使用戶透徹的回顧了示例性命令列表，所呈現(xiàn)的命令通常在用戶參與動(dòng)作或任務(wù)時(shí)嘗試采用命令時(shí)也被忘記。

3、為了使用戶意識(shí)到新支持的和/或不經(jīng)常使用的命令，一些解決方案向用戶發(fā)送通知，以提醒他們可用命令或新命令何時(shí)可用。類似地，一些解決方案向用戶每周發(fā)送電子郵件，其包括可用命令提醒和更新。然而，僅周期性地呈現(xiàn)示例性命令建議是不夠的，因?yàn)橛脩魞A向于在他們參與利用基于語(yǔ)音系統(tǒng)執(zhí)行動(dòng)作和/或任務(wù)時(shí)忘記這些命令。

技術(shù)實(shí)現(xiàn)思路

1、本公開的實(shí)施例尤其涉及用于生成和呈現(xiàn)口頭命令的示例以利于由支持多模式界面的系統(tǒng)理解的相關(guān)口頭命令的可發(fā)現(xiàn)性的框架。本文所述的框架還允許用戶逐步探索可用口頭命令。當(dāng)非口頭(例如直接操縱)輸入被使用時(shí)，所描述的框架通過(guò)提供示例性口頭命令建議來(lái)實(shí)現(xiàn)命令可發(fā)現(xiàn)性。與經(jīng)由多模式用戶界面從用戶接收的直接操縱輸入(例如，觸摸輸入、鍵盤輸入或鼠標(biāo)輸入)相關(guān)聯(lián)的目標(biāo)被確定，并且與目標(biāo)相關(guān)的一個(gè)或多個(gè)示例性口頭命令建議被生成。所生成的口頭命令建議的至少一部分被提供，以用于利用三個(gè)界面變體之一與多模式用戶界面相關(guān)聯(lián)的呈現(xiàn)。這些變體包括使用基于列表的方法呈現(xiàn)口頭命令建議的界面、使用上下文覆蓋層窗口呈現(xiàn)口頭命令建議的界面以及呈現(xiàn)嵌入在gui內(nèi)的口頭命令建議的界面(“圖形用戶界面”)。所提出的每個(gè)界面變體利于用戶意識(shí)到支持多模式界面的系統(tǒng)能夠執(zhí)行的口頭命令，并且同時(shí)教導(dǎo)用戶可用口頭命令可以如何被調(diào)用(例如，適當(dāng)?shù)拇朕o變體和多模式交互)。

2、提供本
技術(shù)實(shí)現(xiàn)要素：
以簡(jiǎn)化形式介紹一些概念，這些概念將在下面的詳細(xì)描述中進(jìn)一步描述。本發(fā)明內(nèi)容既不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。

技術(shù)特征：

1.一種計(jì)算系統(tǒng)，包括：

2.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述計(jì)算機(jī)可用指令在由所述一個(gè)或多個(gè)處理器使用時(shí)使所述一個(gè)或多個(gè)處理器通過(guò)以下操作來(lái)選擇與所確定的所述目標(biāo)相關(guān)的所述操作：

3.根據(jù)權(quán)利要求2所述的計(jì)算系統(tǒng)，其中所述計(jì)算機(jī)可用指令在由所述一個(gè)或多個(gè)處理器使用時(shí)使所述一個(gè)或多個(gè)處理器：基于以下中的至少一項(xiàng)來(lái)對(duì)包括所述多個(gè)操作的所述操作相對(duì)于彼此進(jìn)行排名，以生成所述建議排名：與所確定的所述目標(biāo)相關(guān)聯(lián)的類型、與用戶所參與的工作流程的相關(guān)性、操作已發(fā)出計(jì)數(shù)、以及操作顯示計(jì)數(shù)。

4.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述計(jì)算機(jī)可用指令在由所述一個(gè)或多個(gè)處理器使用時(shí)還使所述一個(gè)或多個(gè)處理器：利用參數(shù)值來(lái)填充所述措辭模板的至少一個(gè)可修改參數(shù)，以生成所述口頭命令建議。

5.根據(jù)權(quán)利要求4所述的計(jì)算系統(tǒng)，其中所述計(jì)算機(jī)可用指令在由所述一個(gè)或多個(gè)處理器使用時(shí)使所述一個(gè)或多個(gè)處理器：基于所述目標(biāo)的活動(dòng)狀態(tài)和與用戶所參與的工作流程的相關(guān)性中的至少一項(xiàng)，利用所述參數(shù)值來(lái)填充所述至少一個(gè)可修改參數(shù)。

6.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所接收的所述直接操縱輸入是觸摸輸入、鍵盤輸入、眼睛跟蹤輸入、姿勢(shì)輸入、或鼠標(biāo)輸入中的一項(xiàng)。

7.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述口頭命令建議是自然語(yǔ)言命令建議。

8.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中選擇所述措辭模板基于所接收的所述直接操縱輸入的類型和所述措辭模板的復(fù)雜性中的至少一者。

9.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中與所述操作子集和所確定的所述目標(biāo)相關(guān)的所述口頭命令建議通過(guò)以下步驟被生成：

11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中與所述操作子集相關(guān)的所述措辭模板集合基于以下中的至少一項(xiàng)而被選擇：所接收的所述直接操縱輸入的類型、被包括在所述措辭模板集合中的每個(gè)措辭模板的復(fù)雜性、模板已發(fā)出計(jì)數(shù)、以及模板所示出計(jì)數(shù)。

12.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述措辭模板集合中的至少一個(gè)措辭模板包括可修改參數(shù)，并且其中所述方法還包括：利用參數(shù)值來(lái)填充所述可修改參數(shù)，以生成所述口頭命令建議。

13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述可修改參數(shù)基于所述目標(biāo)的活動(dòng)狀態(tài)利用所述參數(shù)值而被填充。

14.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所接收的所述直接操縱輸入是觸摸輸入、鍵盤輸入、眼睛跟蹤輸入、姿勢(shì)輸入、或鼠標(biāo)輸入中的一項(xiàng)。

15.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述口頭命令建議是自然語(yǔ)言命令建議。

16.一種計(jì)算系統(tǒng)，包括：

17.根據(jù)權(quán)利要求16所述的計(jì)算系統(tǒng)，還包括：用于選擇與所述直接操縱輸入的所述目標(biāo)相關(guān)的操作集合的裝置，其中用于生成所述一個(gè)或多個(gè)口頭命令建議的所述裝置包括：用于生成與所述操作集合和所述直接操縱輸入的所述目標(biāo)相關(guān)的所述一個(gè)或多個(gè)口頭命令建議的裝置。

18.根據(jù)權(quán)利要求17所述的計(jì)算系統(tǒng)，還包括：用于基于以下中的至少一項(xiàng)來(lái)對(duì)所述操作集合中的操作進(jìn)行排序的裝置：與所述直接操縱輸入的所述目標(biāo)相關(guān)聯(lián)的類型、與所述用戶所參與的工作流的相關(guān)性、操作已發(fā)出計(jì)數(shù)、以及操作所示出計(jì)數(shù)。

19.根據(jù)權(quán)利要求16所述的計(jì)算系統(tǒng)，其中用于生成所述一個(gè)或多個(gè)口頭命令建議的所述裝置包括：用于利用所述措辭模板來(lái)生成所述一個(gè)或多個(gè)口頭命令建議的裝置。

20.根據(jù)權(quán)利要求16所述的計(jì)算系統(tǒng)，其中生成所述一個(gè)或多個(gè)口頭命令建議包括：利用參數(shù)值來(lái)填充所述措辭模板中的所述可修改參數(shù)。

技術(shù)總結(jié)
本公開的實(shí)施例涉及使用多模式界面以利于口頭命令的發(fā)現(xiàn)。一種用于生成和呈現(xiàn)口頭命令建議以利于能夠被理解的命令的可發(fā)現(xiàn)性并支持用戶探索可用命令的框架。與直接操縱輸入相關(guān)聯(lián)的目標(biāo)經(jīng)由多模式用戶界面從用戶處被接收。與目標(biāo)相關(guān)的操作集合被選擇，并且與所選的操作集合和所確定目標(biāo)相關(guān)的口頭命令建議被生成。已生成的口頭命令建議的至少一部分被提供，以便在三種界面變體之一中與多模式用戶界面相關(guān)聯(lián)的呈現(xiàn)：一個(gè)變體將命令建議呈現(xiàn)為列表；一個(gè)變體使用上下文覆蓋窗口來(lái)呈現(xiàn)命令建議；以及一個(gè)變體呈現(xiàn)嵌入在界面內(nèi)的命令建議。所提出的每個(gè)界面變體利于用戶意識(shí)到能夠被執(zhí)行的口頭命令，并教導(dǎo)用戶可用口頭命令可以如何被調(diào)用。

技術(shù)研發(fā)人員：L·唐特徹瓦,A·斯里尼瓦桑,S·J·沃克,E·亞達(dá)
受保護(hù)的技術(shù)使用者：奧多比公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/26