專利名稱：：基于優(yōu)化的視覺(jué)情境管理的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明一般地涉及信息檢索系統(tǒng)，更具體地，涉及在這種信息檢索系統(tǒng)中用于視覺(jué)情境管理的基于優(yōu)化的技術(shù)。
背景技術(shù)：
：在人機(jī)交互過(guò)程中，當(dāng)用戶請(qǐng)求一組新的數(shù)據(jù)時(shí)，計(jì)算機(jī)系統(tǒng)需要?jiǎng)討B(tài)更新它的視覺(jué)輸出呈現(xiàn)。本發(fā)明的焦點(diǎn)在于視覺(jué)情境(visualcontext)的管理，即動(dòng)態(tài)確定如何將新請(qǐng)求的信息合并到現(xiàn)有視覺(jué)情境中，從而用戶可作為一致性的整體理解所有相關(guān)信息的處理。這里，短語(yǔ)"視覺(jué)情境"指的是在發(fā)出查詢時(shí)用戶觀察到的視覺(jué)情景。這一過(guò)程常常受到多種限制(例如，保證語(yǔ)義連貫性和最小化視覺(jué)混亂)以及在人機(jī)交互期間引入預(yù)料不到的信息。例如，用于傳送一條新數(shù)據(jù)的特定視覺(jué)對(duì)象的引入可能受到用于呈現(xiàn)多條相關(guān)數(shù)據(jù)的現(xiàn)有視覺(jué)對(duì)象的影響。在沒(méi)有將新信息結(jié)合到現(xiàn)有情景中的情況下，用戶難以比較和組合信息。由于很難預(yù)測(cè)將如何開(kāi)展人機(jī)交互，所以不可能預(yù)先設(shè)計(jì)所有可能的視覺(jué)情境轉(zhuǎn)換。先前，研究人員和從業(yè)人員已嘗試了對(duì)視覺(jué)情境管理使用一種貪婪的(greedy)或基于圖式的方式。然而，這些方式通常每次只能處理一個(gè)限制，而并沒(méi)有考慮到這些限制本身如何相互影響。結(jié)果，從這些現(xiàn)有方式中獲得的視覺(jué)情境管理的結(jié)果并不令人滿意。因此，需要改進(jìn)的視覺(jué)情境管理技術(shù)。
發(fā)明內(nèi)容本發(fā)明的原理提供了改進(jìn)的視覺(jué)情境管理技術(shù)。這種改進(jìn)的視覺(jué)情境管理技術(shù)可用于創(chuàng)建改進(jìn)的信息檢索系統(tǒng)。例如，在本發(fā)明的一示例性方面中，一種更新現(xiàn)有視覺(jué)顯示以結(jié)合新信息的技術(shù)包括獲取由后來(lái)的用戶查詢所請(qǐng)求的新信息；和動(dòng)態(tài)導(dǎo)出用于更新至少一部分現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換，以結(jié)合所述新信息，其中將導(dǎo)出所述轉(zhuǎn)換的處理模型化為嘗試均衡視覺(jué)情境管理限制以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)的優(yōu)化操作。動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括將所述視覺(jué)情境管理限制模型化為基于特征的合意性(desirability)度量。基于特征的度量可測(cè)量顯示重疊值、直觀地標(biāo)保存值、轉(zhuǎn)換平滑值、視覺(jué)排序值、視覺(jué)混亂值中的一個(gè)或多個(gè)?？梢允褂美缬脩舻臄?shù)據(jù)導(dǎo)航偏好的用戶信息用公式表示所述基于特征的度量。此外，動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟對(duì)一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換操作符執(zhí)行所述優(yōu)化操作，以將所述合意性度量最大化。此外，所述優(yōu)化操作包括全局優(yōu)化技術(shù)，例如模擬退火技術(shù)。有利地，為了以增加的方式呈現(xiàn)不同的、在人機(jī)會(huì)話期間引入的不曾預(yù)料的信息，本發(fā)明的原理將視覺(jué)情境管理模型化為優(yōu)化問(wèn)題。一個(gè)主要目的在于找到可最大化滿足所有相關(guān)限制(例如，保證語(yǔ)義連貫性和最小化視覺(jué)混亂)的一組優(yōu)化視覺(jué)轉(zhuǎn)換。結(jié)果，本發(fā)明的原理能夠通過(guò)同時(shí)均衡一組總的限制來(lái)導(dǎo)出一組相近的優(yōu)化視覺(jué)轉(zhuǎn)換。由于這些技術(shù)優(yōu)選地使用基于特征的度量，以統(tǒng)一地模型化所有視覺(jué)情境管理限制，所以這些技術(shù)容易擴(kuò)展。根據(jù)結(jié)合附圖所理解的本發(fā)明示例性實(shí)施例的以下詳細(xì)描述，本發(fā)明的這些和其它目的、特點(diǎn)和優(yōu)點(diǎn)將變得清楚。圖1是示出根據(jù)本發(fā)明一實(shí)施例的采用視覺(jué)情境管理組件的智能、情境敏感的信息檢索系統(tǒng)的示圖；圖2是示出根據(jù)本發(fā)明一實(shí)施例的第一記錄的用戶系統(tǒng)會(huì)話段的示圖3是示出根據(jù)本發(fā)明一實(shí)施例的視覺(jué)情境管理構(gòu)架的示圖；圖4是示出根據(jù)本發(fā)明一實(shí)施例的視覺(jué)輸出產(chǎn)生方法的示圖；圖5是示出根據(jù)本發(fā)明一實(shí)施例的第二記錄的用戶系統(tǒng)會(huì)話段的示圖6是示出根據(jù)本發(fā)明一實(shí)施例的第三記錄的用戶系統(tǒng)會(huì)話段的示圖7是示出根據(jù)本發(fā)明一實(shí)施例的第四記錄的用戶系統(tǒng)會(huì)話段的示圖8是示出根據(jù)本發(fā)明一實(shí)施例的第五記錄的用戶系統(tǒng)會(huì)話段的示圖；和圖9是示出根據(jù)本發(fā)明一實(shí)施例的適用于執(zhí)行信息搜索系統(tǒng)的計(jì)算機(jī)系統(tǒng)的示圖。具體實(shí)施例方式應(yīng)該理解，雖然在下文將以示例性的信息檢索應(yīng)用(例如，房地產(chǎn)應(yīng)用和酒店應(yīng)用)描述本發(fā)明，但是本發(fā)明不限于此。此外，本發(fā)明更一般地適用于期望提供基于優(yōu)化的視覺(jué)情境管理技術(shù)和業(yè)務(wù)的任意應(yīng)用。此外，本發(fā)明更一般地適用于期望提供信息的質(zhì)量呈現(xiàn)或這種呈現(xiàn)業(yè)務(wù)的任意應(yīng)用。由于將在以下文中使用，所以我們首先定義以下術(shù)語(yǔ)。我們使用術(shù)語(yǔ)"數(shù)據(jù)對(duì)象"來(lái)寬泛表示想要呈現(xiàn)的任意類(lèi)型的數(shù)據(jù)內(nèi)容(例如，駐留在房地產(chǎn)數(shù)據(jù)庫(kù)中的房產(chǎn)清單的列表或網(wǎng)站上存在的酒店的列表)。我們使用術(shù)語(yǔ)"介質(zhì)對(duì)象"來(lái)廣泛表示將可能用于呈現(xiàn)數(shù)據(jù)內(nèi)容的任意類(lèi)型介質(zhì)，例如但不限于語(yǔ)音、文本和圖形，我們還使用術(shù)語(yǔ)"情境"來(lái)表示給出想要數(shù)據(jù)內(nèi)容的呈現(xiàn)的情景。情境可包括信息，例如但不限于，用戶正執(zhí)行的任務(wù)、含有用戶偏好和興趣的用戶模型以及含有設(shè)備屬性的情境模型。如將在下文以示例性細(xì)節(jié)說(shuō)明的，本發(fā)明的原理提供了一種構(gòu)架、系統(tǒng)和方法，用于動(dòng)態(tài)更新與信息檢索系統(tǒng)相關(guān)的現(xiàn)有視覺(jué)顯示，以有效地結(jié)合由隨后用戶查詢所請(qǐng)求的新信息。上述技術(shù)動(dòng)態(tài)導(dǎo)出用于更新至少一部分現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換以結(jié)合新信息，其中將視覺(jué)情境管理模型化為一種優(yōu)化的操作，這種優(yōu)化的操作嘗試均衡各種視覺(jué)情境管理的限制，以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)。首先，參照?qǐng)Dl，圖中示出根據(jù)本發(fā)明一實(shí)施例的采用視覺(jué)情境管理組件的智能、情境敏感的信息檢索系統(tǒng)。由于在用戶與系統(tǒng)之間的一個(gè)或多個(gè)查詢和一個(gè)或多個(gè)響應(yīng)的序列通常稱為會(huì)話，所以這種系統(tǒng)也稱為"會(huì)話系統(tǒng)"。如圖所示，信息檢索系統(tǒng)100包括解譯模塊102、會(huì)話管理模塊104、內(nèi)容確定模塊106、情境管理模塊108和呈現(xiàn)設(shè)計(jì)模塊110。盡管本發(fā)明不限于此，但是在一個(gè)實(shí)施例中，解譯模塊102可使用其>^開(kāi)的內(nèi)容通過(guò)引用合并于此的在K.Houck的"ContextualRevisioninInformation-SeekingConversationSystems"ICSLP2004和/或在J.Chai等的"Context-basedMultimodalInputUnderstandinginConversationSystems"中描述的技術(shù)。此外，在一實(shí)施例中，會(huì)話管理模塊104可使用其公開(kāi)的內(nèi)容通過(guò)引用合并于此的在S.Pan的"AMulti-layerConversationManagementApproachforInformation-SeekingApplications"ISCLP2004中描述的技術(shù)。此外，在一實(shí)施例中，內(nèi)容確定模塊106可使用其公開(kāi)的內(nèi)容通過(guò)引用合并于此的在2004年10月20日提交的題為"Optimization-BasedDataContentDetermination"的第10/969，581號(hào)美國(guó)專利申請(qǐng)中描述的技術(shù)。同樣，情境管理模塊108可使用在上文引用的J.Chai等的"Context-basedMultimodalInputUnderstandinginConversationSystems"中描述的技術(shù)。應(yīng)該理解，為可以由各組件采用的技術(shù)而引用的上述參考文獻(xiàn)僅是這些組件可采用的技術(shù)的實(shí)例。即，這些組件不限于實(shí)現(xiàn)上述實(shí)例性技術(shù)。然而，優(yōu)選地，在呈現(xiàn)設(shè)計(jì)模塊110中實(shí)現(xiàn)本發(fā)明的視覺(jué)情境管理的技術(shù)。對(duì)系統(tǒng)100的輸入是以一個(gè)或多個(gè)形式(例如，通過(guò)圖形用戶界面或通過(guò)語(yǔ)音和手勢(shì))給出的用戶請(qǐng)求。如果給出這種請(qǐng)求，則采用解譯模塊102來(lái)理解請(qǐng)求的含義?；诮庾g結(jié)果，會(huì)話管理模塊104判定高級(jí)別的適當(dāng)系統(tǒng)行為。根據(jù)情境，可通過(guò)呈現(xiàn)所請(qǐng)求的數(shù)據(jù)來(lái)判定直接滿足用戶請(qǐng)求，或者可選擇詢問(wèn)用戶額外的問(wèn)題。由于高級(jí)別系統(tǒng)行為沒(méi)有描述要被呈現(xiàn)的準(zhǔn)確內(nèi)容，所以隨后將其發(fā)送到內(nèi)容確定模塊106進(jìn)行細(xì)化。內(nèi)容確定模塊106基于交互情境判定響應(yīng)的正確數(shù)據(jù)內(nèi)容(例如，基于當(dāng)前用戶查詢和可用呈現(xiàn)資源，如時(shí)間和空間來(lái)檢索多少數(shù)據(jù))。情境管理模塊108管理和提供用于作出各種判定的所需情境信息(例如，用戶興趣和偏好)。雖然不限于此，但是有三種通用類(lèi)型的情境會(huì)話情境；用戶情境；和環(huán)境情境。這種信息可存儲(chǔ)在一個(gè)或多個(gè)數(shù)據(jù)庫(kù)中。會(huì)話信息記錄用戶請(qǐng)求和計(jì)算機(jī)響應(yīng)的序列。用戶信息包括用戶偏好和興趣。環(huán)境信息包括關(guān)于系統(tǒng)環(huán)境的信息，例如使用哪種類(lèi)型的顯示。在確定了數(shù)據(jù)內(nèi)容之后，可使用介質(zhì)分配組件(沒(méi)有明顯的示出，但是可以是在其公開(kāi)的內(nèi)容通過(guò)引用合并于此的2005年1月7日提交的題為"Optimization-BasedMediaAllocation"的笫11/031，951號(hào)美國(guó)專利申請(qǐng)中描述的組件)以一個(gè)或多個(gè)數(shù)據(jù)-介質(zhì)映射的形式分配各介質(zhì)，以傳送想要的數(shù)據(jù)。然后，將這種結(jié)果發(fā)送到要被呈現(xiàn)的呈現(xiàn)設(shè)計(jì)模塊110。如上所述，優(yōu)選地，在呈現(xiàn)設(shè)計(jì)模塊110中實(shí)現(xiàn)本發(fā)明的視覺(jué)情境管理的技術(shù)。信息檢索系統(tǒng)100通過(guò)使用智能多模塊會(huì)話來(lái)支持情境敏感的信息訪問(wèn)和探測(cè)。具體地，系統(tǒng)允許用戶使用多種形式(包括自然語(yǔ)言、圖形用戶界面(GUI)和手勢(shì))來(lái)表達(dá)他們的信息請(qǐng)求。此外，系統(tǒng)動(dòng)態(tài)創(chuàng)建適合的響應(yīng)，包括視覺(jué)和口頭輸出，例如見(jiàn)圖2所示。雖然信息檢索系統(tǒng)可以在任意多種應(yīng)用中實(shí)現(xiàn)，但是這里使用兩個(gè)示例性應(yīng)用，即幫助用戶搜索居住物業(yè)的房地產(chǎn)應(yīng)用和協(xié)助用戶查找旅館和相關(guān)便利設(shè)施(例如，餐廳)的酒店應(yīng)用?；趯?duì)用戶請(qǐng)求的理解，信息檢索系統(tǒng)在三個(gè)步驟中自動(dòng)創(chuàng)建它的響應(yīng)。第一步，系統(tǒng)判定響應(yīng)的類(lèi)型。在圖2中的用戶查詢U1的情況下，系統(tǒng)判定直接呈現(xiàn)所請(qǐng)求的住宅。根據(jù)情境，系統(tǒng)可按/〉式來(lái)表示不同類(lèi)型的響應(yīng)。例如，如果檢索到的數(shù)據(jù)組很大，則請(qǐng)求用戶提供額外的限制。第二步，系統(tǒng)確定響應(yīng)的內(nèi)容。響應(yīng)于Ul，系統(tǒng)選擇住宅屬性的子集，例如價(jià)格和風(fēng)格。第三步，系統(tǒng)使用適合的介質(zhì)和呈現(xiàn)技術(shù)設(shè)計(jì)響應(yīng)的形式。例如，在圖2中的系統(tǒng)響應(yīng)Rl中，系統(tǒng)使用圖形以在地圖上顯示住宅數(shù)據(jù)，以及使用語(yǔ)音概括檢索到的住宅的個(gè)數(shù)。為了處理隨后的請(qǐng)求，例如用戶查詢U2(圖2)，信息檢索系統(tǒng)創(chuàng)建用以強(qiáng)調(diào)最便宜住宅的響應(yīng)R2，同時(shí)保存R1的大部分現(xiàn)有視覺(jué)情境。相反，對(duì)于請(qǐng)求U2，，系統(tǒng)放大所請(qǐng)求的住宅，并保持其它住宅為最小化(響應(yīng)R2，)。這里，我們使用術(shù)語(yǔ)視覺(jué)情境來(lái)表示在發(fā)出查詢時(shí)用戶感知到的視覺(jué)情景。在沒(méi)有將新信息結(jié)合到現(xiàn)有情景中的情況下，用戶難以比較和組合信息。例如，如果R2僅顯示最便宜的住宅，則用戶很難將該住宅與先前檢索到的其它住宅關(guān)聯(lián)起來(lái)。如該實(shí)例所闡述的，信息檢索系統(tǒng)在運(yùn)行時(shí)使得它的響應(yīng)滿足于用戶請(qǐng)求。本發(fā)明原理的焦點(diǎn)在于視覺(jué)情境的管理，即動(dòng)態(tài)確定如何將新請(qǐng)求的信息合并到現(xiàn)有視覺(jué)情境中，從而用戶可作為一致性的整體理解所有相關(guān)信息的處理。更精確地，使用視覺(jué)情境管理來(lái)得到一組視覺(jué)轉(zhuǎn)換，其更新現(xiàn)有情境以結(jié)合新信息。例如，為了獲得圖2中的響應(yīng)R2,系統(tǒng)通過(guò)向最便宜住宅增加細(xì)節(jié)并簡(jiǎn)化其它檢索到的住宅來(lái)更新Rl。現(xiàn)在，參照?qǐng)D3，圖中示出根據(jù)本發(fā)明一實(shí)施例的呈現(xiàn)設(shè)計(jì)模塊(例如，圖1中的模塊110)。更具體地，圖3描述了基于優(yōu)化的視覺(jué)情境管理構(gòu)架的示例性實(shí)施例。即，由呈現(xiàn)設(shè)計(jì)模塊實(shí)施的視覺(jué)情境管理技術(shù)動(dòng)態(tài)確定怎樣將新請(qǐng)求的信息結(jié)合到現(xiàn)有視覺(jué)情境中，使得用戶可作為一致性的整體理解所有相關(guān)信息。對(duì)構(gòu)架300的輸入包括現(xiàn)有情境(如將在下文中更詳細(xì)說(shuō)明)和以將被發(fā)送的一個(gè)或多個(gè)數(shù)據(jù)對(duì)象的形式的呈現(xiàn)結(jié)果，以及一個(gè)或多個(gè)可用介質(zhì)對(duì)象的組。例如，數(shù)據(jù)對(duì)象可以是由用戶請(qǐng)求的要被呈現(xiàn)的一組住宅，介質(zhì)對(duì)象可包括要被使用的可用介質(zhì)，例如語(yǔ)音、文本和圖形。根據(jù)視覺(jué)情境管理器302，產(chǎn)生優(yōu)化的呈現(xiàn)?，F(xiàn)在，將說(shuō)明如何產(chǎn)生優(yōu)化的呈現(xiàn)的示例性細(xì)節(jié)。圖4提供呈現(xiàn)設(shè)計(jì)模塊300(圖3)(以下，還稱為視覺(jué)設(shè)計(jì)器)的操作的概括。視覺(jué)設(shè)計(jì)器自動(dòng)創(chuàng)建針對(duì)給定用戶查詢的視覺(jué)顯示。在示例性實(shí)施例中，有3個(gè)步驟的處理。第一步，草圖發(fā)生器創(chuàng)建使用一組視覺(jué)化對(duì)象對(duì)要被視覺(jué)顯示的數(shù)據(jù)進(jìn)行編碼的視覺(jué)草圖?？蓛H通過(guò)使用其公開(kāi)的內(nèi)容通過(guò)引用合并于此的在M.Zhou和M.Chen的"AutomatedGenerationofGraphicSketchesbyExamples",IJCAI，03，pp.65-71，2003中描述的技術(shù)的實(shí)例來(lái)使用傳統(tǒng)的草圖產(chǎn)生技術(shù)。第二步，視覺(jué)布局管理器在草圖中確定視覺(jué)對(duì)象的大小和位置。具體地，處理自動(dòng)得到一組空間布局限制，例如保證視覺(jué)平衡和避免對(duì)象遮擋。在一實(shí)施例中，處理可使用非線性限制解決方式來(lái)解決幾何限制(例如，比例和分層限制)，以及使用空間管理器來(lái)定位不固定的對(duì)象(例如，插圖編號(hào)和文本標(biāo)簽)。第三步，情境管理器更新現(xiàn)有視覺(jué)情境，以合并草圖。盡管該處理可以作為三步驟流水線來(lái)實(shí)施，但是這三個(gè)步驟可以穿插。例如，由于布局管理器對(duì)于情境管理將作什么知道的不多，所以在情境管理器判定要保存/刪除什么之后，需要重新部署對(duì)象。為了避免在兩個(gè)步驟之間反復(fù)，布局管理器可以為情景中的每一個(gè)視覺(jué)對(duì)象計(jì)算候選大小和位置參數(shù)的范圍。我們使用一組實(shí)例來(lái)示出視覺(jué)情境管理是如何取決于多個(gè)因素，例如用戶偏好和各種視覺(jué)限制的。首先，常常由用戶查詢表達(dá)暗含的用戶的數(shù)據(jù)導(dǎo)航偏好影響了視覺(jué)情境管理。例如，在圖2中的查詢U2可暗含用戶正在瀏覽數(shù)據(jù)，而查詢U2，可暗示用戶正在過(guò)濾數(shù)據(jù)。系統(tǒng)可使用語(yǔ)言暗示，例如詞語(yǔ)"僅"或"哪一個(gè)"來(lái)推斷用戶意圖。因此，對(duì)于查詢U2，系統(tǒng)保存大部分視覺(jué)情境，以便于進(jìn)一步數(shù)據(jù)瀏覽(響應(yīng)R2)，并同時(shí)放大用于查詢U2，的最便宜住宅，以滿足數(shù)據(jù)過(guò)濾(響應(yīng)R2，)。此外，用戶的會(huì)話偏好影響了視覺(jué)情境管理。在缺省情況下，系統(tǒng)假設(shè)用戶進(jìn)行連續(xù)的會(huì)話，并解譯在先前查詢的情境中的用戶查詢。假定在圖2中的查詢Ul之后發(fā)出圖5中的查詢U3。作為連續(xù)性，系統(tǒng)呈現(xiàn)所請(qǐng)求的城市數(shù)據(jù)，同時(shí)保存在響應(yīng)Rl中示出的相關(guān)住宅。然而，在會(huì)話期間，用戶可期望開(kāi)始新情境。系統(tǒng)可允許用戶點(diǎn)擊"新情境"按鈕來(lái)表示他的情境切換偏好。在查詢Ul之后并沒(méi)有發(fā)出查詢U3，用戶發(fā)出圖6中的查詢U4以切換到新情境。在這種情況下，系統(tǒng)創(chuàng)建僅示出所請(qǐng)求的學(xué)校數(shù)據(jù)的新視覺(jué)輸出。除了用戶偏好之外，各種視覺(jué)顯示限制(例如保持顯示之間的連續(xù)性和最小化視覺(jué)混亂)影響了視覺(jué)情境管理。例如，為了保持語(yǔ)義連貫性，對(duì)于圖5中的查詢U3，系統(tǒng)將所請(qǐng)求的城市數(shù)據(jù)結(jié)合到相關(guān)住宅的情境。此外，為了保持視覺(jué)連續(xù)性，在圖7中，系統(tǒng)顯示隨同先前檢索到的旅館一起的所請(qǐng)求餐廳，盡管根據(jù)我們的數(shù)據(jù)本體(ontology),這些餐廳和旅館的關(guān)系比較遠(yuǎn)。在用戶系統(tǒng)會(huì)話的過(guò)程中，可將視覺(jué)對(duì)象匯聚到視覺(jué)情境中.由于復(fù)雜的視覺(jué)顯示可使得用戶的工作存儲(chǔ)器過(guò)栽，并削弱信息的理解，所以系統(tǒng)嘗試最小化視覺(jué)混亂，并且同時(shí)保持連貫性。為了減少混亂，系統(tǒng)可簡(jiǎn)化像圖5中的住宅和圖7中的旅館那樣的不重要信息，或簡(jiǎn)單地去除不相關(guān)的數(shù)據(jù)。^為了幫助用戶合并在多個(gè)情景之間的信息，系統(tǒng)還保存重要"直觀地標(biāo)并提供平滑的轉(zhuǎn)換。例如，在圖2中，系統(tǒng)保存地理地標(biāo)，例如Hudson河和主要高速公路，其有助于固定視覺(jué)轉(zhuǎn)換。此外，系統(tǒng)保證平滑的視覺(jué)轉(zhuǎn)換，以允許用戶跟蹤這種改變。例如，系統(tǒng)可用動(dòng)畫(huà)展示取景改變和視覺(jué)對(duì)象更新。因此，系統(tǒng)考慮了更大范圍的多種視覺(jué)情境管理限制，包括迎合用戶偏好、保證視覺(jué)連貫性和最小化視覺(jué)混亂。這些限制常常相互依賴，并且甚至彼此沖突。例如，保存語(yǔ)義連貫性會(huì)妨礙視覺(jué)混亂降低的限制。因此，使用簡(jiǎn)單的啟發(fā)式算法(heuristic)很難保持一致性的視覺(jué)情境，從而不能均衡所有的限制。為了同時(shí)均衡所有相關(guān)的限制，本發(fā)明的原理提供了一種用于視覺(jué)情境管理的基于優(yōu)化的方式?，F(xiàn)在，在以下的部分中將給出(例如，通過(guò)圖1的信息檢索系統(tǒng)100的呈現(xiàn)設(shè)計(jì)模塊110來(lái)實(shí)現(xiàn)的)這種方式的示例性細(xì)節(jié)。我們用三個(gè)步驟示例性說(shuō)明該處理。第一步，我們呈現(xiàn)用以表現(xiàn)視覺(jué)情境和視覺(jué)操作符的特性的基于特征的表現(xiàn)(A部分)。這里，視覺(jué)操作符定義了用以更新一個(gè)或多個(gè)視覺(jué)對(duì)象的屬性的視覺(jué)轉(zhuǎn)換。例如，高亮操作符更新視覺(jué)對(duì)象的外觀。第二步，我們使用定義的特征來(lái)按公式表示用以對(duì)各種視覺(jué)情境管理限制進(jìn)行統(tǒng)一模型化的一組度量(metric)(B部分)。特別地，每一個(gè)度量評(píng)估采用一個(gè)或多個(gè)視覺(jué)操作符來(lái)更新視覺(jué)情境的合意性。第三步，我們呈現(xiàn)通過(guò)最大化滿足所有相關(guān)限制來(lái)動(dòng)態(tài)導(dǎo)出一組視覺(jué)操作符的模擬退火算法(C部分)，(A)基于特征的表示在用戶系統(tǒng)會(huì)話期間連續(xù)更新視覺(jué)情境。為了模型化這種動(dòng)態(tài)視覺(jué)情境，我們描述在每一用戶回合(turn)的開(kāi)始或結(jié)束時(shí)的情境狀態(tài)。形式上，我們使用以下符號(hào)。假設(shè)用戶回合,+/，則&表示在回合開(kāi)始時(shí)的視覺(jué)情境，并且&+/是在回合結(jié)束時(shí)的視覺(jué)情境。我們使用一組特征來(lái)描述&和&^的語(yǔ)義和句法屬性。類(lèi)似地，我們使用一組特征來(lái)表示每一視覺(jué)操作符的特性。(A)(i)二級(jí)視覺(jué)情境表示視覺(jué)情境&包括一組視覺(jué)對(duì)象。例如，在用戶回合U2(圖2)的開(kāi)始時(shí)，視覺(jué)情境包含例如檢索到的住宅和城市的對(duì)象(Rl)。為了表示在&的全部情景和所涉及的每一視覺(jué)對(duì)象的特性，我們開(kāi)發(fā)出二級(jí)描述符，其描述情景的全部屬性和每一視覺(jué)對(duì)象的細(xì)節(jié)。具體地，我們使用匯聚特征(例如，視覺(jué)對(duì)象的總數(shù)量(量)和情景中使用的顏色數(shù)量(顏色種類(lèi)))來(lái)描述情景。由于我們的目標(biāo)是將新情景結(jié)合到現(xiàn)有視覺(jué)情境中，所以我們使用相同的特征組來(lái)描述新情景(例如，在圖2中的U2中的最便宜住宅的細(xì)節(jié))。為了便于合并，我們?cè)黾觾蓚€(gè)特征焦點(diǎn)和范圍。焦點(diǎn)特征描述當(dāng)前查詢的焦點(diǎn)，而范圍包括在新情景中顯現(xiàn)的所有信息。對(duì)于圖8中的查詢U8，焦點(diǎn)是所請(qǐng)求的火車(chē)站，而范圍包括火車(chē)站和限定火車(chē)站的住宅。假設(shè)用戶查詢，則系統(tǒng)限制動(dòng)態(tài)描述焦點(diǎn)和范圍，其用于設(shè)置取景參數(shù)和評(píng)估在新情景和現(xiàn)有視覺(jué)情境之間的語(yǔ)義相關(guān)性。除了描述整個(gè)情景之外，我們還表示每一視覺(jué)對(duì)象的屬性的特性。視覺(jué)對(duì)象是數(shù)據(jù)對(duì)象的編碼，并具有基本的視覺(jué)屬性，例如顏色、大小和位置。為了便于視覺(jué)情境管理，這里，我們關(guān)注數(shù)據(jù)和視覺(jué)語(yǔ)義特征。我們使用數(shù)據(jù)特征(例如種類(lèi))來(lái)描述所編碼數(shù)據(jù)的語(yǔ)義種類(lèi)，以及使用視覺(jué)特征(例如突出度)來(lái)指定可以如何感知視覺(jué)編碼，以下的表l列出系統(tǒng)使用的語(yǔ)義特征。在這些特征中，我們重點(diǎn)說(shuō)明三個(gè)復(fù)雜的特征數(shù)據(jù)重要度(dlmportance)、視覺(jué)重要度(vlmportance)和視覺(jué)突出度(prominence)。表1.(*動(dòng)態(tài)計(jì)算的)視覺(jué)情境的特征<table>tableseeoriginaldocumentpage15</column></row><table>數(shù)據(jù)重要度特征"數(shù)據(jù)重要度"描述了數(shù)據(jù)對(duì)象對(duì)于給定用戶回合是多么重要，所有用戶對(duì)象開(kāi)始于相同的重要值(0.0)。系統(tǒng)以兩種方式動(dòng)態(tài)更新數(shù)據(jù)重要度。第一種方式，系統(tǒng)使用其內(nèi)容選擇器來(lái)判定數(shù)據(jù)重要度。如果內(nèi)容選擇器選定在給定用戶回合時(shí)用以呈現(xiàn)的數(shù)據(jù)對(duì)象，則因此更新該對(duì)象的重要度。對(duì)于圖8中的查詢U8，內(nèi)容選擇器選擇具有最高重要度的所請(qǐng)求火車(chē)站數(shù)據(jù)，以及具有較低重要度的限定火車(chē)站的住宅。如果沒(méi)有選擇數(shù)據(jù)對(duì)象，則使用時(shí)間衰減功能降低其重要度。例如，為了響應(yīng)于圖2中的U2，系統(tǒng)不選擇先前顯示的住宅，最便宜的住宅除外。因此，他們的重要度值在回合U2時(shí)降低。在用戶開(kāi)始新情境的特殊情況下，系統(tǒng)將未選擇的數(shù)據(jù)的重要度重設(shè)為0.0。第二種方式，系統(tǒng)使用數(shù)據(jù)關(guān)系來(lái)判定數(shù)據(jù)重要度。在內(nèi)容選擇器為多個(gè)數(shù)據(jù)對(duì)象分配相同的重要度時(shí)，這種方式很有用。在響應(yīng)Rl(圖2)中，內(nèi)容選擇器為所有檢索到的住宅分配相同的重要度。由于這些住宅在U3(圖5)中沒(méi)有提及，所以它們的重要度降低。然而，相比其它住宅，位于Hartsdale的住宅與U3更加語(yǔ)義相關(guān)。結(jié)果，系統(tǒng)更好地保存了這些住宅，以向用戶提供用以理解檢索到的城市數(shù)據(jù)(圖5)的有用情境。因此，我們定義語(yǔ)義相關(guān)性度量其中，d是數(shù)據(jù)對(duì)象，D，是當(dāng)前查詢焦點(diǎn)，《w，而""^計(jì)算在兩個(gè)數(shù)據(jù)對(duì)象之間的相關(guān)性這里，p是表示在數(shù)據(jù)庫(kù)中在d和d，j之間的關(guān)系r的相關(guān)值的函數(shù)。系統(tǒng)使用數(shù)據(jù)本體來(lái)查找在d和d，j之間的數(shù)據(jù)關(guān)系r。在數(shù)據(jù)庫(kù)中，使得d是住宅，d，j是城市。按照我們的本體，住宅位于城市中。使用這種關(guān)系，系統(tǒng)檢驗(yàn)在數(shù)據(jù)庫(kù)中住宅d是否確實(shí)位于城市d，j中。如果關(guān)系成立，貝'jp-i，否則卩=0?，F(xiàn)在，我們?yōu)楸倔w中的每一類(lèi)型數(shù)據(jù)關(guān)系靜態(tài)限定r()的值。總之，我們?yōu)樵诮o定用戶回合t+l時(shí)的用戶對(duì)象d定義數(shù)據(jù)重要度如下這里，val是由內(nèi)容選擇器計(jì)算的數(shù)據(jù)重要度，a是衰減因子，現(xiàn)在a=1.5，為快速衰減。視覺(jué)重要度數(shù)據(jù)重要度評(píng)估視覺(jué)對(duì)象在語(yǔ)義上與用戶查詢?nèi)绾侮P(guān)聯(lián)，而視覺(jué)重要度在空間上測(cè)量了視覺(jué)對(duì)象與當(dāng)前查詢焦點(diǎn)如何關(guān)聯(lián)。通常，在呈現(xiàn)用戶請(qǐng)求的信息時(shí)，由于位于鄰近的項(xiàng)目有助于為用戶建立有用的情境以理解想要的信息，所以期望顯示這種項(xiàng)目。例如，在圖7(b)中，該系統(tǒng)示出所請(qǐng)求的餐廳和鄰近的旅館，以向用戶給出每一事物所在的整個(gè)情境。通過(guò)這種理解，視覺(jué)重要度特征是視覺(jué)對(duì)象v與當(dāng)前查詢焦點(diǎn)V，的視覺(jué)表現(xiàn)的空間相關(guān)性(2)/v-1-M",(Tv,vy,力7，其中，力^'，^^0計(jì)算在標(biāo)準(zhǔn)屏幕坐標(biāo)中兩個(gè)視覺(jué)對(duì)象的歐幾里得距離。視覺(jué)突出度視覺(jué)突出度測(cè)量視覺(jué)對(duì)象可以多么容易地被用戶感知。使用三個(gè)級(jí)別視覺(jué)變量對(duì)其進(jìn)行模型化，包括顏色、大小和位置。假設(shè)視覺(jué)對(duì)象為v，我們定義其顏色突出度R(v)，大小突出度P2(v)，和位置突出度P3(v)。顏色突出度說(shuō)明，視覺(jué)對(duì)象產(chǎn)生比背景越多的對(duì)比度，則該對(duì)象可更突出地被感知。例如，相比于白色背景來(lái)說(shuō)，紅色對(duì)象比黃色對(duì)象更加突出。函數(shù)contrast()返回在兩個(gè)顏色之間的對(duì)比度值Pi(v)==co"fr'o《v.color,6acAgro"wrf,.大小突出度斷定，視覺(jué)對(duì)象越大，則它顯現(xiàn)的越突出jp2(v)=v.bbx.wi艦xv.bbx,Aeig/",其中，在標(biāo)準(zhǔn)屏幕坐標(biāo)中計(jì)算包圍盒(boundingbox)。位置突出度說(shuō)明，在位于顯示中心附近的對(duì)象比位于其它位置的更加突出尸3(v)^—^/(v,c)，其中，c表示顯示中心，函數(shù)dist()計(jì)算在v和中心之間的標(biāo)準(zhǔn)屏幕歐幾里得距離。組合上述三個(gè)^S式，我們模型化視覺(jué)對(duì)象v的總視覺(jué)突出度(3)P(v)-J],x《(v),wherei=1.3，andweighm,=033.(A)(ii)視覺(jué)操作符表示我們使用一組視覺(jué)操作符來(lái)模型化用以更新視覺(jué)情境和結(jié)合新信息的視覺(jué)轉(zhuǎn)換?？苫谝曈X(jué)操作符的效果對(duì)其分類(lèi)。我們已經(jīng)標(biāo)識(shí)出四組操作符用以修改取景參數(shù)的取景操作符、用以更新視覺(jué)顯現(xiàn)的顯現(xiàn)操作符(例如高亮)、用以改變幾何屬性的幾何操作符(例如移動(dòng)和縮放)、和用以^^改情景結(jié)構(gòu)的結(jié)構(gòu)操作符(例如增加)。以下表2列出了系統(tǒng)使用的操作符。根據(jù)實(shí)際的實(shí)施，操作符可展示不同的視覺(jué)效果。例如，我們可通過(guò)將對(duì)象透明或簡(jiǎn)單隱藏對(duì)象來(lái)實(shí)現(xiàn)刪除。表2.視覺(jué)操作符的分類(lèi)操作符定義取景操作符取景更新取景參數(shù)(例如，放大)顯現(xiàn)操作符高亮高亮顯示現(xiàn)有視覺(jué)對(duì)象(例如，改變顏色)幾何操作符移動(dòng)修改視覺(jué)對(duì)象的位置縮放修改視覺(jué)對(duì)象的大小結(jié)構(gòu)操作符簡(jiǎn)化簡(jiǎn)化視覺(jué)對(duì)象的表示增加向情境中增加視覺(jué)對(duì)象刪除從情境中刪除視覺(jué)對(duì)象為了統(tǒng)一標(biāo)識(shí)所有視覺(jué)操作符，我們將操作符分別與7個(gè)特征關(guān)聯(lián)。特征操作數(shù)(operand)表示操作符控制的視覺(jué)對(duì)象，特征參數(shù)(parameter)保存需要執(zhí)行想要轉(zhuǎn)換的特定信息。如下所示，縮放操作符具有一個(gè)參數(shù)scaleFactor。特征效果(effect)是測(cè)量在操作之后要修改操作數(shù)的哪些屬性的函數(shù)。例如，縮放改變了對(duì)象的大小。另一方面，特征成本(cost)評(píng)估用以執(zhí)行想要視覺(jué)轉(zhuǎn)換的成本。例如，用戶感知對(duì)象移動(dòng)比高亮效果要付出更多成本。最后，特征時(shí)間優(yōu)先級(jí)(temporal-priority)、開(kāi)始時(shí)間(startThne)和結(jié)束時(shí)間(endTime)控制采用操作符的時(shí)間。下段概括了操作符Scale的定義ScaleextendsOperator{ListoperandVector3scaleFactor〃parameterstatinghowmuchtoscalefloateffect()〃thisfunctionmodifiesthesizeofoperandsfloatcost=mediumfloattemporal-priority=mediumfloatstartTime，endTime(B)基于特征的合意性度量如上所述，多個(gè)限制會(huì)影響視覺(jué)情境管理，包括用戶偏好和視覺(jué)顯示限制。為了統(tǒng)一模型化所有限制，我們基于視覺(jué)情境和視覺(jué)操作符的表示定義一組度量。這些度量評(píng)估對(duì)現(xiàn)有視覺(jué)情境采用一個(gè)或多個(gè)視覺(jué)操作符合意性，以合并新信息。按照這些目的，我們將度量分成兩組視覺(jué)動(dòng)量(momentum)度量和視覺(jué)構(gòu)成度量。視覺(jué)動(dòng)量度量評(píng)估在顯示之間的視覺(jué)情境的一致性。視覺(jué)構(gòu)成度量評(píng)估在結(jié)合了新信息之后的視覺(jué)情境的結(jié)構(gòu)一致性。這里，我們的目的不是列舉完整的視覺(jué)情境管理限制組，而是我們示出如何在數(shù)量上用公式表示關(guān)鍵性限制。為了簡(jiǎn)化，將所有特征/度量值規(guī)范在0，l之間。(B)(i)視覺(jué)動(dòng)量度量視覺(jué)動(dòng)量測(cè)量用戶用于在多個(gè)顯示之間提取和結(jié)合信息的能力。由于視覺(jué)動(dòng)量的量與用戶理解在顯示之間的信息的能力成比例，所以系統(tǒng)在更新視覺(jué)情境時(shí)嘗試最大化視覺(jué)動(dòng)量。具體地，我們使用三種適用于我們的視覺(jué)情境管理任務(wù)的技術(shù)1)最大化連續(xù)顯示的語(yǔ)義和視覺(jué)重疊，2)保存直觀的地標(biāo)，和3)保證平滑的枧覺(jué)轉(zhuǎn)換。最大化顯示重疊.適當(dāng)?shù)娘@示重疊幫助用戶以遞增的方式將連續(xù)顯示之間的信息結(jié)合在一起。我們定義兩個(gè)度量視覺(jué)重疊和語(yǔ)義重疊度量。視覺(jué)重疊度量計(jì)算兩個(gè)顯示之間的不變性(invariance),具體地，&中的每一個(gè)視覺(jué)對(duì)象和其在&w中的新?tīng)顟B(tài)的平均不變性這里，視覺(jué)對(duì)象V"e《'V""e^"，和力,",-，(XJ，。^是視覺(jué)操作符；V是&中視覺(jué)對(duì)象的總數(shù)；inv()計(jì)算在兩個(gè)視覺(jué)對(duì)象之間的不變性。如果n'+i不可見(jiàn)，則細(xì)vO《.o;否則，它是位置、大小和顏色的平均不變性類(lèi)似地，我們定義語(yǔ)義重疊度量，其用以評(píng)估相關(guān)的項(xiàng)目在語(yǔ)義方面是否一起保持在顯示中。計(jì)算&和&+7的語(yǔ)義相關(guān)性其中，分別通過(guò)化'和&'+1對(duì)數(shù)據(jù)對(duì)象《和《編碼，凡^J使用上述公式(a)計(jì)算它們的語(yǔ)義相關(guān)性。使用上文定義的視覺(jué)和語(yǔ)義重疊度量，我們模型化通過(guò)用戶導(dǎo)航偏好調(diào)節(jié)的總顯示重疊度量，其允許更多的數(shù)據(jù)瀏覽的顯示重疊，但是更少的數(shù)據(jù)過(guò)濾的重疊(4)<formula>formulaseeoriginaldocumentpage20</formula>其中，權(quán)數(shù)沐，。沐2=0_5,e是常數(shù)，^L0以用于數(shù)據(jù)瀏覽，否則wO-5。保存直觀地標(biāo).直觀地標(biāo)是固定視覺(jué)情境轉(zhuǎn)換的可區(qū)別特征，其反過(guò)來(lái)幫助用戶在連續(xù)情景中關(guān)聯(lián)信息。例如，Westchester縣地圖用作在圖2和圖4-6中描述的顯示的共同背景，并且盡量在情景中保持例如主要河流和高速公路的主要地理地標(biāo)(例如，圖2中的Hudson河)。為了在視覺(jué)情境中保存最大數(shù)量的直觀地標(biāo)，我們計(jì)算在情境中規(guī)范化的地標(biāo)數(shù)量(5)<formula>formulaseeoriginaldocumentpage20</formula>其中丄,+/是在視覺(jué)情境&+;中存在的地標(biāo)數(shù)量，N是在整個(gè)應(yīng)用中存在的地標(biāo)總數(shù)。保證平滑的轉(zhuǎn)換.在情境中的突然改變防止用戶從視覺(jué)上跟蹤改變。結(jié)果，在現(xiàn)有情景和新情景之間的因果關(guān)聯(lián)可能丟失。為了保證在連續(xù)顯示之間平滑的轉(zhuǎn)換，通常用動(dòng)畫(huà)向用戶提供強(qiáng)有力的暗示，以解譯這些改變。我們定義用以計(jì)算采用一組視覺(jué)操作符的平均平滑度的度量(6)<formula>formulaseeoriginaldocumentpage21</formula>其中視覺(jué)操作符⑩eOp,，通過(guò)操作符成本(如上所述)定義上述度量描述了操作符發(fā)生的精神成本越低，用戶感知的轉(zhuǎn)換越平滑。組合公式4-6,我們定義總視覺(jué)動(dòng)量度量，以保證最大顯示間的連續(xù)性(7)<formula>formulaseeoriginaldocumentpage21</formula>其中，視覺(jué)操作符(9;7轉(zhuǎn)換視覺(jué)情境&，以結(jié)合新情景^。(B)(ii)視覺(jué)構(gòu)成度量除了在視覺(jué)情境轉(zhuǎn)換期間最大化視覺(jué)動(dòng)量之外，我們保證情境結(jié)構(gòu)在轉(zhuǎn)換之后一致。由于我們產(chǎn)生的草圖考慮了關(guān)于視覺(jué)編碼的構(gòu)成問(wèn)題(圖4)，所以這里我們的焦點(diǎn)是關(guān)于從兩個(gè)方面的視覺(jué)結(jié)合的構(gòu)成問(wèn)題。一個(gè)方面是保證正確的視覺(jué)排序，從而用戶能夠容易地注意到新內(nèi)容，另一個(gè)方面是在結(jié)合新信息之后最小化視覺(jué)混亂。建立正確的視覺(jué)排序?yàn)榱私⒄_的視覺(jué)排序，我們限定突出地表達(dá)對(duì)于當(dāng)前用戶查詢重要的數(shù)據(jù)項(xiàng)目。例如，在圖8(b)中，系統(tǒng)高亮顯示新請(qǐng)求的火車(chē)站信息，同時(shí)基于與火車(chē)站的相關(guān)事物簡(jiǎn)化住宅表示。這里，略微簡(jiǎn)化了限定火車(chē)站的住宅，同時(shí)將其它住宅減小到它們的最小程度(圖8(a)-(b))。為了捕獲在數(shù)據(jù)重要度和視覺(jué)突出度之間的這種期望關(guān)系，我們定義視覺(jué)排序度量(8)<formula>formulaseeoriginaldocumentpage21</formula>這里，《和《是數(shù)據(jù)對(duì)象，^和力是它們?cè)诨睾?+/時(shí)的對(duì)應(yīng)編碼。函數(shù)/fJ是使用公式1-2計(jì)算的數(shù)據(jù)對(duì)象《及其視覺(jué)編碼^的總重要度<formula>formulaseeoriginaldocumentpage22</formula>其中，權(quán)數(shù)^=0.7，馬-0.3,以滿足語(yǔ)義重要度。此外，A"。通過(guò)公式3計(jì)算視覺(jué)突出度。最小化視覺(jué)混亂視覺(jué)上的混亂呈現(xiàn)可產(chǎn)生混淆，并使得情景不能掃描。為了提供具有信息的但是不混亂的視覺(jué)情境，我們測(cè)量顯示的總復(fù)雜度。已知存在能影響視覺(jué)復(fù)雜度的多組因素。一組因素包括對(duì)象的量和它們屬性的變量，例如在情景中出現(xiàn)的不同顏色和形狀的數(shù)量。另一組因素與情景的空間布局相關(guān)，例如對(duì)稱性和開(kāi)放性。由于我們的布局管理器保存含有對(duì)稱性的空間布局限制(圖4)，所以這里我們使用第一組因素測(cè)量視覺(jué)復(fù)雜度這里，權(quán)數(shù)—^=&=G33'&是在一個(gè)顯示上允許的顏色總數(shù)(現(xiàn)在，，而^>/。^^'60^獲取在&+1中使用的顏色總數(shù)量。度量^^&字0計(jì)算由，占用的標(biāo)準(zhǔn)屏幕空間其中，視覺(jué)對(duì)象巧s^"6自^^a。返回在標(biāo)準(zhǔn)屏幕坐標(biāo)中由&+1占用的標(biāo)準(zhǔn)屏幕空間。度量及/^peOwwp^i^)計(jì)算在&w中不同形狀的總數(shù)量，以及所有形狀的平均復(fù)雜度(不同形狀分配有不同的復(fù)雜度值，例如，可認(rèn)為文本比簡(jiǎn)單幾何形狀(例如圃)更復(fù)雜)這里，Ws是在中視覺(jué)對(duì)象的總數(shù)，^wg^Forfe0^和^^peCc^p/一(是表j中定義的兩個(gè)特征。為了最小化情景的視覺(jué)復(fù)雜度，我們最大化其中，是y常數(shù)，y-0.5用于數(shù)據(jù)瀏覽；否則y-l.O。(C)模擬退火算法組合公式7-9，我們定義了總對(duì)象函數(shù)<formula>formulaseeoriginaldocumentpage23</formula>這里，^^是用于轉(zhuǎn)換視覺(jué)情境&以結(jié)合新情景s'的一組視覺(jué)操作符，并且權(quán)數(shù)Wt"W2:w，0.33.。現(xiàn)在，我們的目標(biāo)是找到能最大化對(duì)象函數(shù)的一組視覺(jué)操作符。這個(gè)任務(wù)是解決典型的二次分配問(wèn)題，即NP-hard。由于簡(jiǎn)單的貪婪算法會(huì)陷入局部極大值的困境，所以我們采用模擬退火算法，已經(jīng)證明了這種算法對(duì)于解決這種問(wèn)題^f艮有效。以下表3概括了示例性的模擬退火算法表3Llstsi附tt&i《^W;weaZfeg(Scene&Scene5).1Listresw〖f—^oip^y2float7B3while(r>J>wi^do4foreachsampleco柳fe[i,MAXSAMPLE~COUNTl5Operator卬—X竿efatof(S1，&r咖閣^null)thenreturnresw/fendif7ListcwrC(piiirt—re幼〖f+印8float<f^f~mw3喊carK^l鄉(xiāng)一mm喊mw/jf)if敬>0thenadd印tor咖fo10el鍵ifprobabilitye^frf,Zy>mnrf(O，1)11也棚add印toms^Aeadif12en艦13eudfoi*141516return;'as/f對(duì)算法的輸入是在用戶回合f+7的開(kāi)始時(shí)的視覺(jué)情境S，以及要結(jié)合的新情景S'。該算法使用"溫度"參數(shù)T，以循環(huán)設(shè)定期望結(jié)果列表(2-15行)。在我們的實(shí)驗(yàn)中，將T初始化為T(mén)0=2.0，最小溫度Tmin-0.05,減小率A—0,1,使用它們控制循環(huán)的次數(shù)。在每一次循環(huán)時(shí)，該算法取樣一組操作符(現(xiàn)在MAX—SAMPLE_COUNT=40)(4-13行)。在每一取樣中，例程Jferf—C5pm^n0使用貪婪策略找到最頂端的候選項(xiàng)(5行)。具體地，計(jì)算w，"O，以將已經(jīng)選擇的操作符和操作符邵應(yīng)用于還沒(méi)有被同一操作符更新的視覺(jué)對(duì)象(公式10)。然后，按所有后選項(xiàng)的reward值分級(jí)，并返回最頂端的那個(gè)值。使用最頂端的候選項(xiàng)和現(xiàn)有的結(jié)果組，該算法測(cè)試reward是否大于單獨(dú)使用現(xiàn)有結(jié)果組的情況(7-8行),如果是這樣，則將該候選項(xiàng)增加至結(jié)果組(9行)。否則，測(cè)試當(dāng)前控制可能性是否大于在[O,1之間通過(guò)自①產(chǎn)生的隨機(jī)數(shù)(io行)。如果是，則增加該候選項(xiàng)Ul行)，在每一次循環(huán)中，參數(shù)T控制接收次優(yōu)操作符的可能性。然后，逐漸減少，從而該算法幾乎不可能接受次優(yōu)操作符(14行)。當(dāng)該算法最后收斂時(shí)(即，T到達(dá)目標(biāo)最低溫度)，則返回在7>式10中最大化我們的目標(biāo)函數(shù)的一組視覺(jué)操作符(16行)。復(fù)雜度^^一印^自r0是O0^m2)，其中n是在&和S，中的視覺(jué)對(duì)象的總數(shù)量，m是可用操作符的數(shù)量。由于在溫度減少過(guò)程中的步驟數(shù)量和在每一溫度評(píng)估的取樣總數(shù)恒定，所以我們的算法的總復(fù)雜度是在找到一組期望的視覺(jué)操作符之后，系統(tǒng)按它們的類(lèi)型和按它們的操作數(shù)對(duì)這些操作符分類(lèi)。例如，系統(tǒng)將具有相同類(lèi)型操作數(shù)的所有高亮顯示操作符分在一起。然后，系統(tǒng)確定采用這些操作符的順序?？赏瑫r(shí)采用在一組中的操作符。這種應(yīng)用指導(dǎo)用戶認(rèn)識(shí)在視覺(jué)轉(zhuǎn)換期間的直觀分組。例如，對(duì)一組住宅的高亮顯示同時(shí)允許用戶按組觀察這些住宅。此外，在不同組中的操作符按它們的時(shí)間優(yōu)先級(jí)排序。例如，刪除通常發(fā)生在增加之前，以防止舊數(shù)據(jù)覆蓋新數(shù)據(jù)。現(xiàn)在，我們?yōu)槊恳活?lèi)型操作符靜態(tài)定義時(shí)間優(yōu)先級(jí)。在一實(shí)施例中，使用三個(gè)步驟來(lái)建立視覺(jué)情境管理方法。第一步，我們定義靜態(tài)特征，例如分配數(shù)據(jù)語(yǔ)義分類(lèi)(表1)。根據(jù)我們的經(jīng)驗(yàn)，建立簡(jiǎn)單的數(shù)據(jù)本體有助于定義這些特征。第二步，我們建立視覺(jué)操作符的目錄(表2)。第三步，我們用公式表示基于特征的度量，以模型化對(duì)于應(yīng)用重要的各種限制。例如，在移動(dòng)裝置應(yīng)用中，我們可模型化設(shè)備相關(guān)的視覺(jué)情境管理限制。我們還可希望基于應(yīng)用的需要調(diào)整度量。例如，我們?cè)跀?shù)據(jù)瀏覽應(yīng)用中增加用于顯示重疊的權(quán)數(shù)(公式4)。為了引導(dǎo)該處理和避免調(diào)整錯(cuò)誤，我們推薦簡(jiǎn)單地開(kāi)始。目前，我們使用簡(jiǎn)單數(shù)據(jù)本體，一組基本視覺(jué)操作符，和相等權(quán)數(shù)的度量(公式IO),以足夠處理在兩個(gè)不同應(yīng)用中的各種交互情況。在必要時(shí)，很容易擴(kuò)展我們所具有的操作符。首先，我們可容易地引入新視覺(jué)操作符(例如，為視覺(jué)漸變?cè)黾郁~(yú)眼示圖(fisheyeview)操作符)。此外，我們可容易地將新特征/度量結(jié)合到我們的目標(biāo)函數(shù)中，以獲取期望功能(例如，設(shè)備相關(guān)操作符成本度量)。除了支持多模型會(huì)話系統(tǒng)之外，關(guān)于視覺(jué)情境管理的創(chuàng)造性方法適用于創(chuàng)建更好視覺(jué)效果的更廣泛?jiǎn)栴}。例如，可用于GUI驅(qū)動(dòng)交互視覺(jué)系統(tǒng)，其中可產(chǎn)生更加一致的視覺(jué)效果，以結(jié)合在用戶交互的多個(gè)回合之間所獲得的信息。當(dāng)在交互環(huán)境中建立視覺(jué)效果時(shí)，必須動(dòng)態(tài)判定如何以增加的方式將新信息結(jié)合到現(xiàn)有顯示，以保證整個(gè)情境的一致性。如上文示例性細(xì)節(jié)中所說(shuō)明的，我們呈現(xiàn)了用于視覺(jué)情境管理的基于優(yōu)化的方式。給定現(xiàn)有視覺(jué)情境和要呈現(xiàn)的新信息，我們的目的是找到可最優(yōu)地更新現(xiàn)有視覺(jué)情境和結(jié)合新信息的一組視覺(jué)操作符。為了實(shí)現(xiàn)這個(gè)目的，我們用公式表示一組度量，以模型化各種情境管理限制，例如保存視覺(jué)排序和保持視覺(jué)動(dòng)量。使用這些度量，我們定義總對(duì)象函數(shù)，以估算釆用一組視覺(jué)操作符的總期望。最后，我們使用模擬退火算法，以最大化對(duì)象函數(shù)和找到期望操作符。與常?？紤]在更確定的情境中的限制子集的現(xiàn)有方法不同，我們的基于優(yōu)化方法為不同的交互情況動(dòng)態(tài)均衡一組綜合的限制。由于我們可以容易地結(jié)合新特征/限制，所以該方法還容易擴(kuò)展。我們對(duì)兩個(gè)不同應(yīng)用進(jìn)行了處理，我們的研究顯示了該系統(tǒng)以完全不同于人類(lèi)設(shè)計(jì)者的方式執(zhí)行。最后，參照?qǐng)D9，圖中示出根據(jù)本發(fā)明一實(shí)施例的適合于執(zhí)行信息搜索系統(tǒng)的計(jì)算機(jī)系統(tǒng)。例如，圖9的示例性結(jié)構(gòu)可用于實(shí)施在圖1至圖8的情境中描述的任意或所有組件和/或步驟。如圖所示，計(jì)算機(jī)系統(tǒng)900可根據(jù)經(jīng)由計(jì)算機(jī)總線910耦合或交錯(cuò)連接設(shè)置的處理器902、存儲(chǔ)器卯4、1/O設(shè)備906和網(wǎng)絡(luò)接口908來(lái)實(shí)現(xiàn)?？梢岳斫猓疚闹惺褂玫男g(shù)語(yǔ)"處理器"旨在包括任意處理設(shè)備，例如，包括CPU(中央處理單元)和/或其它處理電路的處理設(shè)備.還可以理解的是，術(shù)語(yǔ)"處理器"可表示多個(gè)處理設(shè)備以及與處理設(shè)備關(guān)聯(lián)的可以被其它處理設(shè)備共享的各種元件。本文中使用的術(shù)語(yǔ)"存儲(chǔ)器"旨在包括與處理器或CPU關(guān)聯(lián)的存儲(chǔ)器，例如RAM、ROM、固定存儲(chǔ)設(shè)備(例如硬盤(pán)驅(qū)動(dòng)器)、可拆卸存儲(chǔ)設(shè)備(例如磁盤(pán))、閃存等。此外，本文中使用的短語(yǔ)"輸入/輸出設(shè)備"或"i/o設(shè)備"旨在包括例如用于向處理單元輸入數(shù)據(jù)的一個(gè)或多個(gè)輸入設(shè)備(例如，鍵盤(pán)、鼠標(biāo)等)，和/或用于呈現(xiàn)與處理單元關(guān)聯(lián)的結(jié)果的一個(gè)或多個(gè)輸出設(shè)備(例如，揚(yáng)聲器、顯示器等)。此外，本文中使用的短語(yǔ)"網(wǎng)絡(luò)接口"旨在包括例如一個(gè)或多個(gè)收發(fā)器，其允許計(jì)算機(jī)系統(tǒng)經(jīng)由適當(dāng)?shù)耐ㄐ艆f(xié)議與其它計(jì)算機(jī)系統(tǒng)通信。因此，包括用于執(zhí)行在本文中描述的方法的指或令編碼的軟件組件可存儲(chǔ)在一個(gè)或多個(gè)關(guān)聯(lián)存儲(chǔ)設(shè)備(例如，ROM、固定或可拆卸存儲(chǔ)器)中，并且當(dāng)準(zhǔn)備使用時(shí)，可以部分地或全部地加載(例如，到RAM中)，并由CPU執(zhí)行。還可以理解，本發(fā)明還包括用于提供視覺(jué)情境管理業(yè)務(wù)的技術(shù)。通過(guò)實(shí)例，業(yè)務(wù)提供商(例如，經(jīng)由業(yè)務(wù)等級(jí)協(xié)議或某些非正式的協(xié)議或布置)同意業(yè)務(wù)消費(fèi)者或客戶提供視覺(jué)情境管理業(yè)務(wù)。即，僅作為一個(gè)實(shí)例，業(yè)務(wù)提供商可托管消費(fèi)者網(wǎng)站和相關(guān)應(yīng)用。然后，根據(jù)業(yè)務(wù)提供商和業(yè)務(wù)消費(fèi)者之間的協(xié)議條款，業(yè)務(wù)提供商提供視覺(jué)情境管理服務(wù)，其可包括本文描述的本發(fā)明的一個(gè)或多個(gè)方法。盡管根據(jù)附圖已經(jīng)描述了本發(fā)明的示例性實(shí)施例，但是可以理解，本發(fā)明不限于這些確切實(shí)施例，在不脫離本發(fā)明的范圍或精神的情況下可由本領(lǐng)域普通技術(shù)人員進(jìn)行各種其它的改變和修改。權(quán)利要求1.一種更新現(xiàn)有視覺(jué)顯示以結(jié)合新信息的方法，包括以下步驟獲取由后來(lái)的用戶查詢所請(qǐng)求的新信息；和動(dòng)態(tài)導(dǎo)出用于更新至少一部分所述現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換，以結(jié)合所述新信息，其中將導(dǎo)出所述轉(zhuǎn)換的處理模型化為嘗試均衡視覺(jué)情境管理限制以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)的優(yōu)化操作。2.權(quán)利要求1的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括將所述視覺(jué)情境管理限制模型化為基于特征的合意性度量。3.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量顯示重疊值。4.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量直觀地標(biāo)保存值。5.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量轉(zhuǎn)換平滑值。6.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量視覺(jué)排序值。7.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量視覺(jué)混亂值。8.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟使用用戶信息用公式表示所述基于特征的度量。9.權(quán)利要求8的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括所述用戶信息包含用戶的數(shù)據(jù)導(dǎo)航偏好。10.權(quán)利要求2的方法，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的步驟還包括以下步驟對(duì)一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換操作符執(zhí)行所述優(yōu)化操作，以將所述合意性度量最大化。11.權(quán)利要求l的方法，其中所述優(yōu)化操作包括全局優(yōu)化技術(shù)。12.權(quán)利要求11的方法，其中所述全局優(yōu)化技術(shù)包括模擬退火技術(shù)。13.—種更新現(xiàn)有視覺(jué)顯示以結(jié)合新信息的設(shè)備，包括存儲(chǔ)器；和處理器，其耦合至所述存儲(chǔ)器，并用于(i)獲取由后來(lái)的用戶查詢所請(qǐng)求的新信息；和(ii)動(dòng)態(tài)導(dǎo)出用于更新至少一部分所述現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換，以結(jié)合所述新信息，其中將導(dǎo)出所述轉(zhuǎn)換的處理模型化為嘗試均衡視覺(jué)情境管理限制以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)的優(yōu)化操作。14.權(quán)利要求13的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括將所述視覺(jué)情境管理限制模型化為基于特征的合意性度量。15.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量顯示重疊值。16.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量直觀地標(biāo)保存值。17.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量轉(zhuǎn)換平滑值。18.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量視覺(jué)排序值。19.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括以下步驟所述基于特征的度量中的一個(gè)測(cè)量視覺(jué)混亂值。20.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括以下步驟使用用戶信息用公式表示所述基于特征的度量。21.權(quán)利要求20的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括所述用戶信息包含用戶的數(shù)據(jù)導(dǎo)航偏好。22.權(quán)利要求14的設(shè)備，其中動(dòng)態(tài)導(dǎo)出視覺(jué)轉(zhuǎn)換以將新信息結(jié)合到所述現(xiàn)有顯示的操作還包括對(duì)一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換操作符執(zhí)行所述優(yōu)化操作，以將所述合意性度量最大化。23.權(quán)利要求13的設(shè)備，其中所述優(yōu)化操作包括全局優(yōu)化技術(shù)。24.權(quán)利要求23的設(shè)備，其中所述全局優(yōu)化技術(shù)包括模擬退火技術(shù)。25.—種更新現(xiàn)有視覺(jué)顯示以結(jié)合新信息的制品，包括含有用以執(zhí)行以下步驟的一個(gè)或多個(gè)程序的機(jī)器可讀介質(zhì)，所述步驟包括獲取由后來(lái)的用戶查詢所請(qǐng)求的新信息；和動(dòng)態(tài)導(dǎo)出用于更新至少一部分所迷現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換，以結(jié)合所述新信息，其中將導(dǎo)出所述轉(zhuǎn)換的處理模型化為嘗試均衡視覺(jué)情境管理限制以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)的優(yōu)化操作。26.—種用于提供更新現(xiàn)有視覺(jué)顯示以結(jié)合新信息的業(yè)務(wù)的方法，包括以下步驟業(yè)務(wù)提供商響應(yīng)于由后來(lái)的用戶查詢所請(qǐng)求的新信息的獲取，使能以下步驟動(dòng)態(tài)導(dǎo)出用于更新至少一部分所述現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換，以結(jié)合所述新信息，其中將導(dǎo)出所述轉(zhuǎn)換的處理模型化為嘗試均衡視覺(jué)情境管理限制以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)的優(yōu)化操作。全文摘要公開(kāi)一種改進(jìn)的視覺(jué)情境管理技術(shù)。作為實(shí)例，更新現(xiàn)有視覺(jué)顯示以結(jié)合新信息的技術(shù)包括獲取由后來(lái)的用戶查詢所請(qǐng)求的新信息；和動(dòng)態(tài)導(dǎo)出用于更新至少一部分所述現(xiàn)有顯示的一個(gè)或多個(gè)視覺(jué)轉(zhuǎn)換，以結(jié)合所述新信息，其中將導(dǎo)出所述轉(zhuǎn)換的處理模型化為嘗試均衡視覺(jué)情境管理限制以及實(shí)現(xiàn)想要信息的期望呈現(xiàn)的優(yōu)化操作。文檔編號(hào)G06F17/30GK101292240SQ200680038480公開(kāi)日2008年10月22日申請(qǐng)日期2006年3月1日優(yōu)先權(quán)日2005年10月17日發(fā)明者M(jìn)·X·周,V·阿加瓦,鎮(zhèn)文申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司