搜索方法和設(shè)備的制造方法
【專利說明】搜索方法和設(shè)備
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求2014年5月23日向韓國知識產(chǎn)權(quán)局遞交的韓國專利申請10-2014-0062568號、2014年11月27日向韓國知識產(chǎn)權(quán)局遞交的韓國專利申請10-2014-0167818號和2015年2月24日向韓國知識產(chǎn)權(quán)局遞交的韓國專利申請10-2015-0025918號的優(yōu)先權(quán)，并且是2014年12月31日向美國專利商標(biāo)局遞交的美國非臨時專利申請14/588，275號的部分繼續(xù)案，這里通過引用將這些專利申請的公開內(nèi)容全部并入。
技術(shù)領(lǐng)域
[0003]與示范性實施例一致的裝置和方法涉及在計算環(huán)境下搜索并獲取信息，更具體而言涉及基于用戶的各種要求執(zhí)行搜索。
【背景技術(shù)】
[0004]已開發(fā)了搜索并獲取信息的各種方法。一般來說，執(zhí)行基于文本的搜索來在計算環(huán)境下搜索信息?；谖谋镜乃阉魇褂冒ㄖT如單詞或短語之類的一個或多個文本成分的搜索查詢。文本成分與彼此匹配，或者與索引或數(shù)據(jù)相比較，以識別包括與文本成分相似的文本內(nèi)容、元數(shù)據(jù)、文件名或文本表述的諸如網(wǎng)頁之類的文檔。
[0005]隨著技術(shù)的進(jìn)步，要搜索的信息進(jìn)一步多樣化了，并且這種信息的量增大了。因此，除了文本成分以外，不同模態(tài)的成分可用于執(zhí)行搜索。

【發(fā)明內(nèi)容】

[0006]—個或多個示范性實施例的一些方面提供了一種方法和設(shè)備，其接收單模態(tài)的查詢或者多模態(tài)查詢，并且利用接收到的查詢來執(zhí)行搜索。
[0007]另外的方面一部分將在接下來的描述中記載，一部分將從描述中清楚顯現(xiàn)，或者可通過實踐示范性實施例來獲知。
[0008]根據(jù)示范性實施例的一方面，提供了一種裝置，包括:至少一個輸入設(shè)備，被配置為接收第一查詢類型的第一查詢輸入和第二查詢類型的第二查詢輸入；以及控制器，被配置為輸出包括與第一查詢輸入相對應(yīng)的第一顯示項目和與第二查詢輸入相對應(yīng)的第二顯示項目的查詢輸入窗口，響應(yīng)于接收到第一查詢輸入而自動將裝置從接收第一查詢類型的第一查詢輸入的第一狀態(tài)切換到接收第二查詢類型的第二查詢輸入的第二狀態(tài)，并且根據(jù)基于第一查詢輸入和第二查詢輸入的查詢來獲得搜索結(jié)果。
[0009]第二查詢類型可以是音頻查詢類型；并且響應(yīng)于接收到第一查詢輸入，控制器可還被配置為自動激活被配置為接收第二查詢輸入的麥克風(fēng)。
[0010]第二查詢類型可以是圖像查詢類型；并且響應(yīng)于接收到第一查詢輸入，控制器可還被配置為自動激活被配置為接收第二查詢輸入的相機(jī)。
[0011]響應(yīng)于接收到模式切換輸入，控制器可還被配置為將搜索模式從多模態(tài)輸入模式切換到單輸入模式，其中在多模態(tài)輸入模式中經(jīng)由查詢輸入窗口接收第一查詢輸入和第二查詢輸入并將其組合來生成查詢，在單輸入模式中接收一個查詢類型的輸入來生成查詢。
[0012]至少一個輸入設(shè)備可包括被配置為接收第一查詢輸入的第一輸入設(shè)備和與第一輸入設(shè)備不同并被配置為接收第二查詢輸入的第二輸入設(shè)備。
[0013]根據(jù)另一示范性實施例的一方面，提供了一種裝置，包括:顯示器，被配置為顯示查詢輸入窗口 ；至少一個輸入設(shè)備，被配置為接收第一查詢類型的第一查詢輸入和第二查詢類型的第二查詢輸入；以及控制器，被配置為根據(jù)基于第一查詢輸入和第二查詢輸入的查詢獲得搜索結(jié)果，其中，顯示器還被配置為在查詢輸入窗口上同時顯示與第一查詢類型相對應(yīng)的第一區(qū)域和與第二查詢類型相對應(yīng)的第二區(qū)域。
[0014]控制器可還被配置為確定第一查詢輸入的第一查詢類型和第二查詢輸入的第二查詢類型；并且顯示器可還被配置為根據(jù)所確定的第一查詢類型來顯示第一區(qū)域并且根據(jù)所確定的第二查詢類型來顯示第二區(qū)域。
[0015]顯示器可還被配置為顯示其中同時顯示了與第一查詢輸入相對應(yīng)的第一顯示項目和與第二查詢輸入相對應(yīng)的第二顯示項目的查詢輸入窗口，使得第一查詢類型和第二查詢類型是可相互區(qū)分的。
[0016]根據(jù)另一示范性實施例的一方面，提供了一種裝置，包括:顯示器；麥克風(fēng)，被配置為獲取語音信息；相機(jī)，被配置為獲取圖像數(shù)據(jù)；存儲器，被配置為存儲文本數(shù)據(jù)、圖像數(shù)據(jù)和音頻數(shù)據(jù)；以及控制器，被配置為顯示用于選擇查詢類型的顯示項目，顯示與通過顯示項目選擇的查詢類型相對應(yīng)的查詢輸入窗口，基于通過查詢輸入窗口接收的查詢輸入獲得搜索結(jié)果，并且控制顯示器顯示搜索結(jié)果，其中，查詢輸入包括通過相機(jī)獲得的圖像數(shù)據(jù)、存儲在存儲器中的文本數(shù)據(jù)、存儲在存儲器中的圖像數(shù)據(jù)和存儲在存儲器中的音頻數(shù)據(jù)中的至少一者。
[0017]查詢類型可以是來自包括文本查詢、圖像查詢和音頻查詢在內(nèi)的多個查詢類型之中的；并且當(dāng)所選擇的查詢類型是音頻查詢時，控制器可還被配置為控制顯示器在查詢輸入窗口上顯示用于接收通過麥克風(fēng)獲得的語音信息作為查詢輸入的顯示項目和用于接收存儲在存儲器中的音頻數(shù)據(jù)作為查詢輸入的顯示項目中的至少一者。
[0018]查詢類型可以是來自包括文本查詢、圖像查詢和音頻查詢在內(nèi)的多個查詢類型之中的；并且當(dāng)所選擇的查詢類型是圖像查詢時，控制器還可被配置為控制顯示器顯示用于接收通過相機(jī)獲得的圖像數(shù)據(jù)的顯示項目和用于接收存儲在存儲器中的圖像數(shù)據(jù)的顯示項目中的至少一者作為查詢輸入窗口上的查詢輸入。
[0019]該裝置還可包括:手寫輸入單元，被配置為接收手寫圖像，其中，查詢類型可以是來自包括文本查詢、圖像查詢、音頻查詢和手寫查詢在內(nèi)的多個查詢類型之中的，并且其中，當(dāng)所選擇的查詢類型是手寫查詢時，控制器可還被配置為控制顯示器在查詢輸入窗口上顯示用于接收手寫圖像的顯示項目。
[0020]當(dāng)通過顯示項目選擇多個查詢類型時，控制器可還被配置為控制顯示器在查詢輸入窗口上顯示用于接收多個查詢輸入的顯示項目。
[0021]根據(jù)另一示范性實施例的一方面，提供了一種方法，包括:接收第一查詢類型的第一查詢輸入和第二查詢類型的第二查詢輸入；由一裝置輸出包括與第一查詢輸入相對應(yīng)的第一區(qū)域和與第二查詢輸入相對應(yīng)的第二區(qū)域的查詢輸入窗口 ；響應(yīng)于接收到第一查詢輸入自動地將該裝置從接收第一查詢類型的第一查詢輸入的第一狀態(tài)切換到接收第二查詢類型的第二查詢輸入的第二狀態(tài)；以及根據(jù)基于第一查詢輸入和第二查詢輸入的查詢獲得搜索結(jié)果。
[0022]該方法可還包括:響應(yīng)于接收到第二查詢輸入，同時在第二區(qū)域上顯示與第二查詢輸入相對應(yīng)的第二顯示項目和在第一區(qū)域上顯示與第一查詢輸入相對應(yīng)的第一顯示項目。
[0023]第二查詢類型可以是音頻查詢類型；并且自動切換可包括響應(yīng)于接收到第一查詢輸入，自動激活用于接收第二查詢輸入的麥克風(fēng)。
[0024]第二查詢類型可以是圖像查詢類型；并且自動切換可包括響應(yīng)于接收到第一查詢輸入，自動激活用于接收第二查詢輸入的相機(jī)。
[0025]根據(jù)另一示范性實施例的一方面，提供了一種由一裝置獲得搜索結(jié)果的方法，該方法包括:顯示用于選擇查詢類型的顯示項目；基于所顯示的顯示項目接收用戶輸入；基于接收到的用戶輸入選擇至少一個查詢類型；顯示與所選擇的至少一個查詢類型相對應(yīng)的查詢輸入窗口 ；以及基于通過顯示的查詢輸入窗口接收的查詢輸入獲得搜索結(jié)果。
[0026]查詢類型可以是來自包括文本查詢、圖像查詢和音頻查詢在內(nèi)的多個查詢類型之中的；并且該方法還可包括:當(dāng)所選擇的查詢類型是音頻查詢時，在查詢輸入窗口上顯示用于接收通過該裝置中包括的或連接到該裝置的麥克風(fēng)獲得的語音數(shù)據(jù)和在該裝置中包括的或連接到該裝置的存儲器中存儲的音頻數(shù)據(jù)作為查詢輸入的顯示項目。
[0027]根據(jù)另一示范性實施例的一方面，提供了一種方法，包括:顯示查詢輸入窗口 ；通過顯示的查詢輸入窗口接收文本數(shù)據(jù)和手寫圖像；以及基于接收到的文本數(shù)據(jù)和接收到的手寫圖像的組合結(jié)果來獲得搜索結(jié)果。
【附圖說明】
[0028]通過以下結(jié)合附圖對示范性實施例的描述，這些和/或其他方面將變得清楚并且更容易領(lǐng)會，附圖中:
[0029]圖1是圖示出根據(jù)示范性實施例執(zhí)行搜索的過程的流程圖；
[0030]圖2是圖示出根據(jù)示范性實施例用戶界面的配置的概念圖；
[0031]圖3是圖示出根據(jù)示范性實施例用于構(gòu)造查詢輸入設(shè)備的結(jié)構(gòu)的概念圖；
[0032]圖4是圖示出用于執(zhí)行示范性實施例的網(wǎng)絡(luò)環(huán)境的概念圖；
[0033]圖5至圖7是圖示出根據(jù)示范性實施例接收用于單搜索的查詢的方法的示范圖；
[0034]圖8至圖18是圖示出根據(jù)示范性實施例接收用于多模態(tài)搜索的查詢的方法的示范圖；
[0035]圖19和圖20是圖示出根據(jù)另一示范性實施例接收用于多模態(tài)搜索的查詢的方法的示范圖；
[0036]圖21和圖22是圖示出根據(jù)示范性實施例生成查詢輸入窗口的方法的示范圖；
[0037]圖23是圖示出根據(jù)另一示范性實施例接收用于多模態(tài)搜索的查詢的方法的示范圖；
[0038]圖24是圖示出根據(jù)另一示范性實施例多模態(tài)查詢類型列表的示范圖；
[0039]圖25A至圖25E是圖示出根據(jù)另一示范性實施例接收用于多模態(tài)搜索的查詢的方法的示范圖；
[0040]圖26是圖示出根據(jù)示范性實施例顯示查詢輸入窗口的過程的流程圖；
[0041]圖27和圖28是圖示出根據(jù)示范性實施例顯示查詢輸入窗口的方法的示范圖；
[0042]圖29是圖示出根據(jù)示范性實施例接收查詢的過程的流程圖；
[0043]圖30至圖32是圖示出根據(jù)示范性實施例接收查詢的方法的示范圖；
[0044]圖33是圖示出根據(jù)示范性實施例接收查詢的過程的流程圖；
[0045]圖34是圖示出根據(jù)示范性實施例接收查詢類型是文本的查詢成分的方法的示范圖；
[0046]圖35至圖38是圖示出根據(jù)示范性實施例接收查詢類型是圖像的查詢成分的方法的示范圖；
[0047]圖39是圖示出根據(jù)示范性實施例接收查詢類型是草圖信息的查詢成分的方法的示范圖；
[0048]圖40是圖示出根據(jù)示范性實施例接收查詢類型是音頻信息的查詢成分的方法的示范圖；
[0049]圖41是圖示出根據(jù)示范性實施例接收包括具有多個查詢類型的多個查詢成分的查詢并且顯示搜索結(jié)果的方法的示范圖；
[0050]圖42是圖示出根據(jù)示范性實施例執(zhí)行搜索的過程的流程圖；
[0051]圖43是圖示出根據(jù)示范性實施例通過執(zhí)行多模態(tài)搜索獲得的結(jié)果的示范圖；
[0052]圖44是圖示出根據(jù)另一示范性實施例顯示搜索結(jié)果的過程的流程圖；
[0053]圖45是圖示出根據(jù)另一示范性實施例搜索結(jié)果的優(yōu)先級的示范圖；
[0054]圖46是圖示出根據(jù)另一示范性實施例通過執(zhí)行多模態(tài)搜索獲得的結(jié)果的示范圖；
[0055]圖47是圖示出根據(jù)示范性實施例利用多個設(shè)備接收查詢的方法的示范圖以及根據(jù)示范性實施例的智能眼鏡從電視(TV)的整個屏幕獲取用戶觀看的區(qū)域的圖像的方法的示范圖:
[0056]圖48是圖示出根據(jù)另一示范性實施例經(jīng)由多個設(shè)備接收查詢成分的方法的示范圖；
[0057]圖49是圖示出根據(jù)示范性實施例執(zhí)行搜索的過程的流程圖；
[0058]圖50是圖示出根據(jù)示范性實施例執(zhí)行搜索的過程的流程圖；
[0059]圖51是圖示出根據(jù)示范性實施例查詢輸入設(shè)備的結(jié)構(gòu)的框圖；
[0060]圖52至圖57是圖示出根據(jù)另一示范性實施例執(zhí)行多模態(tài)搜索的方法的示范圖；
[0061]圖58是圖示出根據(jù)另一示范性實施例顯示查詢類型列表的方法的示范圖；
[0062]圖59是圖示出根據(jù)另一示范性實施例顯示查詢類型列表的方法的示范圖；
[0063]圖60是圖示出根據(jù)示范性實施例生成多模態(tài)查詢類型列表的方法的示范圖；
[0064]圖61至圖65是圖示出根據(jù)另一示范性實施例執(zhí)行多模態(tài)搜索的方法的示范圖；
[0065]圖66是圖示出根據(jù)示范性實施例用于基于具有多個查詢類型的查詢執(zhí)行多模態(tài)搜索的框架的框圖；
[0066]圖67圖示了用于實現(xiàn)一個或多個示范性實施例的系統(tǒng)的圖；并且
[0067]圖68至圖72是圖示出根據(jù)一個或多個示范性實施例提取具有圖像查詢類型的查詢成分的圖像特征的過程的示范圖。
【具體實施方式】
[0068]現(xiàn)在將詳細(xì)述及示范性實施例，示范性實施例的示例在附圖中圖示，附圖中相似的標(biāo)號始終指代相似的元素。在此，示范性實施例可具有不同的形式，而不應(yīng)當(dāng)被解釋為限于本文記載的描述。因此，下面僅僅是參考附圖描述示范性實施例以說明本描述的各方面。按照本文使用的，術(shù)語“和/或”包括關(guān)聯(lián)的列出項目中的一個或多個的任意和所有組合。諸如“…中的至少一個”之類的表述當(dāng)在元素的列表之前時修飾整個元素列表，而不修飾列表中的個體元素。表述“至少一個”修飾所有元素的列表，而不修飾列表中包括的每個元素。
[0069]在下面的本公開中，當(dāng)稱一個部件(或元件、設(shè)備等等)“連接”到另一部件(或元件、設(shè)備等等)時，應(yīng)當(dāng)理解前者可“直接連接”到后者，或者經(jīng)由居間的部件(或元件、設(shè)備等等)“電連接”到后者。另外，當(dāng)描述一個部件(或元件、設(shè)備等等)包括(或包含或具有)一些元件時，應(yīng)當(dāng)理解其可只包括(或包含或具有)這些元件，或者其除了這些元件以外也可包括(或包含或具有)其他元件一一如果沒有具體限制的話。
[0070]在本說明書中，查詢表示用于執(zhí)行搜索的命令。查詢可包括要作為搜索結(jié)果獲得的信息。查詢可包括至少一個查詢成分(即，查詢輸入)。查詢成分表示構(gòu)成查詢的信息的單元。另外，輸入到設(shè)備(例如，查詢輸入設(shè)備)的查詢成分可被稱為查詢輸入。例如，查詢成分可包括在由用戶輸入到查詢輸入設(shè)備的文本中包括的關(guān)鍵字、圖像數(shù)據(jù)、草圖信息、視頻數(shù)據(jù)和音頻數(shù)據(jù)中的至少一者。音頻數(shù)據(jù)可包括語音信息。查詢類型可表示查詢成分的模態(tài)(modality)。這里，模態(tài)被定義為除了人類的感覺方面以外還包括關(guān)于在算法上用于搜索的搜索數(shù)據(jù)庫的信息源。例如，查詢類型可指示查詢成分對應(yīng)于文本、圖像數(shù)據(jù)、草圖信息、視頻數(shù)據(jù)和音頻數(shù)據(jù)中的哪種類型。包括多個查詢類型的查詢表示在查詢中包括的多個查詢成分對應(yīng)于多個查詢類型。例如，當(dāng)查詢包括查詢類型是文本的第一查詢成分和查詢類型是圖像的第二查詢成分時，該查詢包括多個查詢類型。也就是說，查詢類型可以是文本查詢、圖像查詢、音頻類型和手寫查詢中的至少一者。
[0071]音頻數(shù)據(jù)可包括聲音、語音、音頻和音樂中的至少一者。在本說明書中，搜索模式可表示關(guān)于執(zhí)行搜索的方法的操作模式。搜索模式可包括單輸入模式(single inputmode)(即，單輸入模式)和多模態(tài)輸入模式(multimodal input mode)(即，多模態(tài)輸入模式)。單輸入模式可表示基于包括具有一個查詢類型的一個或多個查詢成分的查詢來執(zhí)行搜索的操作模式。多模態(tài)輸入模式可表示基于包括具有多個查詢類型的多個查詢成分的查詢來執(zhí)行搜索的操作模式。
[0072]以下，將詳細(xì)描述示范性實施例。
[0073]圖1是圖示出根據(jù)示范性實施例執(zhí)行搜索的過程的流程圖。
[0074]參考圖1，在操作SllO中，計算設(shè)備可顯示使得用戶能夠輸入查詢的查詢輸入窗口。查詢輸入窗口表示如下的用戶界面:計算設(shè)備通過該用戶界面接收用戶輸入的查詢。查詢輸入窗口可包括用于輸入查詢成分的查詢輸入工具。例如，查詢輸入窗口可包括文本框、統(tǒng)一資源定位符(uniform resource locator, URL)輸入窗口、文件上傳按鈕、草圖輸入窗口、應(yīng)用執(zhí)行按鈕等等中的至少一者。文本框表示其中顯示利用輸入設(shè)備(例如，鍵盤、小鍵盤、虛擬小鍵盤等等)輸入的文本的框。URL輸入窗口表示通過其來輸入指示要作為查詢而輸入的信息的位置的URL的用戶界面。文件上傳按鈕表示用于執(zhí)行計算設(shè)備在文件被用戶選擇時選擇該文件的操作以及上傳所選擇的文件的操作的按鈕。草圖輸入窗口表示顯示用戶利用輸入設(shè)備(例如，平板、觸摸面板、跟蹤板、鼠標(biāo)、觸控筆等等)輸入的信息的用戶界面。應(yīng)用執(zhí)行按鈕表示使得與所選擇的按鈕相對應(yīng)的應(yīng)用能夠被執(zhí)行的按鈕。例如，當(dāng)與攝影相對應(yīng)的應(yīng)用執(zhí)行按鈕被選擇時，用于攝影的應(yīng)用可被執(zhí)行。作為另一示例，當(dāng)與聲音的記錄相對應(yīng)的應(yīng)用執(zhí)行按鈕被選擇時，用于記錄聲音的應(yīng)用可被執(zhí)行。作為另一示例，查詢輸入設(shè)備可從通過操作相機(jī)獲取的圖像中提取諸如快速響應(yīng)(Quick Response，QR)碼之類的信息，并且利用QR碼來接收查詢成分。
[0075]根據(jù)示范性實施例，當(dāng)搜索模式對應(yīng)于多模態(tài)搜索(即，多模態(tài)輸入模式)時，查詢輸入設(shè)備可顯示用于接收具有多個查詢類型的多個查詢成分(即，查詢輸入)的查詢輸入窗口。或者，當(dāng)搜索模式對應(yīng)于單搜索(即，單輸入模式)時，查詢輸入設(shè)備可顯示單查詢輸入窗口。單查詢輸入窗口表示接收只包括一個查詢類型的查詢的查詢輸入窗口。
[0076]隨后，在操作S120中，查詢輸入設(shè)備可通過所顯示的查詢輸入窗口來接收查詢。這里，查詢輸入設(shè)備可接收包括多個查詢類型的查詢，g卩，接收包括多個查詢類型的多個查詢成分的查詢。也就是說，可接收包括多個查詢類型的多個查詢成分的查詢。
[0077]隨后，查詢輸入設(shè)備可基于接收到的查詢來選擇至少一個搜索結(jié)果。這里，可利用搜索引擎來選擇至少一個搜索結(jié)果。搜索引擎表示基于查詢來搜索信息的硬件、軟件或其組合。搜索引擎可被包括在查詢輸入設(shè)備中，或者可被包括在單獨的設(shè)備中(例如，web服務(wù)器、媒體服務(wù)器、網(wǎng)絡(luò)服務(wù)器等等)。當(dāng)搜索引擎被包括在單獨的設(shè)備中時，查詢輸入設(shè)備可將接收到的查詢發(fā)送到該單獨的設(shè)備。查詢輸入設(shè)備可響應(yīng)于發(fā)送的查詢而從該單獨的設(shè)備獲取所選擇的搜索結(jié)果。
[0078]在操作S130中，查詢輸入設(shè)備可顯示所選擇的搜索結(jié)果。這里，查詢輸入設(shè)備可對搜索結(jié)果進(jìn)行優(yōu)先級區(qū)分。查詢輸入設(shè)備可基于搜索結(jié)果的優(yōu)先級來顯示搜索結(jié)果。
[0079]根據(jù)示范性實施例，查詢輸入設(shè)備可將在搜索結(jié)果中包括的文本轉(zhuǎn)換成語音(或者與服務(wù)器或另一設(shè)備通信來進(jìn)行該轉(zhuǎn)換)，并輸出轉(zhuǎn)換的語音。或者，查詢輸入設(shè)備可將在搜索結(jié)果中包括的語音轉(zhuǎn)換成文本，并輸出轉(zhuǎn)換的文本。因此，查詢輸入設(shè)備使得盲人或有聽覺障礙的人能夠查看搜索結(jié)果。
[0080]圖2是圖示出根據(jù)示范性實施例的用戶界面的配置的概念圖。查詢輸入設(shè)備可顯示圖2中所示的查詢輸入窗口 210和結(jié)果顯示區(qū)域220，雖然要理解一個或多個其他示范性實施例不限于此。查詢輸入設(shè)備可分開顯示查詢輸入窗口 210和結(jié)果顯示區(qū)域220。
[0081]查詢輸入窗口 210可接收與第一查詢類型相對應(yīng)的第一查詢成分211(即，第一查詢輸入)和與第二查詢類型相對應(yīng)的第二查詢成分212 (即，第二查詢輸入)。查詢輸入窗口 210可基于第一查詢類型和第二查詢類型被不同地顯示。另外，查詢輸入窗口 210可接收單個查詢或者包括不同類型的兩個或更多個查詢的查詢。
[0082]結(jié)果顯示區(qū)域220可包括響應(yīng)結(jié)果221和222 (即，搜索結(jié)果)的列表。第一響應(yīng)結(jié)果211可包括關(guān)于響應(yīng)于搜索的所識別信息的概要信息。例