一種人機交互系統(tǒng)及交互方法
【專利摘要】本發(fā)明涉及虛擬現(xiàn)實及人機交互領域，特別涉及一種人機交互系統(tǒng)及交互方法。本發(fā)明提供的人機交互系統(tǒng)包括接收實物物體并采集該實物物體特征信息的傳輸終端、根據(jù)特征信息產(chǎn)生對應虛擬物體的處理單元以及顯示虛擬物體的顯示裝置；可以為用戶提供放入實物物體，在顯示裝置中顯示出對應虛擬物體；在顯示裝置中選擇虛擬物體，從傳輸終端拿取相應實物物體的擬真交互體驗，可廣泛應用于兒童教育、電子娛樂等領域。應用本發(fā)明提供的人機交互系統(tǒng)及人機交互方法可擬真“聯(lián)通”虛擬與真實世界，帶給用戶耳目一新的感覺。
【專利說明】
_種人機交互系統(tǒng)及交互方法
技術領域
[0001]本發(fā)明涉及虛擬現(xiàn)實及人機交互領域，特別涉及一種人機交互系統(tǒng)及交互方法。
【背景技術】
[0002]人機交互技術一直都是計算機領域的重點發(fā)展方向，鼠標、鍵盤及顯示器是目前使用歷史最長、應用范圍最廣人機交互設備，但是，隨著當前多媒體技術的發(fā)展，鼠標、鍵盤及顯示器的搭配組合已經(jīng)完全不能滿足用戶的需求，此時，觸屏技術、體感技術、數(shù)據(jù)手套技術應運而生，但是，新生代的人機交互技術仍然不能解決電腦中虛擬世界與真實環(huán)境完全割裂，虛擬世界中的物體無法“走”出屏幕，而真實環(huán)境中的物體也不能“進”入虛擬世界的現(xiàn)實問題，從而無法為用戶提供更加真實的人機交互體驗。

【發(fā)明內(nèi)容】

[0003]本發(fā)明目的在于克服現(xiàn)有的人機交互技術，不能使虛擬世界中的物體“走”出屏幕，而真實環(huán)境中的物體也不能“進”入虛擬世界，從而不能為用戶提供更加真實的人機交互體驗的問題;提供一種將真實環(huán)境中的物體“送入”虛擬世界，將虛擬世界的物體“拿出”到現(xiàn)實世界的擬真人機交互系統(tǒng)。
[0004]本發(fā)明的目的在于克服現(xiàn)有技術中所存在的上述不足，提供一種人機交互系統(tǒng)。
[0005]為了實現(xiàn)上述發(fā)明目的，本發(fā)明提供了以下技術方案:
一種人機交互系統(tǒng)，包括，
傳輸終端，用于接收用戶放入的實物物體；
特征提取單元，對該實物物體進行特征信息采集，并將獲取的所述特征信息傳輸至處理單元;所述特征信息包括該實物物體的大小、形狀、顏色、材質(zhì)；
處理單元，用于根據(jù)收到的該實物物體的特征信息判斷該實物物體的含義、名稱和/或形成與該實物物體對應的虛擬物體；
顯示裝置，用于顯示所述虛擬物體和/或虛擬物體的含義、名稱。
[0006]進一步的，所述人機交互系統(tǒng)還包括信息輸入裝置，所述信息輸入裝置用于用戶輸入信息；
所述處理單元還用于根據(jù)用戶輸入的信息生成對應的虛擬物體和/或虛擬物體的含義、名稱，并控制顯示單元顯示該虛擬物體和/或虛擬物體的含義、名稱；
所述傳輸終端還用于根據(jù)用戶的選擇指令將該虛擬物體和/或虛擬物體的含義、名稱對應的實物物體送出；
所述實物物體為預存在系統(tǒng)中或由3D打印裝置打印出。
[0007]具體的，所述特征提取單元包括圖像處理單元及至少一個攝像裝置，所述攝像裝置用于拍攝所述實物物體的圖像;所述圖像處理單元用于根據(jù)圖像提取所述實物物體的特征信息。
[0008]優(yōu)選的，所述處理單元包括模型生成單元、模型存儲單元、模型匹配單元及動畫渲染單元;所述模型生成單元用于根據(jù)特征信息生產(chǎn)實物物體的虛擬模型;所述模型存儲單元用于存儲模型生成單元生成的模型及預存在系統(tǒng)內(nèi)的模型;所述模型匹配單元用于根據(jù)特征信息對虛擬物體進行模型匹配;所述動畫渲染單元用于對模型進行動畫渲染。
[0009]—些實施例中，所述與實物物體對應的虛擬物體為該實物物體的二維和/或三維圖形。
[0010]本發(fā)明同時提供一種人機交互方法，包括如下步驟:
(1-1)獲取實物物體，并對該實物物體進行特征信息采集的步驟;所述特征信息包括該實物物體的大小、形狀、顏色、材質(zhì)；
(1-2)根據(jù)采集到的所述特征信息形成與該實物物體對應的虛擬物體和/或虛擬物體的含義、名稱的步驟；
(1-3)顯示該虛擬物體和/或虛擬物體的含義、名稱的步驟。
[0011]進一步的，還包括如下步驟:
(2-1)用戶輸入信息選擇虛擬物體的步驟；
(2-2)根據(jù)用戶的輸入信息生成虛擬物體和/或虛擬物體的含義、名稱的步驟；
(2-3)顯示用戶選擇的虛擬物體和/或虛擬物體的含義、名稱的步驟；
(2-4)將虛擬物體對應的實物物體從系統(tǒng)中取出的步驟;所述實物物體為預存或由3D打印裝置打印出。
[0012]優(yōu)選的，所述采集實物物體特征信息的步驟中，包括，
采用至少一個攝像裝置獲取該實物物體的圖像的步驟；
根據(jù)獲取的實物物體的圖像進行圖像處理獲取實物物體特征信息的步驟。
[0013]優(yōu)選的，生成虛擬物體和/或虛擬物體的含義、名稱，顯示用戶選擇的虛擬物體的步驟之前，還包括，
根據(jù)特征信息新生成虛擬物體模型或者從預存的模型中進行虛擬物體模型匹配以生成虛擬物體的步驟；
顯示該虛擬物體和/或虛擬物體的含義、名稱的步驟中，包括對生成或匹配好的虛擬物體模型進行動畫渲染的步驟。
[0014]優(yōu)選的，所述與實物物體對應的虛擬物體為該實物物體的二維或三維圖形。
[0015]與現(xiàn)有技術相比，本發(fā)明的有益效果:本發(fā)明提供的人機交互系統(tǒng)包括接收實物物體并采集該實物數(shù)據(jù)的傳輸終端、根據(jù)采集數(shù)據(jù)提取實物特征信息的特征提取單元、根據(jù)特征信息產(chǎn)生對應虛擬物體的處理單元以及顯示虛擬物體的顯示裝置;可以為用戶提供放入實物物體，在顯示裝置中顯示出對應虛擬物體;在顯示裝置中選擇虛擬物體，從傳輸終端拿取相應實物物體的擬真交互體驗，可廣泛應用于兒童教育、電子娛樂等領域。應用本發(fā)明提供的人機交互系統(tǒng)及人機交互方法可擬真“聯(lián)通”虛擬與真實世界，帶給用戶耳目一新的感覺。
[0016]【附圖說明】:
圖1為本發(fā)明提供的人機交互系統(tǒng)的結構框圖。
[0017]圖2a為本發(fā)明提供的人機交互方法中的實物物體轉(zhuǎn)虛擬物體流程圖。
[0018]圖2b為本發(fā)明提供的人機交互方法中虛擬物體轉(zhuǎn)實物物體流程圖。
【具體實施方式】
[0019]下面結合附圖及具體實施例對本發(fā)明作進一步的詳細描述。但不應將此理解為本發(fā)明上述主題的范圍僅限于以下的實施例，凡基于本
【發(fā)明內(nèi)容】
所實現(xiàn)的技術均屬于本發(fā)明的范圍。
[0020]實施例1:如圖1所示，本實施例提供一種人機交互系統(tǒng)，包括，
傳輸終端I，用于接收用戶放入的實物物體(如足球、鉛筆、玩具)；
特征提取單元2，對該實物物體進行特征信息采集，并將獲取的所述特征信息傳輸至處理單元3;所述特征信息包括該實物物體的大小、形狀、顏色、材質(zhì);實際應用中，特征信息可以以圖像的形式或者電磁信號的方式傳輸至處理單元3;
處理單元3，用于根據(jù)收到的該實物物體的特征信息判斷該實物物體的含義、名稱和/或形成與該實物物體對應的虛擬物體;具體的，所述處理單元3包括模型生成單元、模型存儲單元、模型匹配單元及動畫渲染單元;所述模型生成單元用于根據(jù)特征信息生產(chǎn)實物物體的虛擬模型;所述模型存儲單元用于存儲模型生成單元生成的模型及預存在系統(tǒng)中的模型；所述模型匹配單元用于根據(jù)特征信息對虛擬物體進行模型匹配;所述動畫渲染單元用于對模型進行動畫渲染，以使得該虛擬物體更像其對應的實物物體并具有運動感。模型生成單元采用圖像識別技術或者電磁信號識別技術對實物物體的特征信息進行識別，并將其還原為該實物物體的二維圖像或者三維圖形，即形成該實物物體對應的虛擬物體。一些實施例中，模型生成單元需要實時生產(chǎn)該實物物體對應的虛擬物體;而另外一些實施例中，模型存儲單元中預存有常見實物物體對應的虛擬物體的虛擬模型；同時，所述處理單元3包括模型匹配單元，當處理單元3對特征信息進行識別后，所述模型匹配單元從預存的虛擬物體的模型庫中進行匹配，如匹配成功則直接調(diào)用該模型進行顯示。
[0021]應注意的是，模型庫中預存的模型包括物體的特征信息，如物體的大小、形狀、顏色、材質(zhì)，匹配時，優(yōu)先根據(jù)虛擬物體的名稱進行匹配，此時，模型庫中可能存在和獲取的實物物體名稱相同的虛擬物體模型，但個別的特征信息不相同(如顏色不同)，處理單元3可選取該虛擬物體模型后，對其特征信息進行修改以實現(xiàn)與獲取的實物物體完全一致的虛擬物體，新生成的虛擬物體同樣存入模型庫中。
[0022]應注意的是，特征提取單元2可以集成在傳輸終端I處，也可以與處理單元3集成為一體，或，傳輸終端I與特征提取單元2、處理單元3集成為一體。
[0023]顯示裝置4，用于顯示所述虛擬物體和/或該虛擬物體的含義、名稱，眾所周知的，該虛擬物體的含義名稱應與對應的實物物體的含義、名稱一致。
[0024]具體使用時，如，當用戶放入一個足球時，傳輸終端I采集該足球的特征信息，并將足球的特征信息傳入處理單元3，處理單元3根據(jù)特征信息識別出其為足球后，一些實施例中，處理單元3直接生成該足球的二維或者三維圖形并經(jīng)渲染后顯示，而另外一些實施例中，先從系統(tǒng)中預存的虛擬物體模型庫中尋找有無足球的模型，如有，則直接調(diào)用該模型，從而形成虛擬足球，再經(jīng)動畫渲染單元對其渲染后顯示;應注意的是，動畫渲染單元是根據(jù)特征信息中的物體顏色信息對其進行具體渲染;動畫渲染，例如可以是，當傳輸終端I將實物足球接收后隱藏，顯示裝置4配合傳輸終端I的隱藏動作，顯示該虛擬足球，并展示該虛擬足球“滾入”屏幕內(nèi)的動畫效果。
[0025]進一步的，所述人機交互系統(tǒng)還包括信息輸入裝置5，所述信息輸入裝置5用于用戶輸入信息，該輸入信息可以是:如具體的，用戶可采用鍵盤輸入物體名稱或采用鼠標選擇虛擬物體，如框選、點選等;一些實施例中，所述輸入裝置也可以為觸屏，從而用戶可以直接從觸屏輸入虛擬物體名稱、輸入虛擬物體的特征信息或以直接點選、框選虛擬物體圖像的形式選擇虛擬物體;另外一些實施例中，可由顯示裝置4事先生成問題(如，計算題、問答題等)，此時，該輸入信息可以是，如用戶輸入的問題答案，一些情況下，信息輸入裝置5還用于用戶輸入并非選擇虛擬物體或者回答問題的信息，如打開、關閉指令，翻頁指令等。
[0026]所述處理單元3根據(jù)用戶的選擇控制顯示單元顯示該虛擬物體;具體的，用戶自輸入裝置以輸入名稱的方式選擇虛擬物體后，處理單元3根據(jù)該名稱或者圖像自模型存儲單元尋找對應的虛擬物體模型，這一過程同樣可以稱為模型匹配;匹配成功后，由動畫渲染單元對模型進行動畫渲染后顯示。
[0027]所述傳輸終端I還用于將根據(jù)用戶的選擇將該虛擬物體對應的實物物體送出；具體的所述實物物體為預存在系統(tǒng)中或由3D打印裝置打印出。
[0028]具體的，同樣以足球為例，用戶在信息輸入裝置5處輸入足球或者選擇足球，所述處理單元3從模型存儲單元尋找足球?qū)奶摂M物體模型，經(jīng)由動畫清染單元對該模型進行動畫渲染后經(jīng)顯示裝置4顯示。動畫渲染，例如可以是，將虛擬足球在顯示裝置4中顯示為向屏幕外“滾出”的動畫，當?shù)竭_一定位置后，虛擬足球消失，然后傳輸終端I配合動畫渲染效果，在虛擬足球消失時，將實物足球送出，從而造成該實物足球是從屏幕中“滾出”的效果O
[0029]一些實施例中，所述特征提取單元2包括圖像處理單元3及至少一個攝像裝置，所述攝像裝置用于拍攝所述實物物體的圖像;所述圖像處理單元3用于根據(jù)圖像提取所述實物物體的特征信息;攝像裝置的數(shù)量根據(jù)需要設置，對于一些常見的形狀規(guī)則實物物體，如足球、籃球、皮球、碗、正方體塊等，通過一個攝像裝置即可獲取其完整的圖像信息。而一些具有較復雜形狀的實物物體，如茶杯、茶壺等可能需要不同角度的攝像裝置來獲取其完整的各個角度的圖像信息；而另外一些【具體實施方式】中，用戶放入的實物可能是標配的答題板以及在答題板上寫的數(shù)字、圖畫，系統(tǒng)在對標配的答題板的放入方式進行預先規(guī)定后，可僅采用一個攝像裝置即可獲取答題板上的內(nèi)容，在這種情況下，圖像處理單元3根據(jù)特征信息判斷其為標配的答題板后，可僅提取答題板上的數(shù)字、圖像等內(nèi)容，我們將標配的答題板上的數(shù)字、圖像、文字內(nèi)容定義為“實物物體的含義”的一種。
[0030]實際應用中，該系統(tǒng)可以是兒童教育系統(tǒng)，兒童將玩具(如皮球、畫筆)放入傳輸終端I，傳輸終端I將其傳送至指定位置，由特征提取單元2對其拍照后提取特征信息，由處理單元3根據(jù)該特征信息將其判斷為皮球(虛擬物體的名稱)，處理單元3首先在本身預存模型庫(或數(shù)據(jù)庫)中尋找有沒有皮球的模型，如有，則選擇該模型，并根據(jù)特征信息中該皮球的大小、顏色、材質(zhì)對其渲染形成和實務皮球?qū)奶摂M皮球，渲染還包括動畫渲染的步驟，以顯示該皮球從畫面外“滾向”畫面內(nèi)的動畫;增加交互體驗的真實感。應注意的是，本系統(tǒng)可以實現(xiàn)快速的實物物體對應的虛擬物體生產(chǎn)，從而實現(xiàn)在傳輸終端I把實物物體“拿走”消失的同時(或稍有延時)，即在顯示裝置4顯示該實物物體對應的虛擬物體出現(xiàn)，在虛擬物體延時出現(xiàn)時(如延時l-5s出現(xiàn))，在延時期間可采用顯示過渡動畫(如閃光動畫、時光穿梭動畫等效果動畫)的形式進行過渡。
[0031]另外一些實際應用中，仍然以兒童教育系統(tǒng)為例，系統(tǒng)顯示問題，由兒童從信息輸入裝置5回答問題，回答正確后，顯示模塊給出禮品選擇畫面，兒童選擇禮品，系統(tǒng)顯示該虛擬物品從畫面中“送到”畫面外的動畫，在虛擬物體在畫面中消失的同時(或稍有延時)，所述傳輸終端I將該虛擬物體對應的實物物體送出。
[0032]實施例2:如圖2a、圖2b所示本實施例提供一種人機交互方法，包括如下步驟:
SI 10:獲取實物物體，并對該實物物體進行特征信息采集;所述特征信息包括該實物物體的大小、形狀、顏色、材質(zhì)；
優(yōu)選的，所述采集實物物體特征信息的步驟中，包括，
SI 11:采用至少一個攝像裝置獲取該實物物體的圖像;攝像裝置的數(shù)量根據(jù)需要設置，對于一些常見的形狀規(guī)則實物物體，如足球、籃球、皮球、碗、正方體塊等，通過一個攝像裝置即可獲取其完整的圖像信息。而一些具有較復雜形狀的實物物體，如茶杯、茶壺等可能需要不同角度的攝像裝置來獲取其完整的各個角度的圖像信息。
[0033]S112:根據(jù)獲取的實物物體的圖像進行圖像處理獲取實物物體特征信息。
[0034]S120:根據(jù)采集到的所述特征信息形成與該實物物體對應的虛擬物體和/或虛擬物體的含義、名稱；
優(yōu)選的，其包括，
S121:根據(jù)特征信息重新生成虛擬物體模型和/或虛擬物體的含義、名稱，或者從預存的模型中進行虛擬物體模型匹配;匹配成功后利用匹配成功的虛擬物體模型形成該虛擬物體；
S122:對匹配好的模型進行動畫渲染。
[0035]SI 30:顯示該虛擬物體和/或虛擬物體的含義、名稱。
[0036]進一步的，還包括如下步驟:
S210:用戶輸入信息的步驟;用戶可采用鍵盤輸入物體名稱或者特征信息或，采用鼠標選擇虛擬物體，如框選、點選等;一些實施例中，所述輸入裝置也可以為觸屏，從而用戶可以直接從觸屏輸入虛擬物體名稱、輸入虛擬物體的特征信息或以直接點選、框選虛擬物體圖像的形式選擇虛擬物體;另外一些實施例中，可由顯示裝置4事先生成問題(如，計算題、問答題等)，此時，該輸入信息可以是，如用戶輸入的問題答案，一些情況下，信息輸入裝置5還用于用戶輸入并非選擇虛擬物體或者回答問題的信息，如打開、關閉指令，翻頁指令等。應注意的是，個別情況下，用戶也可直接輸入實體物體的含義、名稱(該實物物體對應的虛擬物體和其具有一致的含義、名稱，因此也可認為用戶是輸入了虛擬物體的含義、名稱)。
[0037]S220:根據(jù)用戶的輸入信息生成虛擬物體和/或虛擬物體的含義、名稱;具體的，包括:
S221:根據(jù)用戶的輸入信息直接重新生成虛擬物體模型和/或虛擬物體的含義、名稱，或者根據(jù)虛擬物體的特征信息或含義、名稱從預存的模型中進行虛擬物體模型匹配，匹配成功后利用匹配成功的虛擬物體模型形成該虛擬物體；
S222:對形成的虛擬物體模型進行動畫渲染。
[0038]S230:顯示該虛擬物體，實際上，經(jīng)過動畫渲染后，本實施例可顯示出該虛擬物體向畫面外“走出”的動畫畫面，以提高人機交互的真實感;該動畫畫面可以是三維動畫畫面或二維動畫畫面。
[0039]S240:將虛擬物體對應的實物物體從系統(tǒng)中取出；所述實物物體為預存在系統(tǒng)中或由3D打印裝置打印出。
[0040]優(yōu)選的，所述與實物物體對應的虛擬物體為該實物物體的二維或三維圖形。
【主權項】
1.一種人機交互系統(tǒng)，其特征在于，包括， 傳輸終端，用于接收用戶放入的實物物體； 特征提取單元，對該實物物體進行特征信息采集，并將獲取的所述特征信息傳輸至處理單元;所述特征信息包括該實物物體的大小、形狀、顏色、材質(zhì)； 處理單元，用于根據(jù)收到的該實物物體的特征信息判斷該實物物體的含義、名稱和/或形成與該實物物體對應的虛擬物體； 顯示裝置，用于顯示所述虛擬物體和/或虛擬物體的含義、名稱。2.如權利要求1所述的人機交互系統(tǒng)，其特征在于，所述人機交互系統(tǒng)還包括信息輸入裝置，所述信息輸入裝置用于用戶輸入信息； 所述處理單元還用于根據(jù)用戶輸入的信息生成對應的虛擬物體和/或虛擬物體的含義、名稱，并控制顯示單元顯示該虛擬物體和/或虛擬物體的含義、名稱； 所述傳輸終端還用于根據(jù)用戶的指令將該虛擬物體和/或虛擬物體的含義、名稱對應的實物物體送出； 所述實物物體為預存在系統(tǒng)中或由3D打印裝置打印出。3.如權利要求1所述的人機交互系統(tǒng)，其特征在于，所述特征提取單元包括圖像處理單元及至少一個攝像裝置，所述攝像裝置用于拍攝所述實物物體的圖像;所述圖像處理單元用于根據(jù)圖像提取所述實物物體的特征信息。4.如權利要求1所述的人機交互系統(tǒng)，其特征在于，所述處理單元包括模型生成單元、模型存儲單元、模型匹配單元及動畫渲染單元;所述模型生成單元用于根據(jù)特征信息生產(chǎn)實物物體的虛擬模型;所述模型存儲單元用于存儲模型生成單元生成的模型及預存在系統(tǒng)中的模型；所述模型匹配單元用于根據(jù)特征信息對虛擬物體進行模型匹配;所述動畫渲染單元用于對模型進行動畫渲染。5.如權利要求1所述的人機交互系統(tǒng)，其特征在于，所述與實物物體對應的虛擬物體為該實物物體的二維和/或三維圖形。6.一種人機交互方法，其特征在于，包括如下步驟: (1-1)獲取實物物體，并對該實物物體進行特征信息采集的步驟;所述特征信息包括該實物物體的大小、形狀、顏色、材質(zhì)； (1-2)根據(jù)采集到的所述特征信息形成與該實物物體對應的虛擬物體和/或虛擬物體的含義、名稱的步驟； (1-3)顯示該虛擬物體和/或虛擬物體的含義、名稱的步驟。7.如權利要求6所述的人機交互方法，其特征在于，還包括如下步驟: (2-1)用戶輸入信息的步驟； (2-2)根據(jù)用戶的輸入信息生成虛擬物體和/或虛擬物體的含義、名稱的步驟； (2-3)顯示該虛擬物體和/或虛擬物體的含義、名稱的步驟； (2-4)將虛擬物體對應的實物物體從系統(tǒng)中取出的步驟;所述實物物體為預存或由3D打印裝置打印出。8.如權利要求6所述的人機交互方法，其特征在于，所述采集實物物體特征信息的步驟中，包括， 采用至少一個攝像裝置獲取該實物物體的圖像的步驟； 根據(jù)獲取的實物物體的圖像進行圖像處理獲取實物物體特征信息的步驟。9.如權利要求6或7所述的人機交互方法，其特征在于，生成虛擬物體和/或虛擬物體的含義、名稱包括， 新生成虛擬物體模型或者從預存的模型中進行虛擬物體模型匹配以生成虛擬物體；顯示該虛擬物體和/或虛擬物體的含義、名稱的步驟中，包括對生成或匹配好的虛擬物體模型進行動畫渲染的步驟。10.如權利要求6所述的人機交互方法，其特征在于，所述與實物物體對應的虛擬物體為該實物物體的二維或三維圖形。
【文檔編號】G06T19/00GK106097454SQ201610394486
【公開日】2016年11月9日
【申請日】2016年6月6日 公開號201610394486.0, CN 106097454 A, CN 106097454A, CN 201610394486, CN-A-106097454, CN106097454 A, CN106097454A, CN201610394486, CN201610394486.0
【發(fā)明人】邢冠宇, 蘇揚, 李龍, 蘇艷杰
【申請人】成都天福創(chuàng)造機器人有限公司