信息處理裝置、信息處理方法和程序與流程

文檔序號：11161187閱讀：560來源：國知局

導(dǎo)航： X技術(shù)> 最新專利>計算;推算;計數(shù)設(shè)備的制造及其應(yīng)用技術(shù)

本公開涉及信息處理裝置、信息處理方法和程序。更具體地，本公開涉及信息處理裝置、信息處理方法和程序，通過該信息處理裝置、信息處理方法和程序，基于信息裝置的位置和方向，在顯示單元(顯示器)上顯示關(guān)于存在于信息處理裝置附近的真實對象的信息。

背景技術(shù)：

近來，智能電話、平板終端或諸如眼鏡型顯示器等可穿戴終端已經(jīng)變得普遍并且這些終端被大量用戶利用。

這些終端中的大多數(shù)不僅包括通信功能，而且包括通過其在顯示單元上顯示拍攝圖像的相機功能。此外，顯示單元不僅能夠顯示拍攝圖像，而且能夠顯示經(jīng)由網(wǎng)絡(luò)接收的各種信息，例如諸如經(jīng)由網(wǎng)絡(luò)訪問的網(wǎng)頁。

此外，存在能夠從網(wǎng)站獲取與位置信息相關(guān)聯(lián)的信息并且根據(jù)被設(shè)置為關(guān)于相機拍攝圖像的屬性信息的地球靜止地球軌道(Geo)信息和通過移動終端的全球定位系統(tǒng)(GPS)功能獲取的位置信息來顯示此信息。

另外，專利文獻1(未經(jīng)審查的日本專利申請2011-028763號)公開了(例如)與拍攝圖像相關(guān)的此類信息在拍攝圖像上疊加和顯示的配置。

引用文獻列表

專利文獻

專利文獻1：未經(jīng)審查的日本專利申請2011-028763號

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題

存在許多用于如下配置的常規(guī)技術(shù)，該配置允許基于諸如GPS和Geo信息的位置信息在終端上疊加和顯示與拍攝對象相關(guān)的信息。

通過使用其中關(guān)于各種設(shè)施的注冊信息與設(shè)施的位置精確關(guān)聯(lián)的數(shù)據(jù)，以檢測拍攝和顯示對象的用戶終端的位置和傾斜度，并且執(zhí)行控制以與在顯示單元上的對象的移動同步地移動相關(guān)信息，根據(jù)設(shè)施的位置疊加和顯示注冊信息是可能的。

然而，實際上，GPS位置信息的精度為10米到100米，并且難以根據(jù)用戶終端的位置和傾斜度正確地顯示關(guān)于拍攝對象的相關(guān)信息。當在顯示單元上顯示實時拍攝圖像，然后嘗試在拍攝圖像上顯示各種注冊信息時，所顯示的圖像根據(jù)用戶終端的移動和傾斜度而移動。盡管存在通過使用陀螺儀、加速度傳感器等來補充GPS位置信息的技術(shù)，但是難以通過它們中的任一者來定位正確的位置。結(jié)果，在真實對象彼此非常接近的情況下，可能無法正確地確定拍攝圖像中的哪些設(shè)施對應(yīng)于所顯示的信息。

例如，當通過移動終端的相機拍攝在10米內(nèi)彼此接近的餐館和公共休息室，并且在顯示單元上顯示拍攝圖像時，通過使用所公開的常規(guī)技術(shù)，顯示指示餐館和休息室在什么位置與包含在拍攝圖像中的餐館和休息室精確關(guān)聯(lián)的信息是困難的。

同時，通過諸如室內(nèi)消息系統(tǒng)(IMES)的室內(nèi)定位技術(shù)，可以以幾厘米的高精度確定對象的位置。然而，需要引入用于定位的基礎(chǔ)設(shè)施設(shè)備，這可能引起操作成本的問題。另外，諸如智能手機和平板終端的用戶終端需要支持新的定位技術(shù)。

本公開是鑒于上述問題而做出的，例如，允許在諸如智能電話的用戶終端上顯示關(guān)于所注冊的真實世界點(興趣點(POI))的精確關(guān)聯(lián)于用戶終端和點位置之間的位置關(guān)系的信息。本公開的目的是提供信息處理裝置、信息處理方法和程序，通過該信息處理裝置、信息處理方法和程序，即使當用戶終端與用戶等的移動同步地改變位置和傾斜度時，點的顯示可以根據(jù)用戶可以被精確地跟蹤和顯示的移動和關(guān)于興趣點的信息來更新。

問題的解決方案

本公開的第一方面為信息處理裝置，包括：成像單元；顯示單元，顯示由成像單元拍攝的圖像；以及數(shù)據(jù)處理單元，在顯示單元上顯示虛擬對象，虛擬對象表示包含在所拍攝的圖像中的真實世界注冊信息設(shè)置點，其中數(shù)據(jù)處理單元輸入虛擬對象顯示控制數(shù)據(jù)，虛擬對象顯示控制數(shù)據(jù)記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關(guān)于錨點在虛擬三維空間坐標系中的位置信息以及關(guān)于注冊信息設(shè)置點在虛擬三維空間坐標系中的位置信息，以及數(shù)據(jù)處理單元從成像單元拍攝的圖像中檢測錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定成像單元在虛擬三維空間中的位置、計算注冊信息設(shè)置點在顯示單元坐標系中的位置并基于所計算的位置顯示表示注冊信息設(shè)置點的虛擬對象，其中，所述顯示單元坐標系作為顯示單元的坐標系。

此外，本公開的第二方面為信息提供服務(wù)器，包括：存儲單元，存儲包括在信標發(fā)送器附近的真實對象信息的虛擬對象顯示控制數(shù)據(jù)；以及通信單元，根據(jù)來自信息處理裝置的獲取控制信息請求傳送虛擬對象顯示控制數(shù)據(jù)，其中虛擬對象顯示控制數(shù)據(jù)為以下信息：該信息記錄拍攝的在所述信標發(fā)送器附近的真實對象的參考圖像和關(guān)于包含在參考圖像中的真實對象和真實對象附近的注冊信息設(shè)置點在虛擬三維空間中的位置信息。

此外，本公開的第三方面為搜索服務(wù)器，包括：通信單元，從信息處理裝置接收由信息處理裝置接收到的信標的傳送信號；以及數(shù)據(jù)處理單元，基于所傳送的信標執(zhí)行用于向信息處理裝置發(fā)送用于獲取虛擬對象顯示控制數(shù)據(jù)的接入信息的過程，虛擬對象顯示控制數(shù)據(jù)記錄包括在信標的發(fā)送器附近的真實對象的參考圖像以及關(guān)于真實對象和注冊信息設(shè)置點在虛擬三維空間坐標中的位置信息。

另外，本公開的第四方面為由信息處理裝置執(zhí)行的信息處理方法，其中，該信息處理裝置包括成像單元、顯示由成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，數(shù)據(jù)處理單元在顯示單元上顯示虛擬對象，虛擬對象表示包含在所拍攝的圖像中的真實世界注冊信息設(shè)置點，數(shù)據(jù)處理單元輸入虛擬對象顯示控制數(shù)據(jù)，虛擬對象顯示控制數(shù)據(jù)記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關(guān)于錨點在虛擬三維空間坐標系中的位置信息以及關(guān)于注冊信息設(shè)置點在虛擬三維空間坐標系中的位置信息，以及數(shù)據(jù)處理單元從成像單元拍攝的圖像中檢測錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定成像單元在虛擬三維空間中的位置、計算注冊信息設(shè)置點在顯示單元坐標系中的位置并基于所計算的位置顯示表示注冊信息設(shè)置點的虛擬對象，其中，顯示單元坐標系作為顯示單元的坐標系。

本公開的第五方面為用于促使信息處理裝置執(zhí)行信息處理的程序，其中，該信息處理裝置包括成像單元、顯示由成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，數(shù)據(jù)處理單元在顯示單元上顯示虛擬對象，虛擬對象表示包含在所拍攝的圖像中的真實世界注冊信息設(shè)置點，以及程序使數(shù)據(jù)處理單元：輸入虛擬對象顯示控制數(shù)據(jù)，虛擬對象顯示控制數(shù)據(jù)記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關(guān)于錨點在虛擬三維空間坐標系中的位置信息以及關(guān)于注冊信息設(shè)置點在虛擬三維空間坐標系中的位置信息，以及從成像單元拍攝的圖像中檢測錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定成像單元在虛擬三維空間中的位置、計算注冊信息設(shè)置點在顯示單元坐標系中的位置并基于所計算的位置顯示表示注冊信息設(shè)置點的虛擬對象，其中，顯示單元坐標系作為顯示單元的坐標系。

順便提及，本公開的程序為可以由計算機可讀形式的存儲介質(zhì)或通信介質(zhì)提供給例如能夠執(zhí)行各種程序代碼的信息處理裝置或計算機系統(tǒng)的程序。通過以計算機可讀形式提供程序，根據(jù)該程序的過程在信息處理裝置或計算機系統(tǒng)上實現(xiàn)。

本公開的其它目的、特征和優(yōu)點將通過參考稍后描述的本公開的示例和附圖的更詳細的解釋來闡明。順便提及，本文所述的系統(tǒng)為多個裝置的邏輯組合，但是作為組成元件的裝置可不被包含在同一外殼中。

本發(fā)明的效果

根據(jù)本公開的示例的配置，可以實現(xiàn)一種裝置和方法，通過該裝置和方法將注冊信息設(shè)置點(POI)轉(zhuǎn)換至坐標系，其中，在原點的信息處理裝置的位置與真實三維空間中的真實對象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊信息。

具體地，記錄作為通過拍攝真實對象獲得的參考圖像的錨點以及該錨點和注冊信息設(shè)置點在虛擬三維空間坐標中的位置信息(位置、方向等)的顯示控制數(shù)據(jù)被輸入，從拍攝圖像檢測該錨點、確定信息裝置在虛擬三維空間中的位置、在終端坐標系中的三維位置和顯示裝置在二維坐標系中的顯示位置根據(jù)所確定的三維位置和被記錄在顯示控制數(shù)據(jù)中的注冊信息設(shè)置點的位置信息來計算以及點位置被顯示。

根據(jù)該配置，可以實現(xiàn)一種裝置和方法，通過該裝置和方法將注冊信息設(shè)置點(POI)轉(zhuǎn)換至坐標系，其中，信息處理裝置的位置在原點與真實三維空間中的真實對象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊信息。

順便提及，本文所述的有益效果不是限制性的而僅是示例，并且本公開可具有另外的有益效果。

附圖說明

圖1為描述包括執(zhí)行本公開的過程的信息處理裝置(用戶終端)的系統(tǒng)的配置示例的示意圖。

圖2的(a)和(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。

圖3的(a)和3(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。

圖4的(a)和(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。

圖5為描述在包括執(zhí)行本公開的過程的信息處理裝置(用戶終端)的系統(tǒng)的構(gòu)成元件之間的過程序列的示意圖。

圖6為描述被保持在搜索服務(wù)器中的數(shù)據(jù)的配置示例的示意圖。

圖7為描述由信息提供服務(wù)器所提供的HTML數(shù)據(jù)的示例的示意圖。

圖8的(a)和(b)為描述參考真實對象和注冊信息設(shè)置點的示意圖。

圖9為描述由信息提供服務(wù)器所提供的顯示控制程序(JavaScript(注冊商標))的示例的示意圖。

圖10為用于獲取虛擬對象顯示控制數(shù)據(jù)和顯示虛擬對象的過程序列的流程圖。

圖11為用于獲取虛擬對象顯示控制數(shù)據(jù)和顯示虛擬對象的過程序列的流程圖。

圖12為用于設(shè)置定位處理對象的過程序列的流程圖。

圖13為基于虛擬對象顯示事件的檢測顯示虛擬對象的過程序列的流程圖。

圖14為用于檢測虛擬對象顯示更新事件并進行通知的過程序列的流程圖。

圖15為用于檢測虛擬對象顯示更新事件并進行通知的過程序列的流程圖。

圖16為示出虛擬對象的特定顯示示例的示意圖。

圖17為示出虛擬對象的特定顯示示例的示意圖。

圖18為示出信息處理裝置的配置示例的示意圖。

圖19為示出信息處理裝置的配置示例的示意圖。

圖20為示出服務(wù)器的配置示例的示意圖。

具體實施方式

下面將參照附圖詳細描述本公開的信息處理裝置、信息處理方法和程序。順便提及，將按照以下順序給出描述：

1.關(guān)于本公開的信息處理裝置和包括該信息處理裝置的系統(tǒng)的配置示例

2.關(guān)于通信過程和圖像顯示過程的細節(jié)

3.關(guān)于用于判定注冊信息設(shè)置點(POI)位置識別標記的顯示位置的過程

4.關(guān)于由信息處理裝置執(zhí)行的過程序列

4-1.用于獲取虛擬對象顯示控制數(shù)據(jù)并顯示虛擬對象的過程

4-2.用于設(shè)置定位處理對象的過程

4-3.基于對虛擬對象顯示事件的檢測來顯示虛擬對象的過程

4-4.用于三維位置確定的過程

5.關(guān)于作為用于啟動顯示虛擬對象或更新顯示的觸發(fā)的事件

6.關(guān)于信息處理裝置和服務(wù)器的配置示例

7.本公開的配置的概述

【1.關(guān)于本公開的信息處理裝置和包括該信息處理裝置的系統(tǒng)的配置示例】

首先，將參考圖1來描述本公開的信息處理裝置和包括該信息處理裝置的系統(tǒng)的配置示例。

圖1為示出包括本公開的信息處理裝置的通信系統(tǒng)的配置示例的示意圖。

信息處理裝置(用戶終端)10為能夠由用戶攜帶的通信終端，諸如智能電話或眼鏡型終端。

信息處理裝置(用戶終端)10包括通信單元、相機(成像單元)和顯示單元，并且具有在顯示單元上顯示相機拍攝圖像并且在顯示單元上的拍攝圖像上疊加和顯示經(jīng)由通信單元接收到的信息的功能。

信息處理裝置10在顯示單元上顯示相機拍攝的圖像。在顯示單元上的顯示圖像為由相機當前拍攝的實時拍攝圖像。順便提及，本公開的過程適用于先前拍攝并存儲在存儲器中的圖像被讀取并在顯示單元上顯示的情況。然而，在下面描述的示例中，當前拍攝的圖像在顯示單元上顯示。順便提及，拍攝圖像可以記錄在或可以不記錄在諸如介質(zhì)的存儲單元中。

信息處理裝置10的相機(成像單元)和顯示單元可由不同的裝置實現(xiàn)，并且被配置為通過通信一體地操作。

經(jīng)由通信一體地操作的配置可以被實現(xiàn)為使得由附接到用戶頭部的相機(成像單元)拍攝的運動圖像以及位置和方向信息經(jīng)由例如Wi-Fi被傳送至智能電話(顯示單元)。

本公開的過程也可適用于信息處理裝置10為一個物理裝置的情況和信息處理裝置10由多個裝置經(jīng)由通信形成的情況。

當在顯示單元上顯示拍攝圖像時，信息處理裝置10接收從信標發(fā)送器20輸出的信標，信標發(fā)送器20由例如無線LAN或藍牙中的接入點(AP)組成。

信標為存儲信標發(fā)送器20的標識符(ID)的包。

信息處理裝置10經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)30將從信標發(fā)送器20接收到的信標傳送至搜索服務(wù)器40。

在接收到從信息處理裝置10傳送的信標時，搜索服務(wù)器40基于標識符獲取與被包含在所接收的信標中的信標發(fā)送器標識符(ID)相對應(yīng)注冊的接入信息(URL)，并且將該接入信息發(fā)送至信息處理裝置10。

接入信息(URL)為用于獲取關(guān)于信標發(fā)送器20附近的信息注冊點的位置信息以及包括注冊信息等的數(shù)據(jù)的接入信息。

順便提及，在網(wǎng)頁上提供的地圖數(shù)據(jù)中，例如，注冊信息設(shè)置點(興趣點(POI))被設(shè)置為估計吸引來自許多人的興趣的點，諸如旅游景點和地標。接入信息(URL)為用于獲取包括關(guān)于注冊信息設(shè)置點(POI)的位置信息、注冊信息等的顯示控制數(shù)據(jù)的接入信息。

信息處理裝置10使用接入信息(URL)從信息提供服務(wù)器50獲取顯示控制數(shù)據(jù)，并且在顯示單元上的拍攝圖像上疊加和顯示與被包含在所獲取的顯示控制數(shù)據(jù)中的注冊信息設(shè)置點(POI)相對應(yīng)的注冊信息等。

也就是說，信息處理裝置10在由相機(成像單元)拍攝并在顯示單元上顯示的真實對象上疊加和顯示從信息提供服務(wù)器50獲取的關(guān)于POI的位置信息和作為虛擬對象的注冊信息。

信息提供服務(wù)器50提供POI顯示控制數(shù)據(jù)，諸如關(guān)于在區(qū)域中的各種位置的各種設(shè)施的位置信息以及關(guān)于該設(shè)施的指南信息。信息提供服務(wù)器50包括注冊信息在其中被注冊的數(shù)據(jù)庫，并且基于數(shù)據(jù)庫信息生成顯示控制數(shù)據(jù)。信息提供服務(wù)器50根據(jù)包含在來自信息終端10的請求中的URL，返回相關(guān)的顯示控制數(shù)據(jù)。

信息處理裝置10使用由搜索服務(wù)器40所選的接入信息(URL)，從信息提供服務(wù)器50獲取POI顯示控制數(shù)據(jù)。

信息處理裝置10使用POI顯示控制數(shù)據(jù)將POI位置和關(guān)于在信標發(fā)送器20的安裝場所附近的各種設(shè)施的注冊信息疊加并顯示在顯示單元上顯示的相機拍攝圖像上。

將參考圖2的(a)和(b)來描述具體的過程示例。

圖2的(a)和圖2的(b)示出信息處理裝置(用戶終端)10在顯示單元上顯示相機拍攝圖像的示例。

順便提及，在下面的描述中，智能電話作為信息處理裝置(用戶終端)10的示例。然而，下面描述的示例也可以在除智能電話之外的各種用戶終端上執(zhí)行，諸如平板終端、PC、眼鏡型終端等。

圖2的(a)示出在旅游點包括城堡的真實世界中的風(fēng)景。攜帶信息處理裝置(用戶終端)10的用戶訪問旅游點的城堡，并且看到圖2的(a)所示的風(fēng)景。

用戶使用信息處理裝置(用戶終端)10的相機功能拍攝(a)真實世界圖像并在顯示單元上顯示所拍攝圖像。

顯示在顯示單元上的拍攝圖像是圖2的(b)所示的顯示圖像。

例如，在該狀態(tài)下，執(zhí)行上面參照圖1所述的一系列過程。也就是說，執(zhí)行以下步驟(S01至S04)：

(S01)信息處理裝置10向搜索服務(wù)器40傳送從信標發(fā)送器20(諸如圖2的(a)所示的真實世界中的近接入點(AP))接收到的信標的標識信息(ID)。

(S02)搜索服務(wù)器40基于該標識信息向信息處理裝置10發(fā)送用于獲取包括關(guān)于信標發(fā)送器20的鄰域的注冊信息的數(shù)據(jù)的接入信息(URL)。

(S03)信息處理裝置10使用從搜索服務(wù)器40接收到的接入信息(URL)，從信息提供服務(wù)器50獲取顯示控制數(shù)據(jù)，諸如關(guān)于信標發(fā)送器20附近的設(shè)施的位置信息和注冊信息。

(S04)信息處理裝置10使用顯示控制數(shù)據(jù)，諸如關(guān)于從信息提供服務(wù)器50獲取的信標發(fā)射器20附近的設(shè)施的位置信息和注冊信息，以在顯示單元上顯示的拍攝圖像上疊加和顯示表示設(shè)施的位置和的注冊信息的標記作為虛擬對象。

執(zhí)行上述的一系列步驟。

作為執(zhí)行上述一系列步驟的結(jié)果，圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)示出在信息處理裝置10的顯示單元上顯示的顯示圖像的示例。

圖3的(a)示出在如上所述的圖2的(a)的情況下的真實世界中的風(fēng)景，以及圖3的(b)示出在執(zhí)行上述的一系列步驟(S01至S04)之后在信息處理裝置10的顯示單元上顯示的顯示圖像。

在步驟S03，從信息提供服務(wù)器50獲取的數(shù)據(jù)，即顯示控制數(shù)據(jù)，諸如關(guān)于在信標發(fā)送器20附近的設(shè)施的位置信息和注冊信息包括關(guān)于在圖3的(a)中示出的真實世界中的下列兩個點的信息：

(1)關(guān)于注冊信息設(shè)置點A(POI-A)101的位置信息和注冊信息

(2)關(guān)于注冊信息設(shè)置點B(POI-B)102的位置信息和注冊信息。

圖3的(b)所示的顯示圖像為選擇(1)顯示有關(guān)于注冊信息設(shè)置點A(POI-A)101的位置信息和注冊信息的顯示圖像。

圖3的(b)所示的顯示圖像為在從信息提供服務(wù)器50獲取的顯示控制數(shù)據(jù)中描述的虛擬對象被疊加并顯示在作為拍攝圖像的真實對象上的圖像。

所顯示的虛擬對象為以下數(shù)據(jù)：

(1)點A(POI-A)位置標識標記111

(2)點A(POI-A)對應(yīng)注冊信息112

這些數(shù)據(jù)被顯示為虛擬對象。

如上所述，圖3的(b)所示的顯示圖像為基于從信息提供服務(wù)器50獲取的顯示控制數(shù)據(jù)生成的虛擬對象被疊加并顯示在作為拍攝圖像的真實對象上的圖像，即，增強現(xiàn)實(AR)圖像。

點A為票務(wù)中心。作為虛擬對象的點A(POI-A)位置標識標記111被疊加并顯示在作為真實對象的拍攝圖像中的票務(wù)中心的位置中。

點A(POI-A)位置標識標記111的顯示位置需要被設(shè)置在作為真實對象的拍攝圖像中的票務(wù)中心上。該顯示位置由信息處理裝置10使用從信息提供服務(wù)器獲取的數(shù)據(jù)來判定。順便提及，在信息處理裝置10上顯示的圖像為根據(jù)用戶的運動而變化的實時相機拍攝圖像。點A(POI-A)位置標識標記111的顯示位置也需要根據(jù)所顯示的拍攝圖像(真實對象)的運動來更新。顯示位置控制也由信息處理裝置10執(zhí)行。

在由信息處理裝置10執(zhí)行的顯示控制下，作為虛擬對象的點A(POI-A)位置標識標記111的顯示位置被正確地放置在作為真實對象的拍攝圖像中的票務(wù)中心上。

后面將描述顯示控制的具體步驟。

此外，作為另一虛擬對象的點A(POI-A)對應(yīng)注冊信息112也被疊加和顯示在作為真實對象的拍攝圖像上。

點A(POI-A)對應(yīng)注冊信息112包括關(guān)于對應(yīng)于注冊信息設(shè)置點A的票務(wù)中心的各種信息。如附圖所示，關(guān)于在票務(wù)中心的開放時間和費用等的信息被顯示。信息被記錄在信息提供服務(wù)器50的數(shù)據(jù)庫中，并且被包含在根據(jù)由搜索服務(wù)器40所提供的URL所獲取的或顯示控制數(shù)據(jù)中或基于該顯示控制數(shù)據(jù)來獲取。

圖4的(a)和圖4的(b)為示出使用關(guān)于另一點B的信息的顯示圖像示例的示意圖，即：

(2)關(guān)于注冊信息設(shè)置點B(POI-B)102的位置信息和注冊信息。

圖4的(a)示出在真實世界中的風(fēng)景，以及圖4的(b)示出在執(zhí)行上述的一系列步驟(S01至S04)之后在信息處理裝置10的顯示單元上顯示的顯示圖像。

圖4的(b)所示的顯示圖像為作為從信息提供服務(wù)器50獲取的顯示數(shù)據(jù)的虛擬對象被疊加并顯示在作為拍攝圖像的真實對象上的圖像。

所顯示的虛擬對象為如下數(shù)據(jù)：

(1)點B(POI-B)位置標識標記121

(2)點B(POI-B)對應(yīng)注冊信息122

這些數(shù)據(jù)被顯示為虛擬對象。

如上所述，圖4的(b)所示的顯示圖像為基于從信息提供服務(wù)器50獲取的數(shù)據(jù)生成的虛擬對象被疊加并顯示在作為拍攝圖像的真實對象上的圖像，即，增強現(xiàn)實(AR)圖像。

點B表示城堡的入口，以及點B(POI-B)位置標識標記121作為虛擬對象被疊加并顯示在作為真實對象的拍攝圖像的入口位置上。

點B(POI-B)位置標識標記121的顯示位置需要被設(shè)置在作為真實對象的拍攝圖像中的城堡入口上。該顯示位置由信息處理裝置10使用從信息提供服務(wù)器獲取的數(shù)據(jù)來判定和控制。具體地，信息處理裝置10根據(jù)在顯示單元上顯示的拍攝圖像(真實對象)的運動來更新點B(POI-B)位置標識標記121的顯示位置。

在由信息處理裝置10執(zhí)行的顯示控制下，作為虛擬對象的點B(POI-B)位置標識標記121的顯示位置總是被設(shè)置在作為真實對象的拍攝圖像中的入口上。

后面將描述顯示控制的具體步驟。

此外，作為另一虛擬對象的點B(POI-B)對應(yīng)注冊信息122也被疊加和顯示在作為真實對象的拍攝圖像上。

點B(POI-B)對應(yīng)注冊信息122包括關(guān)于對應(yīng)于注冊信息設(shè)置點B的城堡入口的各種信息。如附圖所示，諸如入口的開放時間的信息、租借引導(dǎo)終端的信息、休息室位置信息等被顯示。該信息被記錄在信息提供服務(wù)器50的數(shù)據(jù)庫中，并且根據(jù)由搜索服務(wù)器40所提供的URL來獲取。

【2.關(guān)于通信過程和圖像顯示過程的細節(jié)】

圖5為描述在圖1中示出的裝置之間執(zhí)行的通信序列和由信息處理裝置(用戶終端)10執(zhí)行的增強現(xiàn)實圖像(真實對象和虛擬對象的疊加圖像)的顯示過程序列的序列圖。

圖5從左側(cè)示出信標發(fā)送器20、信息處理裝置(用戶終端)10、搜索服務(wù)器40和信息提供服務(wù)器50。

下面將依次描述該過程步驟。

(步驟S101)

首先，在步驟S101，信標發(fā)送器20輸出信標以及信息處理裝置10接收該信標。如上所述，信標為存儲信標發(fā)送器20的標識符(ID)等的數(shù)據(jù)包。

(步驟S102)

信息處理裝置10將從信標發(fā)送器20接收到的信標傳送至搜索服務(wù)器40。

(步驟S103)

搜索服務(wù)器40接收從信息處理裝置10所傳送的信標，并基于包含在該信標中的信標發(fā)送器20的標識符(ID)搜索數(shù)據(jù)庫以提取用于獲取包括關(guān)于信標發(fā)送器20的鄰域的注冊信息的數(shù)據(jù)的接入信息(URL)。

圖6示出被存儲在搜索服務(wù)器40的數(shù)據(jù)庫中的數(shù)據(jù)的示例。搜索服務(wù)器40在數(shù)據(jù)庫(存儲單元)中存儲例如在圖6中描述的數(shù)據(jù)。

如圖6所示的數(shù)據(jù)由下面兩種數(shù)據(jù)的對應(yīng)列表組成：

信標發(fā)送器標識符(ID)；以及

用于獲取信標發(fā)送器鄰域設(shè)施信息的URL。

搜索服務(wù)器40接收從信息處理裝置10所傳送的信標，并例如基于包含在該信標中的信標發(fā)送器20的標識符(ID)，搜索如圖6所述的數(shù)據(jù)配置的列表。

通過該列表搜索，搜索服務(wù)器40獲取與包含在從信息處理裝置10所傳送的信標中的信標發(fā)送器20的標識符(ID)相關(guān)聯(lián)的接入信息(URL)。

接入信息(URL)為用于獲取包括關(guān)于信標發(fā)送器20的鄰域的注冊信息的數(shù)據(jù)的接入信息(URL)。

(步驟S104)

接下來，在步驟S104，搜索服務(wù)器40向信息處理裝置10發(fā)送通過在步驟S103的搜索獲取的接入信息(URL)。

(步驟S105)

信息處理裝置10使用從搜索服務(wù)器40接收到的接入信息(URL)以從信息提供服務(wù)器50獲取包括關(guān)于信標發(fā)送器20附近的設(shè)施的位置信息和注冊信息的數(shù)據(jù)(虛擬對象顯示控制數(shù)據(jù))。

從信息提供服務(wù)器50向信息處理裝置10所傳送的數(shù)據(jù)包括被疊加和顯示在作為在信息處理裝置10的顯示單元上顯示的真實對象的相機拍攝圖像上的虛擬對象的真實狀態(tài)數(shù)據(jù)和用于真實狀態(tài)數(shù)據(jù)的顯示控制信息。該數(shù)據(jù)在下文中將被稱為虛擬對象顯示控制數(shù)據(jù)。

具體地，虛擬對象顯示控制數(shù)據(jù)由下面的數(shù)據(jù)等組成：

(1)超文本標記語言(HTML)

(2)級聯(lián)樣式表(CSS)

(3)JavaScript(注冊商標)。

HTML為表示在信息處理裝置10的顯示單元上顯示的虛擬對象的基本結(jié)構(gòu)的數(shù)據(jù)。雖然存在各種HTML數(shù)據(jù)，但是例如HTML 5是可用的。

CSS為定義由HTML定義的虛擬對象配置數(shù)據(jù)的顯示格式、顏色、形狀和其它的樣式表，其為定義在信息處理裝置10的顯示單元上顯示的虛擬對象的樣式的數(shù)據(jù)。

JavaScript(注冊商標)為定義用于顯示虛擬對象的過程、用于更新顯示的過程或用于移動并更新虛擬對象的過程的顯示控制程序。例如，它為用于執(zhí)行顯示控制，諸如根據(jù)用戶在顯示對象上觸摸和點擊的此類事件或根據(jù)各種背景(情形)諸如在觸發(fā)后逝去預(yù)定時間段的事件對所顯示的信息采取各種行為，包括改變虛擬對象的顯示模式的顯示控制程序。

如上所述，信息提供服務(wù)器50向信息處理裝置10提供具有以下數(shù)據(jù)的虛擬對象顯示控制數(shù)據(jù)：

(1)超文本標記語言(HTML)

(2)級聯(lián)樣式表(CSS)

(3)JavaScript(注冊商標)

虛擬對象顯示控制數(shù)據(jù)為由一個URL獲取的數(shù)據(jù)，以及HTML根據(jù)由搜索服務(wù)器40基于包含在信標發(fā)送器20的信標中的信標發(fā)送器標識符(ID)所選的接入信息(URL)來獲取。此外，由HTML參考的CSS和JavaSciript是可獲取的。

也就是說，具有作為組件的HTML、CSS和JavaScript(注冊商標)的虛擬對象顯示控制數(shù)據(jù)包括關(guān)于在真實世界三維空間中的一個特定信標發(fā)送器20附近的各種設(shè)施的位置信息和指南信息，并且被用于顯示虛擬對象，諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點(POI)位置標識標記和點對應(yīng)注冊信息并執(zhí)行顯示控制。

該數(shù)據(jù)的細節(jié)將在后面描述。

(步驟S106)

信息處理裝置10基于在步驟S106的URL和相機拍攝圖像，使用關(guān)于被記錄在從信息提供服務(wù)器50獲取的數(shù)據(jù)中的注冊信息設(shè)置點的位置信息(虛擬對象顯示控制數(shù)據(jù))來計算在顯示屏上的點位置標識標記的顯示位置。

也就是說，如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述，信息處理裝置10根據(jù)諸如作為在作為真實對象的拍攝圖像中的注冊信息設(shè)置點的票務(wù)中心、入口等的真實對象，執(zhí)行顯示位置判定過程以顯示作為虛擬對象的點位置標識標記。

在顯示位置判定過程中，作為預(yù)拍攝參考圖像的錨點和虛擬三維空間中的注冊信息設(shè)置點的位置信息被記錄在從信息提供服務(wù)器50獲取的數(shù)據(jù)(虛擬對象顯示控制數(shù)據(jù))中并且相機拍攝圖像被使用。

后面將描述顯示位置判定過程的具體步驟。

(步驟S107)

最終，在步驟S107，信息處理裝置10在步驟S106所計算的顯示位置中顯示點位置標識標記，并且另外顯示設(shè)施點對應(yīng)注冊信息。

顯示結(jié)果例如為上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的顯示圖像。

順便提及，在上述過程示例中，搜索服務(wù)器40基于從信息處理裝置10傳送的信標來提供用于獲取關(guān)于信標裝置20的鄰域的信息的接入信息(URL)?？商鎿Q地，搜索服務(wù)器40可被配置為使用除信標之外的數(shù)據(jù)。

例如，可以將作為由信息處理裝置10拍攝的圖像的縮小版本的縮略圖和圖像特征量數(shù)據(jù)發(fā)送到搜索服務(wù)器40，使得搜索服務(wù)器40可以確定與該縮略圖和圖像特征量數(shù)據(jù)相對應(yīng)的位置并提供用于獲取關(guān)于所確定的位置的鄰域的信息的顯示控制數(shù)據(jù)的接入信息(URL)。

在此情況下，搜索服務(wù)器40被配置為在存儲單元中存儲各個位置的拍攝圖像和接入信息的對應(yīng)列表。另外，拍攝圖像不限于位置的圖像，而是可以包括書或海報的圖像?；趶男畔⑻幚硌b置10接收到的數(shù)據(jù)，搜索服務(wù)器40選擇包括匹配于存儲單元中的對應(yīng)列表中的數(shù)據(jù)的圖像的拍攝圖像，并且向信息處理裝置10提供對應(yīng)于該圖像設(shè)置的用于POI顯示控制數(shù)據(jù)的接入信息(URL)。

可替換地，信息處理裝置10可讀出被記錄在各個位置的設(shè)施中的標記或QR碼(注冊商標)，并將所讀出的數(shù)據(jù)發(fā)送至搜索服務(wù)器40，使得搜索服務(wù)器40可以基于所接收到的數(shù)據(jù)搜索數(shù)據(jù)庫并提供用于獲取關(guān)于所接收到的標記或QR碼(注冊商標)被記錄的位置的鄰域的信息的接入信息(URL)。

在此情況下，搜索服務(wù)器40將被記錄在各個位置的標記或QR碼(注冊商標)的對應(yīng)列表和接入信息存儲在存儲單元中、基于從信息處理裝置10接收到的標記或QR碼(注冊商標)執(zhí)行數(shù)據(jù)搜索并且向信息處理裝置10提供所記錄的對應(yīng)于標記或QR碼(注冊商標)的接入信息(URL)?！?.關(guān)于用于判定注冊信息設(shè)置點(POI)位置識別標記的顯示位置的過程】

接下來，將描述用于判定注冊信息設(shè)置點(POI)位置識別標記的顯示位置的過程。

如上面參考圖5的序列圖所述，信息處理裝置10基于由搜索服務(wù)器所提供的接入信息(URL)從信息提供服務(wù)器50獲取虛擬對象顯示控制數(shù)據(jù)。此外，信息處理裝置10使用虛擬對象顯示控制數(shù)據(jù)和相機拍攝圖像來計算點位置標識標記在顯示屏幕上的顯示位置。

下面將描述用于判定由信息處理裝置10執(zhí)行的點位置標識標記的顯示位置的過程。

圖7為示出根據(jù)由搜索服務(wù)器所提供的接入信息(URL)被包含在從信息提供服務(wù)器50獲取的數(shù)據(jù)(虛擬對象顯示控制數(shù)據(jù))中的HTML數(shù)據(jù)的一部分的示意圖。

圖7中描述的HTML數(shù)據(jù)包括信息處理裝置10用來執(zhí)行用于判定點位置標識標記的顯示位置的過程的數(shù)據(jù)。

圖7中描述的數(shù)據(jù)為用于判定上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所描述的后續(xù)點位置標識標記的顯示位置的HTML數(shù)據(jù)的示例：

點A(POI-A)位置標識標記111

點B(POI-B)位置標識標記121

圖7中描述的HTML數(shù)據(jù)記錄預(yù)拍攝參考圖像和被包含在參考圖像中的關(guān)于真實對象和注冊信息設(shè)置點的相對位置的信息。

如圖7所示，圖7的HTML數(shù)據(jù)記錄以下數(shù)據(jù)：

(1)第一參考真實對象信息

(2)第二參考真實對象信息

(3)點A對應(yīng)信息

(4)點B對應(yīng)信息

參考真實對象信息(1)和(2)將參考圖8的(a)和圖8的(b)來描述。

參考真實對象為存在于真實世界中并且位于注冊信息設(shè)置點附近的真實對象。參考真實對象構(gòu)成用于計算注冊信息設(shè)置點的位置的參考位置，并且被稱為錨點或錨點對象。參考對象的拍攝圖像被稱為錨點圖像。錨點圖像僅被用作用于計算位置的參考，并且可以不必與POI相關(guān)聯(lián)。然而，錨點圖像可包括POI。為了提高參考位置的檢測精度，期望使用真實空間中的特征對象的圖像。另外，可以通過使用在真實空間中在各種位置和以各種角度拍攝的多個錨點圖像來進一步提高參考位置的檢測精度。這使得即使當用戶終端移動或旋轉(zhuǎn)時也能夠進行位置檢測。

將參考圖8的(a)和圖8的(b)來描述參考真實對象的示例。

圖8的(a)和圖8的(b)示出城堡的真實對象和存在于真實世界中的其它對象。

圖中所示的坐標軸(XYZ)為在定義在三維位置中的真實世界中的真實對象之間的位置關(guān)系的虛擬三維空間坐標中的坐標軸。它們不是像GPS那樣的絕對位置坐標，而是可以任意設(shè)置在虛擬三維空間坐標中的原點的位置的局部坐標。

如圖8的(a)和圖8的(b)所示，第一參考真實對象201為由包括城堡的上部的區(qū)域組成的真實對象。

另外，第二參考真實對象202為由包括城堡的入口的區(qū)域組成的真實對象。

這些參考真實對象被用于確定真實世界中的參考真實對象是否對應(yīng)于虛擬三維空間坐標中的位置，并且被用戶終端用來確定虛擬三維空間坐標并判定虛擬三維空間坐標中的點位置標識標記的顯示位置。

關(guān)于參考真實對象的信息被預(yù)先注冊在由信息提供服務(wù)器50所提供的HTML數(shù)據(jù)中。具體地，參考真實對象信息包括以下信息：

(1)參考圖像＝參考真實對象的拍攝圖像(錨點圖像)(錨點.png)

(2)被包含在參考圖像中的參考真實對象的位置信息(位置：表示參考真實對象在三維真實空間中的位置的三維坐標數(shù)據(jù)(X,Y,Z))

(3)被包含在參考圖像中的參考真實對象的方向信息(旋轉(zhuǎn)：表示參考真實對象的姿勢的信息)。該方向一般可以用歐拉角表示。在該示例中，方向由在3D圖形中頻繁使用的四元數(shù)(x,y,z:w)數(shù)據(jù)表示。

(4)關(guān)于參考圖像的面積(尺寸)信息(尺寸：橫向長度和縱向長度)。

(5)在虛擬三維空間中的坐標單位和在真實空間中的3D坐標單位(單位：米或千米)之間的參考圖像的轉(zhuǎn)換。

(1)參考圖像＝參考真實對象的拍攝圖像(錨點.png)為例如圖8的(b)所示的圖像201p和202p。

(2)在被包含在參考圖像中的參考真實對象的位置信息中所使用的坐標(表示在三維真實空間中的參考真實對象的位置的三維坐標數(shù)據(jù)(X,Y,Z))為例如世界坐標系中的坐標。表示參考真實對象的位置的坐標和表示點對應(yīng)信息的位置的坐標在相同的坐標空間中。

(3)至于被包含在參考圖像中的參考真實對象的方向信息，關(guān)于參考真實對象的方向信息和點對應(yīng)信息為關(guān)于相同參考點的方向信息。

在圖7中描述的HTML數(shù)據(jù)中，關(guān)于第一參考真實對象201的參考真實對象信息(第一錨點信息)包括以下數(shù)據(jù)：

上述數(shù)據(jù)的含義如下：

該數(shù)據(jù)指示數(shù)據(jù)單位和后續(xù)圖的單位為一米：

這是(2)被包含在上述參考圖像中的參考真實對象的位置信息(表示參考真實對象在三維真實空間中的位置的三維坐標數(shù)據(jù)(X,Y,Z))。

該數(shù)據(jù)指示(X,Y,Z)＝(152,44,37)。它等同于例如參考真實對象的中心位置的坐標。

這是(3)被包含在上述參考圖像中的關(guān)于參考真實對象的方向信息四元數(shù)(x,y,z:w)。該數(shù)據(jù)指示(x,y,z:w)＝(63,44,99,3.3)。

這是(4)上述的參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。

具體地，該數(shù)據(jù)指示第一參考圖像為對應(yīng)于13m寬和7m長的真實世界面積的圖像。

這是(1)參考圖像＝參考真實對象的拍攝錨點圖像(錨點1.png)。

例如，這是例如在圖8的(b)中示出的圖像201p。

圖7中描述的HTML數(shù)據(jù)還記錄作為關(guān)于第二參考真實對象202的參考真實對象信息(第二錨點信息)的以下數(shù)據(jù)：

上述數(shù)據(jù)的含義類似于關(guān)于第一參考真實對象201的參考真實對象信息(第一錨點信息)的含義。

順便提及，在圖7的示例中，存在兩個單位的參考真實對象信息(錨點信息)。然而，這是示例，并且可以在HTML數(shù)據(jù)中記錄任意數(shù)量的參考真實對象信息(錨點信息)的單位。

此外，圖7中描述的HTML數(shù)據(jù)還記錄關(guān)于注冊信息設(shè)置點，即圖8的(a)和圖8的(b)中所示的以下注冊信息設(shè)置點的信息：

(a)注冊信息設(shè)置點A(POI-A)211

(b)注冊信息設(shè)置點B(POI-B)212。

具體地，注冊以下點對應(yīng)信息：

(1)與注冊信息設(shè)置點相關(guān)聯(lián)的注冊信息

(2)關(guān)于注冊信息設(shè)置點的位置信息(表示三維真實空間中的注冊信息設(shè)置點的位置的三維坐標數(shù)據(jù)(X,Y,Z))

(3)關(guān)于注冊信息設(shè)置點的方向信息(指示來自特定參考點，例如已經(jīng)拍攝了參考圖像的相機的注冊信息設(shè)置點的方向的信息)

(1)與注冊信息設(shè)置點相關(guān)聯(lián)的注冊信息為諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點對應(yīng)注冊信息112和122的信息)。

例如，在如圖7所示的HTML數(shù)據(jù)中，關(guān)于注冊信息設(shè)置點A(POI-A)211的點對應(yīng)信息包括以下數(shù)據(jù)：

<！–html elements of poi-a--->

</div>

上述數(shù)據(jù)的含義如下：

該數(shù)據(jù)指示數(shù)據(jù)單位和后續(xù)圖的單位為一米：

這是(2)關(guān)于注冊信息設(shè)置點的位置信息(表示三維真實空間中的注冊信息設(shè)置點的位置的三維坐標數(shù)據(jù)(X,Y,Z))。

該數(shù)據(jù)指示(X,Y,Z)＝(163,43,32)。它等同于注冊信息設(shè)置點在三維真實空間中的位置坐標。

順便提及，如上所述，用在這里的坐標為例如在世界坐標系中的坐標。表示參考真實對象的位置的坐標和表示點對應(yīng)信息的位置的坐標在相同的坐標空間中。

這是(3)關(guān)于上述的注冊信息設(shè)置點的方向信息四元數(shù)(x,y,z:w)。該數(shù)據(jù)指示(x,y,z:w)＝(34,73,45,4.43)。

順便提及，如上所述，關(guān)于參考真實對象的方向信息和點對應(yīng)信息為相對于相同參考點的方向信息。

<！–html elements of poi-a--->

這是(1)與上述的注冊信息設(shè)置點相關(guān)聯(lián)的注冊信息，其為諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點對應(yīng)注冊信息112和122的信息)。

如圖7所示的HTML數(shù)據(jù)另外記錄如關(guān)于注冊信息設(shè)置點B(POI-B)212的點對應(yīng)信息的以下數(shù)據(jù)：

<！–html elements of poi-a--->

</div>

上述數(shù)據(jù)的含義與上述關(guān)于注冊信息設(shè)置點A(POI-A)211的點對應(yīng)信息的含義相同。

順便提及，在圖7的示例中，存在兩個單位的注冊信息設(shè)置點(POI)對應(yīng)信息。然而，這是示例，并且可以在HTML數(shù)據(jù)中記錄任意數(shù)量的單位的注冊信息設(shè)置點(POI)對應(yīng)信息。

如上所述，基于由搜索服務(wù)器所提供的接入信息(URL)從信息提供服務(wù)器50獲取的HTML數(shù)據(jù)(虛擬對象顯示控制數(shù)據(jù))記錄預(yù)拍攝參考圖像以及被包含在參考圖像中的關(guān)于錨點對象和在虛擬三維空間中的注冊信息設(shè)置點的位置信息。

具體地，HTML數(shù)據(jù)包括以下數(shù)據(jù)：

參考真實對象的拍攝參考圖像的數(shù)據(jù)；

包括被包含在參考圖像數(shù)據(jù)中的的參考真實對象的位置、方向等的三維位置和姿勢信息；和

包括注冊信息設(shè)置點的位置、方向等的三維位置和姿勢信息。

上述信息被信息處理裝置10用來執(zhí)行用于判定點位置識別標記的顯示位置的過程。

在圖7的示例中，HTML記錄錨點對象信息和注冊設(shè)置點信息。另選地，HTML中的虛擬對象和注冊設(shè)置點信息可以彼此相關(guān)聯(lián)地以JavaScript(注冊商標)記錄。另選地，上述信息可以按照JavaScript(注冊商標)從信息提供服務(wù)器50獲取為單獨的數(shù)據(jù)。因此，錨點對象信息和注冊點信息可以不必以HTML記錄。

由信息處理裝置(用戶終端)10的數(shù)據(jù)處理單元執(zhí)行的過程執(zhí)行以下的過程步驟，例如：

信息處理裝置(用戶終端)10的數(shù)據(jù)處理單元從信息提供服務(wù)器50輸入HTML數(shù)據(jù)(虛擬對象顯示控制數(shù)據(jù))，即記錄預(yù)拍攝參考圖像和關(guān)于被包含在虛擬3D空間坐標中的參考圖像中的真實對象和注冊信息設(shè)置點的位置信息的HTML數(shù)據(jù)。

接下來，數(shù)據(jù)處理單元檢測顯示在顯示單元上的拍攝圖像中的、與被包含在參考圖像中的真實對象相同的真實對象(錨點)。數(shù)據(jù)處理單元通過使用關(guān)于檢測到的真實對象(錨點)的三維位置信息和被記錄在虛擬對象顯示控制數(shù)據(jù)中的相對位置信息來確定用戶終端上的位置信息。順便提及，數(shù)據(jù)處理單元執(zhí)行三維位置和姿勢信息分析處理以從拍攝圖像和參考圖像確定用戶終端的位置。該過程將在后面描述。此外，數(shù)據(jù)處理單元計算在以用戶終端作為原點的坐標系中的注冊信息設(shè)置點的三維位置。

數(shù)據(jù)處理單元基于計算出的位置信息計算在顯示單元上顯示的拍攝圖像中的注冊信息設(shè)置點的顯示位置，并且在所計算的顯示位置中疊加并顯示作為虛擬對象的點位置標識標記。對于虛擬對象的疊加和顯示，CSS三維TRANSFORMS函數(shù)可以被用于三維顯示。

根據(jù)上述步驟，數(shù)據(jù)處理單元根據(jù)拍攝圖像中的注冊信息設(shè)置點顯示點位置標識標記。

順便提及，該過程步驟被記錄在由信息處理裝置10從信息提供服務(wù)器50獲取的JavaScript(注冊商標)中。

接下來，將參考圖9來描述作為由信息處理裝置10從信息提供服務(wù)器50獲取的虛擬對象顯示控制數(shù)據(jù)的一個部分的JavaScript(注冊商標)數(shù)據(jù)連同如圖7所述的HTML數(shù)據(jù)的配置示例。JavaScript(注冊商標)被用作虛擬對象的顯示控制程序。

圖9描述了基于由搜索服務(wù)器提供的接入信息(URL)從信息提供服務(wù)器50獲取的JavaScript(注冊商標)數(shù)據(jù)的一部分。

在圖9中描述的JavaScript(注冊商標)等同于記錄信息處理裝置10的過程步驟以判定點位置標識標記的顯示位置的處理程序。

將根據(jù)圖9中描述的過程步驟(S201至S209)按順序描述由信息處理裝置10的數(shù)據(jù)處理單元基于圖9中描述的JavaScript(注冊商標)執(zhí)行的過程。

(步驟S201)

首先，信息處理裝置10的數(shù)據(jù)處理單元輸入由信息處理裝置的相機拍攝的拍攝圖像輸入流。

拍攝圖像為當前通過相機輸入的圖像數(shù)據(jù)。拍攝圖像被連續(xù)地顯示在顯示單元上。順便提及，這里描述的拍攝圖像是指由相機功能拍攝的圖像，并且可以記錄或可以不記錄在存儲單元中。

(步驟S202)

接下來，在步驟S202，信息處理裝置10的數(shù)據(jù)處理單元輸入第一參考真實對象信息(第一錨點信息)。

第一參考真實對象信息(第一錨點信息)為如上參考圖7所描述的被記錄在HTML數(shù)據(jù)中的第一參考真實對象信息(第一錨點信息)。

也就是說，第一參考真實對象信息包括關(guān)于第一參考真實對象(第一錨點)的以下信息：

(1)參考圖像＝參考真實對象的拍攝圖像(錨點1.png)

(2)被包含在參考圖像中的參考真實對象的位置信息(表示參考真實對象在三維真實空間中的位置的三維坐標數(shù)據(jù)(X,Y,Z))

(3)表示被包含在參考圖像中的參考真實對象的方向信息的四元數(shù)(x,y,z:w)

(4)關(guān)于參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。

信息處理裝置10的數(shù)據(jù)處理單元從HTML數(shù)據(jù)讀出上述的第一參考真實對象信息(第一錨點信息)。

(步驟S203)

接下來，在步驟S203，信息處理裝置10的數(shù)據(jù)處理單元輸入第二參考真實對象信息(第二錨點信息)。

第二參考真實對象信息(第二錨點信息)為如上參考圖7所描述的被記錄在HTML數(shù)據(jù)中的第二參考真實對象信息(第二錨點信息)。

順便提及，在圖9的示例中，兩個單位的參考真實對象信息(錨點信息)被讀出。然而，這僅僅是示例，并且實際上，被記錄在HTML數(shù)據(jù)中的所有單位的參考真實對象信息(錨點信息)被讀出。

(步驟S204)

接下來，在步驟S204，信息處理裝置10的數(shù)據(jù)處理單元輸入注冊信息設(shè)置點A(POI-A)對應(yīng)信息。

注冊信息設(shè)置點A(POI-A)對應(yīng)信息為如上參考圖7所述的被記錄在HTML數(shù)據(jù)中的點A對應(yīng)信息。

也就是說，注冊信息設(shè)置點A(POI-A)對應(yīng)信息包括關(guān)于注冊信息設(shè)置點A的以下信息：

(1)與注冊信息設(shè)置點相關(guān)聯(lián)的注冊信息

(2)關(guān)于注冊信息設(shè)置點的位置信息(表示三維真實空間中的注冊信息設(shè)置點的位置的三維坐標數(shù)據(jù)(X,Y,Z))

(3)表示關(guān)于注冊信息設(shè)置點的方向信息的四元數(shù)(x,y,z:w)

信息處理裝置10的數(shù)據(jù)處理單元從HTML數(shù)據(jù)讀出上述點A(POI-A)對應(yīng)信息。

(步驟S205)

接下來，在步驟S205，信息處理裝置10的數(shù)據(jù)處理單元輸入注冊信息設(shè)置點B(POI-B)對應(yīng)信息。

注冊信息設(shè)置點B(POI-B)對應(yīng)信息為如上參考圖7所述的被記錄在HTML數(shù)據(jù)中的點B對應(yīng)信息。

順便提及，在圖9的示例中，兩個單位的注冊信息設(shè)置點(POI)對應(yīng)信息被讀出。然而，這僅僅是示例，并且實際上，被記錄在HTML數(shù)據(jù)中的所有單位的注冊信息設(shè)置點(POI)對應(yīng)信息被讀出。

(步驟S206)

接下來，在步驟S206中，信息處理裝置10的數(shù)據(jù)處理單元將通過用于根據(jù)參考圖像確定用戶終端中的相機的位置的過程所計算的結(jié)果(三維位置分析過程)注冊為JavaScript(注冊商標)的函數(shù)(事件處理函數(shù))。

通過使用在步驟S202至S205獲取的以下信息來執(zhí)行在步驟S206之前的定位過程：

(1)通過拍攝參考真實對象獲得的參考圖像數(shù)據(jù)和包括被包含在參考圖像數(shù)據(jù)中的參考真實對象的位置、方向等的三維位置和姿勢信息

(2)包括注冊信息設(shè)置點的位置、方向等的三維位置和姿勢信息

(3)在步驟S201輸入的拍攝圖像。

順便提及，例如，定位過程(三維位置和姿勢信息分析過程)被執(zhí)行為同時使用定位和映射(SLAM)的過程。SLAM為用于從被包含在相機拍攝圖像中的各種真實對象選擇特征點并檢測所選擇的特征點的位置以及相機的位置和姿勢的過程。另外，SLAM在由本申請的申請人作為在先申請?zhí)峤坏娜毡緦＠?380789號中描述。

為了執(zhí)行SLAM的過程，信息處理裝置10的數(shù)據(jù)處理單元輸入諸如信息處理裝置的顯示單元(顯示器)和相機的位置、方向(旋轉(zhuǎn))和面積(尺寸)的必要參數(shù)。

SLAM的三維位置和姿勢分析過程的概要如下：

首先，從相機拍攝的圖像中檢測與參考真實對象一致的真實對象。這通過從HTML數(shù)據(jù)獲取的拍攝參考真實對象的參考圖像數(shù)據(jù)和拍攝圖像的特征點比較(特征點匹配)來執(zhí)行。

接下來，基于被包含在參考圖像中的對象與被包含在相機拍攝圖像中的對象之間的差異，分析從相機拍攝圖像檢測到的拍攝對象的三維位置和姿勢。

已經(jīng)拍攝了參考圖像的相機的位置和當前圖像拍攝位置(信息處理裝置(用戶終端)的相機位置)不匹配，并且被包含在參考圖像中的對象和被包含在相機拍攝圖像的對象在方向和大小不同。

這些差異被分析，并且相機在真實空間中的三維位置和姿勢相對于對應(yīng)于從相機拍攝圖像檢測出的參考對象的拍攝圖像進行分析。

順便提及，通過使用相機設(shè)置信息，諸如信息處理裝置中的相機的鏡頭倍率、位置和方向信息以及角度信息來執(zhí)行這些分析。

接下來，計算被記錄在HTML數(shù)據(jù)中的參考真實對象的位置、方向、大小等的信息、關(guān)于在真實空間中的相機的三維位置和姿勢信息以及被包含在虛擬三維空間中的拍攝圖像中的注冊信息設(shè)置點(POI)的位置和方向。

順便提及，例如，通過上述過程計算的相機的位置由世界坐標系中的三維位置camaraPosition的坐標(Xw,Yw,Zw)表示。另外，表示相機的方向的camaraRotation和表示相機的視角的CameraViewAngle由四元數(shù)表示。

(步驟S207)

接下來，在步驟S207，信息處理裝置10的數(shù)據(jù)處理單元將注冊信息設(shè)置點A(POI-A)和注冊信息設(shè)置點B(POI-B)的三維位置坐標轉(zhuǎn)換為相機坐標。

相機坐標構(gòu)成這樣的坐標系，其中，XYZ坐標軸被設(shè)置用于相機(成像單元)的視點，其根據(jù)相機的方向在原點具有cameraPosition和cameraRotation。

在步驟S207，根據(jù)在S206通過三維定位獲得的世界坐標系中的相機的位置和方向，世界坐標系中被記錄在HTML數(shù)據(jù)中的注冊信息設(shè)置點A(POI-A)和注冊信息設(shè)置點B(POI-B)的坐標(Xw,Yw,Zw)被轉(zhuǎn)換為相機坐標系中的坐標(Xc,Yc,Zc)。

(步驟S208)

接下來，在步驟S208，信息處理裝置10的數(shù)據(jù)處理單元將注冊信息設(shè)置點A(POI-A)和注冊信息設(shè)置點B(POI-B)的相機坐標轉(zhuǎn)換為顯示單元(顯示器)坐標。

顯示單元坐標構(gòu)成例如X軸被設(shè)置在向右方向以及Y軸被設(shè)置在向左方向并且以顯示單元的左上角為原點的坐標系。在該步驟，在相機的視場外部的注冊設(shè)置點不在后續(xù)顯示過程中使用。

在步驟S208，數(shù)據(jù)處理單元將在步驟S207所計算的在相機坐標系中的注冊信息設(shè)置點A(POI-A)和注冊信息設(shè)置點B(POI-B)的坐標(Xc,Yc,Zc)轉(zhuǎn)換為顯示單元坐標(Xd,Yd)。

順便提及，為了執(zhí)行三維圖像顯示，針對左眼顯示單元和右眼顯示單元來計算顯示單元坐標。也就是說，它們是用于左眼顯示單元的顯示單元坐標(Xdl,Ydl)和用于右眼顯示單元的顯示坐標(Xdr,Ydr)。

順便提及，在該步驟，有必要根據(jù)相機坐標系中的Z軸(距離)的值設(shè)置具有視差的左眼圖像和右眼圖像，并且根據(jù)水平坐標(例如，Xdl和Xdr的坐標值)之間的視差設(shè)置差值。

順便提及，根據(jù)用于三維圖像生成過程的常規(guī)算法來執(zhí)行這些過程。

(步驟S209)

接下來，在步驟S209，信息處理裝置10的數(shù)據(jù)處理單元在注冊信息設(shè)置點A(POI-A)的顯示單元(顯示)坐標位置中顯示點A(POI-A)位置標識標記，并在注冊信息設(shè)置點B(POI-B)的顯示單元(顯示)坐標位置中顯示點B(POI-B)位置標識標記。

這些點(POI)位置標識標記為在上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的顯示圖像中顯示的點(POI)位置標識標記。

如上所述，信息處理裝置10基于由搜索服務(wù)器提供的接入信息(URL)，通過使用從信息提供服務(wù)器50獲取的HTML數(shù)據(jù)和JavaScript(注冊商標)數(shù)據(jù)，通過三維定位過程來確定相機的位置和方向，并且基于確定結(jié)果計算被包含在拍攝圖像中的注冊信息設(shè)置點(POI)的顯示單元(顯示器)坐標位置并在坐標位置中顯示點(POI)位置標識標記。

此外，具有點(POI)位置標識標記的注冊信息設(shè)置點的注冊信息在靠近點(POI)位置標識標記的顯示位置顯示。

注冊信息的顯示位置以及注冊信息和點(POI)位置標識標記的顯示模式，例如顏色、字符、角度等可以根據(jù)CSS規(guī)則設(shè)置為與來自信息提供服務(wù)器50的HTML數(shù)據(jù)和JavaScript(注冊商標)數(shù)據(jù)一起被接收的樣式表。

【4.關(guān)于由信息處理裝置執(zhí)行的過程序列】

接下來，將參考圖10所述的流程圖來描述由信息處理裝置(用戶終端)10執(zhí)行的過程的序列。

將按順序描述由信息處理裝置10執(zhí)行的以下過程。

(1)用于獲取虛擬對象顯示控制數(shù)據(jù)并顯示虛擬對象的過程以及用于諸如用戶的觸摸的事件的過程(圖10至圖11)

(2)三維定位過程的設(shè)定(圖12)

(3)基于作為三維定位的結(jié)果的事件的檢測來顯示虛擬對象的過程(圖13)

(4)用于三維定位的過程和用于將事件通知為定位結(jié)果的過程(圖14至圖15)。

順便提及，上述過程全部由信息處理裝置10的數(shù)據(jù)處理單元執(zhí)行。數(shù)據(jù)處理單元包括具有程序執(zhí)行功能的CPU，其根據(jù)存儲在信息處理裝置10的存儲單元中的程序執(zhí)行這些過程。

此外，存儲在信息處理裝置10的存儲單元中的一些程序包括從信息提供服務(wù)器50接收的程序，例如JavaScript(注冊商標)。

【4-1.用于獲取虛擬對象顯示控制數(shù)據(jù)并顯示虛擬對象的過程】

首先，將參考圖10至圖11所示的流程圖來描述用于獲取虛擬對象顯示控制數(shù)據(jù)并顯示虛擬對象的過程序列。

下面將依次描述在圖10和圖11中描述的過程流程的步驟。

(步驟S301)

首先，在步驟S301，信息處理裝置執(zhí)行信標檢測，以確定是否已經(jīng)接收到來自信標發(fā)送器的信標。

當檢測到信標時，該過程移到步驟S302。

(步驟S302)

當檢測到信標時，在步驟S302，信息處理裝置向搜索服務(wù)器請求用于獲取與信標發(fā)送器相關(guān)聯(lián)的虛擬對象顯示控制數(shù)據(jù)的地址(URL)。

當進行請求時，信息處理裝置向搜索服務(wù)器發(fā)送被包含在信標中的信標ID和終端支持的三維定位方法(定位方法)的標識信息(ID)。

(步驟S303)

接下來，在步驟S303，信息處理裝置從搜索服務(wù)器接收用于獲取與信標發(fā)送器相關(guān)聯(lián)的虛擬對象顯示控制數(shù)據(jù)的地址(URL)。

(步驟S304)

接下來，在步驟S304，信息處理裝置在顯示單元上顯示用于獲取與從搜索服務(wù)器接收到的信標發(fā)送器相關(guān)聯(lián)的虛擬對象顯示控制數(shù)據(jù)的地址(URL)。搜索服務(wù)器可發(fā)送諸如表示顯示控制數(shù)據(jù)的標題的屬性信息以及URL，并且信息處理裝置可在顯示單元上顯示容易讓用戶理解的信息，而不是URL。

(步驟S305)

接下來，在步驟S305，信息處理裝置確定用戶是否給出了用于獲取虛擬對象顯示控制數(shù)據(jù)的地址(URL)和諸如顯示在顯示單元上的標題的屬性信息的顯示指令。

當檢測到用戶的顯示指令時，該過程移到步驟S306。當沒有檢測到時，該過程返回到步驟S301。

(步驟S306)

接下來，在步驟S306，信息處理裝置激活網(wǎng)絡(luò)瀏覽器并根據(jù)指定的URL從信息提供服務(wù)器獲取由用戶訪問的虛擬對象顯示控制數(shù)據(jù)。

順便提及，如上所述，從信息提供服務(wù)器獲取的虛擬對象顯示控制數(shù)據(jù)具體由以下數(shù)據(jù)等組成：

(1)超文本標記語言(HTML)

(2)級聯(lián)樣式表(CSS)

(3)JavaScript(注冊商標)。

HTML為表示在信息處理裝置的顯示單元上顯示的虛擬對象的基本結(jié)構(gòu)的數(shù)據(jù)，并且是例如HTML 5。

CSS為定義由HTML定義的虛擬對象配置數(shù)據(jù)的顯示格式、顏色、形狀和其它的樣式表，其為定義在信息處理裝置的顯示單元上顯示的虛擬對象的樣式的數(shù)據(jù)。

JavaScript(注冊商標)為定義用于顯示虛擬對象的過程、用于更新顯示的過程或用于移動并更新虛擬對象的過程的顯示控制程序。例如，它根據(jù)用戶在顯示對象上觸摸和點擊的此類事件或根據(jù)諸如在觸發(fā)后逝去預(yù)定時間段的事件對所顯示的信息采取各種行為，諸如改變虛擬對象的顯示模式。

虛擬對象顯示控制數(shù)據(jù)為通過一個URL獲取的數(shù)據(jù)。它可以基于被包含在來自信標發(fā)送器的信標中的信標發(fā)送器標識符(ID)，通過由搜索服務(wù)器所選的接入信息(URL)獲取。

具體而言，具有諸如HTML、CSS、JavaScript(注冊商標)的部分的虛擬對象顯示控制數(shù)據(jù)包括位置信息和關(guān)于在一個特定的信標發(fā)送器附近的各種設(shè)施的指南信息。它是用于顯示虛擬對象，諸如上面參考圖3的(a)、圖3的(b)、圖4的(A)、和圖4的(b)所述的點(POI)位置標識標記和點對應(yīng)注冊信息并執(zhí)行顯示控制的數(shù)據(jù)。

(步驟S307)

接下來，在步驟S307，信息處理裝置判定虛擬對象的顯示位置和顯示模式，并且通過使用從信息提供服務(wù)器獲取的虛擬對象顯示控制數(shù)據(jù)在顯示單元上顯示該虛擬對象。順便提及，例如，通過使用網(wǎng)絡(luò)呈現(xiàn)程序和網(wǎng)頁顯示控制程序(JavaScript(注冊商標))來執(zhí)行該過程。

順便提及，在顯示單元上顯示的虛擬對象為例如與上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的注冊信息設(shè)置點(POI)相關(guān)聯(lián)的注冊信息設(shè)置點(POI)位置標識標記和注冊信息。

關(guān)于這些虛擬對象的基本信息被記錄在被包含在從信息提供服務(wù)器獲取的虛擬對象顯示控制數(shù)據(jù)中的HTML數(shù)據(jù)中?？筛鶕?jù)被包含在同樣從信息提供服務(wù)器獲取的虛擬對象顯示控制數(shù)據(jù)中的CSS來設(shè)置這些虛擬對象的顯示模式。

(步驟S308)

接下來，在步驟S308，信息處理裝置確定事件檢測的存在或不存在作為用于更新虛擬對象在顯示單元上的顯示的觸發(fā)。

例如，作為用于更新虛擬對象的顯示的觸發(fā)的事件包括各種事件，諸如用戶在顯示單元上的觸摸、從開始顯示虛擬對象起經(jīng)過預(yù)定時間以及顯示屏幕的移動。

被檢測用于執(zhí)行顯示更新的事件在由信息提供服務(wù)器所提供的JavaScript(注冊商標)中描述，并且顯示更新根據(jù)描述來執(zhí)行。

此外，事件檢測可不僅根據(jù)由信息提供服務(wù)器提供的JavaScript(注冊商標)而且根據(jù)由信息處理裝置保持的顯示控制程序來執(zhí)行，使得顯示更新可以根據(jù)檢測到的事件來執(zhí)行。

當在步驟S308檢測到作為用于更新虛擬對象在顯示單元上的顯示的觸發(fā)的任何事件時，該過程移到步驟S309。

(步驟S309)

接下來，在步驟S309，信息處理裝置基于網(wǎng)絡(luò)呈現(xiàn)程序和網(wǎng)頁顯示控制程序(JavaScript(注冊商標)等)來執(zhí)行作為事件過程的顯示數(shù)據(jù)(虛擬對象)的更新。

【4-2.用于設(shè)置定位過程錨點信息的過程】

接下來，將參考圖12所述的流程圖來描述用于設(shè)置定位過程錨點信息的過程的序列。圖12的流程圖描述根據(jù)JavaScript(注冊商標)程序的過程，其由例如在圖9中描述的JavaScript(注冊商標)程序的步驟S201至S206執(zhí)行。在圖12中描述的對象是指由JavaScript(注冊商標)處理的對象。

下面將依次描述在圖12中描述的流程圖的步驟。

(步驟S401)

首先，在步驟S401，信息處理裝置獲取包括在從信息提供服務(wù)器接收到的HTML數(shù)據(jù)中描述的參考圖像的錨點對象。HTML數(shù)據(jù)可以作為文檔對象模型(DOM)對象從JavaScript(注冊商標)程序獲取。

如上面參考圖7所述，在HTML數(shù)據(jù)中描述的錨點信息對象包括以下數(shù)據(jù)：

(1)參考圖像＝作為錨點的參考圖像(錨點1.png)

(2)被包含在參考圖像中的錨點的位置信息(表示錨點在虛擬三維真實空間中的位置的三維坐標數(shù)據(jù)(X,Y,Z))

(3)被包含在參考圖像中的錨點的方向信息(表示在虛擬三維真實空間中的方向的四元數(shù)(X,Y,Z:w))

(4)關(guān)于參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。

(步驟S402)

接下來，在步驟S402，信息處理裝置從通過使用信息處理裝置的相機功能采集的視頻采集對象獲取運動圖像流對象。

(步驟S403)

接下來，在步驟S403，信息處理裝置獲取三維位置確定過程(Spacelocalization)對象。

(步驟S404)

接下來，在步驟S404，信息處理裝置將在步驟S402獲取的運動流對象設(shè)置為三維位置計算過程(Spacelocalization)對象。通過步驟S402至S404，信息處理裝置可以在三維位置確定過程中處理由相機拍攝的運動圖像流。

(步驟S405)

接下來，在步驟S405，信息處理裝置將在步驟S401獲取的錨點對象設(shè)置為在步驟S404設(shè)置的三維位置確定過程(Spacelocalization)拍攝對象，并用錨點ID注冊(在存儲單元中存儲)該對象。因此，在HTML數(shù)據(jù)中描述的錨點信息被輸入至三維位置計算過程。

(步驟S406)

接下來，在步驟S406，信息處理裝置確定用于使所有錨點與空間位置確定過程相關(guān)聯(lián)的過程是否完成。

在該過程未完成時，該過程返回到步驟S405以將錨點對象設(shè)置為未處理數(shù)據(jù)。

在確定用于使錨點對象和空間位置計算過程相關(guān)聯(lián)的過程完成時，該過程移到步驟S407。

(步驟S407)

接下來，在步驟S407，信息處理裝置注冊三維位置確定過程(Spacelocalization)對象的事件(three-dimensional position result event)處理函數(shù)。

順便提及，事件處理函數(shù)為作為相機在被包含在錨點信息中的參考圖像的虛擬三維空間中的位置和方向的計算的結(jié)果和由相機在三維位置確定中拍攝的運動圖像流而開始的過程的觸發(fā)的事件。

具體地，這為在由信息處理裝置的成像單元拍攝的圖像由于用戶的移動、相機的拍攝方向的移動等而被移動預(yù)定量(預(yù)設(shè)定義值)并且檢測到在虛擬三維空間中的相機的位置和方向的變化時所生成的事件處理函數(shù)。在事件處理函數(shù)在步驟S407注冊時，用于計算相機的三維位置的過程通過使用三維位置計算過程(Spacelocalization)對象來開始。

順便提及，根據(jù)預(yù)定量的移動的事件生成的精度，即，事件的頻率被記錄在從信息提供服務(wù)器接收到的JavaScript(注冊商標)中。這在事件處理函數(shù)的時間設(shè)置并被輸入至三維位置確定處理單元。

【4-3.基于對虛擬對象顯示事件的檢測來顯示虛擬對象的過程】

接下來，將參考如圖13所述的流程圖來描述基于虛擬對象顯示事件的檢測的虛擬對象顯示過程的序列。該流程圖描述根據(jù)JavaScript(注冊商標)程序的過程，其在圖9中描述的JavaScript(注冊商標)程序的步驟S207至S209在三維定位過程事件函數(shù)中執(zhí)行。

將依次描述在圖13中描述的流程圖的步驟。

(步驟S501)

首先，在步驟S501，信息處理裝置確定是否已發(fā)生三維位置確定過程(Spacelocalization)對象的事件。該確定對應(yīng)于在圖12中描述的步驟S407被注冊的事件處理函數(shù)是否被調(diào)用的確定。

當在步驟S501確定已發(fā)生三維位置計算過程的事件時，該過程移到步驟S502。

(步驟S502)

當在步驟S501確定已發(fā)生顯示或更新虛擬對象的事件時，信息處理裝置在步驟S502獲取終端顯示單元(顯示器)的位置、方向和面積(尺寸)以及相機的位置、方向和角度。此步驟意味著上述信息作為如圖12所述進行注冊的事件處理函數(shù)的變元來傳遞。

(步驟S503)

接下來，在步驟S503，信息處理裝置獲取在HTML數(shù)據(jù)中描述的注冊信息設(shè)置點(POI)對應(yīng)信息(關(guān)于坐標、方向等的三維位置和姿勢信息)。如在圖12中的步驟S401所述，被記錄在HTML數(shù)據(jù)中的注冊信息設(shè)置點(POI)信息可以被JavaScript(注冊商標)程序獲取為DOM對象，如同獲取被記錄在HTML數(shù)據(jù)中的錨點信息的情況下一樣。

(步驟S504)

接下來，在步驟S504，信息處理裝置將從在步驟S503從信息提供服務(wù)器接收到的HTML數(shù)據(jù)獲取的注冊信息設(shè)置點(POI)的坐標、方向等的三維位置和姿勢信息轉(zhuǎn)換為在終端顯示單元(顯示器)坐標系中的坐標，并在POI列表中保存該信息。

在轉(zhuǎn)換過程中，存在兩個階段，即，注冊信息設(shè)置點(POI)的位置和姿勢的POI坐標被轉(zhuǎn)換為用戶終端(相機)作為原點的用戶終端坐標系，并且接著，在終端坐標系中的轉(zhuǎn)換POI坐標被進一步轉(zhuǎn)換為顯示裝置坐標系。

為了將用戶終端坐標系轉(zhuǎn)換為顯示裝置坐標系，需要在虛擬三維空間中的相機的位置和方向以及終端顯示單元(顯示器)的方向。因此，使用在步驟S502所需的信息。具體地，在顯示器的方向并不與相機的方向一致的用戶終端的情況下，考慮所給出的方向差異來計算在顯示坐標系中的POI的顯示位置是必要的。

(步驟S505)

接下來，在步驟S505，信息處理裝置確定所有的POI是否完成坐標轉(zhuǎn)換和列表注冊。

在未完成時，該過程返回到步驟S503以對未被處理的POI執(zhí)行在步驟S503和S504的過程。

在確定完成所有POI的坐標轉(zhuǎn)換和列表注冊時，該過程移到步驟S506。

(步驟S506)

當確定針對所有POI的坐標轉(zhuǎn)換和列表注冊完成時，信息處理裝置按順序從在步驟S506所生成的POI列表中選擇POI。

(步驟S507)

接下來，在步驟S507，信息處理裝置確定從該列表選擇的POI的坐標(在顯示單元坐標系中的坐標)是否落在顯示單元的顯示范圍內(nèi)。根據(jù)關(guān)于相機的位置和方向以及虛擬三維空間中的終端顯示單元(顯示器)的位置和方向的信息來確定該坐標是否落入顯示范圍內(nèi)。具體地，當信息處理裝置在顯示單元的一部分上顯示來自拍攝單元的視頻時，可以根據(jù)拍攝視頻的顯示位置來計算POI的顯示位置，并且可以將POI疊加在拍攝視頻中看到的真實對象的位置中。

當POI的坐標并未落入顯示單元的顯示范圍內(nèi)時，停止POI的處理，并且該過程返回到步驟S506，以從POI列表選擇下一個POI。

當在步驟S50中確定從該列表選擇的POI的坐標(顯示單元坐標系中的坐標)落在顯示單元的顯示范圍內(nèi)時，該過程移到步驟S508。

(步驟S508)

當確定從該列表選擇的POI的坐標(顯示單元坐標系中的坐標)落在顯示單元的顯示范圍內(nèi)時，信息處理裝置在步驟S508顯示點位置標識標記和所選POI的注冊信息。順便提及，這些虛擬對象的顯示模式例如通過使用CSS等來設(shè)置。

(步驟S509)

接下來，在步驟S509，信息處理裝置確定是否完全處理了所有POI。

當存在任何未處理的POI時，該過程返回到步驟S506，以從POI列表選擇下一個未處理的POI，并執(zhí)行步驟S507和后續(xù)的步驟。

當在步驟S509確定所有POI被完全處理時，該過程終止。

【4-4.用于三維位置確定的過程】

接下來，將參考圖14至圖15的流程圖來描述相機三維位置確定過程的序列。這些流程圖中的過程不是由在由信息提供服務(wù)器50所提供的顯示控制數(shù)據(jù)中的JavaScript(注冊商標)執(zhí)行，而是由例如被記錄在信息處理裝置的記錄單元中的程序執(zhí)行。這使得避免用于三維位置確定的算法由JavaScript(注冊商標)程序公開的問題，并且通過信息處理裝置中的硬件的高速處理等高速、高精度、低功耗地執(zhí)行三維位置確定是可能的。

下面將依次描述圖14至15中描述的流程圖的步驟。

(步驟S601)

首先，在步驟S601，信息處理裝置的數(shù)據(jù)處理單元獲取相機拍攝圖像的分辨率和相機的鏡頭倍率。該步驟通過獲取被記錄在信息處理裝置的相機控制單元的存儲器中的相機設(shè)置信息來執(zhí)行。

(步驟S602)

接下來，在步驟S602，信息處理裝置初始化被附接至信息處理裝置的運動傳感器。具體地，信息處理裝置重置過去測量的數(shù)據(jù)，并執(zhí)行初始化處理以將當前位置和傾斜度(方向)設(shè)置為初始值。運動傳感器為用于確定信息處理裝置的位置和姿勢的陀螺儀或加速度傳感器。

(步驟S603)

接下來，在步驟S603，信息處理裝置從在從信息提供服務(wù)器獲取的HTML數(shù)據(jù)(參見圖7)中描述的參考真實對象信息(錨點信息)，即，被包含在圖12中描述的步驟S405的三維位置確定過程中設(shè)置的(錨點信息)中的參考圖像中提取特征點。

(步驟S604)

接下來，在步驟S604，信息處理裝置確定用于從與在圖12中描述的步驟S405的三維位置確定過程中設(shè)置的所有參考真實對象信息(錨點信息)相對應(yīng)的參考圖像中提取特征點的過程是否完成。

當存在任何未處理的參考圖像時，該過程返回到步驟S603，以從未處理的參考圖像提取特征點。

當確定從與從信息提供服務(wù)器獲取的HTML數(shù)據(jù)(參見圖7)中描述的所有參考真實對象信息(錨點信息)相對應(yīng)的參考圖像提取特征點的過程完成時，該過程移到步驟S605。

(步驟S605)

當從與從信息提供服務(wù)器獲取的HTML數(shù)據(jù)(參見圖7)中描述的所有參考真實對象信息(錨點信息)相對應(yīng)的參考圖像提取特征點的過程完成時，信息處理裝置的數(shù)據(jù)處理單元在步驟S605開始相機拍攝圖像的輸入。

(步驟S606)

接下來，在步驟S606，信息處理裝置的數(shù)據(jù)處理單元從相機拍攝圖像的幀中提取特征點。

(步驟S607)

接下來，在步驟S607，信息處理裝置的數(shù)據(jù)處理單元獲取運動傳感器的觀測值。

(步驟S608)

接下來，在步驟S608，信息處理裝置的數(shù)據(jù)處理單元通過將參考圖像(錨點圖像)的特征點與相機拍攝圖像的特征點進行匹配來計算包括真實空間中的相機的位置和方向的三維位置和姿勢信息。該過程例如通過使用上述SLAM技術(shù)來執(zhí)行。

(步驟S609)

接下來，在步驟S609，信息處理裝置通過匹配所有參考圖像(錨點圖像)的特征點和相機拍攝圖像的特征點來確定是否完成了三維位置和姿勢信息計算過程。

當存在任何未處理的參考圖像時，該過程返回到步驟S608以處理未處理的參考圖像。

當確定所有參考圖像被完全處理時，該過程移到步驟S610。

(步驟S610)

接下來，在步驟S610，信息處理裝置基于所有參考圖像和相機拍攝圖像的特征點的匹配結(jié)果來計算關(guān)于在真實空間中的相機的位置和方向的最終三維位置和姿勢信息。

在步驟S608，計算與一個參考圖像(錨點圖像)相對應(yīng)的相機三維位置和姿勢信息，并且針對多個參考圖像計算不同的相機三維位置和姿勢信息。

在步驟S610，例如，對多個值進行平均等，以計算包括在真實空間中的相機的最終位置和方向的三維位置和姿勢信息。通過使用多個錨點參考圖像來確定三維位置和姿勢，即使當用戶移動或相機的方向改變時，也能夠進行位置確定。此外，當在相機拍攝視頻中檢測到多個錨點時，可以提高定位精度。此外，通過在終端中組合運動傳感器，即使在拍攝視頻中沒有檢測到錨點，也可以估算相機的位置和方向。

(步驟S611)

接下來，在步驟S611，信息處理裝置檢測從在前一幀中確定的相機的三維位置和姿勢到當前幀中所計算的三維位置和姿勢的變化量。通過使用對由運動傳感器檢測到的相機的運動所得的幀視頻中的運動模糊的補償來執(zhí)行檢測。通過將相機姿勢信息和關(guān)于幀視頻中的模糊的校正的信息傳遞給事件處理函數(shù)，可以根據(jù)JavaScript(注冊商標)的控制來校正在相機拍攝視頻上疊加的情況下的顯示模糊。

(步驟S612)

接下來，在步驟S612，信息處理裝置確定在步驟S611檢測到的改變量是否等于或大于預(yù)定閾值。

閾值為從顯示控制數(shù)據(jù)中的JavaScript(注冊商標)程序預(yù)先設(shè)定的并且在圖12所示的步驟S407中被保存在記錄單元中的值。

當確定顯示在顯示單元上的圖像的位置已經(jīng)改變了預(yù)定閾值或更多時，該過程移到步驟S613。

(步驟S613)

當確定相機的三維位置和姿勢已經(jīng)改變了預(yù)定閾值或更多時，信息處理裝置設(shè)置顯示單元的位置、方向和面積(尺寸)以及作為三維定位姿勢的結(jié)果的相機的位置、方向和角度信息，并且在步驟S613開始用于事件處理函數(shù)的過程。

順便提及，為了開始用于顯示和更新虛擬對象的過程，信息處理裝置的數(shù)據(jù)處理單元根據(jù)上面參照圖13所述的處理流程來執(zhí)行該過程，然后執(zhí)行用于顯示或更新虛擬對象的過程。

【5.關(guān)于作為用于啟動顯示虛擬對象或更新顯示的觸發(fā)的事件】

在上述示例中，以上將超過預(yù)定閾值等的用戶終端(相機)的位置和姿勢的變化解釋為用于顯示注冊信息設(shè)置點(POI)位置標識符和對應(yīng)于作為在顯示單元上顯示的虛擬對象的注冊信息設(shè)置點(POI)的注冊信息的過程或用于更新顯示的過程的觸發(fā)的事件的示例。

然而，根據(jù)作為用于顯示虛擬對象的過程或用于更新顯示的過程的觸發(fā)的用戶終端(相機)的位置和姿勢的變化，不僅將POI疊加和顯示在相機拍攝視頻中看到的真實對象上，而且還根據(jù)JavaScript(注冊商標)程序通過JavaScript(注冊商標)實施各種顯示過程和顯示觸發(fā)是可能的。另外，信息提供者不僅可以通過使用HTML和CSS的顯示控制函數(shù)來顯示文本中的POI，而且還提供各種顯示方法。

信息處理裝置(用戶終端)10的數(shù)據(jù)處理單元執(zhí)行用于顯示在信息處理裝置附近的注冊信息設(shè)置點的注冊信息的過程或用于更新作為觸發(fā)的根據(jù)各種預(yù)定上下文(情境)的事件的檢測的顯示的過程。

具體地，例如，數(shù)據(jù)處理單元可基于作為觸發(fā)的以下信息通過事件檢測來執(zhí)行用于開始或更新虛擬對象的顯示的過程：

(1)信息處理裝置(用戶終端)的位置

(2)時間

(3)具有信息處理裝置(用戶終端)的用戶的行為歷史

(4)被注冊在信息處理裝置或服務(wù)器中的用戶日程信息

(5)用戶物理信息(心跳、脈搏等)

(6)在商店等的銷售信息

(7)關(guān)于信息處理裝置(用戶終端)的設(shè)置信息

(8)信息處理裝置(用戶終端)的用戶的屬性(年齡、性別、興趣等)

(9)信息處理裝置(用戶終端)的用戶的視線

(1)基于作為觸發(fā)的信息處理裝置(用戶終端)的位置，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：

當攜帶信息處理裝置(用戶終端)的用戶移動時，用于開始或更新虛擬對象的顯示的過程通過檢測從信息處理裝置(用戶終端)到注冊信息設(shè)置點(POI)的距離落入預(yù)定距離(3米)內(nèi)的事件來執(zhí)行。在此情況下，在真實世界中的信息終端的位置和方向可以被來自參考真實對象信息(錨點信息)的三維位置確定過程跟蹤的狀態(tài)中，信息處理裝置(用戶終端)和注冊信息設(shè)置點(POI)的位置通過三維位置確定過程來測量，并且注冊信息設(shè)置點(POI)可不必被包含在拍攝視頻中。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊商標)定義執(zhí)行一系列下列操作的程序：

(a)測量從信息處理裝置(用戶終端)到注冊信息設(shè)置點(POI)的距離

(b)比較所測得的距離和預(yù)定閾值

(c)確定當所測得的距離變得等于或小于預(yù)定閾值時的事件的發(fā)生率。

(2)將描述基于作為觸發(fā)的時間，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：

例如，在餐館開放的上午11點，當信息處理裝置(用戶終端)的用戶在該餐館的鄰域時，該餐館的位置、該餐館的菜單等被顯示為虛擬對象。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊商標)定義執(zhí)行一系列下列操作的程序：

(a)測量從信息處理裝置(用戶終端)到注冊信息設(shè)置點(POI)的距離

(b)比較所測得的距離和預(yù)定閾值

(c)獲取當前時間

(d)確定當所測得的距離變得等于或小于預(yù)定閾值并且在用于開放注冊信息設(shè)置點(POI)(例如，餐館)的時間的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供包括作為虛擬對象的餐館的菜單等的注冊信息設(shè)置點對應(yīng)注冊信息。

(3)將描述基于信息處理裝置(用戶終端)的用戶的行為歷史，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：

信息處理裝置(用戶終端)的用戶的運動狀態(tài)(步行、奔跑或汽車、火車的高速運動等)被分析，并且根據(jù)分析信息的最佳信息被顯示為虛擬對象。

例如，當用戶在步行時，根據(jù)移動位置和速度的路線信息、觀察點指南信息、休息室位置信息等被顯示為虛擬對象。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊商標)定義執(zhí)行一系列下列操作的程序：

(a)測量從信息處理裝置(用戶終端)到注冊信息設(shè)置點(POI)的距離

(b)比較所測得的距離和預(yù)定閾值

(c)確定當所測得的距離變得等于或小于預(yù)定閾值時的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供作為虛擬對象的路線信息、觀察點指南信息、休息室位置信息等。

(4)將描述基于作為觸發(fā)的在信息處理裝置或服務(wù)器中注冊的用戶日程信息，通過事件的檢測來開始或更新虛擬對象的過程的具體示例。例如，該過程的一個具體示例如下所述。

為了執(zhí)行該處理，需要將用戶日程信息預(yù)先注冊在信息處理裝置的存儲器或信息提供服務(wù)器中。

在開始注冊日程計劃的時間或者在開始時間之前的特定時間，信息處理裝置(用戶終端)將預(yù)定計劃的指定地點、日程信息等顯示為虛擬對象。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊商標)定義執(zhí)行一系列下列操作的程序：

(a)獲取注冊日程信息

(b)獲取當前時間

(c)確定在注冊日程信息中的設(shè)定時間或在設(shè)定時間之前的特定時間的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供作為虛擬對象的預(yù)定計劃的指定地點、日程信息等。

(5)將描述基于作為觸發(fā)的用戶身體信息(心跳、脈搏等)，通過事件的檢測來開始或更新虛擬對象的過程的具體示例。例如，該過程的一個具體示例如下：

為了執(zhí)行該過程，需要設(shè)置用于將來自測量用戶身體信息的傳感器的檢測信息輸入至信息處理裝置的配置。

傳感器測量用戶的心跳、脈搏等，并將測量信息輸出至信息處理裝置。

具體地，例如，當用戶正在跑馬拉松時，用戶的信息處理裝置的數(shù)據(jù)處理單元顯示關(guān)于用戶的心跳和脈搏狀態(tài)的信息，例如，作為虛擬對象的用于鼓勵用戶深呼吸或休息的信息或者關(guān)于相鄰休息地點的指南信息。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊商標)定義執(zhí)行一系列下列操作的程序：

(a)從傳感器獲取用戶身體信息

(b)根據(jù)輸入的身體信息檢測事件。

此外，信息提供服務(wù)器向信息處理裝置提供根據(jù)用戶的心跳和脈搏狀態(tài)的信息，例如，作為虛擬對象的用于鼓勵用戶深呼吸或休息的信息或者關(guān)于相鄰休息地點的指南信息。

(6)將描述基于作為觸發(fā)的在商店等的銷售信息，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：

例如，在商店開始銷售的上午10點，當信息處理裝置(用戶終端)的用戶在該商店的鄰域時，信息處理裝置顯示作為虛擬對象的該商店的位置、該商店的銷售的描述等。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊商標)定義執(zhí)行一系列下列操作的程序：

(a)測量從信息處理裝置(用戶終端)到注冊信息設(shè)置點(POI)的距離

(b)比較所測得的距離和預(yù)定閾值

(c)獲取當前時間

(d)確定當所測得的距離變得等于或小于預(yù)定閾值并且在用于開放注冊信息設(shè)置點(POI)(例如，商店)的時間的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供包括作為虛擬對象的在商店的銷售的描述的注冊信息設(shè)置點對應(yīng)注冊信息。

(7)將描述基于信息處理裝置(用戶終端)的設(shè)置信息，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下所述。

信息處理裝置(用戶終端)的設(shè)置信息為例如關(guān)于顯示語言的設(shè)置、音頻輸出的存在或不存在的設(shè)置等。

例如，當顯示語言被設(shè)置為日語時，日語注冊信息被提供為虛擬對象。當顯示語言被設(shè)置為英語時，英語注冊信息被提供為虛擬對象。此外，當音頻輸出設(shè)置為ON時，可輸出音頻注冊信息。

此外，例如，為執(zhí)行該過程，顯示控制程序諸如JavaScript(注冊商標)定義根據(jù)上述示例和以下的操作執(zhí)行用于檢測注冊信息設(shè)置點(POI)的操作的程序：

(a)獲取信息處理裝置(用戶終端)的設(shè)置信息。

另外，信息提供服務(wù)器根據(jù)關(guān)于信息處理裝置(用戶終端)的設(shè)置信息向信息處理裝置提供語言、顯示數(shù)據(jù)或音頻數(shù)據(jù)。

(8)將描述基于信息處理裝置(用戶終端)的用戶的屬性(年齡、性別、興趣等)，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下所述。

為了執(zhí)行該處理，需要將用戶的年齡、性別、興趣等的用戶屬性信息預(yù)先注冊在信息處理裝置的存儲器或信息提供服務(wù)器中。

信息處理裝置根據(jù)注冊用戶的屬性顯示包括最佳供應(yīng)信息的虛擬對象。

(a)獲取注冊用戶的屬性信息。

另外，信息提供服務(wù)器根據(jù)關(guān)于信息處理裝置(用戶終端)的設(shè)置信息向信息處理裝置提供包括最佳供應(yīng)信息的虛擬對象。

將參考圖16和17來描述虛擬對象的具體顯示示例。

圖16示出用戶屬性信息注冊為指示用戶為三十到五十的中年男人并且喜歡喝酒的虛擬對象的顯示示例。

例如，假設(shè)具有相同屬性(三十到五十的中年男人并且喜歡喝酒)的多個用戶在公司內(nèi)散步并且攜帶他們的個人的信息處理裝置。

在此情況下，如圖16所示的虛擬對象在他們的相應(yīng)信息處理裝置上顯示。

具體地，指示提供酒的餐館和酒吧的位置的點(POI)位置標識標記301和點(POI)對應(yīng)注冊信息302按順序顯示。

圖17示出用戶屬性信息注冊為指示用戶為二十到三十的婦女并且喜歡購物的虛擬對象的顯示示例。

在此情況下，如圖17所示的虛擬對象在信息處理裝置上顯示。

具體地，指示銷售似乎二十到三十歲的婦女特別喜歡的物品的商店的位置的點(POI)位置標識標記321和點(POI)對應(yīng)注冊信息322按順序顯示。

(9)將描述基于信息處理裝置(用戶終端)的用戶的視線，通過作為觸發(fā)的事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下所述。

為了執(zhí)行該過程，需要設(shè)置用于將來自測量用戶視線的傳感器的檢測信息輸入至信息處理裝置的配置。

傳感器檢測用戶的視線的方向，并將檢測信息輸出至信息處理裝置。

信息處理裝置的數(shù)據(jù)處理單元基于優(yōu)先級執(zhí)行用于顯示存在于用戶的視線方向中的注冊信息設(shè)置點(POI)的注冊信息的過程。

(a)輸入用戶的視線的方向的檢測結(jié)果并判定顯示對象。

如上所述，各種事件可以被設(shè)置為構(gòu)成用于顯示虛擬對象的過程或用于更新顯示的過程的觸發(fā)的事件。

【6.關(guān)于信息處理裝置和服務(wù)器的配置示例】

接下來，將描述信息處理裝置(用戶終端)、信息提供服務(wù)器和搜索服務(wù)器的配置示例。

圖18為示出信息處理裝置(用戶終端)10的配置示例的框圖。

信息處理裝置10具有信標檢測單元501、數(shù)據(jù)處理單元(控制單元)502、運動傳感器503、存儲單元504、相機(成像單元)505、輸入單元506、輸出單元(顯示單元)507、通信單元508，各種傳感器509和定時器510，如圖18所示。

信標檢測單元501檢測從信標發(fā)送器20發(fā)送的信標。

數(shù)據(jù)處理單元(控制單元)502在信息處理裝置10中執(zhí)行各種數(shù)據(jù)處理操作。具體地，數(shù)據(jù)處理單元(控制單元)502例如執(zhí)行根據(jù)上述流程圖的過程。例如，數(shù)據(jù)處理單元(控制單元)502包括CPU，其具有程序執(zhí)行的功能并且根據(jù)存儲在存儲單元504中的程序來執(zhí)行過程。

運動傳感器503為檢測信息處理裝置的運動的傳感器。運動傳感器503由檢測移動的方向、傾斜度、加速度等的各種傳感器構(gòu)成。

存儲單元504例如由RAM、ROM、HDD和其它介質(zhì)構(gòu)成，以存儲由數(shù)據(jù)處理單元5602執(zhí)行的程序、各種參數(shù)等。存儲單元504另外被用作由數(shù)據(jù)處理單元執(zhí)行的數(shù)據(jù)處理的工作區(qū)。

相機(成像單元)505執(zhí)行圖像拍攝。順便提及，如上所述，在拍攝三維圖像的情況下，相機(成像單元)505在分離的位置具有兩個成像單元，并且在拍攝二維圖像的情況下，相機(成像單元)505具有一個成像單元。

輸入單元506為用于用戶輸入各種指令的用戶操作單元。順便提及，當顯示單元被配置為觸摸面板時，顯示單元也用作輸入單元。

輸出單元507由顯示單元、音頻輸出單元等組成。根據(jù)上述過程，顯示單元將真實對象顯示為相機拍攝圖像，并且將點(POI)位置標識標記和點(POI)對應(yīng)注冊信息疊加并顯示為從信息提供服務(wù)器獲取的虛擬對象。

通信單元508為與信息提供服務(wù)器、搜索服務(wù)器和其他外部裝置通信的通信單元。

各種傳感器509為測量各種用戶狀況的傳感器，例如視線傳感器和脈搏傳感器。

數(shù)據(jù)處理單元502可以根據(jù)傳感器檢測信息更新虛擬對象的顯示。

定時器510檢測當前時間、測量從預(yù)定定時起經(jīng)過的時間等。

圖19為描述由執(zhí)行各種過程的數(shù)據(jù)處理單元502執(zhí)行的數(shù)據(jù)處理程序的層配置的分解結(jié)構(gòu)圖。

數(shù)據(jù)處理單元502在操作系統(tǒng)(OS)層上執(zhí)行各種應(yīng)用。

附圖所示的通信處理應(yīng)用為用于檢測信標、獲取URL并且命令顯示處理裝置基于URL來顯示網(wǎng)頁的應(yīng)用。通信處理應(yīng)用執(zhí)行圖10中描述的步驟S301至S306。

顯示處理應(yīng)用執(zhí)行用于顯示由相機拍攝的圖像的過程、用于顯示由信息提供服務(wù)器提供的虛擬對象的過程等。

另外，顯示處理應(yīng)用執(zhí)行用于顯示顯示控制數(shù)據(jù)的過程和用于顯示虛擬對象并且在作為觸發(fā)的事件發(fā)生時更新顯示的過程。

此外，顯示處理應(yīng)用執(zhí)行用于輸出或更新顯示信息的過程，以及在圖19的顯示處理應(yīng)用下由所示的3D空間定位庫、顯示控制庫和網(wǎng)頁顯示庫所執(zhí)行的過程。

基于由相機拍攝的對象和參考圖像，3D空間定位庫執(zhí)行用于來計算信息處理裝置的三維位置、方向(傾斜度)等的三維定位過程。具體地，3D空間定位庫通過使用如上所述的SLAM技術(shù)等來執(zhí)行三維定位過程。

顯示控制庫為WebKit和JavaScript(注冊商標)的執(zhí)行單元，其執(zhí)行用于在顯示單元上顯示虛擬對象的過程和用于在發(fā)生作為觸發(fā)的諸如用戶的操作的事件的時間更新顯示的過程。

網(wǎng)頁顯示應(yīng)用由WebKit WebCore等構(gòu)成，并且執(zhí)行用于顯示網(wǎng)頁的過程。

這些應(yīng)用和庫可在OS層上操作。OS層控制由應(yīng)用執(zhí)行的全部過程，并且控制被設(shè)置在硬件(HW)層和應(yīng)用層等中的各種處理單元之間的命令、參數(shù)等的輸入/輸出等。

圖20示出可用作信息提供服務(wù)器或搜索服務(wù)器的通信裝置的硬件配置示例。

中央處理單元(CPU)701用作根據(jù)存儲在只讀存儲器(ROM)702或存儲單元708中的程序執(zhí)行各種過程的數(shù)據(jù)處理單元。例如，CPU 701根據(jù)上面關(guān)于上述示例所描述的序列來執(zhí)行過程。隨機存取存儲器(RAM)703存儲由CPU 701執(zhí)行的程序、數(shù)據(jù)等。CPU 701、ROM 702和RAM 703經(jīng)由總線704被連接在一起。

CPU 701經(jīng)由總線704連接至輸入/輸出接口705。輸入/輸出接口705被連接至由各種開關(guān)、鍵盤、鼠標、麥克風(fēng)等組成的輸入單元706和由顯示器、揚聲器等組成的輸出單元707。例如，CPU 701響應(yīng)于通過輸入單元706輸入的指令執(zhí)行各種過程，并向輸出電壓707輸出處理結(jié)果。

例如，連接至輸入/輸出接口705的存儲單元708由硬盤等組成，并且存儲由CPU 701執(zhí)行的程序和各種數(shù)據(jù)。通信單元709用作經(jīng)由諸如因特網(wǎng)和局域網(wǎng)的網(wǎng)絡(luò)進行數(shù)據(jù)通信以與外部裝置通信的發(fā)送器/接收器。

被連接至輸入/輸出接口705的驅(qū)動器710驅(qū)動諸如磁盤、光盤、磁光盤的可移除介質(zhì)711或諸如存儲卡的半導(dǎo)體存儲器，以記錄數(shù)據(jù)或讀取數(shù)據(jù)。

【7.本公開的配置的概述】

到此為止，本公開的示例已參考具體示例來詳細描述。然而，在不脫離本公開的要點的情況下，本領(lǐng)域的技術(shù)人員可以更改示例或用另一示例替換此示例是顯而易見的。也就是說，本發(fā)明已經(jīng)以例證的形式公開并且不應(yīng)以限制性的方式解讀。為確定本公開的要點，應(yīng)引入權(quán)利要求。

順便提及，本文所公開的技術(shù)可以采用以下配置：

(1)信息處理裝置，包括：

成像單元；

顯示單元，顯示由所述成像單元拍攝的圖像；以及

數(shù)據(jù)處理單元，在所述顯示單元上顯示虛擬對象，所述虛擬對象表示包含在所拍攝的圖像中的真實世界注冊信息設(shè)置點，其中

所述數(shù)據(jù)處理單元輸入虛擬對象顯示控制數(shù)據(jù)，所述虛擬對象顯示控制數(shù)據(jù)記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關(guān)于所述錨點在虛擬三維空間坐標系中的位置信息以及關(guān)于所述注冊信息設(shè)置點在虛擬三維空間坐標系中的位置信息，以及

所述數(shù)據(jù)處理單元從所述成像單元拍攝的圖像中檢測所述錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計算所述注冊信息設(shè)置點在顯示單元坐標系中的位置并基于所計算的位置顯示表示所述注冊信息設(shè)置點的虛擬對象，其中，所述顯示單元坐標系作為所述顯示單元的坐標系。

(2)根據(jù)(1)所述的信息處理裝置，其中

所述數(shù)據(jù)處理單元將從信標發(fā)送器接收的信標發(fā)送至搜索服務(wù)器，

所述數(shù)據(jù)處理單元從所述搜索服務(wù)器接收用于獲取虛擬對象顯示控制數(shù)據(jù)的接入信息，所述虛擬對象顯示控制數(shù)據(jù)記錄作為通過拍攝所述信標發(fā)送器附近的真實對象而獲得的參考圖像的錨點和所述真實對象與所述注冊信息設(shè)置點之間的相對位置信息，以及

所述數(shù)據(jù)處理單元使用接收到的所述接入信息從信息提供服務(wù)器接收包括所述信標發(fā)送器附近的真實對象信息的虛擬對象顯示控制數(shù)據(jù)。

(3)根據(jù)(1)或(2)所述的信息處理裝置，其中

所述虛擬對象顯示控制數(shù)據(jù)包括與所述注冊信息設(shè)置點對應(yīng)的注冊信息，以及

所述數(shù)據(jù)處理單元將點位置標識標記和所述注冊信息疊加并顯示在所述顯示單元上顯示的拍攝圖像上。

(4)根據(jù)(1)到(3)中任一者所述的信息處理裝置，其中

所述虛擬對象顯示控制數(shù)據(jù)包括超文本標記語言(HTML)數(shù)據(jù)，所述超文本標記語言(HTML)數(shù)據(jù)記錄作為通過拍攝真實對象所獲得的參考圖像的錨點和所述注冊信息設(shè)置點在三維空間中的位置信息，以及

所述數(shù)據(jù)處理單元使用所述HTML數(shù)據(jù)執(zhí)行用于計算所述注冊信息設(shè)置點在顯示單元坐標系中的位置的過程。

(5)根據(jù)(1)到(4)中任一者所述的信息處理裝置，其中

所述虛擬對象顯示控制數(shù)據(jù)包括記錄用于計算所述注冊信息設(shè)置點的位置相對于所述信息處理裝置的位置的過程的步驟的程序，以及

所述數(shù)據(jù)處理單元使用所述程序執(zhí)行用于計算所述注冊信息設(shè)置點的顯示位置的過程。

(6)根據(jù)(1)到(5)中任一者所述的信息處理裝置，其中

所述數(shù)據(jù)處理單元使用同時定位和地圖構(gòu)建(SLAM)來執(zhí)行用于從所述錨點的參考圖像計算所述信息處理裝置的三維位置的過程。

(7)根據(jù)(1)到(6)中任一者所述的信息處理裝置，其中

所述信息處理裝置具有檢測所述信息處理裝置的運動的運動傳感器，以及

所述數(shù)據(jù)處理單元使用來自所述運動傳感器的輸入信息和從所拍攝的圖像檢測到的真實對象(錨點)來執(zhí)行用于計算所述信息處理裝置的三維位置的過程。

(8)根據(jù)(1)至(7)中的任一者所述的信息處理裝置，其中，所述數(shù)據(jù)處理單元根據(jù)在所述顯示單元上顯示的所拍攝的圖像的運動最新計算所述注冊信息設(shè)置點相對于所述信息裝置的位置，并且執(zhí)行用于在新計算的位置中顯示點的顯示更新過程。

(9)根據(jù)(1)至(8)中的任一者所述的信息處理裝置，其中，所述數(shù)據(jù)處理單元根據(jù)記錄在所述虛擬對象顯示控制數(shù)據(jù)中的事件的檢測，執(zhí)行用于顯示所述虛擬對象或更新所述顯示的過程。

(10)根據(jù)(1)到(9)中任一者所述的信息處理裝置，其中

所述顯示單元為能夠顯示三維圖像的顯示單元，以及

所述數(shù)據(jù)處理單元計算用于左眼圖像和右眼圖像中的每一者的注冊信息設(shè)置點的顯示位置，并且在所計算的顯示位置中疊加并顯示作為虛擬對象的所述點位置標識標記。

(11)信息提供服務(wù)器，包括：

存儲單元，存儲包括在信標發(fā)送器附近的真實對象信息的虛擬對象顯示控制數(shù)據(jù)；以及

通信單元，根據(jù)來自所述信息處理裝置的獲取控制信息請求傳送所述虛擬對象顯示控制數(shù)據(jù)，其中

所述虛擬對象顯示控制數(shù)據(jù)為以下信息：該信息記錄拍攝的在所述信標發(fā)送器附近的真實對象的參考圖像和關(guān)于包含在所述參考圖像中的所述真實對象和所述真實對象附近的注冊信息設(shè)置點在虛擬三維空間中的位置信息。

(12)根據(jù)(11)所述的信息提供服務(wù)器，其中

所述虛擬對象顯示控制數(shù)據(jù)包括：

超文本標記語言(HTML)數(shù)據(jù)，記錄關(guān)于所述真實對象和所述注冊信息設(shè)置點在虛擬三維空間坐標中的位置信息，以及

記錄用于計算所述注冊信息設(shè)置點在所述信息處理裝置的顯示單元上的顯示位置的過程的步驟的程序。

(13)搜索服務(wù)器，包括：

通信單元，從信息處理裝置接收由所述信息處理裝置接收到的信標的傳送信號；以及

數(shù)據(jù)處理單元，基于所傳送的信標執(zhí)行用于向所述信息處理裝置發(fā)送用于獲取虛擬對象顯示控制數(shù)據(jù)的接入信息的過程，所述虛擬對象顯示控制數(shù)據(jù)記錄包括在所述信標的發(fā)送器附近的真實對象的參考圖像以及關(guān)于所述真實對象和所述注冊信息設(shè)置點在虛擬三維空間坐標中的位置信息。

(14)由信息處理裝置執(zhí)行的信息處理方法，其中

所述信息處理裝置包括成像單元、顯示由所述成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，所述數(shù)據(jù)處理單元在所述顯示單元上顯示虛擬對象，所述虛擬對象表示包含在所拍攝的圖像中的真實世界注冊信息設(shè)置點，

(15)促使信息處理裝置執(zhí)行信息處理的程序，其中

所述信息處理裝置包括成像單元、顯示由所述成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，所述數(shù)據(jù)處理單元在所述顯示單元上顯示虛擬對象，所述虛擬對象表示包含在所拍攝的圖像中的真實世界注冊信息設(shè)置點，以及

所述程序使所述數(shù)據(jù)處理單元：

輸入虛擬對象顯示控制數(shù)據(jù)，所述虛擬對象顯示控制數(shù)據(jù)記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關(guān)于所述錨點在虛擬三維空間坐標系中的位置信息以及關(guān)于所述注冊信息設(shè)置點在虛擬三維空間坐標系中的位置信息，以及

從所述成像單元拍攝的圖像中檢測所述錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計算所述注冊信息設(shè)置點在顯示單元坐標系中的位置并基于所計算的位置顯示表示所述注冊信息設(shè)置點的虛擬對象，其中，所述顯示單元坐標系作為所述顯示單元的坐標系。

另外，本文中所述的一系列過程可以通過硬件、軟件或兩者的組合來執(zhí)行。在通過軟件執(zhí)行該過程的情況下，記錄過程序列的程序可以被安裝在并入專用硬件中的計算機的存儲器中以用于執(zhí)行，或者可以被安裝在能夠執(zhí)行各種過程的通用計算機中以用于執(zhí)行。例如，可以將該程序預(yù)先記錄在記錄介質(zhì)中。程序可以從記錄介質(zhì)安裝到計算機中，或者程序可以經(jīng)由諸如局域網(wǎng)(LAN)和因特網(wǎng)的網(wǎng)絡(luò)接收并且被安裝在諸如內(nèi)部硬盤等的記錄介質(zhì)中。

順便提及，本文所述的各種過程可根據(jù)描述按時間順序執(zhí)行，或者可根據(jù)執(zhí)行過程的裝置的性能或根據(jù)需要并行或單獨地執(zhí)行。另外，本文所述的系統(tǒng)為多個裝置的邏輯組合，但是作為組成元件的裝置可不被包含在同一外殼中。

工業(yè)適用性

如上所述，根據(jù)本公開的示例的配置，可以實現(xiàn)一種裝置和方法，通過該裝置和方法將注冊信息設(shè)置點(POI)轉(zhuǎn)換至坐標系，其中，信息處理裝置的位置在原點與真實三維空間中的真實對象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊信息。

具體地，記錄作為通過拍攝真實對象獲得的參考圖像的錨點的顯示控制數(shù)據(jù)以及該錨點和注冊信息設(shè)置點在虛擬三維空間坐標中的位置信息(位置、方向等)被輸入，該錨點從拍攝圖像被檢測、信息裝置在虛擬三維空間中的位置被確定、在終端坐標系中的三維位置和顯示裝置在二維坐標系中的顯示位置根據(jù)所確定的三維位置和被記錄在顯示控制數(shù)據(jù)中的注冊信息設(shè)置點的位置信息來計算以及點位置被顯示。

附圖標號列表

10 信息處理裝置(用戶終端)

20 信標發(fā)送器

30 網(wǎng)絡(luò)

40 搜索服務(wù)器

50 信息提供服務(wù)器

101和102 注冊信息設(shè)置點(POI)

111和121 點(POI)位置標識標記

121和122 點(POI)對應(yīng)注冊信息

201和202 參考真實對象

211和212 注冊信息設(shè)置點(POI)

301 點(POI)位置標識標記

302 點(POI)對應(yīng)注冊信息

321 點(POI)位置標識標記

322 點(POI)對應(yīng)注冊信息

501 信標檢測單元

502 數(shù)據(jù)處理單元(控制單元)

503 運動傳感器

504 存儲單元

505 相機

506 輸入單元

507 輸出單元(顯示單元等)

508 通信單元

509 各種傳感器

510 定時器

701 CPU

702 ROM

703 RAM

704 總線

705 輸入/輸出接口

706 輸入單元

707 輸出單元

708 存儲單元

709 通信單元

710 驅(qū)動器

711 可移除介質(zhì)

完整全部詳細技術(shù)資料下載

當前第1頁1 2 3

該技術(shù)已申請專利。僅供學(xué)習(xí)研究，如用于商業(yè)用途，請聯(lián)系技術(shù)所有人。
技術(shù)研發(fā)人員：五十嵐卓也;吉川典史;
技術(shù)所有人：索尼公司;
我是此專利的發(fā)明人

該領(lǐng)域下的技術(shù)專家
如您需求助技術(shù)專家，請點此查看客服電話進行咨詢。
1、李老師：1.計算力學(xué) 2.無損檢測
2、畢老師：機構(gòu)動力學(xué)與控制
3、袁老師：1.計算機視覺 2.無線網(wǎng)絡(luò)及物聯(lián)網(wǎng)
4、王老師：1.計算機網(wǎng)絡(luò)安全 2.計算機仿真技術(shù)
5、王老師：1.網(wǎng)絡(luò)安全；物聯(lián)網(wǎng)安全、大數(shù)據(jù)安全 2.安全態(tài)勢感知、輿情分析和控制 3.區(qū)塊鏈及應(yīng)用
如您是高校老師，可以點此聯(lián)系我們加入專家?guī)臁?/a>