專利名稱：移動時空定位影音數(shù)據(jù)的自適應獲取與發(fā)送裝置的制作方法
技術領域：
本發(fā)明涉及的移動時空定位影音數(shù)據(jù)的自適應獲取，具體分為移動時空定位數(shù)據(jù) 的自適應獲取、影音數(shù)據(jù)的自適應獲取和移動時空定位影音數(shù)據(jù)融合三部分。
移動時空定位數(shù)據(jù)的自適應獲取 移動時空定位數(shù)據(jù)的自適應獲取過程，依據(jù)定位方式優(yōu)先級順序執(zhí)行，結合圖4， 自適應獲取的具體步驟為 1、通過現(xiàn)場處理設備內置的衛(wèi)星定位模塊(GPS)進行定位，自動判斷有無GPS信 號。在衛(wèi)星信號接收正常時，直接通過接收GPS信號提取當前GPS定位數(shù)據(jù)，在衛(wèi)星信號無 法正常接收時，轉步驟2進入無線局域網定位模式。 2、通過現(xiàn)場處理設備內置的無線局域網定位/傳輸模塊進行定位，自動判斷有無 無線局域網信號。在無線局域網信號接收正常時，接收信號的同時，從網絡數(shù)據(jù)包的包頭中 獲取無線局域網發(fā)射設備的識別碼(SSID)信息，時空定位數(shù)據(jù)自適應獲取模塊自動利用 獲取到的識別碼(SSID)信息對安裝于現(xiàn)場處理設備中的無線局域網發(fā)射器位置數(shù)據(jù)庫進 行查詢，獲取識別碼(SSID)信息所對應的記錄，從記錄中提取相應的無線局域網發(fā)射器位 置數(shù)據(jù)作為當前位置定位數(shù)據(jù)，并由數(shù)據(jù)傳輸模塊轉換為GPS位置數(shù)據(jù)。在無線局域網信 號無法正常接收時，則轉步驟3進入無線廣域網定位模式。 3、通過現(xiàn)場處理設備內置的無線廣域網定位/傳輸模塊進行定位，自動判斷有無 無線廣域網信號。在無線廣域網信號接收正常時，自動進入無線廣域網定位模式，通過時空 定位數(shù)據(jù)自適應獲取模塊控制無線廣域網定位/傳輸模塊獲取注冊蜂窩小區(qū)ID號，然后匹 配地圖先驗數(shù)據(jù)庫，從記錄中提取相應的蜂窩小區(qū)中心位置信息作為當前位置數(shù)據(jù)，并由 格式轉換模塊轉換為GPS位置數(shù)據(jù)。在無線廣域網信號無法正常接收時，則返回步驟1循 環(huán)搜索。 影音數(shù)據(jù)的自適應獲取 現(xiàn)場處理設備通過USB接口，可外接多種影音采集設備。本發(fā)明涉及的影音源采 集設備，負責采集照片(靜態(tài)圖像、全景照片)、動態(tài)視、音頻，具體包括數(shù)碼相機、全景相 機、數(shù)碼攝像機(配有視頻模/數(shù)轉換設備，如模數(shù)轉換卡或數(shù)字信號采集卡)、麥克風。
1、通過現(xiàn)場處理設備上所提供的USB接口和音頻輸入接口 ，對外部影音源采集設 備(包括攝像機、全景相機、普通數(shù)碼相機、麥克風)進行連接。 2、通過現(xiàn)場處理設備上安裝的XPE操作系統(tǒng)模塊，自動判斷USB接口所連接設備 的類型。如果是全景相機，則轉步驟3執(zhí)行。如果是普通數(shù)碼相機，則轉步驟4執(zhí)行。如果 是攝像機則轉步驟5執(zhí)行。 3、通過影音數(shù)據(jù)自適應獲取模塊，結合廠商提供的SDK(SoftwareDevelopment Kit的縮寫，中文意思為軟件開發(fā)工具包)驅動全景相機，按位移變化量或等時間間隔進行 圖像實時獲取，并將全景相機一次獲取的多張圖片進行合成，生成一張JPG格式圖片。獲取 的照片格式文件存儲在存儲模塊中，然后，由格式轉換模塊控制自動將存儲好的照片格式 文件按順序送入數(shù)據(jù)融合及編碼模塊，再結合現(xiàn)場處理設備上音頻輸入接口采集到的音頻 數(shù)據(jù)，以及上述提取的GPS位置數(shù)據(jù)，根據(jù)工作模式設置的編碼參數(shù)，進行實時數(shù)據(jù)融合，
7生成流媒體文件格式的移動時空定位影音數(shù)據(jù)。 4、通過影音數(shù)據(jù)自適應獲取模塊，結合廠商提供的SDK驅動普通數(shù)碼相機，按位 移變化量或等時間間隔進行圖像實時獲取，生成JPG格式圖片。獲取的照片格式文件存儲 在存儲模塊中，然后，由格式轉換模塊控制自動將存儲好的照片格式文件按順序送入數(shù)據(jù) 融合及編碼模塊，再結合現(xiàn)場處理設備上音頻輸入接口采集到的音頻數(shù)據(jù)，以及上述提取 的GPS位置數(shù)據(jù)，根據(jù)工作模式設置的編碼參數(shù)，進行實時數(shù)據(jù)融合，生成流媒體文件格式 的移動時空定位影音數(shù)據(jù)。 5、通過影音數(shù)據(jù)自適應獲取模塊和視頻模/數(shù)轉換設備，將攝像機實時采集的模 擬視頻信息轉換為數(shù)字視頻信息，再結合現(xiàn)場處理設備上音頻輸入接口采集到的音頻信 息，以及上述提取的GPS位置數(shù)據(jù)，根據(jù)工作模式設置的編碼參數(shù)，進行實時數(shù)據(jù)融合，生 成流媒體文件格式的移動時空定位影音數(shù)據(jù)。
移動時空定位影音數(shù)據(jù)融合 將移動時空定位數(shù)據(jù)和影音數(shù)據(jù)進行融合，本發(fā)明的數(shù)據(jù)融合及編碼軟件模塊支 持兩種融合方式。 1.基于ASF數(shù)據(jù)融合技術獲得可定位流媒體的方式
2.自定義編解碼文件的融合方式。
移動時空定位影音數(shù)據(jù)的自適應傳輸 本發(fā)明涉及的移動時空定位影音數(shù)據(jù)的自適應傳輸，如圖l和圖6所示，其工作 流程為首先，移動終端中的現(xiàn)場處理設備按照"空間位移的變化量判斷為主、位置判斷和 傳輸帶寬判斷為輔"的方式自動選擇優(yōu)勢無線網絡并自動匹配之傳輸帶寬相適應的工作模 式；其次，現(xiàn)場處理設備的無線局域網定位/傳輸模塊和無線廣域網定位/傳輸模塊通過選 定的無線傳輸網絡，將移動時空定位影音數(shù)據(jù)傳輸?shù)娇刂浦行模蛔詈?，用戶通過客戶端軟件 可以實時觀看移動時空定位影音數(shù)據(jù)或從服務器調閱歷史數(shù)據(jù)。其具體實施步驟如下
按照"空間位移變化量判斷為主、位置和傳輸帶寬判斷為輔"的方式自動選擇無線 網絡，具體如下 由于受到多種條件限制，沒有哪一種無線網絡，可以完全勝任在任何時間、任何地 點能夠快速、方便、快捷、靈活地獲取移動時空定位影音數(shù)據(jù)的需求，本發(fā)明的現(xiàn)場處理設 備，負責將移動時空定位影音數(shù)據(jù)，根據(jù)不同場合下不同的需求，通過不同的傳輸網絡(如 圖l所示)傳輸?shù)交ヂ?lián)網。本發(fā)明內置無線局域網定位/傳輸模塊和無線廣域網定位/傳 輸模塊，支持以無線廣域網、無線局域網方式的Internet接入。 本發(fā)明具體支持的無線網絡包括CDMA\GPRS網絡(中國電信、中國移動)、EDGE
網路(中國移動)、3G (中國電信、中國聯(lián)通、中國移動)、無線局域網(中國電信)。 針對專利(200510094729.0)中提出"一種實時多模式無線視頻監(jiān)控裝置及其
控制方法"的缺陷，即在移動情況下，其裝置會頻繁搜索、切換傳輸網絡，而且實際使用中
CDMA、GPRS網絡傳輸帶寬有限，無法保證移動狀態(tài)下大分辨率影音數(shù)據(jù)的傳輸，易導致裝置
無法正常工作。 本發(fā)明提出了一種優(yōu)化方案，即按照"空間位移的變化量判斷為主、位置判斷和傳 輸帶寬判斷為輔"的方式自動選擇無線網絡。其流程為首先，現(xiàn)場處理設備的網絡選擇及 工作模式選擇軟件模塊開始工作，結合當前移動終端空間位移的變化量，判斷移動終端處
8于相對靜止狀態(tài)還是移動狀態(tài)(所述相對靜止狀態(tài)和移動狀態(tài)可以由用戶根據(jù)應用的要 求和工作要求自行設定，例如可以設定移動終端空間位移的變化量(每5秒間隔有效坐標 的差值)大于50m，則為移動狀態(tài)，否則為相對靜止狀態(tài))。如處于相對靜止狀態(tài)，則以位置 判斷(當前處于城區(qū)還是郊區(qū))和傳輸帶寬由大到小順序作為輔助判斷，順序選擇無線局 域網、3G、EDGE、 CDMA/GPRS網絡中的一種；如處于移動狀態(tài)，則以位置判斷(通過預先在現(xiàn) 場處理設備上安裝的電子地圖判斷當前處于城區(qū)還是郊區(qū))和傳輸帶寬由大到小順序作 為輔助判斷，選擇當前最佳的無線廣域網絡(3G、 EDGE、 CDMA/GPRS網絡)，放棄選擇無線局 域網，從而降低網絡切換的頻率。以上描述工作流程，按固定時間循環(huán)執(zhí)行。
工作模式自適應匹配
1、工作模式 工作模式分為六種定點高清模式、現(xiàn)場采訪模式、高速車載模式、慢速巡檢模式、
視頻為主模式、音頻為主模式。具體工作模式匹配對照表如表1所示。
1)定點高清模式適合用于相對靜止狀態(tài)下城區(qū)內的無線局域網數(shù)據(jù)傳輸； 2)現(xiàn)場采訪模式適合用于相對靜止狀態(tài)下城區(qū)內的3G網絡數(shù)據(jù)傳輸； 3)高速車載模式適合用于高速移動狀態(tài)下城區(qū)內的3G網絡數(shù)據(jù)傳輸； 4)慢速巡檢模式適合用于相對靜止狀態(tài)下的EDGE網絡數(shù)據(jù)傳輸； 5)視頻為主模式適合用于高速移動狀態(tài)下的EDGE網絡數(shù)據(jù)傳輸； 6)音頻為主模式適合用于CDMA\GPRS網絡數(shù)據(jù)傳輸。 表1
無線網絡相對靜止狀態(tài)移動狀態(tài).城區(qū)郊區(qū)城區(qū)郊區(qū)
無線局域網定點高清模式
3G現(xiàn)場采訪模式車載高速模式
EDGE慢速巡檢模式慢速巡檢模式視頻為主模式視頻為主模式
CDMA\GPRS音頻為主模式音頻為主模式音頻為主模式音頻為主模式 2、工作模式自適應匹配軟件流程 根據(jù)"空間位移的變化量判斷為主、位置判斷和傳輸帶寬判斷為輔"的方式選擇無 線網絡后，程序自動匹配對應的工作模式，其判斷匹配的軟件流程如圖6所示，具體步驟如 下 1)程序模塊根據(jù)定位模塊接收的位置坐標，計算每5秒間隔有效坐標的差值。
2)將計算的差值與先前設定的閾值(位移50米)進行比較，如果差值小于或等于 閾值，則判定移動終端處于相對靜止狀態(tài)，則轉步驟3)繼續(xù)執(zhí)行；如果差值大于閾值，則判 定移動終端處于移動狀態(tài)，則轉步驟4)繼續(xù)執(zhí)行。 3)在相對靜止狀態(tài)下，根據(jù)當前現(xiàn)場處理設備的位置信息，結合預先在現(xiàn)場處理
設備上安裝的電子地圖上指定的城區(qū)/郊區(qū)分界區(qū)域，判斷當前所處位置。 參如果處于城區(qū)，無線信號覆蓋齊全，包括無線局域網、3G、EDGE以及CDMA/
GPRS.。根據(jù)無線網絡的帶寬優(yōu)先級進行判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為 ①.判斷當前位置是否覆蓋無線廣域網信號，如果無，則轉步驟②；如果有，則采 用定點高清模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返 回步驟2)，重新判斷。 ②.判斷當前位置是否覆蓋3G信號，如果無，則轉步驟③；如果有，則采用現(xiàn)場 采訪模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟 2)，重新判斷。 ③.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟④；如果有，則采用慢速 巡檢模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟 2)，重新判斷。
.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信
號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定
位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟2)，重新判斷。 參如果處于郊區(qū)，則放棄選擇3G網絡和無線局域網，在EDGE、CDMA/GPRS網絡中按
帶寬優(yōu)先級順序判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為 ①.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟②；如果有，則采用慢速
巡檢模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟
2)，重新判斷。 ②.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信 號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定 位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟2)，重新判斷。4)在移動 狀態(tài)下，根據(jù)當前現(xiàn)場處理設備的位置信息，結合預先在現(xiàn)場處理設備上安裝的電子地圖 上指定的城區(qū)/郊區(qū)分界區(qū)域，判斷當前位置所處位置。 參如果處于城區(qū)，雖然具有無線局域網無線信號，但是無線局域網覆蓋范圍有限，
無法適應移動狀態(tài)下的數(shù)據(jù)傳輸，因此不選用無線局域網。根據(jù)無線網絡的帶寬優(yōu)先級進
行判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為 ①.判斷當前位置是否覆蓋3G信號，如果無，則轉步驟②；如果有，則采用車載
高速模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟
2)，重新判斷。. ②.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟③；如果有，則采用視頻 為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟 2)，重新判斷。 ③.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信
號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定
位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟2)，重新判斷。 參如果處于郊區(qū)，則放棄選擇3G網絡和無線局域網，在EDGE、CDMA/GPRS網絡中按
帶寬優(yōu)先級順序判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為 ①.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟②；如果有，則采用視頻
為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出 傳輸中斷超時，則返回步驟
102)，重新判斷。 ②.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信 號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定 位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時，則返回步驟2)，重新判斷。
加密遠程傳輸和控制中心服務器管理 移動終端以VPN方式(加密傳輸方式)由移動網絡接入互聯(lián)網，再由互聯(lián)網接入 內網，移動時空定位影音數(shù)據(jù)可安全的傳至控制中心的服務器集群之中?？刂浦行闹械姆?務器管理程序，負責協(xié)調、統(tǒng)一管理橋接服務器、網關服務器、視頻服務器、數(shù)據(jù)庫服務器、 地圖服務器，并完成對數(shù)據(jù)的存儲和調用。
客戶端顯示 客戶端顯示應用程序，負責遠程實時觀看移動時空定位影音數(shù)據(jù)或從服務器調閱 歷史數(shù)據(jù)。從移動時空定位影音數(shù)據(jù)中獲取定位數(shù)據(jù)后，在觀看影音數(shù)據(jù)的同時，可在屏幕 上實現(xiàn)地圖監(jiān)控功能?，F(xiàn)場處理設備和客戶端之間，支持雙向及時通訊，具體功能包括雙 向文字、語音及時通訊；接收文字自動語音播報。
本發(fā)明所涉及的移動時空定位影音數(shù)據(jù)的自適應獲取與傳輸，其優(yōu)點為
1、自動判斷選擇衛(wèi)星定位、無線廣域網定位或無線局域網定位方式，獲取定位信 息，并將不同定位方式獲取的定位信息自動轉換成統(tǒng)一的定位數(shù)據(jù)格式。彌補了定位手段 單一的缺陷。 2、自動判斷接入的影音數(shù)據(jù)源設備(數(shù)碼相機、全景相機、數(shù)碼攝像機或麥克 風)，并從影音數(shù)據(jù)源設備中提取不同格式的影音數(shù)據(jù)，自動轉換成統(tǒng)一格式的影音數(shù)據(jù)。 彌補了影音數(shù)據(jù)獲取設備單一 的缺陷。 3、按照"空間位移變化量判斷為主、位置和傳輸帶寬判斷為輔"的方式自動選擇無 線網絡。彌補了無線網絡頻繁切換的缺陷，滿足了連續(xù)、正常、優(yōu)質移動時空定位影音數(shù)據(jù) 傳輸?shù)男枰?4、根據(jù)自動選擇的無線網絡，自動匹配移動時空定位影音數(shù)據(jù)傳輸?shù)墓ぷ髂Ｊ健?彌補了效無線網絡傳輸帶寬與工作模式匹配不協(xié)調的缺陷，最大程度的合理利用了有效無 線網絡傳輸帶寬。


附圖1 :移動時空定位影音數(shù)據(jù)獲取與傳輸系統(tǒng)示意圖 附圖2 :移動時空定位影音數(shù)據(jù)的自適應獲取與發(fā)送裝置(現(xiàn)場處理設備)硬件 模塊組成示意圖 附圖3 :移動時空定位影音數(shù)據(jù)的自適應獲取與發(fā)送裝置(現(xiàn)場處理設備)軟件 模塊組成示意圖 附圖4 :時空定位數(shù)據(jù)自適應獲取模塊程序框圖(包含格式轉換模塊的定位數(shù)據(jù) 格式轉換) 附圖5 :影音數(shù)據(jù)自適應獲取模塊程序框圖 附圖6 :自動網絡選擇及工作模式選擇模塊程序框圖 附圖7 :現(xiàn)場處理設備屏幕顯示截圖
11
附圖8 :客戶端顯示軟件屏幕截圖 附圖9 :全景相機多張照片合成屏幕截圖 附圖10 :移動時空定位全景照片客戶端顯示軟件屏幕截圖 附圖11 :現(xiàn)場處理設備屏幕顯示移動時空定位影音數(shù)據(jù)獲取屏幕截圖 附圖12 :移動時空定位影音數(shù)據(jù)客戶端顯示軟件屏幕截圖
具體實施例方式
結合附圖和實施例，對本發(fā)明作進一步詳細說明。
實施例 —、相關硬件設備準備 1.現(xiàn)場處理設備 本發(fā)明的現(xiàn)場處理設備裝置，包含嵌入式處理模塊、無線局域網定位/傳輸模 塊、無線廣域網定位/傳輸模塊、存儲模塊、顯示模塊、電源控制模塊。其具體配置為
1)6路USB2. 0接口 、音頻接口 、 RS-232接口 ;
2)嵌入式低功耗移動工控主板，內置嵌入式芯片組； 3)內置ZTE AC560CDMA20001X/EVD0無線模i央，支持3G網絡或CDMA網絡數(shù)據(jù)傳輸 和定位； 4)內置HUAWEI EG162EDGE/GPRS無線模塊，支持EDGE網絡或GPRS網絡數(shù)據(jù)傳輸 和定位； 5)內置Intel PRO/Wireless 3945ABG(Tri-mode 802. lla/b/g)無線局域網模 塊，支持無線局域網數(shù)據(jù)傳輸和定位； 6) 1G內存、16G固態(tài)硬盤和4GB可插式SD存儲卡； 7) 5寸640*480分辨率觸摸式液晶屏，以LVDS方式和嵌入式主板連接； 8)DC-DC電源模塊、10. 4Ahl6芯鋰電池，可支持現(xiàn)場處理設備連續(xù)工作6_8小時。9)衛(wèi)星定位采用HOLUX GPSlim236型藍牙GPS衛(wèi)星接收機； 2.影音數(shù)據(jù)采集設備 1)視頻采集，采用SONY DSR-PDX10P數(shù)字攝錄一體機；
2)視頻模/數(shù)轉換，采用天敏UV200型視頻采集卡； [OH2] 3)音頻采集，采用Jabra BT2010型藍牙麥克風(含耳機)；
4)照片采集，采用NIKON D80數(shù)碼單鏡反光相機； 5)全景照片采集，采用Point Grey Research公司Ladybug2 (1394b)全景相機。
二、移動時空定位影音數(shù)據(jù)的自適應獲取 本發(fā)明涉及的移動時空定位影音數(shù)據(jù)的自適應獲取，具體分為移動時空定位數(shù)據(jù) 的自適應獲取、影音數(shù)據(jù)的自適應獲取和移動時空定位影音數(shù)據(jù)融合三部分。
(1)移動時空定位數(shù)據(jù)的自適應獲取 移動時空定位數(shù)據(jù)的自適應獲取過程，依據(jù)定位方式優(yōu)先級順序執(zhí)行，結合圖4， 自適應獲取的具體步驟為 1.通過現(xiàn)場處理設備內置的衛(wèi)星定位模塊(GPS)進行定位，自動判斷有無GPS信 號。在衛(wèi)星信號接收正常時，直接通過接收GPS信號提取當前GPS位置數(shù)據(jù)，在衛(wèi)星信號無
12法正常接收時，轉步驟2進入無線局域網定位模式。 2.通過現(xiàn)場處理設備內置的無線局域網定位/傳輸模塊進行定位，自動判斷有 無無線局域網信號。在無線局域網信號接收正常時，接收信號的同時，從網絡數(shù)據(jù)包的包 頭中獲取無線局域網發(fā)射設備的識別碼(SSID)信息，程序模塊自動利用獲取到的識別碼 (SSID)信息對安裝于現(xiàn)場處理設備中的無線局域網發(fā)射器位置數(shù)據(jù)庫進行查詢，獲取識別 碼(SSID)信息所對應的記錄，從記錄中提取相應的無線局域網發(fā)射器位置信息作為當前 位置信息，并轉換為GPS位置數(shù)據(jù)。在無線局域網信號無法正常接收時，則轉步驟3進入無 線廣域網定位模式。 3.通過現(xiàn)場處理設備內置的無線廣域網網定位/傳輸模塊進行定位，自動判斷有 無無線廣域網信號。在無線廣域網信號接收正常時，自動進入無線廣域網定位模式，通過程 序模塊控制無線廣域網模塊獲取注冊蜂窩小區(qū)ID號，然后匹配地圖先驗數(shù)據(jù)庫，從記錄中 提取相應的蜂窩小區(qū)中心位置信息作為當前位置信息，并轉換為GPS位置數(shù)據(jù)。在無線廣 域網信號無法正常接收時，則返回步驟1循環(huán)搜索。
數(shù)碼相機、全景相機、數(shù)碼攝像機、麥克風。
影音數(shù)據(jù)的自適應獲取，如圖5所示，其軟件具體流程如下 1.通過現(xiàn)場處理設備上所提供的USB接口，對外部影音源采集設備(包括攝像機、 全景相機、普通數(shù)碼相機)進行連接。 2.通過現(xiàn)場處理設備上安裝的XPE操作系統(tǒng)模塊，自動判斷USB接口所連接設備 的類型。如果是全景相機，則轉步驟3執(zhí)行。如果是普通數(shù)碼相機，則轉步驟4執(zhí)行。如果 是攝像機則轉步驟5執(zhí)行。 3.通過影音數(shù)據(jù)自適應獲取模塊，結合廠商提供的SDK驅動全景相機，按位移變 化量或等時間間隔進行圖像實時獲取，并將全景相機一次獲取的多張圖片進行合成，生成 一張JPG格式圖片(如圖9所示)。獲取的照片格式文件存儲在存儲模塊中，然后，由格式 轉換模塊控制自動將存儲好的照片格式文件按順序送入數(shù)據(jù)融合及編碼模塊，再結合現(xiàn)場 處理設備上音頻輸入接口采集到的音頻數(shù)據(jù)，以及上述提取的GPS位置數(shù)據(jù)，根據(jù)工作模 式設置的編碼參數(shù)，進行實時數(shù)據(jù)融合，生成流媒體文件格式的移動時空定位影(全景影 像)音數(shù)據(jù)。 4.通過影音數(shù)據(jù)自適應獲取模塊，結合廠商提供的SDK驅動普通數(shù)碼相機，按位 移變化量或等時間間隔進行圖像實時獲取，生成JPG格式圖片。獲取的照片格式文件存儲 在存儲模塊中，然后，由格式轉換模塊控制自動將存儲好的照片格式文件按順序送入數(shù)據(jù) 融合及編碼模塊，再結合現(xiàn)場處理設備上音頻輸入接口采集到的音頻數(shù)據(jù)，以及上述提取 的GPS位置數(shù)據(jù)，根據(jù)工作模式設置的編碼參數(shù)，進行實時數(shù)據(jù)融合，生成流媒體文件格式 的移動時空定位影(局部影像)音數(shù)據(jù)。 5.通過影音數(shù)據(jù)自適應獲取模塊和視頻模/數(shù)轉換設備，將數(shù)碼攝像機實時采集 的模擬視頻信息轉換為數(shù)字視頻信息，再結合現(xiàn)場處理設備內數(shù)據(jù)輸入接口模塊采集到的 音頻信息，以及上述提取的GPS位置數(shù)據(jù)，根據(jù)工作模式設置的編碼參數(shù)，進行實時數(shù)據(jù)融合，生成流媒體文件格式的移動時空定位影(局部視頻)音數(shù)據(jù)。
(3)移動時空定位影音數(shù)據(jù)融合 將移動時空定位數(shù)據(jù)和影音數(shù)據(jù)進行融合，本發(fā)明的數(shù)據(jù)融合及編碼軟件模塊支持兩種融合方式。 1.基于ASF數(shù)據(jù)融合技術獲得可定位流媒體的方式
2.自定義編解碼文件的融合方式。
三、移動時空定位影音數(shù)據(jù)的自適應傳輸 本發(fā)明涉及的移動時空定位影音數(shù)據(jù)的自適應傳輸，如圖1所示，其工作流程為首先，移動終端中的現(xiàn)場處理設備按照"空間位移的變化量判斷為主、位置判斷和傳輸帶寬判斷為輔"的方式自動選擇優(yōu)勢無線網絡并自動匹配之傳輸帶寬相適應的工作模式；其次，現(xiàn)場處理設備的嵌入式軟硬件通過選定的無線傳輸網絡，將移動時空定位影音數(shù)據(jù)傳輸?shù)娇刂浦行牡姆掌骷?；最后，用戶通過客戶端軟件可以實時觀看移動時空定位影音數(shù)據(jù)或從服務器調閱歷史數(shù)據(jù)。其具體實施步驟如下 (1)按照"空間位移變化量判斷為主、位置和傳輸帶寬判斷為輔"的方式自動選擇無線網絡按照"空間位移的變化量判斷為主、位置判斷和傳輸帶寬判斷為輔"的方式自動選擇無線網絡。其流程為首先，現(xiàn)場處理設備的網絡選擇及工作模式選擇軟件模塊開始工作，結合當前空間位移的變化量，判斷移動終端處于相對靜止狀態(tài)還是移動狀態(tài)。如處于相對靜止狀態(tài)，則以位置判斷(通過預先在現(xiàn)場處理設備上安裝的電子地圖判斷當前處于城區(qū)還是郊區(qū))和傳輸帶寬由大到小順序作為輔助判斷，順序選擇無線局域網、3G、 EDGE、CDMA/GPRS網絡中的一種；如處于高速移動狀態(tài)，則以位置判斷(當前處于城區(qū)還是郊區(qū))和傳輸帶寬由大到小順序作為輔助判斷，選擇當前最佳的無線廣域網絡(3G、 EDGE、 CDMA/GPRS網絡)，放棄選擇無線局域網，從而降低網絡切換的頻率。以上描述工作流程，按固定時間(15分鐘)循環(huán)執(zhí)行。
(2)工作模式自適應匹配
1.工作模式編碼參數(shù)配置
面如圖7所示，具體編碼參數(shù)配置為 1)定點高清模式768*576 (視頻分辨率)、250千字節(jié)/秒(視頻傳輸率)、25幀/秒(視頻幀數(shù))、10千字節(jié)/秒8赫茲(音頻傳輸率)； 2)現(xiàn)場采訪模式640*480 (視頻分辨率)、200千字節(jié)/秒(視頻傳輸率)、30幀/秒(視頻幀數(shù))、10千字節(jié)/秒8赫茲(音頻傳輸率)； 3)高速車載模式352*288 (視頻分辨率)、100千字節(jié)/秒(視頻傳輸率)、25幀/秒(視頻幀數(shù))、10千字節(jié)/秒8赫茲(音頻傳輸率)； 4)慢速巡檢模式352*288 (視頻分辨率)、60千字節(jié)/秒(視頻傳輸率)、25幀/秒(視頻幀數(shù))、10千字節(jié)/秒8赫茲(音頻傳輸率)； 5)視頻為主模式240*180 (視頻分辨率)、40千字節(jié)/秒(視頻傳輸率)、15幀/秒(視頻幀數(shù))、5千字節(jié)/秒8赫茲(音頻傳輸率)； 6)音頻為主模式160*120 (視頻分辨率)、10千字節(jié)/秒(視頻傳輸率)、15幀/秒(視頻幀數(shù))、32千字節(jié)/秒44赫茲(音頻傳輸率)。
2.工作模式自適應匹配軟件流程
14
根據(jù)"空間位移的變化量判斷為主、位置判斷和傳輸帶寬判斷為輔"的方式選擇無線網絡后，程序自動匹配對應的工作模式。具體工作模式選擇如表l所示，其判斷匹配的軟件流程如圖6所示，具體步驟如下 1)程序模塊根據(jù)定位模塊接收的位置坐標，計算每5秒間隔有效坐標的差值。
2)將計算的差值與先前設定的閾值(位移50米)進行比較，如果差值小于或等于閾值，則判定現(xiàn)場處理設備處于相對靜止狀態(tài)，則轉步驟3)繼續(xù)執(zhí)行；如果差值大于閾值，則判定現(xiàn)場處理設備處于移動狀態(tài)，則轉步驟4)繼續(xù)執(zhí)行。 3)在相對靜止狀態(tài)下，根據(jù)當前現(xiàn)場處理設備的位置信息，結合預先在現(xiàn)場處理
設備上安裝的電子地圖上指定的城區(qū)/郊區(qū)分界區(qū)域，判斷當前所處位置。 參如果處于城區(qū)，無線信號覆蓋齊全，包括無線局域網、3G、 EDGE以及CDMA/GPRS。
根據(jù)無線網絡的帶寬優(yōu)先級進行判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，
其具體過程為 ①.判斷當前位置是否覆蓋無線廣域網信號，如果無，則轉步驟②；如果有，則采用定點高清模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。 ②.判斷當前位置是否覆蓋3G信號，如果無，則轉步驟③；如果有，則采用現(xiàn)場采訪模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。 ③.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟④；如果有，則采用慢速巡檢模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。
.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。
參如果處于郊區(qū)，則放棄選擇3G網絡和無線局域網，在EDGE、CDMA/GPRS網絡中按帶寬優(yōu)先級順序判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為
①.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟②；如果有，則采用慢速巡檢模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。 ②.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。4)在移動狀態(tài)下，根據(jù)當前現(xiàn)場處理設備的位置信息，結合預先在現(xiàn)場處理設備上安裝的電子地圖上指定的城區(qū)/郊區(qū)分界區(qū)域，判斷當前位置所處位置。 參如果處于城區(qū)，雖然具有無線局域網無線信號，但是無線局域網覆蓋范圍有限，
無法適應高速移動狀態(tài)下的數(shù)據(jù)傳輸，因此不選用無線局域網。根據(jù)無線網絡的帶寬優(yōu)先級進行判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為
①.判斷當前位置是否覆蓋3G信號，如果無，則轉步驟②；如果有，則采用車載高速模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。. ②.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟③；如果有，則采用視頻為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。 ③.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。
參如果處于郊區(qū)，則放棄選擇3G網絡和無線局域網，在EDGE、CDMA/GPRS網絡中按帶寬優(yōu)先級順序判斷，即選用何種工作模式獲取移動時空定位影音數(shù)據(jù)，其具體過程為
①.判斷當前位置是否覆蓋EDGE信號，如果無，則轉步驟②；如果有，則采用視頻為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。 ②.判斷當前位置是否覆蓋CDMA/GPRS信號，如果無，則說明此處無任何可用信號，則無法進行傳輸，返回步驟①，繼續(xù)搜索；如果有，則采用音頻為主模式獲取移動時空定位影音數(shù)據(jù)，在此模式下工作，如出現(xiàn)傳輸中斷超時(300秒)，則返回步驟2)，重新判斷。
(3)加密遠程傳輸和控制中心服務器管理 移動終端以VPN方式(加密傳輸方式)由移動網絡接入互聯(lián)網，再由互聯(lián)網接入
內網，移動時空定位影音數(shù)據(jù)可安全的傳至控制中心的服務器集群之中?？刂浦行闹械姆?br> 務器管理程序，負責協(xié)調、統(tǒng)一管理橋接服務器、網關服務器、視頻服務器、數(shù)據(jù)庫服務器、
地圖服務器，并完成對數(shù)據(jù)的存儲和調用，本發(fā)明所有服務器創(chuàng)建和管理均采用了 VMware
公司的虛擬化技術和相關虛擬化軟件，所以具有很好的穩(wěn)定性和易用性。 數(shù)據(jù)通過傳輸網絡，遠程送達到控制中心，在其過程中，為了有效克服移動網絡和
有線網絡之間存在的"瓶頸"問題，本發(fā)明構建了 VPN專線橋接服務器、網關服務器，最大程
度的保證了不同網絡之間數(shù)據(jù)高速交互。控制中心的視頻服務器、數(shù)據(jù)庫服務器、地圖服務
器負責協(xié)調、統(tǒng)一完成對大量可定位影音數(shù)據(jù)進行的存儲、傳輸、播放、自動處理和數(shù)據(jù)庫
管理等工作。
(4)客戶端顯示 客戶端顯示應用程序，負責遠程實時觀看移動時空定位影音數(shù)據(jù)或從服務器調閱歷史數(shù)據(jù)。其客戶端顯示軟件屏幕截圖如圖8所示。從移動時空定位影音數(shù)據(jù)中獲取定位數(shù)據(jù)后，在觀看影音數(shù)據(jù)的同時，可在屏幕上實現(xiàn)地圖監(jiān)控功能。方式為1)結合API電子地圖接口，從相關地圖網站上獲取地圖數(shù)據(jù)，匹配坐標，實現(xiàn)移動位置顯示；2)結合虛擬串口和PC版導航電子地圖軟件，從移動時空定位影音數(shù)據(jù)中獲取坐標數(shù)據(jù)，通過虛擬串口控制軟件，將坐標連續(xù)的輸入至PC版導航電子地圖軟件，實現(xiàn)移動位置顯示。
現(xiàn)場處理設備和客戶端之間，支持雙向及時通訊，具體功能包括雙向文字、語音及時通訊；接收文字自動語音播報(如圖7、8、10、11、12所示)。
權利要求
一種移動時空定位影音數(shù)據(jù)的自適應獲取和發(fā)送裝置，包括嵌入式處理模塊(CPU)、無線局域網定位/傳輸模塊、無線廣域網定位/傳輸模塊、顯示模塊和存儲模塊；其特征是嵌入式處理模塊上帶有若干USB接口和一個音頻輸入接口，無線局域網定位/傳輸模塊和無線廣域網定位/傳輸模塊分別通過USB接口與嵌入式處理模塊相連，其余USB接口作為外接設備接口；無線局域網定位/傳輸模塊和無線廣域網定位/傳輸模塊各自帶有發(fā)射接收天線，音頻輸入接口用于連接麥克風；嵌入式處理模塊安裝XPE操作系統(tǒng)；存儲模塊內存放有主程序模塊和地圖先驗數(shù)據(jù)庫、無線局域網發(fā)射器位置數(shù)據(jù)庫、電子地圖，供XPE操作系統(tǒng)調用；主程序模塊包括時空定位數(shù)據(jù)自適應獲取模塊、影音數(shù)據(jù)自適應獲取模塊、格式轉換模塊、網絡選擇及工作模式選擇模塊、數(shù)據(jù)融合及編碼模塊、數(shù)據(jù)傳輸模塊；其中時空定位數(shù)據(jù)自適應獲取模塊，控制衛(wèi)星定位模塊、無線局域網定位/傳輸模塊和無線廣域網定位/傳輸模塊按照下述程序工作在GPS信號正常接收情況下，采用衛(wèi)星定位方式，時空定位數(shù)據(jù)自適應獲取模塊控制衛(wèi)星定位模塊從GPS報文中提取定位數(shù)據(jù)，送入格式轉換模塊；在衛(wèi)星定位模塊無法接收GPS信號情況下，采用無線局域網定位方式，時空定位數(shù)據(jù)自適應獲取模塊控制無線局域網定位/傳輸模塊，從無線局域網發(fā)射設備中獲取識別碼信息，然后匹配無線局域網發(fā)射器位置數(shù)據(jù)庫，獲取識別碼信息所對應的記錄，從記錄中提取相應的無線局域網發(fā)射器位置數(shù)據(jù)作為當前位置數(shù)據(jù)，送入格式轉換模塊；在GPS無法接收GPS信號、無線局域網定位方式無法使用的情況下，采用無線廣域網定位/傳輸模塊，時空定位數(shù)據(jù)自適應獲取模塊控制無線廣域網定位/傳輸模塊從移動蜂窩小區(qū)獲取該小區(qū)ID號，然后匹配地圖先驗數(shù)據(jù)庫，得到當前位置數(shù)據(jù)，送入格式轉換模塊；影音數(shù)據(jù)自適應獲取模塊，當USB接口通過視頻模/數(shù)轉換設備外接數(shù)碼攝像機時，負責獲取數(shù)字視頻數(shù)據(jù)，并將其送入格式轉換模塊；當USB接口外接數(shù)碼相機或全景相機時，影音數(shù)據(jù)自適應獲取模塊自動控制觸發(fā)數(shù)碼相機或全景相機按現(xiàn)場處理設備位移變化量或等時間間隔進行拍照，獲取照片格式的文件并存儲在存儲模塊中，然后，將照片格式的文件按順序送入格式轉換模塊；當音頻輸入接口外接麥克風時，則進行音頻采集，獲取音頻數(shù)字信息，并將其送入格式轉換模塊；格式轉換模塊，負責將時空定位數(shù)據(jù)自適應獲取模塊獲取的位置信息轉換成統(tǒng)一的GPS坐標格式的位置數(shù)據(jù)并傳給數(shù)據(jù)融合及編碼模塊，將影音數(shù)據(jù)自適應獲取模塊獲取的音頻、視頻或照片數(shù)據(jù)轉換成統(tǒng)一的流媒體文件格式并傳給數(shù)據(jù)融合及編碼模塊；網絡選擇及工作模式選擇模塊配合格式轉換模塊，負責選擇數(shù)據(jù)傳輸網絡，并確定一種與所選擇的數(shù)據(jù)傳輸網絡相匹配的工作模式，并讓數(shù)據(jù)融合及編碼模塊在此工作模式下，完成數(shù)據(jù)融合及編碼；數(shù)據(jù)融合及編碼模塊，將得到的GPS坐標格式的位置數(shù)據(jù)和流媒體文件格式的影音數(shù)據(jù)，按照網絡選擇及工作模式選擇模塊所確定的工作模式進行數(shù)據(jù)融合，編碼生成統(tǒng)一格式的移動時空定位影音數(shù)據(jù)，同時完成此數(shù)據(jù)的本地實時存儲；融合方式采用基于ASF數(shù)據(jù)融合技術獲得可定位流媒體的方式或自定義編解碼文件的方式；數(shù)據(jù)傳輸模塊，將融合生成的移動時空定位影音數(shù)據(jù)，通過無線局域網定位/傳輸模塊和無線廣域網定位/傳輸模塊實時發(fā)送。
全文摘要
本發(fā)明提出了一種移動時空定位影音數(shù)據(jù)的自適應獲取與發(fā)送裝置，其特征在于自動判斷選擇衛(wèi)星定位、無線廣域網定位或無線局域網定位方式，獲取定位信息，并將不同定位方式獲取的定位信息自動轉換成統(tǒng)一的數(shù)據(jù)格式；自動判斷接入的影音數(shù)據(jù)源設備(數(shù)碼相機、全景相機、數(shù)碼攝像機或麥克風)，并從影音數(shù)據(jù)源設備中提取不同格式的影音數(shù)據(jù)，自動轉換成統(tǒng)一數(shù)據(jù)格式；按照“空間位移變化量判斷為主、位置和傳輸帶寬判斷為輔”的方式自動選擇無線網絡；選擇無線網絡，自動匹配工作模式；集成嵌入式軟硬件；支持移動時空定位影音直播；支持移動時空定位影音數(shù)據(jù)實時記錄；支持車、船載、便攜式使用；開發(fā)成本低、周期短，易于使用。
文檔編號H04N7/18GK101707734SQ20091002722
公開日2010年5月12日 申請日期2009年5月25日 優(yōu)先權日2009年5月25日
發(fā)明者劉學軍, 葉春, 吳勇, 胡佳俊 申請人:南京師范大學