基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法
【專利摘要】本發(fā)明公開了基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，構(gòu)建動(dòng)態(tài)分布式傳感器網(wǎng)絡(luò)，對(duì)獲取的人體的關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)；對(duì)人體關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)后進(jìn)行基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)；基于人體行為特征的分布式DTW人體行為意圖識(shí)別；在行為識(shí)別結(jié)果基礎(chǔ)上，移動(dòng)機(jī)器人利用合同網(wǎng)方法參與競(jìng)標(biāo)服務(wù)，針對(duì)用戶特定行為進(jìn)行機(jī)器人服務(wù)；在靜態(tài)傳感器對(duì)人體某個(gè)關(guān)節(jié)點(diǎn)估計(jì)誤差超過(guò)設(shè)定值時(shí)，發(fā)起近距離查看任務(wù)請(qǐng)求，由相鄰移動(dòng)機(jī)器人競(jìng)標(biāo)該任務(wù)并執(zhí)行，實(shí)現(xiàn)對(duì)特定目標(biāo)的近距離觀測(cè)。本發(fā)明一方面針對(duì)觀測(cè)盲區(qū)提供近距離觀察，另一方面針對(duì)人體特殊行為提供相應(yīng)智能化服務(wù)。
【專利說(shuō)明】
基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及信息技術(shù)領(lǐng)域，具體涉及基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的 任務(wù)協(xié)作方法。
【背景技術(shù)】
[0002] 基于多個(gè)RGBD相機(jī)的人體行為識(shí)別受到研究者的廣泛關(guān)注，被應(yīng)用于手術(shù)室、工 廠車間、汽車組裝、室內(nèi)監(jiān)控等環(huán)境下的人體行為檢測(cè)，有效解決了人體遮擋問(wèn)題和可能發(fā) 生的人-機(jī)器人碰撞問(wèn)題，具有重要的應(yīng)用價(jià)值。
[0003] 目前基于多個(gè)RGBD傳感器的人體行為感知還處于集中式階段，需要一個(gè)或多個(gè)數(shù) 據(jù)融合中心進(jìn)行三維數(shù)據(jù)、人體骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)的融合，對(duì)數(shù)據(jù)融合中心的計(jì)算能力和魯 棒性要求較高，對(duì)網(wǎng)絡(luò)的不穩(wěn)定性抵抗力較弱，可擴(kuò)展程度低。
[0004] 隨著RGBD傳感器技術(shù)的發(fā)展，其使用數(shù)量和覆蓋范圍會(huì)隨之增大，集中式的RGBD 傳感器網(wǎng)絡(luò)所需要處理和傳輸?shù)男畔⒘鲿?huì)爆發(fā)式增長(zhǎng)，其在現(xiàn)實(shí)應(yīng)用中的瓶頸會(huì)越發(fā)明 顯。
[0005] 靜態(tài)傳感器位置固定，視角有限，不具備移動(dòng)服務(wù)能力，另外，當(dāng)場(chǎng)景中存在多個(gè) 人體目標(biāo)時(shí)，需要解決關(guān)于人體行為的感知問(wèn)題。目前，關(guān)于人體行為的感知技術(shù)存在著識(shí) 別精度不夠，無(wú)法滿足現(xiàn)有的需求。

【發(fā)明內(nèi)容】

[0006] 為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳 感器的任務(wù)協(xié)作方法。本發(fā)明建立移動(dòng)機(jī)器人和靜態(tài)傳感器任務(wù)協(xié)作機(jī)制，一方面針對(duì)觀 測(cè)盲區(qū)提供近距離觀察，另一方面針對(duì)人體特殊行為提供相應(yīng)智能化服務(wù)。
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明的具體方案如下：
[0008] 基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，包括以下步驟：
[0009] 構(gòu)建動(dòng)態(tài)分布式傳感器網(wǎng)絡(luò)，對(duì)獲取的人體的關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估 計(jì)；
[0010] 對(duì)人體關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)后進(jìn)行基于彩色圖像和深度圖像多 特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)；
[0011] 基于人體行為特征的分布式DTW人體行為意圖識(shí)別；
[0012] 在行為識(shí)別結(jié)果基礎(chǔ)上，移動(dòng)機(jī)器人利用合同網(wǎng)方法參與競(jìng)標(biāo)服務(wù)，針對(duì)用戶特 定行為進(jìn)行機(jī)器人服務(wù)；
[0013]在靜態(tài)傳感器對(duì)人體某個(gè)關(guān)節(jié)點(diǎn)估計(jì)誤差超過(guò)設(shè)定值時(shí)，發(fā)起近距離查看任務(wù)請(qǐng) 求，由相鄰移動(dòng)機(jī)器人競(jìng)標(biāo)該任務(wù)并執(zhí)行，將觀測(cè)結(jié)果發(fā)送給靜態(tài)傳感器，實(shí)現(xiàn)對(duì)特定目標(biāo) 的近距離觀測(cè)。
[0014]進(jìn)一步的，移動(dòng)機(jī)器人和靜態(tài)傳感器之間的任務(wù)協(xié)作主要通過(guò)黑板模型完成，包 含兩大部分:黑板區(qū)和知識(shí)庫(kù)。
[0015] 進(jìn)一步的，黑板區(qū)由全局目標(biāo)庫(kù)、機(jī)器人狀態(tài)列表、決策選擇、請(qǐng)求序列和任務(wù)列 表組成，知識(shí)庫(kù)內(nèi)則包含任務(wù)分配算法、信息計(jì)算模塊、請(qǐng)求處理和指令發(fā)送模塊組成；
[0016] 黑板區(qū)通過(guò)實(shí)時(shí)數(shù)據(jù)進(jìn)行更新，進(jìn)一步驅(qū)動(dòng)知識(shí)庫(kù)中的相應(yīng)模塊。
[0017] 進(jìn)一步的，對(duì)獲取的人體的關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)，具體包括：
[0018] 骨架關(guān)節(jié)點(diǎn)位置初始化；
[0019] 本地傳感器對(duì)關(guān)節(jié)點(diǎn)運(yùn)動(dòng)估計(jì):構(gòu)建人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)模型和觀測(cè)模型，實(shí)現(xiàn)對(duì) 關(guān)節(jié)點(diǎn)狀態(tài)的有效估計(jì)；
[0020] 傳感器之間對(duì)目標(biāo)關(guān)節(jié)點(diǎn)的信息一致性估計(jì):定義人體關(guān)節(jié)點(diǎn)狀態(tài)對(duì)應(yīng)的信息向 量、信息矩陣及其信息貢獻(xiàn)和模型概率作為信息一致性算法的交換量；
[0021] 每個(gè)傳感器將自身估計(jì)的關(guān)節(jié)點(diǎn)信息向量、信息矩陣及其對(duì)應(yīng)的信息貢獻(xiàn)、模型 概率發(fā)送給相鄰的通訊傳感器節(jié)點(diǎn)，并接受周圍傳感器的信息，利用信息一致性算法，融合 周圍傳感器的估計(jì)結(jié)果，連續(xù)迭代數(shù)次，實(shí)現(xiàn)算法和估計(jì)結(jié)果的收斂。
[0022] 基于構(gòu)建的動(dòng)態(tài)分布式傳感器網(wǎng)絡(luò)，傳感器將采集的人體骨架關(guān)節(jié)點(diǎn)信息傳輸至 信息處理中心。
[0023] 骨架關(guān)節(jié)點(diǎn)位置初始化時(shí)，通過(guò)對(duì)關(guān)節(jié)點(diǎn)深度信息預(yù)先學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)對(duì)每幀人 體關(guān)節(jié)點(diǎn)的檢測(cè)，或利用現(xiàn)有工具OPENNI NITE或微軟SDK直接提取關(guān)節(jié)點(diǎn)。
[0024] 在骨架關(guān)節(jié)點(diǎn)位置初始化時(shí)，為去除無(wú)效關(guān)節(jié)點(diǎn)，建立人體關(guān)節(jié)點(diǎn)運(yùn)動(dòng)模型物理 約束，剔除不滿足人體關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角度和長(zhǎng)度約束的人體關(guān)節(jié)點(diǎn)。
[0025] 人體關(guān)節(jié)點(diǎn)運(yùn)動(dòng)模型物理約束的相關(guān)參數(shù)，包括人體肘關(guān)節(jié)和肩關(guān)節(jié)之間長(zhǎng)度， 可依據(jù)檢測(cè)數(shù)據(jù)自適應(yīng)升級(jí)。
[0026] 在實(shí)現(xiàn)對(duì)關(guān)節(jié)點(diǎn)狀態(tài)的有效估計(jì)時(shí)是基于貝葉斯濾波器實(shí)現(xiàn)的。
[0027] 構(gòu)建人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)模型和觀測(cè)模型，其中，對(duì)線性模型，利用線性信息濾波器 估計(jì)，而對(duì)于非線性模型，利用非線性濾波器進(jìn)行估計(jì)，非線性濾波器包括擴(kuò)展信息濾波器 和基于中心差分信息濾波器。
[0028] 信息一致性估計(jì)時(shí)，具體包括的步驟為：
[0029] (1)參數(shù)初始化，檢測(cè)得出人體關(guān)節(jié)點(diǎn)的初始位置，位置的方差依據(jù)關(guān)節(jié)點(diǎn)識(shí)別的 置信水平確定，并依據(jù)關(guān)節(jié)運(yùn)動(dòng)特點(diǎn)設(shè)定關(guān)節(jié)的運(yùn)動(dòng)模型轉(zhuǎn)換概率；
[0030] (2)多模型交互，即根據(jù)模型概率和模型轉(zhuǎn)換概率計(jì)算模型之間的混合概率，再依 據(jù)混合概率計(jì)算得出每個(gè)模型的混合均值和混合方差；
[0031] (3)信息濾波，以混合均值和混合方差為輸入，計(jì)算其信息向量和信息矩陣，對(duì)線 性和非線性運(yùn)動(dòng)模型分別采用線性信息濾波器和中心差分信息濾波器估計(jì)，根據(jù)當(dāng)前深度 圖像檢測(cè)的關(guān)節(jié)點(diǎn)位置升級(jí)濾波器關(guān)節(jié)點(diǎn)狀態(tài)和模型概率；
[0032] (4)基于分布式信息一致性算法的信息融合，即各傳感器之間交換關(guān)節(jié)點(diǎn)估計(jì)信 息，包括關(guān)節(jié)點(diǎn)狀態(tài)信息向量、信息矩陣和模型概率，通過(guò)一致性算法加權(quán)迭代實(shí)現(xiàn)各傳感 器估計(jì)狀態(tài)的一致性。
[0033] 另外，各傳感器節(jié)點(diǎn)基于模型概率加權(quán)和的混合輸出，即利用模型概率對(duì)各個(gè)模 型的估計(jì)結(jié)果進(jìn)行加權(quán)求和，作為各傳感器信息處理系統(tǒng)當(dāng)前時(shí)刻的估計(jì)結(jié)果。
[0034] 進(jìn)一步的，對(duì)人體關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)后進(jìn)行基于彩色圖像和深 度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)，包括以下步驟：
[0035] 采用聯(lián)合數(shù)據(jù)概率關(guān)聯(lián)算法實(shí)現(xiàn)本地傳感器節(jié)點(diǎn)對(duì)跟蹤目標(biāo)和目標(biāo)觀測(cè)之間進(jìn) 行第一次數(shù)據(jù)關(guān)聯(lián)；
[0036] 基于馬氏距離的匈牙利算法實(shí)現(xiàn)傳感器節(jié)點(diǎn)之間對(duì)跟蹤目標(biāo)的第二次數(shù)據(jù)關(guān)聯(lián)；
[0037] 各傳感器之間交換關(guān)節(jié)點(diǎn)估計(jì)信息，通過(guò)一致性算法加權(quán)迭代實(shí)現(xiàn)各傳感器估計(jì) 狀態(tài)的一致性；
[0038] 其中，在第一次數(shù)據(jù)關(guān)聯(lián)時(shí)，基于多特征的目標(biāo)觀測(cè)候選集調(diào)整機(jī)制，利用關(guān)節(jié)點(diǎn) 位置觀測(cè)信息z、彩色圖像梯度方向直方圖特征h。和深度圖像梯度方向直方圖特征hd構(gòu)建三 個(gè)閾值門限（γ ζ，γ。，γ<0以限定觀測(cè)集大小。
[0039] 基于分布式信息一致性算法的信息融合之后還包括利用模型概率對(duì)各個(gè)模型的 估計(jì)結(jié)果進(jìn)行加權(quán)求和，作為各傳感器信息處理系統(tǒng)當(dāng)前時(shí)刻的估計(jì)結(jié)果的步驟。
[0040] 分布式信息一致性算法使得本地傳感器在獲取本地?cái)?shù)據(jù)關(guān)聯(lián)估計(jì)結(jié)果后，可與鄰 近節(jié)點(diǎn)交換數(shù)據(jù)關(guān)聯(lián)結(jié)果，以實(shí)現(xiàn)各傳感器數(shù)據(jù)關(guān)聯(lián)結(jié)果的融合。
[0041] 利用關(guān)節(jié)點(diǎn)位置觀測(cè)信息Ζ、彩色圖像梯度方向直方圖特征h。和深度圖像梯度方 向直方圖特征hd構(gòu)建三個(gè)閾值門限（γζ，γ。，Yd)以限定觀測(cè)集大小：
[0042] iz - z)S^{z - i) < γζ, d(hc, hc) < yc,d(hfJ, htl) < γα,
[0043] 其中j是根據(jù)上一幀關(guān)節(jié)點(diǎn)估計(jì)值預(yù)測(cè)的當(dāng)前關(guān)節(jié)點(diǎn)位置，S是z的方差，1和1 分別是從最近的歷史關(guān)鍵幀中學(xué)習(xí)的以關(guān)節(jié)點(diǎn)位置為中心的H0G特征和H0D特征，d是直方 圖Chi-square卡方距離測(cè)度。
[0044]關(guān)節(jié)點(diǎn)的馬氏距離定義如下：
[0045] (Xi_Xj)T(Pi+Pj)-Hxi-xj)，
[0046] (Xl，Xj)和仉力)是人體關(guān)節(jié)點(diǎn)分別在傳感器i和傳感器j上的估計(jì)狀態(tài)和方差。
[0047] 基于人體行為特征的分布式DTW人體行為意圖識(shí)別方法，包括以下步驟：
[0048] 獲取當(dāng)前幀人體行為特征并將其添加到人體行為特征時(shí)間序列中；
[0049]利用動(dòng)態(tài)時(shí)間規(guī)整算法DTW對(duì)當(dāng)前觀測(cè)人體行為特征序列與數(shù)據(jù)庫(kù)模板中已學(xué)習(xí) 的特定行為序列進(jìn)行匹配，計(jì)算兩者之間基于卡方距離的最佳匹配相似度；
[0050] 對(duì)該相似度取逆，經(jīng)歸一化后得到匹配概率；
[0051] 將每個(gè)傳感器的動(dòng)作模式概率值作為一致性信息量與相鄰傳感器再一次數(shù)據(jù)交 換，經(jīng)過(guò)一致性迭代運(yùn)算，最終相鄰傳感器節(jié)點(diǎn)的識(shí)別結(jié)果達(dá)成一致。
[0052] 進(jìn)一步的，在計(jì)算匹配概率時(shí)，為融合周圍傳感器識(shí)別結(jié)果，相鄰連接傳感器之間 互換匹配概率信息。
[0053]進(jìn)一步的，相鄰連接傳感器之間互換匹配概率信息的方式具體為：
[0054]第i個(gè)傳感器將k時(shí)刻動(dòng)作模式α對(duì)應(yīng)的匹配概率<認(rèn))與相鄰傳感器節(jié)點(diǎn)j計(jì)算的 匹配概率勹〇〇進(jìn)行數(shù)據(jù)交換，并依據(jù)動(dòng)作模式之間的轉(zhuǎn)移概率矩陣M，確定動(dòng)作模式α的概 率值，
[0056] 其中ri(k)是歸一化因子，Μ(β，α)是動(dòng)作模式β和動(dòng)作模式α之間的轉(zhuǎn)移概率值。
[0057] 進(jìn)一步的，相鄰連接傳感器之間互換匹配概率信息后，若最終的<α)大于一定閾 值，則認(rèn)定當(dāng)前觀測(cè)目標(biāo)動(dòng)作序列與動(dòng)作模式α匹配成功。
[0058]進(jìn)一步的，基于人體行為特征的分布式DTW人體行為意圖識(shí)別方法在獲取當(dāng)前幀 人體行為特征的步驟之前還包括構(gòu)建具有平移不變和縮放不變的人體結(jié)構(gòu)特征的步驟。
[0059] 進(jìn)一步的，在構(gòu)建具有平移不變和縮放不變的人體結(jié)構(gòu)特征時(shí)，考慮到體型的個(gè) 體差異，定義滿足平移不變和縮放不變的條件的關(guān)節(jié)向量夾角和上肢部分關(guān)節(jié)向量模比值 作為人體行為特征，關(guān)節(jié)向量夾角和向量模比值共同組成24維人體行為特征。
[0060] 進(jìn)一步的，上肢部分關(guān)節(jié)向量模比值：
[0062]其中|3|是軀干中心到頭部的向量模，$和|f|分別是頭部指向左右手的向量模、p 和Η分別是軀干中心到左右手的向量模。
[0063]進(jìn)一步的，平移不變和縮放不變的關(guān)節(jié)向量夾角信息的獲取:通過(guò)0ΡΕΝΝΙ檢測(cè)人 體的15個(gè)關(guān)節(jié)點(diǎn)分布式信息，經(jīng)過(guò)計(jì)算，可獲取關(guān)節(jié)向量夾角信息，具體包括上肢部分10 組，下肢部分4組，中間連接部分6組。
[0064]本發(fā)明的有益效果：
[0065]通過(guò)構(gòu)建分布式RGBD傳感器網(wǎng)絡(luò)，利用信息一致性算法，實(shí)現(xiàn)了對(duì)人體關(guān)節(jié)點(diǎn)的 分布式估計(jì)，網(wǎng)絡(luò)中無(wú)數(shù)據(jù)融合中心，提高了系統(tǒng)對(duì)節(jié)點(diǎn)信息錯(cuò)誤和無(wú)效的魯棒性，較容易 實(shí)現(xiàn)對(duì)傳感器網(wǎng)絡(luò)的擴(kuò)展。
[0066] 傳感器節(jié)點(diǎn)只與周圍鄰近連接節(jié)點(diǎn)通訊，交換信息向量、信息矩陣和信息貢獻(xiàn)，相 較于傳輸原始的RGBD數(shù)據(jù)，極大的減少了數(shù)據(jù)量。
[0067] -致性算法實(shí)現(xiàn)了與網(wǎng)絡(luò)中傳感器節(jié)點(diǎn)的有效融合，間接實(shí)現(xiàn)了對(duì)目標(biāo)的多角度 觀測(cè)，減少了遮擋或角度對(duì)人體關(guān)節(jié)點(diǎn)估計(jì)的影響，擴(kuò)大了感知范圍。
[0068] 提出了基于交互多模型的人體關(guān)節(jié)點(diǎn)分布式信息一致性估計(jì)方法，以應(yīng)對(duì)人體不 同關(guān)節(jié)點(diǎn)時(shí)變的運(yùn)動(dòng)模式。
[0069] 提出了基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，以提高JPDA算法估 計(jì)精度和執(zhí)行效率。
[0070] 提出了基于平移不變和縮放不變?nèi)梭w行為特征的分布式DTW人體行為意圖識(shí)別方 法，以實(shí)現(xiàn)精確的人體特定行為識(shí)別。
[0071 ]移動(dòng)機(jī)器人和靜態(tài)傳感網(wǎng)絡(luò)協(xié)作的分布式人體行為感知和智能化服務(wù)。靜態(tài)傳感 器位置固定，視角有限，不具備移動(dòng)服務(wù)能力。針對(duì)此問(wèn)題，建立移動(dòng)機(jī)器人和靜態(tài)傳感器 任務(wù)協(xié)作機(jī)制，一方面針對(duì)觀測(cè)盲區(qū)提供近距離觀察，另一方面針對(duì)人體特殊行為提供相 應(yīng)智能化服務(wù)。
【附圖說(shuō)明】
[0072]圖1本發(fā)明的基于動(dòng)態(tài)三維RGBD傳感器網(wǎng)絡(luò)的分布式示意圖；
[0073] 圖2本發(fā)明的分布式三維傳感器網(wǎng)絡(luò)對(duì)人體關(guān)節(jié)點(diǎn)的多模型估計(jì)流程圖；
[0074] 圖3本發(fā)明的分布式多人體目標(biāo)關(guān)節(jié)點(diǎn)跟蹤算法流程；
[0075] 圖4機(jī)器人任務(wù)協(xié)作黑板模型；
[0076] 圖5人體關(guān)節(jié)點(diǎn)示意圖（15個(gè)關(guān)節(jié)點(diǎn)）。
【具體實(shí)施方式】：
[0077]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明：
[0078]如圖1所示，基于交互多模型的人體關(guān)節(jié)點(diǎn)分布式信息一致性估計(jì)方法，通過(guò)構(gòu)建 動(dòng)態(tài)分布式RGBD傳感器網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的分布式處理和對(duì)信息的分布式融合，網(wǎng)絡(luò)中無(wú) 集中式信息處理和融合中心，傳感器節(jié)點(diǎn)只與鄰近節(jié)點(diǎn)信息交換，通過(guò)有限次一致性迭代， 實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)對(duì)感知目標(biāo)狀態(tài)的估計(jì)一致。
[0079] 傳感器網(wǎng)絡(luò)通過(guò)無(wú)線通信實(shí)現(xiàn)信息的傳輸。每個(gè)傳感器連接到本地處理器，可以 是微型電腦或ARM開發(fā)板。本地處理器對(duì)信息處理后，通過(guò)無(wú)線與鄰近節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)交 換。動(dòng)態(tài)是指網(wǎng)絡(luò)由位置靜態(tài)的傳感器和位置可移動(dòng)的傳感器組成。其中，位置移動(dòng)通過(guò)將 傳感器放置在移動(dòng)機(jī)器人上實(shí)現(xiàn)。分布式通過(guò)信息的分布式計(jì)算和融合來(lái)實(shí)現(xiàn)。
[0080]如圖2所示，骨架關(guān)節(jié)點(diǎn)位置初始化:通過(guò)對(duì)關(guān)節(jié)點(diǎn)深度信息預(yù)先學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn) 對(duì)每幀人體關(guān)節(jié)點(diǎn)的檢測(cè)，也可利用現(xiàn)有工具OPENNI NITE或微軟SDK直接提取關(guān)節(jié)點(diǎn)。為 去除無(wú)效關(guān)節(jié)點(diǎn)，建立人體關(guān)節(jié)點(diǎn)運(yùn)動(dòng)模型物理約束，剔除不滿足人體關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角度和 長(zhǎng)度約束的人體關(guān)節(jié)點(diǎn)。物理約束模型的相關(guān)參數(shù)，如人體肘關(guān)節(jié)和肩關(guān)節(jié)之間長(zhǎng)度，可依 據(jù)檢測(cè)數(shù)據(jù)自適應(yīng)升級(jí)。
[0081]其中，關(guān)節(jié)點(diǎn)深度信息是通過(guò)微軟Kinect開發(fā)包或開源OpenNI驅(qū)動(dòng)軟件獲取場(chǎng)景 的RGB圖像和深度圖像。
[0082]預(yù)先學(xué)習(xí)訓(xùn)練的目的是為了構(gòu)建關(guān)節(jié)點(diǎn)特征庫(kù)，從而實(shí)現(xiàn)對(duì)待檢測(cè)圖像中的關(guān)節(jié) 點(diǎn)的分類和識(shí)別。
[0083] RGBD傳感器提供場(chǎng)景顏色和深度圖像。關(guān)節(jié)點(diǎn)檢測(cè)模塊從圖像中提取人體關(guān)節(jié) 點(diǎn)。
[0084]人體關(guān)節(jié)點(diǎn)運(yùn)動(dòng)模型物理約束相關(guān)技術(shù)內(nèi)容可參考論文Model-Based Reinforcement of Kinect Depth Data for Human Motion Capture Applications〇
[0085] 本地RGBD傳感器對(duì)關(guān)節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)：構(gòu)建人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)模型和觀測(cè)模型，基 于貝葉斯濾波器，實(shí)現(xiàn)對(duì)關(guān)節(jié)點(diǎn)狀態(tài)(位置、速度和加速度)的有效估計(jì)。人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng) 存在靜止、勻速、加速交替進(jìn)行的多模型屬性，單一運(yùn)動(dòng)模型不足以描述關(guān)節(jié)點(diǎn)動(dòng)態(tài)特征， 因此設(shè)計(jì)基于交互多模型的貝葉斯估計(jì)方法，對(duì)人體關(guān)節(jié)點(diǎn)的時(shí)變狀態(tài)進(jìn)行有效跟蹤估 計(jì)。對(duì)線性模型，可利用線性信息濾波器估計(jì)，而對(duì)于非線性模型，可利用擴(kuò)展信息濾波器 和基于中心差分信息濾波器等非線性濾波器進(jìn)行估計(jì)。
[0086] 觀測(cè)模型是指濾波器系統(tǒng)狀態(tài)與傳感器觀測(cè)之間的模型關(guān)系。在這里，系統(tǒng)狀態(tài) 是指關(guān)節(jié)點(diǎn)三維位置、速度和加速度，而傳感器觀測(cè)是關(guān)節(jié)點(diǎn)三維位置。
[0087] 有效估計(jì)的具體算法可參考論文Central Difference Information Filter with Interacting Multiple Model for Robust Maneuvering Object Tracking。
[0088] RGBD傳感器之間對(duì)目標(biāo)關(guān)節(jié)點(diǎn)的信息一致性估計(jì):定義人體關(guān)節(jié)點(diǎn)狀態(tài)對(duì)應(yīng)的信 息向量、信息矩陣及其信息貢獻(xiàn)和模型概率作為信息一致性算法的交換量，每個(gè)傳感器將 自身估計(jì)的關(guān)節(jié)點(diǎn)信息向量、信息矩陣及其對(duì)應(yīng)的信息貢獻(xiàn)、模型概率發(fā)送給相鄰的通訊 傳感器節(jié)點(diǎn)，并接受周圍傳感器的信息，利用信息一致性算法，融合周圍傳感器的估計(jì)結(jié) 果，連續(xù)迭代數(shù)次，實(shí)現(xiàn)算法和估計(jì)結(jié)果的收斂。具體步驟如下：
[0089] 第一步是系統(tǒng)參數(shù)初始化，其中人體關(guān)節(jié)點(diǎn)的初始位置可通過(guò)0ΡΕΝΝΙ直接從RGBD 相機(jī)的深度圖像檢測(cè)得出，位置的方差可依據(jù)0ΡΕΝΝΙ返回的關(guān)節(jié)點(diǎn)識(shí)別的置信水平確定， 并依據(jù)關(guān)節(jié)運(yùn)動(dòng)特點(diǎn)設(shè)定關(guān)節(jié)的運(yùn)動(dòng)模型轉(zhuǎn)換概率。
[0090] 第二步是多模型交互，即根據(jù)模型概率和模型轉(zhuǎn)換概率計(jì)算模型之間的混合概 率，再依據(jù)混合概率計(jì)算得出每個(gè)模型的混合均值和混合方差。
[0091] 第三步是信息濾波，以混合均值和混合方差為輸入，計(jì)算其信息向量和信息矩陣， 對(duì)線性和非線性運(yùn)動(dòng)模型分別采用線性信息濾波器和中心差分信息濾波器估計(jì)，根據(jù)當(dāng)前 深度圖像檢測(cè)的關(guān)節(jié)點(diǎn)位置升級(jí)濾波器關(guān)節(jié)點(diǎn)狀態(tài)(信息向量和信息矩陣)和模型概率。
[0092] 第四步是基于分布式信息一致性算法的信息融合，即各傳感器之間交換關(guān)節(jié)點(diǎn)估 計(jì)信息，包括關(guān)節(jié)點(diǎn)狀態(tài)信息向量、信息矩陣和模型概率，通過(guò)一致性算法加權(quán)迭代實(shí)現(xiàn)各 傳感器估計(jì)狀態(tài)的一致性，如傳感器節(jié)點(diǎn)i和傳感器節(jié)點(diǎn)j是相鄰?fù)ㄓ嵐?jié)點(diǎn)，兩者之間的 Metroplis權(quán)重為ε^，則在第r次迭代其信息向量對(duì)、信息矩陣和模型概率，〃可由其所 有相鄰節(jié)點(diǎn)j的相應(yīng)信息加權(quán)和計(jì)算得出：
[0094] 第五步是各傳感器節(jié)點(diǎn)基于模型概率加權(quán)和的混合輸出，即利用模型概率對(duì)各個(gè) 模型的估計(jì)結(jié)果進(jìn)行加權(quán)求和，作為各傳感器信息處理系統(tǒng)當(dāng)前時(shí)刻的估計(jì)結(jié)果。
[0095] 如圖3所示，基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，該方法針對(duì)多 目標(biāo)跟蹤，包括：
[0096]系統(tǒng)參數(shù)初始化；
[0097]多模型交互；
[0098]基于線性信息濾波器的JPDA及基于中心差分信息濾波器的JPDA;
[0099]發(fā)送本地信息給臨近傳感器節(jié)點(diǎn)；
[0100]接收臨近傳感器節(jié)點(diǎn)信息；
[0101]基于馬氏距離的數(shù)據(jù)關(guān)聯(lián)；
[0102]分布式信息一致性算法實(shí)現(xiàn)多模型結(jié)果融合。
[0103]分布式人體行為意圖識(shí)別包括:構(gòu)建具有平移不變和縮放不變的人體結(jié)構(gòu)特征， 建立人體行為意圖數(shù)據(jù)庫(kù)模板，結(jié)合動(dòng)態(tài)時(shí)間規(guī)整算法，實(shí)現(xiàn)對(duì)特定行為匹配概率的計(jì)算。
[0104] 可見，分布式人體行為意圖識(shí)別，包含兩部分：首先是匹配概率的融合，即融合網(wǎng) 絡(luò)內(nèi)其他傳感器對(duì)該行為的匹配概率，改善本地識(shí)別準(zhǔn)確率;其次是識(shí)別結(jié)果的一致性估 計(jì)，保證識(shí)別結(jié)果的全局一致。
[0105] 具體過(guò)程如下：考慮到體型的個(gè)體差異，可定義平移不變和縮放不變的關(guān)節(jié)向量 夾角和上肢部分關(guān)節(jié)向量模比值作為人體行為特征。0ΡΕΝΝΙ可檢測(cè)人體的15個(gè)關(guān)節(jié)點(diǎn)，如 圖5所示，經(jīng)過(guò)計(jì)算，可獲取關(guān)節(jié)向量夾角信息，具體包括上肢部分10組，下肢部分4組，中間 連接部分6組。
[0106] 其中，關(guān)節(jié)向量及其夾角的計(jì)算可參考論文:應(yīng)用Kinect的人體行為識(shí)別方法研 究與系統(tǒng)設(shè)計(jì)。
[0107]另外，為進(jìn)一步描述上肢行為的細(xì)節(jié)部分信息，定義上肢部分關(guān)節(jié)向量之間的模 比值作為特征：
[0109] 其中問(wèn)是軀干中心到頭部的向量模和Μ分別是頭部指向左右手的向量模、p 和^分別是軀干中心到左右手的向量模。關(guān)節(jié)向量夾角和向量模比值共同組成24維人體行 為特征，滿足平移不變和縮放不變的條件。
[0110] 在獲取當(dāng)前幀人體行為特征后，將其添加到人體行為特征時(shí)間序列中，利用動(dòng)態(tài) 時(shí)間規(guī)整算法(Dynamic Time Warping，DTW)對(duì)當(dāng)前觀測(cè)行為特征序列與數(shù)據(jù)庫(kù)中已學(xué)習(xí) 的特定行為序列模板進(jìn)行匹配，計(jì)算兩者之間基于卡方距離的最佳匹配相似度。對(duì)該相似 度取逆，經(jīng)歸一化后得到匹配概率。為融合周圍傳感器識(shí)別結(jié)果，相鄰連接傳感器之間互換 匹配概率信息，如第i個(gè)傳感器將k時(shí)刻動(dòng)作模式α對(duì)應(yīng)的匹配概率<(幻與相鄰傳感器節(jié)點(diǎn) j計(jì)算的匹配概率<(幻進(jìn)行數(shù)據(jù)交換，并依據(jù)動(dòng)作模式之間的轉(zhuǎn)移概率矩陣Μ，確定動(dòng)作模 式α的概率值 <(女)，
[0112]其中n(k)是歸一化因子，Μ(β，α)是動(dòng)作模式β和動(dòng)作模式α之間的轉(zhuǎn)移概率值。 [0113]最后，將每個(gè)傳感器的動(dòng)作模式概率值作為一致性信息量與相鄰傳感器再一次數(shù) 據(jù)交換，經(jīng)過(guò)一致性迭代運(yùn)算，最終相鄰傳感器節(jié)點(diǎn)的識(shí)別結(jié)果達(dá)成一致，這就構(gòu)建了基于 DTW的分布式行為意圖識(shí)別算法。
[0114] 若最終的打U)大于一定閾值，則可認(rèn)定當(dāng)前觀測(cè)目標(biāo)動(dòng)作序列與動(dòng)作模式α匹配 成功。
[0115] 移動(dòng)機(jī)器人與靜態(tài)傳感器任務(wù)協(xié)作:兩類任務(wù)需要移動(dòng)機(jī)器人協(xié)作完成，一類是 針對(duì)用戶特定行為的機(jī)器人服務(wù)，一類是針對(duì)特定目標(biāo)的近距離觀測(cè)。前者需在行為識(shí)別 結(jié)果基礎(chǔ)上，結(jié)合機(jī)器人服務(wù)能力，利用合同網(wǎng)方法參與競(jìng)標(biāo)服務(wù)，如靜態(tài)傳感器識(shí)別出老 人摔倒動(dòng)作后，機(jī)器人前去查看并提供幫助。后者則是在靜態(tài)傳感器對(duì)人體某個(gè)關(guān)節(jié)點(diǎn)估 計(jì)誤差較大時(shí)，發(fā)起近距離查看任務(wù)請(qǐng)求，由相鄰移動(dòng)機(jī)器人競(jìng)標(biāo)該任務(wù)并執(zhí)行，將觀測(cè)結(jié) 果發(fā)送給靜態(tài)傳感器。移動(dòng)機(jī)器人和靜態(tài)傳感器之間的任務(wù)協(xié)作主要通過(guò)黑板模型完成， 包含兩大部分:黑板區(qū)(Black Board Field，BBF)和知識(shí)庫(kù)。
[0116] 黑板區(qū)的功能是信息存儲(chǔ)，包含局目標(biāo)庫(kù)、機(jī)器人狀態(tài)列表、決策選擇、請(qǐng)求序列 和任務(wù)列表。全局目標(biāo)庫(kù)包含所跟蹤目標(biāo)的ID號(hào)、圖像特征等信息。機(jī)器人狀態(tài)列表內(nèi)包含 本地機(jī)器人和周圍連接機(jī)器人當(dāng)前狀態(tài)信息。決策選擇是機(jī)器人執(zhí)行任務(wù)時(shí)的決策選擇機(jī) 制。請(qǐng)求序列機(jī)器人發(fā)出的任務(wù)請(qǐng)求，如靜態(tài)機(jī)器人發(fā)出的周圍動(dòng)態(tài)機(jī)器人對(duì)目標(biāo)機(jī)動(dòng)跟 蹤的請(qǐng)求。任務(wù)列表內(nèi)包含機(jī)器人當(dāng)前任務(wù)和未來(lái)任務(wù)等。
[0117] 知識(shí)庫(kù)的作用是包含機(jī)器人各個(gè)功能模塊，如任務(wù)分配算法、信息計(jì)算、請(qǐng)求處理 和指令發(fā)送等模塊。任務(wù)分配算法是指如何分配一個(gè)特定任務(wù)給特定的機(jī)器人，如市場(chǎng)機(jī) 制任務(wù)分配法中的招投標(biāo)機(jī)制。信息計(jì)算是機(jī)器人所包含的特定信息計(jì)算能力，如對(duì)目標(biāo) 位置的估計(jì)、跟蹤、插值計(jì)算等。請(qǐng)求處理是指接受其他機(jī)器人的任務(wù)請(qǐng)求。指令發(fā)送是指 接受任務(wù)后，發(fā)送指令給低層控制單元，驅(qū)動(dòng)機(jī)器人按照指令運(yùn)動(dòng)。
[0118] 圖4顯示了移動(dòng)機(jī)器人黑板模型架構(gòu)，而靜態(tài)傳感器黑板模型除不具備移動(dòng)執(zhí)行 能力外，其他相同。黑板區(qū)會(huì)通過(guò)實(shí)時(shí)數(shù)據(jù)進(jìn)行更新，進(jìn)一步驅(qū)動(dòng)知識(shí)庫(kù)中的相應(yīng)模塊，如 驅(qū)動(dòng)合同網(wǎng)模塊進(jìn)行任務(wù)招標(biāo)和投標(biāo)的相關(guān)工作，可依據(jù)目標(biāo)和機(jī)器人距離作為投標(biāo)參 數(shù)，距離近者優(yōu)先中標(biāo)。
[0119] 上述雖然結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范 圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不 需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。
【主權(quán)項(xiàng)】
1. 基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其特征是，包括以下步 驟： 構(gòu)建動(dòng)態(tài)分布式傳感器網(wǎng)絡(luò)，對(duì)獲取的人體的關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)； 對(duì)人體關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)后進(jìn)行基于彩色圖像和深度圖像多特征 的聯(lián)合數(shù)據(jù)關(guān)聯(lián)； 基于人體行為特征的分布式DTW人體行為意圖識(shí)別； 在行為識(shí)別結(jié)果基礎(chǔ)上，移動(dòng)機(jī)器人利用合同網(wǎng)方法參與競(jìng)標(biāo)服務(wù)，針對(duì)用戶特定行 為進(jìn)行機(jī)器人服務(wù)； 在靜態(tài)傳感器對(duì)人體某個(gè)關(guān)節(jié)點(diǎn)估計(jì)誤差超過(guò)設(shè)定值時(shí)，發(fā)起近距離查看任務(wù)請(qǐng)求， 由相鄰移動(dòng)機(jī)器人競(jìng)標(biāo)該任務(wù)并執(zhí)行，將觀測(cè)結(jié)果發(fā)送給靜態(tài)傳感器，實(shí)現(xiàn)對(duì)特定目標(biāo)的 近距離觀測(cè)。2. 如權(quán)利要求1所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，移動(dòng)機(jī)器人和靜態(tài)傳感器之間的任務(wù)協(xié)作主要通過(guò)黑板模型完成，包含兩大部分： 黑板區(qū)和知識(shí)庫(kù)，黑板區(qū)通過(guò)實(shí)時(shí)數(shù)據(jù)進(jìn)行更新，進(jìn)一步驅(qū)動(dòng)知識(shí)庫(kù)中的相應(yīng)模塊。3. 如權(quán)利要求1所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，對(duì)獲取的人體的關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)，具體包括： 骨架關(guān)節(jié)點(diǎn)位置初始化； 本地傳感器對(duì)關(guān)節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)：構(gòu)建人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)模型和觀測(cè)模型，實(shí)現(xiàn)對(duì)關(guān)節(jié) 點(diǎn)狀態(tài)的有效估計(jì)； 傳感器之間對(duì)目標(biāo)關(guān)節(jié)點(diǎn)的信息一致性估計(jì)：定義人體關(guān)節(jié)點(diǎn)狀態(tài)對(duì)應(yīng)的信息向量、 信息矩陣及其信息貢獻(xiàn)和模型概率作為信息一致性算法的交換量； 每個(gè)傳感器將自身估計(jì)的關(guān)節(jié)點(diǎn)信息向量、信息矩陣及其對(duì)應(yīng)的信息貢獻(xiàn)、模型概率 發(fā)送給相鄰的通訊傳感器節(jié)點(diǎn)，并接受周圍傳感器的信息，利用信息一致性算法，融合周圍 傳感器的估計(jì)結(jié)果，連續(xù)迭代數(shù)次，實(shí)現(xiàn)算法和估計(jì)結(jié)果的收斂。4. 如權(quán)利要求3所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，基于構(gòu)建的動(dòng)態(tài)分布式傳感器網(wǎng)絡(luò)，傳感器將采集的人體骨架關(guān)節(jié)點(diǎn)信息傳輸至 信息處理中心。5. 如權(quán)利要求3所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，在骨架關(guān)節(jié)點(diǎn)位置初始化時(shí)，為去除無(wú)效關(guān)節(jié)點(diǎn)，建立人體關(guān)節(jié)點(diǎn)運(yùn)動(dòng)模型物理約 束，剔除不滿足人體關(guān)節(jié)點(diǎn)旋轉(zhuǎn)角度和長(zhǎng)度約束的人體關(guān)節(jié)點(diǎn)。6. 如權(quán)利要求3所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，構(gòu)建人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)模型和觀測(cè)模型，其中，對(duì)線性模型，利用線性信息濾波器 估計(jì)，而對(duì)于非線性模型，利用非線性濾波器進(jìn)行估計(jì)，非線性濾波器包括擴(kuò)展信息濾波器 和基于中心差分信息濾波器。7. 如權(quán)利要求1所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，對(duì)人體關(guān)節(jié)點(diǎn)分布式信息進(jìn)行一致性的估計(jì)后進(jìn)行基于彩色圖像和深度圖像多特 征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)，包括以下步驟： 采用聯(lián)合數(shù)據(jù)概率關(guān)聯(lián)算法實(shí)現(xiàn)本地傳感器節(jié)點(diǎn)對(duì)跟蹤目標(biāo)和目標(biāo)觀測(cè)之間進(jìn)行第 一次數(shù)據(jù)關(guān)聯(lián)； 基于馬氏距離的匈牙利算法實(shí)現(xiàn)傳感器節(jié)點(diǎn)之間對(duì)跟蹤目標(biāo)的第二次數(shù)據(jù)關(guān)聯(lián)； 各傳感器之間交換關(guān)節(jié)點(diǎn)估計(jì)信息，通過(guò)一致性算法加權(quán)迭代實(shí)現(xiàn)各傳感器估計(jì)狀態(tài) 的一致性； 其中，在第一次數(shù)據(jù)關(guān)聯(lián)時(shí)，基于多特征的目標(biāo)觀測(cè)候選集調(diào)整機(jī)制，利用關(guān)節(jié)點(diǎn)位置 觀測(cè)信息Z、彩色圖像梯度方向直方圖特征h。和深度圖像梯度方向直方圖特征hd構(gòu)建三個(gè)閾 值門限（γζ，γ。，γ<0以限定觀測(cè)集大小。8. 如權(quán)利要求1所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，基于人體行為特征的分布式DTW人體行為意圖識(shí)別方法，包括以下步驟： 獲取當(dāng)前幀人體行為特征并將其添加到人體行為特征時(shí)間序列中； 利用動(dòng)態(tài)時(shí)間規(guī)整算法DTW對(duì)當(dāng)前觀測(cè)人體行為特征序列與數(shù)據(jù)庫(kù)模板中已學(xué)習(xí)的特 定行為序列進(jìn)行匹配，計(jì)算兩者之間基于卡方距離的最佳匹配相似度； 對(duì)該相似度取逆，經(jīng)歸一化后得到匹配概率； 將每個(gè)傳感器的動(dòng)作模式概率值作為一致性信息量與相鄰傳感器再一次數(shù)據(jù)交換，經(jīng) 過(guò)一致性迭代運(yùn)算，最終相鄰傳感器節(jié)點(diǎn)的識(shí)別結(jié)果達(dá)成一致。9. 如權(quán)利要求8所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，在計(jì)算匹配概率時(shí)，為融合周圍傳感器識(shí)別結(jié)果，相鄰連接傳感器之間互換匹配概 率?目息。10. 如權(quán)利要求9所述的基于傳感網(wǎng)絡(luò)的移動(dòng)機(jī)器人與靜態(tài)傳感器的任務(wù)協(xié)作方法，其 特征是，基于人體行為特征的分布式DTW人體行為意圖識(shí)別方法在獲取當(dāng)前幀人體行為特 征的步驟之前還包括構(gòu)建具有平移不變和縮放不變的人體結(jié)構(gòu)特征的步驟； 在構(gòu)建具有平移不變和縮放不變的人體結(jié)構(gòu)特征時(shí)，考慮到體型的個(gè)體差異，定義滿 足平移不變和縮放不變的條件的關(guān)節(jié)向量夾角和上肢部分關(guān)節(jié)向量模比值作為人體行為 特征，關(guān)節(jié)向量夾角和向量模比值共同組成24維人體行為特征。
【文檔編號(hào)】G06K9/00GK106096565SQ201610442907
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月16日
【發(fā)明人】劉國(guó)良, 田國(guó)會(huì)
【申請(qǐng)人】山東大學(xué)