一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法
【專利摘要】本發(fā)明公開一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法，包括機(jī)器人本體以及6條機(jī)器人單腿結(jié)構(gòu)；機(jī)器人本體內(nèi)部傳感層、驅(qū)動(dòng)層、控制層及動(dòng)力層，用于安裝控制系統(tǒng)；通過傳感層上安裝的XtionPRO LIVE攝像頭結(jié)合控制層上安裝的手勢(shì)識(shí)別模塊與運(yùn)動(dòng)控制模塊實(shí)現(xiàn)手勢(shì)控制；其中，手勢(shì)識(shí)別模塊又分為動(dòng)態(tài)手勢(shì)控制子模塊與靜態(tài)手勢(shì)控制子模塊，可分別實(shí)現(xiàn)動(dòng)態(tài)及靜態(tài)手勢(shì)控制。本發(fā)明的優(yōu)點(diǎn)為：為后續(xù)的圖像處理提供更多信息，可實(shí)現(xiàn)地圖構(gòu)建、人機(jī)交互功能，提高了人與機(jī)器人的交互的自然性，使用戶可以通過手勢(shì)控制六足輪腿復(fù)合機(jī)器人，有利于六足輪腿復(fù)合機(jī)器人的實(shí)際應(yīng)用；且本發(fā)明手勢(shì)識(shí)別控制部分基于ROS設(shè)計(jì)，可移植性強(qiáng)，可用于其他機(jī)器人控制系統(tǒng)。
【專利說明】
一種基于xt i on設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于機(jī)器人技術(shù)領(lǐng)域，具體涉及一種基于Xtion設(shè)備腿輪復(fù)合機(jī)器人及其 手勢(shì)控制方法和裝置。
【背景技術(shù)】
[0002] 機(jī)器人在社會(huì)生活和工業(yè)生產(chǎn)方面有廣闊的應(yīng)用前景。工業(yè)生產(chǎn)方面的應(yīng)用，如 星球探測(cè)、災(zāi)后救援等。社會(huì)生活方面的應(yīng)用前景，如助老、助殘。在我國(guó)邁入老齡化社會(huì)， 老年人需要照顧，而青壯年需要工作來維持生計(jì)，無暇照顧老人。機(jī)器人可以充當(dāng)部分勞動(dòng) 力，補(bǔ)充勞動(dòng)力的不足，在助老幼病殘?jiān)械确矫嬗袕V泛的應(yīng)用前景。
[0003]腿式機(jī)器人能夠適應(yīng)復(fù)雜地形，但行走速度較慢，而輪式機(jī)器人行走速度較快，但 只能在較平坦的地面行走，跨越障礙物的能力較差，腿、輪兩種運(yùn)動(dòng)方式的結(jié)合為機(jī)器人的 運(yùn)動(dòng)提供了新的便利，如何設(shè)計(jì)輪、腿兩種方式結(jié)合的機(jī)構(gòu)成為當(dāng)前需要解決的問題。
[0004] 腿輪式機(jī)器人通常需要特定人輸入特定控制指令才能控制機(jī)器人運(yùn)動(dòng)，不懂專業(yè) 知識(shí)的普通人無法直接操作，這種交互方式在一定程度上制約了機(jī)器人的廣泛應(yīng)用。

【發(fā)明內(nèi)容】

[0005] 針對(duì)上述問題，本發(fā)明提供一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人;使機(jī)器人與人 之間實(shí)現(xiàn)更好交互。
[0006] 本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，包括機(jī)器人本體以及6條機(jī)器人單腿結(jié) 構(gòu)，6條機(jī)器人單腿結(jié)構(gòu)周向均勻安裝于機(jī)器人本體上。單腿結(jié)構(gòu)為具有步行與輪行功能的 輪腿結(jié)構(gòu)，具有三根腿節(jié)，以及4個(gè)驅(qū)動(dòng)舵機(jī);令三根腿節(jié)分別為第一腿節(jié)、第二腿節(jié)、第三 腿節(jié)，4個(gè)驅(qū)動(dòng)舵機(jī)分別為第一舵機(jī)、第二舵機(jī)、第三舵機(jī)、第四舵機(jī)。其中，第一腿節(jié)一端固 定安裝在第一舵機(jī)的輸出軸上，形成髖關(guān)節(jié);第一舵機(jī)輸出軸軸線與水平面垂直，由第一舵 機(jī)驅(qū)動(dòng)第一腿節(jié)橫向擺動(dòng)。第二舵機(jī)固定安裝于第一腿節(jié)另一端，第二舵機(jī)輸出軸與第二 腿節(jié)一端固定，形成膝關(guān)節(jié);第二舵機(jī)輸出軸軸線與第一舵機(jī)輸出軸軸線垂直，由第二舵機(jī) 驅(qū)動(dòng)第二腿節(jié)縱向擺動(dòng)。第二腿節(jié)另一端與第三舵機(jī)輸出軸固定，形成踝關(guān)節(jié);第三舵機(jī)輸 出軸軸線與第二舵機(jī)輸出軸軸線平行，由第三舵機(jī)驅(qū)動(dòng)第三腿節(jié)縱向擺動(dòng)。第四舵機(jī)位于 第三腿節(jié)中部，第四舵機(jī)的輸出軸軸線與第三舵機(jī)輸出軸軸線平行，第四舵機(jī)輸出軸上通 過花鍵同軸固定安裝有輪子，通過第四舵機(jī)驅(qū)動(dòng)輪子轉(zhuǎn)動(dòng)。第三腿節(jié)另一端安裝有足地檢 測(cè)機(jī)構(gòu)，用于單腿結(jié)構(gòu)與地面間的接觸，同時(shí)可實(shí)現(xiàn)足地接觸狀態(tài)的檢測(cè)。
[0007] 機(jī)器人本體內(nèi)部由具有減重孔的鋁合金板分割為四層，由上至下依次為傳感層、 驅(qū)動(dòng)層、控制層及動(dòng)力層，用于安裝控制系統(tǒng)。其中，傳感層上安裝有Xtion PRO LIVE攝像 頭與MU;Xtion PRO LIVE攝像頭用來采集環(huán)境信息，實(shí)現(xiàn)同時(shí)定位及地圖創(chuàng)建，以及獲取 人的信息，用于人機(jī)交互;IMU用于獲得機(jī)器人的自身姿態(tài)，輔助定位和創(chuàng)建環(huán)境地圖。驅(qū)動(dòng) 層上安裝有六塊舵機(jī)驅(qū)動(dòng)板，分別用于控制6條單腿結(jié)構(gòu)上的各個(gè)舵機(jī)運(yùn)動(dòng)?？刂茖由习惭b 有主控板，實(shí)現(xiàn)通訊管理、傳感器數(shù)據(jù)采集、數(shù)據(jù)處理與驅(qū)動(dòng)管理等功能?？刂茖觾?nèi)還設(shè)置 有手勢(shì)控制模塊與運(yùn)動(dòng)控制模塊，實(shí)現(xiàn)對(duì)腿輪復(fù)合機(jī)器人的手勢(shì)控制。動(dòng)力層上安裝有電 池盒，電池盒內(nèi)安裝機(jī)器人供電電池。
[0008] 機(jī)器人本體與遠(yuǎn)程控制端進(jìn)行無線通信，由遠(yuǎn)程控制端進(jìn)行控制;遠(yuǎn)程控制端具 有安全認(rèn)證模塊、音視頻播放模塊、操控模塊與信息顯示模塊。各個(gè)模塊均分為前端與后 臺(tái)；前端為人機(jī)交互接口；后臺(tái)負(fù)責(zé)網(wǎng)絡(luò)通信、數(shù)據(jù)處理。其中，安全認(rèn)證模塊用于獲取用戶 輸入的用戶信息，經(jīng)后臺(tái)封裝成數(shù)據(jù)包發(fā)送至機(jī)器人的控制主控板中，由主控板反饋登錄 結(jié)果至安全認(rèn)證模塊進(jìn)行顯示。音視頻播放模塊通過后臺(tái)接收Xtion PRO LIVE攝像頭返回 的聲音信息和相機(jī)采集的圖像，經(jīng)后臺(tái)解碼后在音視頻播放模塊中進(jìn)行顯示。信息顯示模 塊接收MU返回的六組機(jī)器人傳感信息，如姿態(tài)、關(guān)節(jié)角度和關(guān)節(jié)力矩信息用于顯示六足機(jī) 器人傳感信息。操控模塊由運(yùn)動(dòng)控件組成，可控制機(jī)器人運(yùn)動(dòng)；同時(shí)可以設(shè)置機(jī)器人行進(jìn)模 式。
[0009] 針對(duì)上述基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人的手勢(shì)識(shí)別方法為，在控制層上安裝 手勢(shì)識(shí)別模塊與運(yùn)動(dòng)控制模塊;手勢(shì)識(shí)別模塊包括動(dòng)態(tài)手勢(shì)識(shí)別子模塊和靜態(tài)手勢(shì)識(shí)別子 模塊，其中：
[0010] 動(dòng)態(tài)手勢(shì)識(shí)別子模塊用于實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別，具有穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢 測(cè)器、移動(dòng)檢測(cè)器。穩(wěn)定檢測(cè)器用于識(shí)別當(dāng)前活躍的手部是否處于穩(wěn)定狀態(tài)，畫圓檢測(cè)器用 于識(shí)別當(dāng)前活躍手部的畫圓運(yùn)動(dòng)，推檢測(cè)器用于識(shí)別當(dāng)前活躍手的前推動(dòng)作，移動(dòng)檢測(cè)器 用于識(shí)別當(dāng)前活躍手的擊打動(dòng)作。
[0011] 上述動(dòng)態(tài)手勢(shì)識(shí)別子模塊的具體設(shè)計(jì)方式為：
[0012] A、使用Xtion PRO LIVE攝像頭的Xtion SDK初始化環(huán)境；
[0013] B、建立上下文環(huán)境創(chuàng)建圖像生成器，并設(shè)定圖像生成器的像素、幀率；
[0014] C、建立、注冊(cè)場(chǎng)景管理器，并初始化場(chǎng)景管理器；
[0015] D、建立、注冊(cè)穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器，并將各檢測(cè)器中的 監(jiān)聽器添加至場(chǎng)景管理器中；同時(shí)，設(shè)定穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器的 回調(diào)函數(shù)。
[0016] 通過上述方式設(shè)計(jì)的動(dòng)態(tài)手勢(shì)識(shí)別模塊，在進(jìn)行手勢(shì)識(shí)別時(shí)，首先通過Xtion PRO LIVE攝像頭采集RGB圖像信息；隨后基于OpenNI軟件對(duì)采集的圖像進(jìn)行處理，提取手勢(shì)的運(yùn) 動(dòng)軌跡，并通過穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器識(shí)別手靜止不動(dòng)、畫圓、推 和移動(dòng)的手勢(shì)；隨后穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器將各自的回調(diào)函數(shù)中 輸出識(shí)別結(jié)果，并將識(shí)別結(jié)果發(fā)送至運(yùn)動(dòng)控制模塊;運(yùn)動(dòng)控制模塊根據(jù)識(shí)別結(jié)果，結(jié)合動(dòng)態(tài) 手勢(shì)識(shí)別模塊內(nèi)預(yù)定義的動(dòng)態(tài)手勢(shì)與機(jī)器人運(yùn)動(dòng)的映射關(guān)系，控制機(jī)器人完成相應(yīng)的運(yùn) 動(dòng)。
[0017] 所述靜態(tài)手勢(shì)識(shí)別子模炔基于彩色圖像，用于識(shí)別靜態(tài)手勢(shì);通過靜態(tài)手勢(shì)識(shí)別 子模塊，在進(jìn)行手勢(shì)識(shí)別時(shí)，首先通過Xtion PRO LIVE攝像頭采集RGB圖像信息，該圖像信 息通過機(jī)器人操作系統(tǒng)中的Topic中的message實(shí)現(xiàn);隨后，利用靜態(tài)手勢(shì)識(shí)別子模塊內(nèi)預(yù) 存的膚色模型和H0G特征檢測(cè)出人臉部分，進(jìn)而根據(jù)人體結(jié)構(gòu)特征，檢測(cè)出人的身體部分， 并由身體部分中分割出人的手部區(qū)域，最終提取已分割手部區(qū)域的圖像特征，進(jìn)行手勢(shì)的 訓(xùn)練識(shí)別，并將識(shí)別結(jié)果發(fā)送主控板，根據(jù)識(shí)別結(jié)果，結(jié)合預(yù)存于的靜態(tài)手勢(shì)與機(jī)器人運(yùn)動(dòng) 的映射關(guān)系，控制機(jī)器人完成相應(yīng)的運(yùn)動(dòng)。
[0018]本發(fā)明的優(yōu)點(diǎn)在于：
[0019] 1、本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中，Xtion Pro Live攝像頭不僅能夠 獲取RGB信息和深度信息，還可獲取用戶的骨骼點(diǎn)信息，為后續(xù)的圖像處理提供更多信息， 可實(shí)現(xiàn)地圖構(gòu)建、人機(jī)交互功能；
[0020] 2、本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法，可移植性強(qiáng)。該方 法基于R0S，具體來說，動(dòng)態(tài)手勢(shì)識(shí)別基于R0S和OpenNI框架設(shè)計(jì)實(shí)現(xiàn)，靜態(tài)手勢(shì)識(shí)別基于 R0S，可用于其他機(jī)器人控制系統(tǒng)；
[0021] 3、本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法，包括靜態(tài)手勢(shì)和 動(dòng)態(tài)手勢(shì)控制兩種方式，用戶可根據(jù)需要選擇合適的控制方式；
[0022] 4、本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法，研究對(duì)象為人的 上半身圖片，基于人的身體結(jié)構(gòu)分割出手勢(shì)區(qū)域，通用性強(qiáng)。此種分割方法不僅能分割不戴 手套的手，還能分割出帶手套的手；
[0023] 5、本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法，使用手勢(shì)控制機(jī) 器人，提高了人與機(jī)器人的交互的自然性，符合人機(jī)交互的發(fā)展趨勢(shì)；
[0024] 6、本發(fā)明所述基于Xtion設(shè)備腿輪復(fù)合機(jī)器人及其手勢(shì)控制方法和裝置，將靜態(tài) 手勢(shì)識(shí)別和基于OpenNI軟件的動(dòng)態(tài)手勢(shì)識(shí)別，應(yīng)用于六足輪腿復(fù)合機(jī)器人，使用戶可以通 過手勢(shì)控制六足輪腿復(fù)合機(jī)器人，有利于六足輪腿復(fù)合機(jī)器人的實(shí)際應(yīng)用。
【附圖說明】
[0025]圖1為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人整體結(jié)構(gòu)示意圖；
[0026] 圖2為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中結(jié)構(gòu)一的單腿結(jié)構(gòu)示意圖；
[0027] 圖3為單腿結(jié)構(gòu)中舵機(jī)與腿節(jié)間的安裝方式示意圖；
[0028] 圖4為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人站立時(shí)單腿結(jié)構(gòu)示意圖；
[0029] 圖5為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中輪行時(shí)單腿結(jié)構(gòu)示意圖；
[0030] 圖6為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中機(jī)器人主體結(jié)構(gòu)示意圖；
[0031] 圖7為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中機(jī)器人主體的外殼內(nèi)部分層結(jié) 構(gòu)示意圖；
[0032] 圖8為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中充電接口與電源開關(guān)設(shè)計(jì)位置 示意圖；
[0033]圖9為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中動(dòng)態(tài)手勢(shì)識(shí)別子模塊的設(shè)定方 法流程圖；
[0034]圖10為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中動(dòng)態(tài)手勢(shì)識(shí)別子模塊的手勢(shì)識(shí) 別方法；
[0035]圖11為本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人中靜態(tài)手勢(shì)識(shí)別子模塊的手勢(shì)識(shí) 別方法流程圖。
[0036]圖中：
[0037] 1-機(jī)器人本體 2-單腿結(jié)構(gòu) 3-舵盤
[0038] 4-伸出軸 5-軸承 6-輪子
[0039] 7-執(zhí)行器連接件 8-末端執(zhí)行器 9-Xtion PRO LIVE攝像頭
[0040] 10-IMU 11-舵機(jī)驅(qū)動(dòng)板 12-主控板
[0041 ] 13-電池盒 14-充電接口 15-電源開關(guān)
[0042] 101-外殼 102-周邊罩 201-第一腿節(jié)
[0043] 202-第二腿節(jié) 203-第三腿節(jié) 204-第一舵機(jī)
[0044] 205-第二舵機(jī) 206-第三舵機(jī) 207-第四舵機(jī)
[0045] 208-足地檢測(cè)機(jī)構(gòu) 901-底座 902-倒U型支架
【具體實(shí)施方式】
[0046]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0047] 本發(fā)明基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，包括機(jī)器人本體1以及6條機(jī)器人單腿 結(jié)構(gòu)2,如圖1所示，6條機(jī)器人單腿結(jié)構(gòu)2周向均勻安裝于機(jī)器人本體1上。
[0048] -般機(jī)器人步行時(shí)為了實(shí)現(xiàn)足端在空間中的自由移動(dòng)，單腿結(jié)構(gòu)2自由度至少為 3,機(jī)器人單腿結(jié)構(gòu)2自由度越多，腿就越靈活，但其設(shè)計(jì)、控制難度和腿的質(zhì)量將逐步地增 大。本發(fā)明中6條機(jī)器人單腿結(jié)構(gòu)2均采用三個(gè)舵機(jī)輸出三個(gè)自由度，實(shí)現(xiàn)基本步行功能。
[0049] 本發(fā)明中單腿結(jié)構(gòu)為具有步行與輪行功能的輪腿結(jié)構(gòu)，如圖2所示，具有三根腿 節(jié)，以及4個(gè)驅(qū)動(dòng)舵機(jī)。令三根腿節(jié)分別為第一腿節(jié)201、第二腿節(jié)202、第三腿節(jié)203,4個(gè)驅(qū) 動(dòng)舵機(jī)分別為第一舵機(jī)204、第二舵機(jī)205、第三舵機(jī)206、第四舵機(jī)207。其中，第一腿節(jié)201 一端固定安裝在第一舵機(jī)204的輸出軸上，形成髖關(guān)節(jié);第一舵機(jī)204輸出軸軸線與水平面 垂直，由第一舵機(jī)204驅(qū)動(dòng)第一腿節(jié)201橫向擺動(dòng)。第二舵機(jī)205固定安裝于第一腿節(jié)201另 一端，第二舵機(jī)205輸出軸與第二腿節(jié)202-端固定，形成膝關(guān)節(jié);第二舵機(jī)205輸出軸軸線 與第一舵機(jī)204輸出軸軸線垂直，由第二舵機(jī)205驅(qū)動(dòng)第二腿節(jié)202縱向擺動(dòng)。第二腿節(jié)202 另一端與第三舵機(jī)206輸出軸固定，形成踝關(guān)節(jié);第三舵機(jī)206輸出軸軸線與第二舵機(jī)205輸 出軸軸線平行，由第三舵機(jī)206驅(qū)動(dòng)第三腿節(jié)203縱向擺動(dòng)。
[0050] 對(duì)于上述髖關(guān)節(jié)、膝關(guān)節(jié)與踝關(guān)節(jié)處的舵機(jī)與第一腿節(jié)201、第二腿節(jié)202、第三腿 節(jié)203間的連接方式相同，如圖3所示，其中舵機(jī)輸出軸上通過螺釘固定安裝有舵盤3，舵盤3 嵌入腿節(jié)的端部一側(cè)連接位上設(shè)計(jì)的凹槽內(nèi)定位;舵機(jī)的輸出軸同軸固定安裝有伸出軸4， 伸出軸4端部通過軸承5與腿節(jié)端部另一側(cè)連接位相連。由此舵機(jī)通過上述連接方式將動(dòng)力 傳遞至腿節(jié)，減少了軸承的使用，達(dá)到減重的目的。
[00511上述第三腿節(jié)203設(shè)計(jì)為向機(jī)器人主體1方向彎曲，彎曲夾角為140度;使第四舵機(jī) 207位于彎曲處，第四舵機(jī)207的輸出軸軸線與第三舵機(jī)203輸出軸軸線平行，第四舵機(jī)207 輸出軸上通過花鍵同軸固定安裝有輪子6，通過第四舵機(jī)207驅(qū)動(dòng)輪子6轉(zhuǎn)動(dòng)。
[0052]第三腿節(jié)203另一端安裝有足地檢測(cè)機(jī)構(gòu)208,用于單腿結(jié)構(gòu)2與地面間的接觸，同 時(shí)可實(shí)現(xiàn)足地接觸狀態(tài)的檢測(cè)。上述足地檢測(cè)機(jī)構(gòu)208可采用公開號(hào)為CN104816766A的發(fā) 明專利中公開的一種適用于腿式機(jī)器人的足端觸地檢測(cè)機(jī)構(gòu)，這種足地接觸檢測(cè)裝置實(shí)質(zhì) 是在足端安裝接觸開關(guān)。
[0053]在上述結(jié)構(gòu)的單腿結(jié)構(gòu)2中，直接將第一舵機(jī)204固定與機(jī)器人本體1上即完成與 機(jī)器人本體間的安裝。當(dāng)機(jī)器人進(jìn)行步行前進(jìn)時(shí)，6條單腿結(jié)構(gòu)2的支撐形式根據(jù)不同的關(guān) 節(jié)位姿也不盡相同，根據(jù)仿生學(xué)原理，仿制蟑螂步行時(shí)的單腿支撐構(gòu)型，如圖4所示，由第一 舵機(jī)201、第二舵機(jī)202、第三舵機(jī)203分別驅(qū)動(dòng)髖關(guān)節(jié)、膝關(guān)節(jié)和踝關(guān)節(jié)轉(zhuǎn)動(dòng)，調(diào)節(jié)三個(gè)關(guān)節(jié) 的位姿，實(shí)現(xiàn)單腿結(jié)構(gòu)2的前后擺動(dòng)或縱向移動(dòng)，按照不同的步態(tài)前進(jìn)。當(dāng)機(jī)器人進(jìn)行輪行 前進(jìn)時(shí)，可驅(qū)動(dòng)其中至少3個(gè)單腿結(jié)構(gòu)2中膝關(guān)節(jié)及踝關(guān)節(jié)轉(zhuǎn)動(dòng)改變單腿結(jié)構(gòu)2的構(gòu)型，使單 腿結(jié)構(gòu)2中的輪子6著地，如圖5所示，實(shí)現(xiàn)輪行運(yùn)動(dòng)。
[0054]所述機(jī)器人本體1由外殼101、周邊罩102構(gòu)成，如圖6所示；均使用3D打印制作，材 料為塑料，質(zhì)量較輕硬度適宜，并且加工周期短，便于機(jī)器人本體1的造型控制。周邊罩102 加裝于外殼101外部，周向上預(yù)留單腿結(jié)構(gòu)2的安裝口；周邊罩102用于保護(hù)外殼101及外殼 101內(nèi)部控制系統(tǒng)。上述機(jī)器人本體1中，外殼101采用近圓柱體，且內(nèi)部由具有減重孔的鋁 合金板分割為四層，如圖7所示，由上至下依次為傳感層、驅(qū)動(dòng)層、控制層及動(dòng)力層，用于安 裝控制系統(tǒng)。
[0055] 其中，傳感層上安裝有Xtion PRO LIVE攝像頭9、IMU(慣性導(dǎo)航單元）10;Xtion PRO LIVE攝像頭9位于外殼101外部，其底座901位于傳感器層內(nèi)，固定安裝在倒U型支架902 上，倒U型支架902固定在傳感層上表面。頂U(kuò)10固定于傳感器層上，位于倒U型支架902內(nèi)，由 此實(shí)現(xiàn)緊湊設(shè)計(jì)，減少機(jī)器人的體積。上述Xtion PRO LIVE攝像頭9有兩個(gè)作用：一是采集 環(huán)境信息，實(shí)現(xiàn)同時(shí)定位及地圖創(chuàng)建（Simultaneous Localization and Mapping，SLAM，同 時(shí)定位及地圖創(chuàng)建）；二是獲取人的信息，用于人機(jī)交互。Xtion PRO LIVE攝像頭9包含2個(gè) 相機(jī)，分別為一個(gè)RGB相機(jī)及一個(gè)深度相機(jī)；深度相機(jī)有效距離在0.8m至3.5m之間。另外 Xtion PRO LIVE攝像頭9兩側(cè)的麥克組成麥克陣列，能夠有效地獲取環(huán)境中的聲音信息，可 用于實(shí)現(xiàn)語(yǔ)音控制等自然人機(jī)交互方式。頂U(kuò)10采用慣性導(dǎo)航單元，用于獲得機(jī)器人的自身 姿態(tài)，輔助定位和創(chuàng)建環(huán)境地圖。本發(fā)明中頂U(kuò)10采用MTI-300AHRS，能輸出三軸線加速度、 三軸角速度、三軸偏角，內(nèi)部采用突破性的傳感器融合算法XEE(Xsens Estimation Engine)，一定程度上克服了Kalman濾波的限制，性能接近于光學(xué)陀螺儀。
[0056]驅(qū)動(dòng)層上安裝有六塊舵機(jī)驅(qū)動(dòng)板11，分別用于控制6條單腿結(jié)構(gòu)2上的各個(gè)舵機(jī)運(yùn) 動(dòng)。六塊舵機(jī)驅(qū)動(dòng)板11并排設(shè)置在驅(qū)動(dòng)層上表面上，可以實(shí)現(xiàn)并行計(jì)算，實(shí)時(shí)性好。
[0057] 控制層上安裝有主控板12,主控板12為機(jī)器人的控制中心，可實(shí)現(xiàn)通訊管理、傳感 器數(shù)據(jù)采集、數(shù)據(jù)處理、驅(qū)動(dòng)管理等功能。主控板12采用MI0-2263系列嵌入式單板電腦，為 搭載嵌入式I.n_tel?CeleronJ1900四核處理器的工業(yè)級(jí)嵌入式單板電腦。主控板12為x86架 構(gòu)，對(duì)各類軟硬件具有良好的兼容性，同時(shí)其較高的性能可以滿足大運(yùn)算量需求，并且使用 R0S框架進(jìn)行開發(fā)。
[0058] 動(dòng)力層上安裝有電池盒13,電池盒13安裝有一塊12V鋰電池和一塊7.4V鋰電池，使 機(jī)器人不用外接電源，獨(dú)立自主，擴(kuò)大機(jī)器人適用范圍。
[0059] 上述控制層上還設(shè)計(jì)有充電接口 14與電源開關(guān)15,如圖9所示;充電導(dǎo)線兩端分別 與充電接口 14和動(dòng)力層中兩塊鋰電池相連；由此使外接電源通過充電接口 14來為鋰電池充 電。電源開關(guān)15來用來控制每條單腿結(jié)構(gòu)2中的各個(gè)舵機(jī)及主控板12的上電下電。
[0060] 本發(fā)明在wlan無線網(wǎng)絡(luò)環(huán)境下，與遠(yuǎn)程控制端(手機(jī)端或平板端)進(jìn)行無線通信， 由遠(yuǎn)程控制端進(jìn)行控制?？刂贫瞬捎肁ndroid系統(tǒng)，設(shè)計(jì)有控制模塊;控制模塊包括安全認(rèn) 證模塊、音視頻播放模塊、操控模塊、信息顯示模塊，如圖8所示?？刂贫酥懈鱾€(gè)模塊均分為 前端與后臺(tái)。前端為人機(jī)交互接口；后臺(tái)負(fù)責(zé)網(wǎng)絡(luò)通信、數(shù)據(jù)處理。其中，安全認(rèn)證模塊用于 獲取用戶輸入的用戶信息，經(jīng)后臺(tái)封裝成數(shù)據(jù)包發(fā)送至機(jī)器人的控制主控板12中，由主控 板反饋登錄結(jié)果至安全認(rèn)證模塊進(jìn)行顯示。音視頻播放模塊通過后臺(tái)接收六足機(jī)器人中 Xtion PRO LIVE攝像頭返回的聲音信息和相機(jī)采集的圖像，經(jīng)后臺(tái)解碼后在音視頻播放模 塊中進(jìn)行顯示。信息顯示模塊接收MU返回的六組機(jī)器人傳感信息，如姿態(tài)、關(guān)節(jié)角度和關(guān) 節(jié)力矩信息用于顯示六足機(jī)器人傳感信息，如姿態(tài)、關(guān)節(jié)角度和關(guān)節(jié)力矩。操控模塊由多個(gè) 控件組成，可控制六足機(jī)器人前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、暫停、停止等動(dòng)作。同時(shí)可以設(shè)置機(jī)器 人行進(jìn)模式，如腿式行進(jìn)模式或輪式行進(jìn)模式。
[0061] 對(duì)于平板電腦端，由于平板電腦的屏幕較大，能夠容納更多的功能模塊。相比手機(jī) 端，本發(fā)明中在平板電腦端還增加了三維仿真模塊。三維仿真模根據(jù)Xtion PRO LIVE攝像 頭與頂U(kuò)模塊返回的機(jī)器人運(yùn)動(dòng)及其周圍環(huán)境信號(hào)，同步顯示機(jī)器人運(yùn)動(dòng)和環(huán)境地形。在機(jī) 器人運(yùn)行過程中，三維仿真模塊根據(jù)六足機(jī)器人關(guān)節(jié)角度信息，驅(qū)動(dòng)三維模型與真實(shí)機(jī)器 人同步(低延時(shí))運(yùn)動(dòng)。
[0062] 針對(duì)上述結(jié)構(gòu)的腿輪復(fù)合機(jī)器人，本發(fā)明還提出一種手勢(shì)控制方法，在控制層內(nèi) 增加手勢(shì)控制模塊與運(yùn)動(dòng)控制模塊，實(shí)現(xiàn)對(duì)腿輪復(fù)合機(jī)器人的手勢(shì)控制。本發(fā)明中手勢(shì)識(shí) 別模炔基于Linux Ubuntu 12.04上安裝的機(jī)器人操作系統(tǒng)（Robot Operating System, R0S)的hydro版本設(shè)計(jì)，將手勢(shì)識(shí)別模塊與運(yùn)動(dòng)控制模塊抽象為整個(gè)機(jī)器人操作系統(tǒng)中的 不同節(jié)點(diǎn)，則手勢(shì)識(shí)別模塊與運(yùn)動(dòng)控制模塊間的通信可看作不同結(jié)點(diǎn)間通信，故模塊間以 R0S(機(jī)器人操作系統(tǒng)）中Topic(話題）的形式通信，通信的內(nèi)容即為Topic中的message(消 息)。
[0063]上述手勢(shì)識(shí)別模塊包括動(dòng)態(tài)手勢(shì)識(shí)別子模塊和靜態(tài)手勢(shì)識(shí)別子模塊，用戶可根據(jù) 需要選擇適當(dāng)?shù)氖謩?shì)識(shí)別方法，其中，動(dòng)態(tài)手勢(shì)識(shí)別基于OpenNI ( Open Natural Interaction)軟件設(shè)計(jì)，用于實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別;OpenNI為開發(fā)者提供一個(gè)多語(yǔ)言、跨平臺(tái) 的框架，并提供其自然交互的API接口。OpenNI API(Application Programming Interface，應(yīng)用程序編程接口）便是一組編寫自然交互應(yīng)用的接口。OpenNI的主要目的是 形成一個(gè)標(biāo)準(zhǔn)應(yīng)用程序編程接口，以此來搭建視覺和音頻傳感器與視覺和音頻感知中間件 通信的橋梁。NITE是OpenNI的中間層，主要用來實(shí)現(xiàn)手勢(shì)識(shí)別。NITE主要通過手勢(shì)檢測(cè)器來 實(shí)現(xiàn)，這些檢測(cè)器在NITE程序中以類的形式出現(xiàn)，用來實(shí)現(xiàn)特定手勢(shì)的識(shí)別。本發(fā)明中的動(dòng) 態(tài)手勢(shì)識(shí)別子模炔基于NITE設(shè)計(jì)實(shí)現(xiàn)，所使用手勢(shì)檢測(cè)器包括穩(wěn)定檢測(cè)器 (SteadyDetector)、畫圓檢測(cè)器(CircleDetector)、推檢測(cè)器(PushDetector)、移動(dòng)檢測(cè)器 (SwipeDetector)。其中，穩(wěn)定檢測(cè)器用于識(shí)別當(dāng)前活躍的手部是否處于穩(wěn)定狀態(tài)，畫圓檢 測(cè)器用于識(shí)別當(dāng)前活躍手部的畫圓運(yùn)動(dòng)，推檢測(cè)器用于識(shí)別當(dāng)前活躍手的前推動(dòng)作（即，手 部垂直于身體前推），移動(dòng)檢測(cè)器用于識(shí)別當(dāng)前活躍手的擊打動(dòng)作（即，手沿身體正面的平 面運(yùn)動(dòng)）。
[0064]如圖9所示，上述動(dòng)態(tài)手勢(shì)識(shí)別子模塊的具體設(shè)計(jì)方式為：
[0065] A、使用Xtion PRO LIVE攝像頭9的Xtion SDK(android平臺(tái)上的體感開發(fā)工具）中 XML 文檔(如:Sample-tracking. xml)初始化環(huán)境；
[0066] B、建立上下文環(huán)境創(chuàng)建圖像生成器（ImageGenerator)，并設(shè)定圖像生成器的像 素、幀率等；
[0067] C、建立、注冊(cè)場(chǎng)景管理器(SessionManager)，并初始化場(chǎng)景管理器；
[0068] D、建立、注冊(cè)穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器，并將各檢測(cè)器中的 監(jiān)聽器添加至場(chǎng)景管理器中；同時(shí)，設(shè)定穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器的 回調(diào)函數(shù)；
[0069] 通過上述方式設(shè)計(jì)的動(dòng)態(tài)手勢(shì)識(shí)別模塊，在進(jìn)行手勢(shì)識(shí)別時(shí)，如圖10所示，首先通 過Xtion PRO LIVE攝像頭9采集動(dòng)態(tài)手勢(shì)的RGB圖像信息；隨后基于OpenNI軟件對(duì)采集的圖 像進(jìn)行處理，提取手勢(shì)的運(yùn)動(dòng)軌跡，并通過穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器 識(shí)別手靜止不動(dòng)、畫圓、推和移動(dòng)的手勢(shì)；隨后穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢 測(cè)器將各自的回調(diào)函數(shù)中輸出識(shí)別結(jié)果，并在機(jī)器人操作系統(tǒng)中以Message的形式將識(shí)別 結(jié)果發(fā)送至運(yùn)動(dòng)控制模塊。運(yùn)動(dòng)控制模塊根據(jù)識(shí)別結(jié)果，結(jié)合動(dòng)態(tài)手勢(shì)識(shí)別模塊內(nèi)預(yù)定義 的動(dòng)態(tài)手勢(shì)與機(jī)器人運(yùn)動(dòng)的映射關(guān)系，控制機(jī)器人完成相應(yīng)的運(yùn)動(dòng)。上述動(dòng)態(tài)識(shí)別子模塊 使用范圍較廣，可在室內(nèi)光線不好的情況下時(shí)使用。
[0070] 所述靜態(tài)手勢(shì)識(shí)別子模炔基于彩色圖像，用于識(shí)別靜態(tài)手勢(shì)。通過靜態(tài)手勢(shì)識(shí)別 子模塊，在進(jìn)行手勢(shì)識(shí)別時(shí)，如圖11所示，首先通過Xtion PRO LIVE攝像頭9采集人體的RGB 圖像信息，該圖像信息通過機(jī)器人操作系統(tǒng)中Topic中的message發(fā)送至靜態(tài)手勢(shì)識(shí)別子模 塊;隨后，利用靜態(tài)手勢(shì)識(shí)別子模塊內(nèi)預(yù)存的膚色模型和H0G特征檢測(cè)出人臉部分，進(jìn)而根 據(jù)人體結(jié)構(gòu)特征，檢測(cè)出人的身體部分，并由身體部分中分割出人的手部區(qū)域，最終提取已 分割手部區(qū)域的圖像特征，進(jìn)行手勢(shì)的訓(xùn)練識(shí)別，并將識(shí)別結(jié)果發(fā)送運(yùn)動(dòng)控制模塊，根據(jù)識(shí) 別結(jié)果，結(jié)合預(yù)存于的靜態(tài)手勢(shì)與機(jī)器人運(yùn)動(dòng)的映射關(guān)系，控制機(jī)器人完成相應(yīng)的運(yùn)動(dòng)。上 述靜態(tài)手勢(shì)識(shí)別子模塊可在室內(nèi)或室外光照好的情況下使用。
[0071 ]實(shí)施例一:使用動(dòng)態(tài)手勢(shì)控制機(jī)器人運(yùn)動(dòng)
[0072]用戶朝向Xtion PRO LIVE攝像頭9揮手，機(jī)器人識(shí)別到用戶的揮手動(dòng)作后，機(jī)器人 原地踏步走，當(dāng)用戶手向上垂直移動(dòng)時(shí)，機(jī)器人徑直向前行走，當(dāng)用戶手向下垂直移動(dòng)時(shí)， 機(jī)器人徑直后退，當(dāng)用戶手順時(shí)針畫圓，機(jī)器人順時(shí)針轉(zhuǎn)一圈后原地踏步走，當(dāng)用戶手向前 推，機(jī)器人停止運(yùn)動(dòng)。
[0073] 實(shí)施例二:使用靜態(tài)手勢(shì)控制機(jī)器人運(yùn)動(dòng)
[0074] 靜態(tài)手勢(shì)識(shí)別模塊可以預(yù)定義手勢(shì)種類與機(jī)器人動(dòng)作的映射關(guān)系，例如，對(duì)用戶 單手1-9數(shù)字手勢(shì)做預(yù)定義，如表1所示：
[0075]表1靜態(tài)手勢(shì)預(yù)定義

[0078]默認(rèn)情況下，六足機(jī)器人以腿式"3+3"步態(tài)行走。用戶做數(shù)字1的手勢(shì)，六足機(jī)器人 前進(jìn);用戶做數(shù)字3的手勢(shì)，六足機(jī)器人向左轉(zhuǎn)彎；用戶做數(shù)字4的手勢(shì)，六足機(jī)器人向右轉(zhuǎn) 彎；用戶做數(shù)字5的手勢(shì)，六足機(jī)器人停止；用戶做數(shù)字6的手勢(shì)，六足機(jī)器人腿式行走切換 為輪式行走；用戶做數(shù)字2的手勢(shì)，六足機(jī)器人以輪行方式后退;用戶做數(shù)字7的手勢(shì)，六足 機(jī)器人輪行切換為腿式行走；用戶做數(shù)字4的手勢(shì)，六足機(jī)器人以腿式行走方式向右轉(zhuǎn)彎； 用戶做數(shù)字5的手勢(shì)，六足機(jī)器人停止;用戶做數(shù)字8的手勢(shì)，六足機(jī)器人抬起一條腿；用戶 做數(shù)字5的手勢(shì)，六足機(jī)器人停止;用戶做數(shù)字9的手勢(shì)，六足機(jī)器人抬起兩條腿；用戶做數(shù) 字5的手勢(shì)，六足機(jī)器人停止。
【主權(quán)項(xiàng)】
1. 一種基于xtion設(shè)備的腿輪復(fù)合機(jī)器人，包括機(jī)器人本體以及6條機(jī)器人單腿結(jié)構(gòu)，6 條機(jī)器人單腿結(jié)構(gòu)周向均勻安裝于機(jī)器人本體上;單腿結(jié)構(gòu)為具有步行與輪行功能的輪腿 結(jié)構(gòu)，具有三根腿節(jié)，以及4個(gè)驅(qū)動(dòng)舵機(jī);令三根腿節(jié)分別為第一腿節(jié)、第二腿節(jié)、第三腿節(jié)， 4個(gè)驅(qū)動(dòng)舵機(jī)分別為第一舵機(jī)、第二舵機(jī)、第三舵機(jī)、第四舵機(jī);其中，第一腿節(jié)一端固定安 裝在第一舵機(jī)的輸出軸上，形成髖關(guān)節(jié);第一舵機(jī)輸出軸軸線與水平面垂直，由第一舵機(jī)驅(qū) 動(dòng)第一腿節(jié)橫向擺動(dòng);第二舵機(jī)固定安裝于第一腿節(jié)另一端，第二舵機(jī)輸出軸與第二腿節(jié) 一端固定，形成膝關(guān)節(jié);第二舵機(jī)輸出軸軸線與第一舵機(jī)輸出軸軸線垂直，由第二舵機(jī)驅(qū)動(dòng) 第二腿節(jié)縱向擺動(dòng);第二腿節(jié)另一端與第三舵機(jī)輸出軸固定，形成踝關(guān)節(jié);第三舵機(jī)輸出軸 軸線與第二舵機(jī)輸出軸軸線平行，由第三舵機(jī)驅(qū)動(dòng)第三腿節(jié)縱向擺動(dòng);第四舵機(jī)位于第三 腿節(jié)中部，第四舵機(jī)的輸出軸軸線與第三舵機(jī)輸出軸軸線平行，第四舵機(jī)輸出軸上通過花 鍵同軸固定安裝有輪子，通過第四舵機(jī)驅(qū)動(dòng)輪子轉(zhuǎn)動(dòng);第三腿節(jié)另一端安裝有足地檢測(cè)機(jī) 構(gòu)，用于單腿結(jié)構(gòu)2與地面間的接觸，同時(shí)可實(shí)現(xiàn)足地接觸狀態(tài)的檢測(cè)； 其特征在于:機(jī)器人本體內(nèi)部由具有減重孔的鋁合金板分割為四層，由上至下依次為 傳感層、驅(qū)動(dòng)層、控制層及動(dòng)力層，用于安裝控制系統(tǒng)；其中，傳感層上安裝有Xtion PRO LIVE攝像頭與頂U(kuò);Xtion PRO LIVE攝像頭用來采集環(huán)境信息，實(shí)現(xiàn)同時(shí)定位及地圖創(chuàng)建， 以及獲取人的信息，用于人機(jī)交互；IMU用于獲得機(jī)器人的自身姿態(tài)，輔助定位和創(chuàng)建環(huán)境 地圖；驅(qū)動(dòng)層上安裝有六塊舵機(jī)驅(qū)動(dòng)板，分別用于控制6條單腿結(jié)構(gòu)上的各個(gè)舵機(jī)運(yùn)動(dòng);控 制層上安裝有主控板，實(shí)現(xiàn)通訊管理、傳感器數(shù)據(jù)采集、數(shù)據(jù)處理與驅(qū)動(dòng)管理等功能;動(dòng)力 層上安裝有電池盒，電池盒內(nèi)安裝機(jī)器人供電電池； 機(jī)器人本體與遠(yuǎn)程控制端進(jìn)行無線通信，由遠(yuǎn)程控制端進(jìn)行控制；遠(yuǎn)程控制端具有安 全認(rèn)證模塊、音視頻播放模塊、操控模塊與信息顯示模塊;各個(gè)模塊均分為前端與后臺(tái)；前 端為人機(jī)交互接口；后臺(tái)負(fù)責(zé)網(wǎng)絡(luò)通信、數(shù)據(jù)處理;其中，安全認(rèn)證模塊用于獲取用戶輸入 的用戶信息，經(jīng)后臺(tái)封裝成數(shù)據(jù)包發(fā)送至機(jī)器人的控制主控板中，由主控板反饋登錄結(jié)果 至安全認(rèn)證模塊進(jìn)行顯示;音視頻播放模塊通過后臺(tái)接收Xtion PRO LIVE攝像頭返回的聲 音信息和相機(jī)采集的圖像，經(jīng)后臺(tái)解碼后在音視頻播放模塊中進(jìn)行顯示;信息顯示模塊接 收頂U(kuò)返回的六組機(jī)器人傳感信息，如姿態(tài)、關(guān)節(jié)角度和關(guān)節(jié)力矩信息用于顯示六足機(jī)器人 傳感信息;操控模塊由運(yùn)動(dòng)控件組成，可控制機(jī)器人運(yùn)動(dòng)；同時(shí)可以設(shè)置機(jī)器人行進(jìn)模式。2. 如權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，其特征在于:髖關(guān)節(jié)、膝關(guān) 節(jié)與踝關(guān)節(jié)處的舵機(jī)與第一腿節(jié)、第二腿節(jié)、第三腿節(jié)間的連接方式相同，其中舵機(jī)輸出軸 上通過螺釘固定安裝有舵盤，舵盤嵌入腿節(jié)的端部一側(cè)連接位上設(shè)計(jì)的凹槽內(nèi)定位;舵機(jī) 的輸出軸同軸固定安裝有伸出軸，伸出軸端部通過軸承與腿節(jié)端部另一側(cè)連接位相連。3. 如權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，其特征在于:機(jī)器人本體 外加裝周邊罩，周邊罩周向上預(yù)留單腿結(jié)構(gòu)的安裝口；通過周邊罩對(duì)機(jī)器人本進(jìn)行保護(hù)。4. 如權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，其特征在于:Xtion PRO LIVE攝像頭位于機(jī)器人主體外部，底座位于傳感器層內(nèi)，固定安裝在倒U型支架上，倒U型支 架固定在傳感層上表面;MU位于倒U型支架內(nèi)。5. 如權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，其特征在于:六塊舵機(jī)驅(qū) 動(dòng)板并排設(shè)置在驅(qū)動(dòng)層上表面上，可以實(shí)現(xiàn)并行計(jì)算，實(shí)時(shí)性好。6. 如權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，其特征在于:控制層上還 設(shè)計(jì)有充電接口與電源開關(guān);充電導(dǎo)線兩端分別與充電接口和動(dòng)力層中兩塊鋰電池相連； 由此使外接電源通過充電接口來為鋰電池充電；電源開關(guān)來用來控制每條單腿結(jié)構(gòu)中的各 個(gè)舵機(jī)及主控板的上電下電。7. 如權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人，其特征在于:遠(yuǎn)程控制端 還具有三維仿真模塊;三維仿真模根據(jù)Xtion PRO LIVE攝像頭與頂U(kuò)模塊返回的機(jī)器人運(yùn) 動(dòng)及其周圍環(huán)境信號(hào)，同步顯示機(jī)器人運(yùn)動(dòng)和環(huán)境地形;在機(jī)器人運(yùn)行過程中，三維仿真模 塊根據(jù)六足機(jī)器人關(guān)節(jié)角度信息，驅(qū)動(dòng)三維模型與真實(shí)機(jī)器人同步運(yùn)動(dòng)。8. 針對(duì)權(quán)利要求1所述一種基于Xtion設(shè)備的腿輪復(fù)合機(jī)器人的手勢(shì)控制方法，其特征 在于:在控制層上安裝手勢(shì)識(shí)別模塊與運(yùn)動(dòng)控制模塊;手勢(shì)識(shí)別模塊包括動(dòng)態(tài)手勢(shì)識(shí)別子 模塊和靜態(tài)手勢(shì)識(shí)別子模塊，其中： 動(dòng)態(tài)手勢(shì)識(shí)別子模塊用于實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別，具有穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè) 器、移動(dòng)檢測(cè)器;其中，穩(wěn)定檢測(cè)器用于識(shí)別當(dāng)前活躍的手部是否處于穩(wěn)定狀態(tài)，畫圓檢測(cè) 器用于識(shí)別當(dāng)前活躍手部的畫圓運(yùn)動(dòng)，推檢測(cè)器用于識(shí)別當(dāng)前活躍手的前推動(dòng)作，移動(dòng)檢 測(cè)器用于識(shí)別當(dāng)前活躍手的擊打動(dòng)作； 上述動(dòng)態(tài)手勢(shì)識(shí)別子模塊的具體設(shè)計(jì)方式為： A、 使用Xtion PRO LIVE攝像頭的Xtion SDK初始化環(huán)境； B、 建立上下文環(huán)境創(chuàng)建圖像生成器，并設(shè)定圖像生成器的像素、幀率； C、 建立、注冊(cè)場(chǎng)景管理器，并初始化場(chǎng)景管理器； D、 建立、注冊(cè)穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器，并將各檢測(cè)器中的監(jiān)聽 器添加至場(chǎng)景管理器中；同時(shí)，設(shè)定穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器的回調(diào) 函數(shù)； 通過上述方式設(shè)計(jì)的動(dòng)態(tài)手勢(shì)識(shí)別模塊，在進(jìn)行手勢(shì)識(shí)別時(shí)，首先通過Xtion PRO LIVE攝像頭采集RGB圖像信息；隨后基于OpenNI軟件對(duì)采集的圖像進(jìn)行處理，提取手勢(shì)的運(yùn) 動(dòng)軌跡，并通過穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器識(shí)別手靜止不動(dòng)、畫圓、推 和移動(dòng)的手勢(shì)；隨后穩(wěn)定檢測(cè)器、畫圓檢測(cè)器、推檢測(cè)器、移動(dòng)檢測(cè)器將各自的回調(diào)函數(shù)中 輸出識(shí)別結(jié)果，并將識(shí)別結(jié)果發(fā)送至運(yùn)動(dòng)控制模塊;運(yùn)動(dòng)控制模塊根據(jù)識(shí)別結(jié)果，結(jié)合動(dòng)態(tài) 手勢(shì)識(shí)別模塊內(nèi)預(yù)定義的動(dòng)態(tài)手勢(shì)與機(jī)器人運(yùn)動(dòng)的映射關(guān)系，控制機(jī)器人完成相應(yīng)的運(yùn) 動(dòng)。 所述靜態(tài)手勢(shì)識(shí)別子模炔基于彩色圖像，用于識(shí)別靜態(tài)手勢(shì);通過靜態(tài)手勢(shì)識(shí)別子模 塊，在進(jìn)彳丁手勢(shì)識(shí)別時(shí)，首先通過Xtion PRO LIVE攝像頭米集RGB圖像彳目息，該圖像彳目息通 過機(jī)器人操作系統(tǒng)中的Topic中的message實(shí)現(xiàn);隨后，利用靜態(tài)手勢(shì)識(shí)別子模塊內(nèi)預(yù)存的 膚色模型和HOG特征檢測(cè)出人臉部分，進(jìn)而根據(jù)人體結(jié)構(gòu)特征，檢測(cè)出人的身體部分，并由 身體部分中分割出人的手部區(qū)域，最終提取已分割手部區(qū)域的圖像特征，進(jìn)行手勢(shì)的訓(xùn)練 識(shí)別，并將識(shí)別結(jié)果發(fā)送主控板，根據(jù)識(shí)別結(jié)果，結(jié)合預(yù)存于的靜態(tài)手勢(shì)與機(jī)器人運(yùn)動(dòng)的映 射關(guān)系，控制機(jī)器人完成相應(yīng)的運(yùn)動(dòng)。
【文檔編號(hào)】G06F3/01GK106005086SQ201610389736
【公開日】2016年10月12日
【申請(qǐng)日】2016年6月2日
【發(fā)明人】丁希侖, 齊靜, 徐坤, 彭賽金, 楊帆, 尹業(yè)成, 鄭羿
【申請(qǐng)人】北京航空航天大學(xué)