本技術(shù)涉及計(jì)算機(jī)視覺(jué)的，尤其是涉及一種基于多攝像機(jī)的室內(nèi)機(jī)器人定位導(dǎo)航方法及相關(guān)設(shè)備。

背景技術(shù)：

1、室內(nèi)機(jī)器人是指設(shè)計(jì)用于在室內(nèi)環(huán)境中執(zhí)行各種任務(wù)的機(jī)器人，室內(nèi)機(jī)器人可以用于多種場(chǎng)景，包括家庭、辦公室、商店、醫(yī)院等地方，室內(nèi)機(jī)器人的發(fā)展為人們的生活帶來(lái)了諸多便利，可以在各種場(chǎng)景中幫助人們完成各種任務(wù)，從而提高生活質(zhì)量和工作效率。

2、在室內(nèi)環(huán)境中，機(jī)器人需要能夠準(zhǔn)確地感知和理解周?chē)沫h(huán)境，以便執(zhí)行任務(wù)和規(guī)避障礙物，為了實(shí)現(xiàn)這一點(diǎn)，室內(nèi)機(jī)器人通常配備各種傳感器，如激光雷達(dá)、攝像頭、超聲波傳感器等，以獲取環(huán)境信息并進(jìn)行定位和導(dǎo)航，由此可見(jiàn)，傳統(tǒng)的室內(nèi)機(jī)器人定位以及導(dǎo)航主要依賴(lài)機(jī)器人自身的傳感器，一方面，過(guò)多的傳感器增加了室內(nèi)機(jī)器人的制造成本，另一方面，受限于傳感器本身的尺寸與位置，導(dǎo)致觀測(cè)范圍也有很大的局限。

3、近年來(lái)，基于視覺(jué)的定位技術(shù)逐漸成為研究熱點(diǎn)，通常采用單視角圖像定位技術(shù)，通過(guò)訓(xùn)練特定的檢測(cè)模型來(lái)識(shí)別并定位機(jī)器人在圖像中的二維坐標(biāo)，然而，由于生活環(huán)境的復(fù)雜性，環(huán)境隨時(shí)改變，受外界影響、干擾較多，單視角存在監(jiān)控死角，定位導(dǎo)航精度會(huì)受到影響。

技術(shù)實(shí)現(xiàn)思路

1、為了便于實(shí)現(xiàn)室內(nèi)機(jī)器人的精準(zhǔn)定位導(dǎo)航，本技術(shù)提供一種基于多攝像機(jī)的室內(nèi)機(jī)器人定位導(dǎo)航方法及相關(guān)設(shè)備，采用如下的技術(shù)方案：

2、第一方面，本技術(shù)提供了一種基于多攝像機(jī)的室內(nèi)機(jī)器人定位導(dǎo)航方法，包括：

3、若在第一時(shí)刻觀測(cè)到事件目標(biāo)，則獲取目標(biāo)場(chǎng)景中的n個(gè)攝像機(jī)的內(nèi)外參數(shù)，其中，所述n為大于或者等于3的整數(shù)，所述目標(biāo)場(chǎng)景為室內(nèi)場(chǎng)景集中的任意一個(gè)場(chǎng)景；

4、通過(guò)所述n個(gè)攝像機(jī)采集所述目標(biāo)場(chǎng)景的場(chǎng)景圖像，以得到所述室內(nèi)場(chǎng)景集所對(duì)應(yīng)的場(chǎng)景圖像集合；

5、基于所述場(chǎng)景圖像集合確定作業(yè)機(jī)器人的像素坐標(biāo)以及所述事件目標(biāo)的像素坐標(biāo)；

6、基于所述作業(yè)機(jī)器人的像素坐標(biāo)、所述事件目標(biāo)的像素坐標(biāo)以及所述n個(gè)攝像機(jī)的內(nèi)外參數(shù)確定所述作業(yè)機(jī)器人的第一世界坐標(biāo)以及所述事件目標(biāo)的第二世界坐標(biāo)；

7、基于所述作業(yè)機(jī)器人的第一世界坐標(biāo)、所述事件目標(biāo)的第二世界坐標(biāo)以及所述室內(nèi)場(chǎng)景集對(duì)應(yīng)的室內(nèi)柵格地圖對(duì)所述作業(yè)機(jī)器人進(jìn)行路徑規(guī)劃，并將所述路徑規(guī)劃發(fā)送至所述作業(yè)機(jī)器人，以使得所述作業(yè)機(jī)器人根據(jù)所述路徑規(guī)劃進(jìn)行作業(yè)；

8、若當(dāng)前時(shí)刻達(dá)到第二時(shí)刻，且所述事件目標(biāo)未被觀測(cè)到或所述作業(yè)機(jī)器人處于預(yù)測(cè)模式，則基于預(yù)先構(gòu)建的時(shí)間坐標(biāo)運(yùn)動(dòng)模型預(yù)測(cè)所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)，所述第二時(shí)刻大于所述第一時(shí)刻，且所述第二時(shí)刻與所述第一時(shí)刻之間的差值為預(yù)設(shè)值；

9、根據(jù)所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)、所述作業(yè)機(jī)器人在所述第二時(shí)刻的第四世界坐標(biāo)以及所述室內(nèi)柵格地圖對(duì)所述路徑規(guī)劃進(jìn)行調(diào)整，并將調(diào)整后的路徑規(guī)劃發(fā)送至所述作業(yè)機(jī)器人，以使得所述作業(yè)機(jī)器人根據(jù)所述調(diào)整后的路徑規(guī)劃進(jìn)行作業(yè)。

10、可選的，所述基于所述場(chǎng)景圖像集合確定作業(yè)機(jī)器人的像素坐標(biāo)以及所述事件目標(biāo)的像素坐標(biāo)包括：

11、將所述場(chǎng)景圖像集合輸入到神經(jīng)網(wǎng)絡(luò)檢測(cè)模型中以檢測(cè)所述作業(yè)機(jī)器人以及所述事件目標(biāo)，以得到所述作業(yè)機(jī)器人的包圍框以及所述事件目標(biāo)的包圍框；

12、根據(jù)所述作業(yè)機(jī)器人的包圍框的中心坐標(biāo)確定所述作業(yè)機(jī)器人的像素坐標(biāo)；

13、根據(jù)所述事件目標(biāo)的包圍框的中心坐標(biāo)確定所述事件目標(biāo)的像素坐標(biāo)。

14、可選的，所述根據(jù)所述作業(yè)機(jī)器人的包圍框的中心坐標(biāo)確定所述作業(yè)機(jī)器人的像素坐標(biāo)包括：

15、通過(guò)如下公式計(jì)算所述作業(yè)機(jī)器人的像素坐標(biāo)：

16、

17、所述根據(jù)所述事件目標(biāo)的包圍框的中心坐標(biāo)確定所述事件目標(biāo)的像素坐標(biāo)包括：

18、通過(guò)如下公式計(jì)算所述事件目標(biāo)的像素坐標(biāo)：

19、

20、其中，所述boxrobot_i為所述作業(yè)機(jī)器人的包圍框，所述boxobject_i為所述事件目標(biāo)的包圍框，所述為所述作業(yè)機(jī)器人的像素坐標(biāo)，所述為所述事件目標(biāo)的像素坐標(biāo)。

21、可選的，所述基于所述作業(yè)機(jī)器人的像素坐標(biāo)、所述事件目標(biāo)的像素坐標(biāo)以及所述n個(gè)攝像機(jī)的內(nèi)外參數(shù)確定所述作業(yè)機(jī)器人的第一世界坐標(biāo)以及所述事件目標(biāo)的第二世界坐標(biāo)包括：

22、根據(jù)所述n個(gè)攝像機(jī)的內(nèi)外參數(shù)確定第一目標(biāo)攝像機(jī)的內(nèi)參、所述第一目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣以及所述第一目標(biāo)攝像機(jī)的位移向量，其中，所述第一目標(biāo)攝像機(jī)為所述n個(gè)攝像機(jī)中的任意一個(gè)觀測(cè)到所述作業(yè)機(jī)器人的攝像機(jī)；

23、基于所述作業(yè)機(jī)器人的像素坐標(biāo)、所述作業(yè)機(jī)器人的高度、所述第一目標(biāo)攝像機(jī)的內(nèi)參、所述第一目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣以及所述第一目標(biāo)攝像機(jī)的位移向量確定所述作業(yè)機(jī)器人的第一世界坐標(biāo)；

24、根據(jù)所述n個(gè)攝像機(jī)的內(nèi)外參數(shù)確定第二目標(biāo)攝像機(jī)的內(nèi)參、所述第二目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣以及所述第二目標(biāo)攝像機(jī)的位移向量，其中，所述第二目標(biāo)攝像機(jī)為所述n個(gè)攝像機(jī)中的任意一個(gè)觀測(cè)到所述事件目標(biāo)的攝像機(jī)；

25、基于所述事件目標(biāo)的像素坐標(biāo)、所述第二目標(biāo)攝像機(jī)的內(nèi)參、所述第二目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣、所述第二目標(biāo)攝像機(jī)的位移向量以及最小化重投影誤差原理確定所述事件目標(biāo)的第二世界坐標(biāo)。

26、可選的，所述基于所述作業(yè)機(jī)器人的像素坐標(biāo)、所述作業(yè)機(jī)器人的高度、所述第一目標(biāo)攝像機(jī)的內(nèi)參、所述第一目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣以及所述第一目標(biāo)攝像機(jī)的位移向量確定所述作業(yè)機(jī)器人的第一世界坐標(biāo)包括：

27、通過(guò)如下公式計(jì)算所述作業(yè)機(jī)器人的第一世界坐標(biāo)：

28、通過(guò)如下公式計(jì)算所述作業(yè)機(jī)器人的第一世界坐標(biāo)：

29、

30、其中，所述為所述第一世界坐標(biāo)，所述為所述作業(yè)機(jī)器人在所述第一目標(biāo)攝像機(jī)成像平面的世界坐標(biāo)，所述為所述作業(yè)機(jī)器人在所述第一目標(biāo)攝像機(jī)成像平面的像素坐標(biāo)，所述ri1為所述第一目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣，所述ki1為所述第一目標(biāo)攝像機(jī)的內(nèi)參，所述ti1為所述第一目標(biāo)攝像機(jī)的位移向量，所述為所述第一目標(biāo)攝像機(jī)的實(shí)際世界坐標(biāo)，所述vobject為所述作業(yè)機(jī)器人相對(duì)所述第一目標(biāo)攝像機(jī)的方向向量，所述hrobot為所述作業(yè)機(jī)器人的高度，所述為所述第一目標(biāo)攝像機(jī)下所述作業(yè)機(jī)器人的世界坐標(biāo)，所述nr為所述第一目標(biāo)攝像機(jī)的數(shù)量；i＝0，1，…，n-1。

31、可選的，所述基于所述事件目標(biāo)的像素坐標(biāo)、所述第二目標(biāo)攝像機(jī)的內(nèi)參、所述第二目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣、所述第二目標(biāo)攝像機(jī)的位移向量以及最小化重投影誤差原理確定所述事件目標(biāo)的第二世界坐標(biāo)包括：

32、通過(guò)如下公式計(jì)算所述事件目標(biāo)的第二世界坐標(biāo)：

33、

34、其中，所述為所述第二世界坐標(biāo)，所述ri2為所述第二目標(biāo)攝像機(jī)的外參旋轉(zhuǎn)矩陣，所述ki2為所述第二目標(biāo)攝像機(jī)的內(nèi)參，所述ti2為所述第二目標(biāo)攝像機(jī)的位移向量，所述為所述事件目標(biāo)的像素坐標(biāo)，所述no為所述第二目標(biāo)攝像機(jī)的數(shù)量。

35、1.可選的，所述基于預(yù)先構(gòu)建的時(shí)間坐標(biāo)運(yùn)動(dòng)模型預(yù)測(cè)所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)包括：

36、通過(guò)如下公式計(jì)算所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)：

37、通過(guò)如下公式計(jì)算所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)：

38、

39、vk-1,k-1＝vk-2,k-2；

40、

41、其中，k＝t，t+1，t+2，…；所述為所述第三世界坐標(biāo)，所述δt為期望預(yù)測(cè)的時(shí)間間隔，所述kk為權(quán)重，所述pk,k為k時(shí)刻狀態(tài)轉(zhuǎn)移斜方差權(quán)重，所述rk為預(yù)測(cè)位置和觀測(cè)位置的移斜方差，所述為在第k時(shí)刻所述事件目標(biāo)在第k時(shí)刻的第三世界坐標(biāo)，所述vk-1,k-1為狀態(tài)轉(zhuǎn)移速度分量系數(shù)，所述為k時(shí)間狀態(tài)轉(zhuǎn)移斜方差權(quán)重速度系數(shù)，所述q為誤差分量。

42、第二方面，本技術(shù)提供了一種基于多攝像機(jī)的室內(nèi)機(jī)器人定位導(dǎo)航裝置，包括：

43、第一獲取模塊，用于若在第一時(shí)刻觀測(cè)到事件目標(biāo)，則獲取目標(biāo)場(chǎng)景中的n個(gè)攝像機(jī)的內(nèi)外參數(shù)，其中，所述n為大于或者等于3的整數(shù)，所述目標(biāo)場(chǎng)景為室內(nèi)場(chǎng)景集中的任意一個(gè)場(chǎng)景；

44、第二獲取模塊，用于通過(guò)所述n個(gè)攝像機(jī)采集所述目標(biāo)場(chǎng)景的場(chǎng)景圖像，以得到所述室內(nèi)場(chǎng)景集所對(duì)應(yīng)的場(chǎng)景圖像集合；

45、第一確定模塊，用于基于所述場(chǎng)景圖像集合確定作業(yè)機(jī)器人的像素坐標(biāo)以及所述事件目標(biāo)的像素坐標(biāo)；

46、第二確定模塊，用于基于所述作業(yè)機(jī)器人的像素坐標(biāo)、所述事件目標(biāo)的像素坐標(biāo)以及所述n個(gè)攝像機(jī)的內(nèi)外參數(shù)確定所述作業(yè)機(jī)器人的第一世界坐標(biāo)以及所述事件目標(biāo)的第二世界坐標(biāo)；第一處理模塊，用于基于所述作業(yè)機(jī)器人的第一世界坐標(biāo)、所述事件目標(biāo)的第二世界坐標(biāo)以及所述室內(nèi)場(chǎng)景集對(duì)應(yīng)的室內(nèi)柵格地圖對(duì)所述作業(yè)機(jī)器人進(jìn)行路徑規(guī)劃，并將所述路徑規(guī)劃發(fā)送至所述作業(yè)機(jī)器人，以使得所述作業(yè)機(jī)器人根據(jù)所述路徑規(guī)劃進(jìn)行作業(yè)；

47、第一預(yù)測(cè)模塊，用于若當(dāng)前時(shí)刻達(dá)到第二時(shí)刻，且所述事件目標(biāo)未被觀測(cè)到或所述作業(yè)機(jī)器人處于預(yù)測(cè)模式，則基于預(yù)先構(gòu)建的時(shí)間坐標(biāo)運(yùn)動(dòng)模型預(yù)測(cè)所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)，所述第二時(shí)刻大于所述第一時(shí)刻，且所述第二時(shí)刻與所述第一時(shí)刻之間的差值為預(yù)設(shè)值；

48、第二處理模塊，用于根據(jù)所述事件目標(biāo)在所述第二時(shí)刻的第三世界坐標(biāo)、所述作業(yè)機(jī)器人在所述第二時(shí)刻的第四世界坐標(biāo)以及所述室內(nèi)柵格地圖對(duì)所述路徑規(guī)劃進(jìn)行調(diào)整，并將調(diào)整后的路徑規(guī)劃發(fā)送至所述作業(yè)機(jī)器人，以使得所述作業(yè)機(jī)器人根據(jù)所述調(diào)整后的路徑規(guī)劃進(jìn)行作業(yè)。

49、第三方面，本技術(shù)提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于多攝像機(jī)的室內(nèi)機(jī)器人定位導(dǎo)航方法的步驟。

50、第四方面，本技術(shù)提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于多攝像機(jī)的室內(nèi)機(jī)器人定位導(dǎo)航方法的步驟。

51、綜上所述，可以看出，本技術(shù)提供的實(shí)施例中，為了保證攝像機(jī)的視野覆蓋能夠覆蓋整個(gè)場(chǎng)地，在目標(biāo)場(chǎng)景中設(shè)置有至少n個(gè)攝像機(jī)，目標(biāo)場(chǎng)景為室內(nèi)場(chǎng)景集中的任意一個(gè)場(chǎng)景，當(dāng)?shù)谝粫r(shí)刻觀測(cè)到事件目標(biāo)，獲取目標(biāo)場(chǎng)景中n個(gè)攝像機(jī)的內(nèi)外參數(shù)，并通過(guò)n個(gè)攝像機(jī)采集目標(biāo)場(chǎng)景的場(chǎng)景圖像，以得到室內(nèi)場(chǎng)景集所對(duì)應(yīng)的場(chǎng)景圖像集合，基于場(chǎng)景圖像集合首先確定作業(yè)機(jī)器人的像素坐標(biāo)以及事件目標(biāo)的像素坐標(biāo)，再基于作業(yè)機(jī)器人的像素坐標(biāo)、事件目標(biāo)的像素坐標(biāo)以及n個(gè)攝像機(jī)的內(nèi)外參數(shù)確定作業(yè)機(jī)器人的第一世界坐標(biāo)以及事件目標(biāo)的第二世界坐標(biāo)，接著基于第一世界坐標(biāo)、第二世界坐標(biāo)、室內(nèi)柵格地圖對(duì)作業(yè)機(jī)器人進(jìn)行路徑規(guī)劃，并將路徑規(guī)劃發(fā)送至作業(yè)機(jī)器人，以使得作業(yè)機(jī)器人根據(jù)路徑規(guī)劃進(jìn)行作業(yè)，倘若當(dāng)前時(shí)刻達(dá)到第二時(shí)刻，出現(xiàn)事件目標(biāo)未被觀測(cè)到或者作業(yè)機(jī)器人處于預(yù)測(cè)模式的情況，為了提高作業(yè)機(jī)器人定位導(dǎo)航的精確度，對(duì)基于預(yù)先構(gòu)建的時(shí)間坐標(biāo)運(yùn)動(dòng)模型預(yù)測(cè)事件目標(biāo)在第二時(shí)刻的第三世界坐標(biāo)，再基于第三世界坐標(biāo)以及作業(yè)機(jī)器人在第二時(shí)刻的第四世界坐標(biāo)以及室內(nèi)室內(nèi)柵格地圖對(duì)路徑規(guī)劃進(jìn)行調(diào)整，并將調(diào)整后的路徑規(guī)劃發(fā)送至作業(yè)機(jī)器人，以使得作業(yè)機(jī)器人根據(jù)調(diào)整后的路徑規(guī)劃進(jìn)行作業(yè)，本技術(shù)中相比與傳統(tǒng)技術(shù)過(guò)度依賴(lài)于傳感器，對(duì)動(dòng)態(tài)或遮擋事件目標(biāo)導(dǎo)航效果差的問(wèn)題，本技術(shù)中的方案，采用多視角圖像定位技術(shù)，并在對(duì)待動(dòng)態(tài)或者事件目標(biāo)時(shí)，能夠?qū)崟r(shí)預(yù)測(cè)事件目標(biāo)的位置，進(jìn)而對(duì)機(jī)器人的運(yùn)行軌跡進(jìn)行實(shí)時(shí)調(diào)整，以實(shí)現(xiàn)室內(nèi)機(jī)器人的精準(zhǔn)定位導(dǎo)航。