本發(fā)明屬于計(jì)算機(jī)視覺與群體智能領(lǐng)域，涉及鏡頭抖動(dòng)消除、雙目定位測(cè)距和精確化機(jī)械臂柔性作業(yè)等關(guān)鍵技術(shù)，具體提供一種面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法。

背景技術(shù)：

1、隨著工業(yè)自動(dòng)化程度的不斷提高和人工智能技術(shù)的快速發(fā)展，無人系統(tǒng)在各個(gè)領(lǐng)域的應(yīng)用日益廣泛；特別是在封測(cè)場景中，對(duì)于精準(zhǔn)定位、測(cè)距和柔性作業(yè)需求日益增長；傳統(tǒng)的封測(cè)場景中存在著鏡頭抖動(dòng)、定位測(cè)距不準(zhǔn)確等問題，影響了無人系統(tǒng)的柔性協(xié)同能力和作業(yè)效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，用以解決傳統(tǒng)封測(cè)場景中存在的鏡頭抖動(dòng)、定位測(cè)距不準(zhǔn)確等問題，旨在提高無人系統(tǒng)的柔性協(xié)同能力，從而滿足封測(cè)場景對(duì)于精準(zhǔn)作業(yè)的需求。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

3、一種面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，包括以下步驟：

4、步驟1.?標(biāo)定智能封測(cè)場景中三臺(tái)相機(jī)的坐標(biāo)，實(shí)時(shí)獲取每臺(tái)相機(jī)的采集圖像，并對(duì)圖像進(jìn)行預(yù)處理，得到采集圖像的特征矩陣；

5、步驟2.?針對(duì)每一臺(tái)相機(jī)，根據(jù)采集圖像的特征矩陣進(jìn)行抖動(dòng)判別，并對(duì)發(fā)生抖動(dòng)采集圖像進(jìn)行抖動(dòng)校正；

6、步驟3.?針對(duì)每一臺(tái)相機(jī)，根據(jù)抖動(dòng)判別結(jié)果計(jì)算得到相機(jī)在當(dāng)前時(shí)刻的抖動(dòng)權(quán)重；

7、步驟4.?針對(duì)每一臺(tái)相機(jī)，根據(jù)完成抖動(dòng)校正的采集圖像計(jì)算得到相機(jī)在當(dāng)前時(shí)刻的姿態(tài)權(quán)重；

8、步驟5.?將三臺(tái)相機(jī)按照順序兩兩構(gòu)成雙目測(cè)距系統(tǒng)，通過每一個(gè)雙目測(cè)距系統(tǒng)分別測(cè)量得到目標(biāo)物體的坐標(biāo)與尺寸，再根據(jù)雙目測(cè)距系統(tǒng)中主相機(jī)的抖動(dòng)權(quán)重與姿態(tài)權(quán)重對(duì)三個(gè)雙目測(cè)距系統(tǒng)的測(cè)量結(jié)果進(jìn)行數(shù)據(jù)融合，得到目標(biāo)物體在當(dāng)前時(shí)刻的坐標(biāo)與尺寸，用以完成柔性協(xié)同控制。

9、進(jìn)一步的，步驟1中，預(yù)處理過程為：

10、針對(duì)每一幀圖像，其灰度矩陣表示為：

11、，

12、其中，表示灰度矩陣中第m行、第n列的灰度值，m=1,2,...,m，n=1,2,...,n，m表示灰度矩陣的行數(shù)，n表示灰度矩陣的列數(shù)；

13、根據(jù)灰度矩陣計(jì)算圖像的橫向差分矩陣，具體為：

14、，

15、其中，第m行、第n列的元素表示為：

16、，

17、根據(jù)灰度矩陣計(jì)算圖像的縱向差分矩陣，具體為：

18、，

19、其中，第m行、第n列的元素表示為：

20、，

21、合并橫向差分矩陣與縱向差分矩陣，得到圖像對(duì)應(yīng)的特征矩陣，具體為：

22、，

23、其中，表示維度為的全零矩陣。

24、進(jìn)一步的，步驟2中，采用上標(biāo)t標(biāo)記時(shí)刻，對(duì)于當(dāng)前時(shí)刻t，計(jì)算抖動(dòng)判別特征，具體為：

25、，

26、其中，表示相機(jī)在當(dāng)前時(shí)刻t的采集圖像的抖動(dòng)判別特征，與分別表示相機(jī)在時(shí)刻t與時(shí)刻t+1的采集圖像的特征矩陣，表示矩陣的異或運(yùn)算；

27、設(shè)置抖動(dòng)判別時(shí)間窗口k，根據(jù)抖動(dòng)判別特征對(duì)相機(jī)進(jìn)行抖動(dòng)判別，抖動(dòng)判別的判別條件為：

28、，

29、其中，表示抖動(dòng)判別閾值，表示求模運(yùn)算；

30、若滿足抖動(dòng)判別的判別條件，則認(rèn)定相機(jī)在時(shí)刻t發(fā)生抖動(dòng)，對(duì)圖像進(jìn)行抖動(dòng)校正并將抖動(dòng)發(fā)生時(shí)刻按順序記錄于抖動(dòng)時(shí)刻集合t中；否則，認(rèn)定未發(fā)生抖動(dòng)。

31、更進(jìn)一步的，步驟2中，抖動(dòng)校正表示為：

32、，

33、，

34、其中，表示相機(jī)在時(shí)刻t的采集圖像的灰度矩陣，表示灰度矩陣的抖動(dòng)校正結(jié)果，表示逆濾波運(yùn)算；表示灰度矩陣經(jīng)過逆濾波的結(jié)果。

35、進(jìn)一步的，步驟3中，計(jì)算相機(jī)在當(dāng)前時(shí)刻t的抖動(dòng)權(quán)重：

36、，

37、其中，t表示抖動(dòng)時(shí)刻集合，表示當(dāng)前時(shí)刻t不屬于抖動(dòng)集合t，表示當(dāng)前時(shí)刻t屬于抖動(dòng)集合t，表示抖動(dòng)集合t中時(shí)刻t后下一次發(fā)生抖動(dòng)的時(shí)刻，k表示抖動(dòng)判別時(shí)間窗口。

38、進(jìn)一步的，步驟4中，對(duì)于當(dāng)前時(shí)刻t的采集圖像，對(duì)目標(biāo)物體進(jìn)行邊界提取，以上邊界為起點(diǎn)，按照順時(shí)針方向依次得到邊界像素集；同時(shí)，采用正方形邊框框定目標(biāo)物體，以上邊界為起點(diǎn)，按照順時(shí)針方向依次得到邊框像素集；計(jì)算邊界像素集與邊框像素集的重合度，獲取目標(biāo)物體的姿態(tài)估計(jì)向量：

39、,

40、其中，表示目標(biāo)物體在時(shí)刻t的姿態(tài)估計(jì)向量，表示邊界像素集與邊框像素集的重合度，表示二維旋轉(zhuǎn)形式的旋轉(zhuǎn)矩陣，表示直線擬合弧形的參數(shù)向量，表示求模運(yùn)算，表示向量的同或運(yùn)算；

41、根據(jù)姿態(tài)估計(jì)向量計(jì)算當(dāng)前相機(jī)的姿態(tài)權(quán)重，具體表示為：

42、。

43、進(jìn)一步的，步驟5中，將三臺(tái)相機(jī)按照順時(shí)針方向依次編號(hào)且兩兩構(gòu)成雙目測(cè)距系統(tǒng)，第1個(gè)雙目測(cè)距系統(tǒng)中第1臺(tái)相機(jī)作為主相機(jī)、第2臺(tái)相機(jī)作為輔相機(jī)，第2個(gè)雙目測(cè)距系統(tǒng)中第2臺(tái)相機(jī)作為主相機(jī)、第3臺(tái)相機(jī)作為輔相機(jī)，第3個(gè)雙目測(cè)距系統(tǒng)中第3臺(tái)相機(jī)作為主相機(jī)、第1臺(tái)相機(jī)作為輔相機(jī)；對(duì)于當(dāng)前時(shí)刻t，三個(gè)雙目測(cè)距系統(tǒng)分別測(cè)得目標(biāo)物體的坐標(biāo)與尺寸，；

44、根據(jù)每一臺(tái)相機(jī)的姿態(tài)權(quán)重與抖動(dòng)權(quán)重對(duì)三個(gè)雙目測(cè)距系統(tǒng)的測(cè)量結(jié)果進(jìn)行融合，得到目標(biāo)物體在當(dāng)前時(shí)刻t的坐標(biāo)與尺寸，具體表示為：

45、,

46、,

47、,

48、,

49、其中，表示第j個(gè)雙目測(cè)距系統(tǒng)測(cè)量得到的主相機(jī)與目標(biāo)物體的距離，表示科學(xué)計(jì)數(shù)符號(hào)，表示第j臺(tái)相機(jī)在時(shí)刻t的姿態(tài)權(quán)重，表示第j臺(tái)相機(jī)在時(shí)刻t的抖動(dòng)權(quán)重。

50、基于上述技術(shù)方案，本發(fā)明的有益效果在于：

51、本發(fā)明提供一種面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，采用實(shí)時(shí)圖像預(yù)處理、抖動(dòng)判別與校正、抖動(dòng)與姿態(tài)權(quán)重計(jì)算以及雙目測(cè)距系統(tǒng)的數(shù)據(jù)融合技術(shù)，使得相機(jī)在采集圖像時(shí)的數(shù)據(jù)一致性和準(zhǔn)確性得到保證，外界干擾能夠被及時(shí)發(fā)現(xiàn)和修正，測(cè)量數(shù)據(jù)更加精準(zhǔn)。最終，本發(fā)明具有提高圖像采集穩(wěn)定性、增強(qiáng)測(cè)量精度和實(shí)現(xiàn)柔性協(xié)同控制的優(yōu)點(diǎn)，能夠滿足封測(cè)場景對(duì)于精準(zhǔn)作業(yè)的需求。

技術(shù)特征：

1.一種面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，步驟1中，預(yù)處理過程為：

3.根據(jù)權(quán)利要求1所述面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，步驟2中，采用上標(biāo)t標(biāo)記時(shí)刻，對(duì)于當(dāng)前時(shí)刻t，計(jì)算抖動(dòng)判別特征，具體為：

4.根據(jù)權(quán)利要求3所述面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，步驟2中，抖動(dòng)校正表示為：

5.根據(jù)權(quán)利要求1所述面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，步驟3中，計(jì)算相機(jī)在當(dāng)前時(shí)刻t的抖動(dòng)權(quán)重：

6.根據(jù)權(quán)利要求1所述面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，步驟4中，對(duì)于當(dāng)前時(shí)刻t的采集圖像，對(duì)目標(biāo)物體進(jìn)行邊界提取，以上邊界為起點(diǎn)，按照順時(shí)針方向依次得到邊界像素集；同時(shí)，采用正方形邊框框定目標(biāo)物體，以上邊界為起點(diǎn)，按照順時(shí)針方向依次得到邊框像素集；計(jì)算邊界像素集與邊框像素集的重合度，獲取目標(biāo)物體的姿態(tài)估計(jì)向量：

7.根據(jù)權(quán)利要求1所述面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，其特征在于，步驟5中，將三臺(tái)相機(jī)按照順時(shí)針方向依次編號(hào)且兩兩構(gòu)成雙目測(cè)距系統(tǒng)，第1個(gè)雙目測(cè)距系統(tǒng)中第1臺(tái)相機(jī)作為主相機(jī)、第2臺(tái)相機(jī)作為輔相機(jī)，第2個(gè)雙目測(cè)距系統(tǒng)中第2臺(tái)相機(jī)作為主相機(jī)、第3臺(tái)相機(jī)作為輔相機(jī)，第3個(gè)雙目測(cè)距系統(tǒng)中第3臺(tái)相機(jī)作為主相機(jī)、第1臺(tái)相機(jī)作為輔相機(jī)；對(duì)于當(dāng)前時(shí)刻t，三個(gè)雙目測(cè)距系統(tǒng)分別測(cè)得目標(biāo)物體的坐標(biāo)與尺寸，；

技術(shù)總結(jié)
本發(fā)明屬于計(jì)算機(jī)視覺與群體智能領(lǐng)域，具體提供一種面向智能封測(cè)場景的無人系統(tǒng)柔性協(xié)同方法，用以解決傳統(tǒng)封測(cè)場景中存在的鏡頭抖動(dòng)、定位測(cè)距不準(zhǔn)確等問題；首先，實(shí)時(shí)獲取每臺(tái)相機(jī)的采集圖像，并對(duì)圖像進(jìn)行預(yù)處理，得到特征矩陣；然后，針對(duì)每一臺(tái)相機(jī)，根據(jù)特征矩陣進(jìn)行抖動(dòng)判別，并對(duì)發(fā)生抖動(dòng)的采集圖像進(jìn)行抖動(dòng)校正，進(jìn)而計(jì)算得到相機(jī)在當(dāng)前時(shí)刻的抖動(dòng)權(quán)重與姿態(tài)權(quán)重；最后，根據(jù)雙目測(cè)距系統(tǒng)中主相機(jī)的抖動(dòng)權(quán)重與姿態(tài)權(quán)重對(duì)三個(gè)雙目測(cè)距系統(tǒng)的測(cè)量結(jié)果進(jìn)行數(shù)據(jù)融合，得到目標(biāo)物體在當(dāng)前時(shí)刻的坐標(biāo)與尺寸，用以完成柔性協(xié)同控制；綜上，本發(fā)明能夠提高無人系統(tǒng)的柔性協(xié)同能力，從而滿足封測(cè)場景對(duì)于精準(zhǔn)作業(yè)的需求。

技術(shù)研發(fā)人員：解維坤,王厚軍,戴志堅(jiān),楊萬渝,鄧可為,李榮杰,武睿,朱睿琪
受保護(hù)的技術(shù)使用者：電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21