本發(fā)明屬于圖像處理，具體是一種無人機低空圖像處理方法及系統(tǒng)。

背景技術：

1、隨著無人機技術的快速發(fā)展和普及，無人機在各個領域的應用也越來越廣泛。其中，利用無人機進行低空圖像采集和處理已經(jīng)成為一個熱門領域。通過搭載高清相機或其他傳感器，在低空飛行中獲取高質(zhì)量的圖像數(shù)據(jù)，結(jié)合先進的圖像處理算法，可以實現(xiàn)對地面目標、場景等信息的快速獲取和分析。

2、無人機低空圖像處理系統(tǒng)能夠有效地彌補傳統(tǒng)遙感技術在分辨率、實時性等方面的不足，具有更高的靈活性和適應性。通過對采集到的圖像數(shù)據(jù)進行處理，可以實現(xiàn)目標檢測、識別、跟蹤等功能，為用戶提供更加全面準確的信息服務。因此，無人機低空圖像處理系統(tǒng)在農(nóng)業(yè)生產(chǎn)、城市管理、環(huán)境保護等領域具有廣闊的應用前景。

3、現(xiàn)有的無人機低空圖像處理技術大多針對圖像幀進行特征提取和圖像處理，難以對圖像的不同區(qū)域分別進行圖像特征的提取，也難以對不同圖像幀進行精確拼接，同時保留運動物體的特征。

技術實現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術中存在的技術問題之一；為此，本發(fā)明提出了一種無人機低空圖像處理方法及系統(tǒng)，用于解決難以對圖像的不同區(qū)域分別進行圖像特征的提取，也難以對不同圖像幀進行精確拼接，同時保留運動物體的特征的技術問題。

2、為解決上述問題，本發(fā)明的第一方面提供了一種無人機低空圖像處理方法及系統(tǒng)，包括：

3、獲取無人機低空采集的圖像序列，對圖像序列中的圖像幀進行預處理；

4、對預處理后的圖像序列的圖像幀進行分塊，將每個圖像幀分為若干個子圖像塊；

5、檢測每個圖像幀的子圖像塊的灰度值，通過幀間差分法，確定圖像幀中屬于運動區(qū)域的子圖像塊，對屬于運動區(qū)域的子圖像塊進行二次細分，得到運動區(qū)域細分圖像子塊，以及背景區(qū)域圖像塊；

6、在運動區(qū)域設置檢測窗口，并確定檢測窗口的初始位置所在的運動區(qū)域細分圖像子塊，并提取每個運動區(qū)域細分圖像子塊的特征向量；

7、背景區(qū)域設置搜索窗口，并確定搜索窗口的初始位置所在的背景區(qū)域圖像塊，并提取背景區(qū)域圖像塊的圖像特征；

8、通過背景區(qū)域圖像塊的圖像特征，通過圖像塊之間的相似性分析，確定背景區(qū)域中的高度相似性圖像區(qū)域；

9、以劃分的高度相似圖像區(qū)域重合度最高為原則，將圖像序列中的相鄰圖像幀進行拼接，并對拼接后的圖像進行背景區(qū)域圖像融合處理和運動區(qū)域特征保留處理。

10、作為本發(fā)明進一步的方案：獲取無人機低空采集的圖像序列，對圖像序列中的圖像幀進行預處理，包括以下步驟：

11、獲取無人機低空采集的圖像序列，以及無人機采集圖像序列時，對應的姿態(tài)數(shù)據(jù)；

12、根據(jù)無人機采集圖像序列時，對應的姿態(tài)數(shù)據(jù)，在無人機低空采集的圖像序列的圖像幀中標記無人機的像素坐標和實際世界坐標；

13、通過無人機的像素坐標和實際世界坐標，進行坐標匹配，建立圖像坐標到實際世界坐標之間的映射關系；

14、根據(jù)無人機的像素坐標和實際世界坐標匹配得到的對應關系，通過最小二乘法求解仿射變換矩陣；

15、通過仿射變換矩陣乘以無人機低空拍攝的幀間圖像坐標，得到正射圖像。

16、作為本發(fā)明進一步的方案：檢測每個圖像幀的子圖像塊的灰度值，通過幀間差分法，確定圖像幀中屬于運動區(qū)域的子圖像塊，對屬于運動區(qū)域的子圖像塊進行二次細分，得到運動區(qū)域細分圖像子塊，以及背景區(qū)域圖像塊，包括以下步驟：

17、檢測每個圖像幀的子圖像塊的灰度值，通過幀間差分法，確定圖像幀中屬于運動區(qū)域的子圖像塊，將屬于運動區(qū)域的子圖像塊劃分為運動區(qū)域子圖像塊，將圖像幀中的其余圖像塊劃分為背景區(qū)域子圖像塊；

18、將視頻幀的運動區(qū)域子圖像塊劃分為n個固定大小的細分圖像子塊，并通過幀間差分法，確定細分圖像子塊中屬于運動區(qū)域的細分圖像子塊，將屬于運動區(qū)域的細分圖像子塊定義為運動區(qū)域細分圖像子塊，將圖像幀中的其余子圖像塊和細分圖像子塊定義為背景區(qū)域圖像塊。

19、作為本發(fā)明進一步的方案：檢測每個圖像幀的子圖像塊的灰度值，通過幀間差分法，確定圖像幀中屬于運動區(qū)域的子圖像塊，包括以下步驟：

20、檢測每個圖像幀的子圖像塊內(nèi)部所有像素點的灰度值；

21、對相鄰兩幀圖像進行差分操作，得到相鄰圖像幀之間對應子圖像塊內(nèi)每個像素點灰度值之間的差值；

22、計算對應子圖像塊內(nèi)每個像素點灰度值之間差值的平均值，統(tǒng)計子圖像塊內(nèi)每個像素點灰度值與像素點灰度值之間差值的平均值之間差值大于預設閾值的像素點數(shù)量；

23、若統(tǒng)計的像素點數(shù)量大于子圖像塊內(nèi)像素點總數(shù)的百分之一，則判定子圖像塊內(nèi)部灰度變化度為1；

24、否則，剔除灰度值與像素點灰度值之間差值的平均值之間差值大于預設閾值的像素點后，分析相鄰圖像幀之間對應子圖像塊內(nèi)每個像素點灰度值之間的差值，通過以下公式，計算子圖像塊內(nèi)部灰度變化度：

25、

26、其中，d為子圖像塊內(nèi)部灰度變化度，di為當前圖像幀與相鄰圖像幀之間第i個對應像素點灰度值之間的差值，s為當前圖像幀與相鄰圖像幀之間像素點灰度值的差值的方差，fi為當前圖像幀的第i個對應像素點灰度值，n為當前圖像幀與相鄰圖像幀之間對應子圖像塊內(nèi)進行計算的像素點個數(shù)；

27、子圖像塊內(nèi)部灰度變化度超過設定閾值，則判斷對應子圖像塊屬于運動區(qū)域的子圖像塊。

28、作為本發(fā)明進一步的方案：通過幀間差分法，確定細分圖像子塊中屬于運動區(qū)域的細分圖像子塊，包括以下步驟：

29、對于n個的細分圖像子塊，計算每個細分圖像子塊內(nèi)部所有像素點的平均灰度值，作為對應細分圖像子塊的特征值；

30、對相鄰兩幀圖像進行差分操作，得到相鄰圖像幀之間對應細分圖像子塊內(nèi)部所有像素點的特征值之間的差值；

31、計算對應細分圖像子塊內(nèi)部所有像素點的特征值之間差值的平均值；

32、若得到的細分圖像子塊內(nèi)部所有像素點的特征值之間差值的平均值大于預設閾值，則判定細分圖像子塊中屬于運動區(qū)域的細分圖像子塊，否則，判定細分圖像子塊中屬于背景區(qū)域中的細分圖像子塊。

33、作為本發(fā)明進一步的方案：通過背景區(qū)域圖像塊的圖像特征，通過圖像塊之間的相似性分析，確定背景區(qū)域中的高度相似性圖像區(qū)域，包括以下步驟：

34、通過背景區(qū)域圖像塊的圖像特征，分析相鄰圖像幀的背景區(qū)域圖像塊之間的相似性，并根據(jù)背景區(qū)域圖像塊之間的相似性的分析結(jié)果，劃分相鄰圖像幀的背景區(qū)域圖像塊之間的相似性程度，統(tǒng)計并標注相鄰圖像幀的背景區(qū)域圖像塊中的高度相似性的圖像塊；

35、將圖像幀中，相鄰接的標注的高度相似性圖像塊進行分組，當高度相似性圖像塊分組中圖像塊數(shù)量大于等于n，則將對應的高度相似性圖像塊分組劃分為高度相似性圖像區(qū)域。

36、作為本發(fā)明進一步的方案：背景區(qū)域設置搜索窗口，并確定搜索窗口的初始位置所在的背景區(qū)域圖像塊，并提取背景區(qū)域圖像塊的圖像特征，包括以下步驟：

37、背景區(qū)域設置搜索窗口，并確定搜索窗口的初始位置所在的背景區(qū)域圖像塊，搜索窗口依次在背景區(qū)域圖像塊中滑動；

38、搜索窗口通過opencv庫提取相鄰圖像幀的背景區(qū)域圖像塊的顏色直方圖和紋理特征；

39、將相鄰圖像幀的背景區(qū)域圖像塊的顏色直方圖，在rgb顏色空間中，將每個顏色通道劃分為8個bin，將每個通道的顏色直方圖表示為長度為8的數(shù)組，將整個圖像塊的顏色直方圖表示為長度為24的數(shù)組；

40、通過lbp局部二值模式提取相鄰圖像幀的背景區(qū)域圖像塊的紋理特征中背景區(qū)域圖像塊像素點的lbp值，并將背景區(qū)域圖像塊像素點的lbp值分為24個分組，計算每個分組的平均lbp值，組成長度為24的數(shù)組；

41、將得到的兩個數(shù)組進行歸一化處理后進行拼接，作為背景區(qū)域圖像塊的圖像特征。

42、作為本發(fā)明進一步的方案：通過背景區(qū)域圖像塊的圖像特征，分析相鄰圖像幀的背景區(qū)域圖像塊之間的相似性，包括以下步驟：

43、獲取相鄰圖像幀的背景區(qū)域圖像塊的圖像特征的向量數(shù)組，分別為兩個n維向量a(a1,?a2,…,?an)和b(b1,?b2,…,?bn)，通過以下公式，計算相鄰幀之間背景區(qū)域?qū)獔D像塊之間的歐氏距離和余弦相似度：

44、

45、其中，d(a,b)為相鄰幀之間背景區(qū)域?qū)獔D像塊之間的歐氏距離，i∈(1,?2,…,n)；

46、

47、其中，cos(a,b)為相鄰幀之間背景區(qū)域?qū)獔D像塊之間的余弦相似度；

48、將得到的相鄰幀之間背景區(qū)域?qū)獔D像塊之間的歐氏距離進行歸一化處理，使歐氏距離范圍在［0,1］之間，將歸一化處理后的歐氏距離和余弦相似度進行相加，得到相鄰圖像幀的背景區(qū)域圖像塊之間的相似性分析值。

49、本方案中，根據(jù)背景區(qū)域圖像塊之間的相似性的分析結(jié)果，劃分相鄰圖像幀的背景區(qū)域圖像塊之間的相似性程度，包括以下步驟：

50、根據(jù)背景區(qū)域圖像塊之間的相似性的分析結(jié)果，將背景區(qū)域圖像塊之間的相似性的分析值大于1.6的圖像塊，劃分為高度相似圖像區(qū)域；

51、將背景區(qū)域圖像塊之間的相似性的分析值小于等于1.6，且大于1.2的圖像塊，劃分為中度相似圖像區(qū)域；

52、將背景區(qū)域圖像塊之間的相似性的分析值小于等于1.2的圖像塊，劃分為低度相似圖像區(qū)域。

53、作為本發(fā)明進一步的方案：對拼接后的圖像進行背景區(qū)域圖像融合處理和運動區(qū)域特征保留處理，包括以下步驟：

54、對拼接后的相鄰圖像幀圖像中的背景區(qū)域圖像塊進行圖像融合；

55、將運動區(qū)域細分圖像子塊進行疊加，并提取對應運動區(qū)域細分圖像子塊的特征向量作為標簽添加到對應的運動區(qū)域細分圖像子塊。

56、作為本發(fā)明另一方面的方案：一種無人機低空圖像處理系統(tǒng)，該系統(tǒng)采用上述的一種無人機低空圖像處理方法實現(xiàn)無人機低空圖像處理。

57、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

58、本發(fā)明通過圖像幀分塊，幀間差分法確定運動區(qū)域后，剩余的部分即為背景區(qū)域，便于準確的劃分運動區(qū)域和背景區(qū)域，能夠有效抑制背景干擾，使得最終的圖像結(jié)果更加清晰和準確。通過幀間差分法，確定圖像幀中屬于運動區(qū)域的子圖像塊，能夠有效地區(qū)分出圖像幀中發(fā)生了變化的區(qū)域，從而準確地定位和提取出運動目標，同時通過二次細分，可以進一步細化運動區(qū)域，提高檢測精度。

59、本發(fā)明通過分析背景區(qū)域圖像塊之間的相似性，篩選高度相似的圖像區(qū)域并進行拼接，從而保證了背景區(qū)域在整個圖像序列中的一致性，提高了圖像拼接的精確性，同時，以劃分的高度相似圖像區(qū)域重合度最高為原則進行拼接，能夠保證拼接后的圖像視覺效果自然流暢，減少了拼接處的不連續(xù)感。在對拼接后的圖像進行背景區(qū)域融合處理，能夠有效地保持背景信息的完整性和連續(xù)性。通過對運動區(qū)域特征進行保留處理，使得運動目標在拼接后的圖像中的特征數(shù)據(jù)全面保留，有助于提高運動目標檢測和識別的準確性。