一種實時的直線段匹配方法
【專利摘要】本發(fā)明公開了一種實時的直線段匹配方法，包括以下步驟：1)圖像采集；2)直線段檢測；3)直線段合并；4)直線段描述符構建；5)描述符匹配。本發(fā)明采用基于梯度生長的直線段檢測方法，從而無需對圖像進行邊緣檢測，避免了二值化閾值選取的影響。采用直線段合并的方法，避免了細碎短小直線段的干擾，同時降低了計算量。采用直線段之間的相對位置分布這一幾何關系，對弱紋理區(qū)域的直線段有較好的描述能力，且具有旋轉(zhuǎn)不變性，能夠達到實時匹配。另外，本發(fā)明無需對圖像進行邊緣檢測，并且適用于不同尺寸直線段的匹配；同時，本發(fā)明能夠適用于多直線段場景中的快速匹配。最后，本發(fā)明在軍事上可用于特定目標的跟蹤匹配，如機場跑道等；航空航天中可用于非合作目標感興趣區(qū)域的末端匹配跟蹤等。
【專利說明】
一種實時的直線段匹配方法
【技術領域】
[0001]本發(fā)明屬于圖像處理與計算機視覺領域，具體涉及一種基于直線段間相對位置分布的直線段匹配方法。
【【背景技術】】
[0002]在非合作目標衛(wèi)星抓捕場景中，當空間飛爪抓捕系統(tǒng)與非合作目標之間距離極短時，非合作目標星上的帆板支架單桿成像后只能看到其兩側邊緣，這樣的紋理結構特征很難檢測出足夠多的特征點，而且檢測到的特征點也很難進行有效地特征描述(由于視角變化引起的遮擋，以及金屬光滑材質(zhì)和深空平滑背景上比較相似單一)，即使得到匹配的特征點也不能有效地反映場景結構的幾何信息。而此時直線段特征較為明顯穩(wěn)定，且干擾較少，能夠較好的反映出單桿的結構幾何信息。為了能夠?qū)崿F(xiàn)實時、穩(wěn)定地對直線段進行三維重建，需要對雙目立體視覺左右相機中的直線段進行匹配。因此直線段匹配技術不可或缺。
[0003]與特征點匹配的廣泛應用不同，直線匹配目前更多的還處于研究階段。其主要原因在于存在以下諸多困難:
[0004](I)邊緣直線附近區(qū)域各點灰度、梯度相似，比較平滑，很難提取到有效、獨特的信息用于描述和表征直線段；
[0005](2)點匹配中在不同的圖像中能夠比較容易地選取到一個大小固定的區(qū)域描述子，而對于不同長度的直線段，具有不同大小的直線支撐區(qū)域，缺乏合適的區(qū)域歸一化策略來計算直線支撐區(qū)域描述子；
[0006](3)目前主流的直線段提取技術檢測到的直線段往往端點定位不準，導致直線支撐區(qū)域所包含的結構信息不一致，而且檢測得到的直線段存在不連續(xù)的問題，更加劇了描述直線的難度；
[0007](4)在點匹配中，極線約束通常能夠提供很強的全局約束，反之，極線幾乎不能為直線匹配直接提供有效的位置約束，更增加了直線匹配時的搜索空間，同時也增大了直線誤匹配的概率；
[0008](5)直線的不連續(xù)性能夠影響直線間拓撲結構的連通性，使得利用局部或全局拓撲約束進行直線匹配十分困難。
[0009]直線匹配采用的匹配特征通?？煞譃槿N類型:直線段的幾何屬性、直線段周圍的圖像灰度屬性、直線段幾何屬性和灰度屬性相結合的特征。王志衡[I]等人提出一種直線描述子來進行自動直線段匹配，首先定義直線段的平行鄰域，把鄰域分解為一系列的平行直線段，其次通過圖像的灰度、梯度和梯度幅值特征建立平行鄰域描述矩陣，最后計算描述矩陣列向量的均值和標準差來獲得直線描述子，具有平行、旋轉(zhuǎn)和線性光照不變性。但得到直線描述子的時間復雜度較高，遇到復雜紋理特征時，容易出現(xiàn)錯誤。傅丹[2]提出了基于極線約束和RANSAC算法相結合的直線段匹配方法。首先對直線段上的點運用基于極線約束的匹配方法在另一幅圖像中進行點的同名匹配，再采用RANSAC算法建立直線模型，剔除野值，從而得到匹配直線段。該法能有效完成被部分遮擋直線段的匹配問題，并補齊遮擋直線段，適用于三維重建。但是該法并不適用于序列圖像不同幀之間的直線段匹配。樊彬等[3]
[4]提出了一種構建射影不變量進行直線匹配，但是由于該方法基于的直線段局部鄰域存在至少兩個與其共面的特征點，因此當圖像由于噪聲的影響而出現(xiàn)大量孤立直線段時，算法的匹配精度將大大降低，同時由于算法需要迭代進行點匹配以確定直線段間的相似度量，因而計算代價較大。張躍強等[5]針對弱紋理目標直線匹配對應問題提出了一種基于局部梯度直方圖特性和全局幾何約束的直線匹配方法。但是當圖像對間存在較大的尺度變化時，算法的性能降低。算法對于640 X 480分辨率的圖像對的處理時間需要2s左右，實時性方面仍需提升。
【
【發(fā)明內(nèi)容】
】
[0010]本發(fā)明的目的在于克服上述現(xiàn)有技術的缺點，提供一種基于直線段間相對位置分布的直線段匹配方法，該方法無需進行邊緣檢測，能夠?qū)D像中任意長度的直線段進行描述和匹配，不依賴于傳統(tǒng)的特征檢測，且易于實現(xiàn)，計算效率優(yōu)于現(xiàn)有算法。
[0011 ]為達到上述目的，本發(fā)明采用以下技術方案予以實現(xiàn):
[0012]—種實時的直線段匹配方法，包括以下步驟:
[0013]I)圖像采集:利用已標定且立體校正后的雙目相機對目標圖像進行采集，得到左圖像11和右圖像Ir ；
[0014]2)直線段檢測:利用基于梯度生長的直線段檢測方法對圖像IdPIr進行直線段檢測，檢測出的直線段集合分別表示為直線段的各坐標點坐標也記錄如下:對于直線段01，其上坐標點集表示為Po1= Kx1，yi)，
(X2，y2)，...，( XNol ,yNol ) }；
[0015]3)直線段合并:對檢測出的直線段集合中的任意兩條求取端點距離和夾角，對符合條件的直線段進行合并，得到直線段集合Il= {ρι，ρ2，.._ ,Pm}和Ir= {qi,q2,.-.,QnI ;
[0016]4)直線段描述符構建:對Il和Ir中的每一條直線段，按照設計的方法求取其特征描述符;Il= {ρι，ρ2,…,Pm}和Ir= {qi，q2,…，qN}中每條直線段的描述符表不為Fl= {fi，f2,…，fM}和Fr= {f，l，f，2，."，f，N};
[0017]5)描述符匹配:計算直線段描述符之間的Hamming距離;對于Fl中的任一直線段，F(xiàn)r中與其Hamming距離最小的直線段即為其最佳匹配。
[0018]本發(fā)明進一步的改進在于:
[0019]所述步驟3)中，直線段合并的具體方法如下:
[0020]對^二卜^叫…^沖任意兩條直線段“…丄兩個端點分別為⑴^^和⑴^
yi2)、(XjlJjl)和(Xj2，yj2)，與X軸的夾角分別為θι和θ2;計算(XilJil)與(XjlJjl)、(Xj2，yj2)之間的歐氏距離dll和dl2，(Xi2，yi2)與(Xjl，yjl)、^2，7』2)之間的歐氏距離為(121和(122;(111^為(111、(112、(121以及(122中的最小值，同時求出1^和1^之間的夾角912 = 3匕8(91-02) d_dmin小于10個像素，θ12小于5度的直線段進行合并，全部處理后得到直線段集合{P1，P2，…，Pm}。
[0021 ] 所述步驟4)中，對于Il= {pi，P2，…，Pm}和Ir= {qi，q2，…，qd中的任一直線段，以Pi為例，其上坐標點集表示為Ppi= Kxi，yi)，(X2，y2)，...，(xPi，yPi)};對于每個坐標點(1!，70求取與相鄰直線段位置分布關聯(lián)的描述符;具體地，以點(Xl，yi)為中心，首先構建半徑分別是r和r/2的同心內(nèi)圓Ci和外圓C。;將Ci和C。劃分成均等的12個扇形;計算出Pi上點(Xi，yi)處梯度方向，以該梯度線與圓周相交處逆時針第一個完整扇形定義為a和A，逆時針依次為12個扇形進行編號;Ci上扇形依次編號為a、b、c、d、e、f、g、h、1、j、k、l ;C。上扇形依次編號為A、B、C、D、E、F、G、H、1、J、K、L;統(tǒng)計所有直線段是否落在扇形圓弧上，如果扇形A圓弧上沒有直線交點，則A的值記為O;扇形A圓弧上有一條直線段經(jīng)過，則A的值記為I;扇形A圓弧上有兩條直線段經(jīng)過，則A的值記為2，以此類推;此處采用16進制編碼，最多可統(tǒng)計15個直線段交點，如果超出此數(shù)值一律視為15個交點;最后將內(nèi)圓外圓組成一個24位編碼，即為直線段該點的描述符;一條直線段上所有點的描述符集合在一起構成了該條直線段的特征描述符Fl
= {fi,f2,...，fM}和 Fr= {f，l，f，2,…，f，N} O
[0022]所述步驟5)中，已立體校正的左右圖像對中，空間上同一點在左右圖像上的兩個投影點縱坐標相同；對于U和Ir中的任意兩條直線段，縱坐標相同兩點則求取描述符之間的Hamming距離，并記錄該距離；兩條直線段長度不同時，一條上各點計算完畢則累計所有Hamming距離之和，記為兩條直線段描述符之間的距離；對于Il中的任一直線段，Ir中與其Hamming距離之和最小且小于閾值的直線段即為其最佳匹配。
[0023]與現(xiàn)有技術相比，本發(fā)明具有以下有益效果:
[0024]本發(fā)明采用基于梯度生長的直線段檢測方法，從而無需對圖像進行邊緣檢測，避免了二值化閾值選取的影響。采用直線段合并的方法，避免了細碎短小直線段的干擾，同時降低了計算量。采用直線段之間的相對位置分布這一幾何關系，對弱紋理區(qū)域的直線段有較好的描述能力，且具有旋轉(zhuǎn)不變性，能夠達到實時匹配。另外，本發(fā)明無需對圖像進行邊緣檢測，并且適用于不同尺寸直線段的匹配；同時，本發(fā)明能夠適用于多直線段場景中的快速匹配。最后，本發(fā)明在軍事上可用于特定目標的跟蹤匹配，如機場跑道等;航空航天中可用于非合作目標感興趣區(qū)域的末端匹配跟蹤等。
【【附圖說明】】
[0025]圖1為本發(fā)明的描述符構建示意圖。
【【具體實施方式】】
[0026]下面結合附圖對本發(fā)明做進一步詳細描述:
[0027]參見圖1，本發(fā)明實時的直線段匹配方法，包括以下步驟:
[0028]1、圖像采集
[0029]利用已標定好且進行過立體校正后的雙目相機對目標圖像進行采集，得到左圖像Il和右圖像Ir;
[0030]其中立體標定和立體校正如何具體操作，為本領域公知技術，可參考文獻IuBradski G,Kaebler A.學習0penCV[M].于仕琪，劉瑞被，譯.北京:清華大學出版社,2009:362-363.”，此處不再贅述。
[0031]2、直線段檢測
[0032]利用基于梯度生長的直線段檢測方法對圖像I和I’進行直線段檢測，檢測出的直線段集合分別表示為〖^{^^，…，^和^二卜’^’^…^’丄組成每條直線段的各坐標點坐標也記錄如下:對于直線段οι，其上坐標點集表示為Poi = {(xi, yi)，(X2，y2)，…，
(XNol ,yNol) } O
[0033]其中關于上述步驟如何具體操作，為本領域公知技術，可參考文獻2“覃勛輝，馬戎，付維平，等.一種基于梯度的直線段檢測算法[J].光子學報，2012，41(2) ,205-209.”，此處不再贅述。
[0034]3、直線段合并
[0035]對^二卜^叫…^沖任意兩條直線段“…丄兩個端點分別為⑴^^和⑴^yi2)、(XjlJjl)和(Xj2，yj2)，與X軸的夾角分別為θι和θ2;計算(XilJil)與(XjlJjl)、(Xj2，yj2)之間的歐氏距離dll和dl2，(Xi2，yi2)與(Xjl，yjl)、^2，7』2)之間的歐氏距離為(121和(122;(111^為(111、(112、(121以及(122中的最小值，同時求出1^和1^之間的夾角912 = 3匕8(91-02) d_dmin小于10個像素，θ12小于5度的直線段進行合并，全部處理后得到直線段集合{P1，P2，…，Pm}。
[0036]以此對檢測出的直線段集合中的任意兩條求取端點距離和夾角，對符合條件的直線段進行合并，得到直線段集合Il= {ρι，ρ2，...，Pm}和Ir= {qi，q2，...，qN}。
[0037]4、直線段描述符構建
[0038]對于Il= {pi，p2,…，pm}和Ir= {qi，q2,…，qd中的任一直線段，以Pi為例，其上坐標點集表示為?口1={(11，71)，(12，72)^"，(11^，71^)}。對于每個坐標點^，70求取與相鄰直線段位置分布關聯(lián)的描述符。具體地，以點(Xl，yi)為中心，首先構建半徑分別是r和r/2的同心內(nèi)圓Ci和外圓C。。將Ci和C。劃分成均等的12個扇形。計算出Pi上點(Xi，yi)處梯度方向，以該梯度線與圓周相交處逆時針第一個完整扇形定義為a和A，逆時針依次為12個扇形進行編號。Ci上扇形依次編號為3、13、(3、(1、6、匕8、11、丨、」、1^、1;(:。上扇形依次編號為4、8、(:、0』、卩、6、
H、1、J、K、L。統(tǒng)計所有直線段是否落在扇形圓弧上，如果扇形A圓弧上沒有直線交點，則A的值記為O;扇形A圓弧上有一條直線段經(jīng)過，則A的值記為I;扇形A圓弧上有兩條直線段經(jīng)過，貝IJA的值記為2，以此類推。此處采用16進制編碼，最多可統(tǒng)計15個直線段交點，如果超出此數(shù)值一律視為15個交點。最后將內(nèi)圓外圓組成一個24位編碼，即為直線段該點的描述符。一條直線段上所有點的描述符集合在一起構成了該條直線段的特征描述符Fl=…，
fM}和Fr= {f，l，f，2，."，f，N}0
[0039]以圖1所示為例，直線段I上P點處構建描述符的過程如圖所示?？梢钥吹経Pl2兩條直線段位于I附近，且1:與構建的外圓上A和J兩個扇形圓弧相交；I2與構建的外圓上D和I兩個扇形圓弧相交，并且與內(nèi)圓上d和h兩個扇形圓弧相交。則24位描述符表示為100100001100000100010000 (按照ABCDEFGHIJKLabcdefghi jkl順序排列)。
[0040]5、描述符匹配
[0041]已立體校正的左右圖像對中，空間上同一點在左右圖像上的兩個投影點縱坐標相同。對于Il和Ir中的任意兩條直線段，縱坐標相同兩點則求取描述符之間的Hamming距離，并記錄該距離。兩條直線段長度不同時，一條上各點計算完畢則累計所有Hamming距離之和，記為兩條直線段描述符之間的距離。對于U中的任一直線段，Ir中與其Hamming距離之和最小且小于閾值的直線段即為其最佳匹配。
[0042]以上內(nèi)容僅為說明本發(fā)明的技術思想，不能以此限定本發(fā)明的保護范圍，凡是按照本發(fā)明提出的技術思想，在技術方案基礎上所做的任何改動，均落入本發(fā)明權利要求書的保護范圍之內(nèi)。
【主權項】
1.一種實時的直線段匹配方法，其特征在于，包括以下步驟: 1)圖像采集:利用已標定且立體校正后的雙目相機對目標圖像進行采集，得到左圖像Ii和右圖像Ir ； 2)直線段檢測:利用基于梯度生長的直線段檢測方法對圖像IdPIr進行直線段檢測，檢測出的直線段集合分別表示為遼^^叫…^丨和丨^卜’^’^…^丄組成每條直線段的各坐標點坐標也記錄如下:對于直線段01，其上坐標點集表示為Poi= {(XI，yi)，(X2，y2)，...，(χΝοΙ,ΥΝο?)}； 3)直線段合并:對檢測出的直線段集合中的任意兩條求取端點距離和夾角，對符合條件的直線段進行合并，得到直線段集合Il= {ρι，ρ2，.._ ,Pm}和Ir= {qi,q2,.-.,QnI ; 4)直線段描述符構建:對U和Ir中的每一條直線段，按照設計的方法求取其特征描述符；Il= {pi，P2，…，Pm}和Ir = {qi，q2，…，qN}中每條直線段的描述符表不為Fl = {f I，f2，...，fM}和Fr= {f，l，f，2，."，f，N}; 5)描述符匹配:計算直線段描述符之間的Hamming距離;對于Fl中的任一直線段，F(xiàn)r中與其Hamming距離最小的直線段即為其最佳匹配。2.根據(jù)權利要求1所述的實時的直線段匹配方法，其特征在于，所述步驟3)中，直線段合并的具體方法如下: 對Il= {oi，02，...，0m}中任意兩條直線段{oi，oj}，兩個端點分別為(xii，yu)和(Xi2，yi2)、(Xjl，yjl)和(Xj2，yj2)，與X軸的夾角分別為θι和θ2;計算(XilJil)與(XjlJjl)JXj2Jj2)之間的歐氏距離dll和dl2，(Xi2，yi2)與(Xjl，yjl)、(Xj2，yj2)之間的歐氏距離為d21和d22;dmin為dll、(112、(121以及(122中的最小值，同時求出1^和1^之間的夾角912 = 3匕8(91-02) d_dmin小于10個像素，θ12小于5度的直線段進行合并，全部處理后得到直線段集合{pi，P2，…，PM}。3.根據(jù)權利要求1所述的實時的直線段匹配方法，其特征在于，所述步驟4)中，對于U={ρι，ρ2，...，Pm}和Ir= {qi，q2,…，qN}中的任一直線段，以Pi為例，其上坐標點集表示為Ppi =Kxi，yi)，(X2，y2)，...，(xPi，yPi)};對于每個坐標點(11，70求取與相鄰直線段位置分布關聯(lián)的描述符;具體地，以點(Xl，yi)為中心，首先構建半徑分別是r和r/2的同心內(nèi)圓C1和外圓C。;將Ci和C。劃分成均等的12個扇形;計算出Pi上點(Xi,yi)處梯度方向，以該梯度線與圓周相交處逆時針第一個完整扇形定義為a和A，逆時針依次為12個扇形進行編號；Ci上扇形依次編號為3、13、(3、(1、6、匕8、11、丨、夂1^、1;(:。上扇形依次編號為厶、8、(:、0』、卩、6、!1、1、了、1(、1^統(tǒng)計所有直線段是否落在扇形圓弧上，如果扇形A圓弧上沒有直線交點，則A的值記為O;扇形A圓弧上有一條直線段經(jīng)過，則A的值記為I;扇形A圓弧上有兩條直線段經(jīng)過，則A的值記為2，以此類推;此處采用16進制編碼，最多可統(tǒng)計15個直線段交點，如果超出此數(shù)值一律視為15個交點；最后將內(nèi)圓外圓組成一個24位編碼，即為直線段該點的描述符;一條直線段上所有點的描述符集合在一起構成了該條直線段的特征描述符Fl= {fi，f2，...，fM}和Fr= {f’i，f，2，...，f，n}。4.根據(jù)權利要求1所述的實時的直線段匹配方法，其特征在于，所述步驟5)中，已立體校正的左右圖像對中，空間上同一點在左右圖像上的兩個投影點縱坐標相同；對于U和Ir中的任意兩條直線段，縱坐標相同兩點則求取描述符之間的Hamming距離，并記錄該距離;兩條直線段長度不同時，一條上各點計算完畢則累計所有Hamming距離之和，記為兩條直線段描述符之間的距離;對于Il中的任一直線段，Ir中與其Hamming距離之和最小且小于閾值的直線段即為其最佳匹配。
【文檔編號】G06T7/00GK106023183SQ201610322875
【公開日】2016年10月12日
【申請日】2016年5月16日
【發(fā)明人】黃攀峰, 蔡佳, 陳路, 孟中杰, 張彬, 劉正雄
【申請人】西北工業(yè)大學