一種采用激光雷達掃描法標定雨雪狀態(tài)下視頻中的動態(tài)行人及車輛的方法
【技術領域】
[0001 ]本發(fā)明涉及圖像模式識別和機器智能領域。
【背景技術】
[0002] 在現(xiàn)今的視頻去雨去雪算法中，首先是檢測視頻處于下雨下雪狀態(tài)，通常采用光 流算法來檢測此時天氣的狀態(tài)。光流法檢測運動物體的基本原理是:給圖像中的每一個像 素點賦予一個速度矢量，這就形成了一個圖像運動場，在運動的一個特定時刻，圖像上的點 與三維物體上的點一一對應，這種對應關系可由投影關系得到，根據(jù)各個像素點的速度矢 量特征，可以對圖像進行動態(tài)分析。如果圖像中沒有運動物體，則光流矢量在整個圖像區(qū)域 是連續(xù)變化的。當圖像中有運動物體時，目標和圖像背景存在相對運動，運動物體所形成的 速度矢量必然和鄰域背景速度矢量不同，從而檢測出運動物體及位置。采用光流法進行運 動物體檢測的問題主要在于大多數(shù)光流法計算耗時，實時性和實用性都較差。但是光流法 的優(yōu)點在于光流不僅攜帶了運動物體的運動信息，而且還攜帶了有關景物三維結構的豐富 信息，它能夠在不知道場景的任何信息的情況下，檢測出運動對象。
[0003] 當檢測到此時是下雨下雪狀態(tài)，就需要對視頻進行去雨去雪。視頻去雨去雪算法 同樣需要用到光流算法，如《Stereo video deraining and desnowing based on spatio temporal frame warping》、《Video Deraining and Desnowing Using Temporal Correlation and Low-Rank Matrix Completion》"〈Utilizing Local Phase Information to Remove Rain from Video[J]. International Journal of Computer Vision》、《A rain pixel recovery algorithm for videos with highly dynamic scenes[J]·Image Processing》和《Dynamic scene rain removal for moving cameras [C]//Digital Signal Processing》。光流算法需要至少兩幀數(shù)據(jù)，才能檢測出動態(tài)的物 體，其中動態(tài)物體包括行人、車輛和雨雪。通過GMM速度分類算法對動態(tài)物體進行速度分類， 可以區(qū)分出行人、車輛和雨滴。最后對視頻中雨滴進行濾波，去掉圖像中的雨滴，對于其他 動態(tài)物體行人和車輛且他們都處于雨區(qū)的部分，需要用保邊去噪算法進行濾波，保持行人 和車輛的邊緣，使視頻中行人和車輛不會發(fā)生形變，不會影響視頻中的行人識別。
[0004] 采用光流算法結合GMM速度分類算法完成視頻中動態(tài)行人和車輛的檢測，但是這 種算法計算量大，且至少需要兩幀的視頻數(shù)據(jù)，實時性差，而且光流算法必須依賴GMM分類 算法才能完成檢測，所以對GMM分類算法精度要求較高，如果GMM速度分類算法中的速度閾 值選擇錯誤，則會導致行人和車輛檢測錯誤，造成整個視頻圖像行人車輛發(fā)生形變。
[0005] 因此，如何克服光流算法結合GMM速度分類算法的實時性差以及識別動態(tài)物體不 準確的缺點，是本領域研究的熱點。

【發(fā)明內容】

[0006] 本發(fā)明的目的是解決光流算法結合GMM速度分類算法的實時性差以及識別動態(tài)物 體不準確的問題，提出了一種采用激光雷達掃描法標定雨雪狀態(tài)下視頻中的動態(tài)行人及車 輛的方法。一種采用激光雷達掃描法標定雨雪狀態(tài)下視頻中的動態(tài)行人及車輛的方法，
[0007] 步驟一、當檢測到視頻中處于下雨下雪狀態(tài)時，將視頻分解成一幀幀圖像；
[0008] 步驟二、采用激光雷達掃描視頻窗口前方，通過激光雷達測得動態(tài)物體的距離信 息，得到動態(tài)物體的瞬時速度，并根據(jù)該瞬時速度判斷動態(tài)物體的類型，動態(tài)物體的類型包 括行人和車輛；
[0009] 步驟三、通過激光雷達掃描物體中線位置，根據(jù)中線位置獲得視頻中行人及車輛 的位置坐標；
[001 0]步驟四、將步驟三中的行人及車輛的位置坐標映射到步驟一中的圖像中，獲得映 射圖像；
[0011]步驟五、采用保邊去噪方法對映射圖像進行防失真處理，獲得防失真映射圖像。
[0012] 步驟二中采用激光雷達掃描視頻窗口前方，通過激光雷達測得的動態(tài)物體的距離 信息，得到動態(tài)物體的瞬時速度，并根據(jù)該瞬時速度判斷動態(tài)物體的類型，動態(tài)物體的類型 包括行人和車輛，其具體過程如下：
[0013] 設定速度閾值d，d為3km/h~5km/h;
[0014] 如果V>d，則該動態(tài)物體是車輛；
[0015] 如果0〈V〈d，則該動態(tài)物體是行人。
[0016] 步驟三中通過激光雷達掃描物體中線位置，根據(jù)中線位置獲得視頻中行人及車輛 的位置坐標，其具體過程為：
[0017] 步驟三一、設定激光雷達的掃描高度Η為0.85m~lm，且該高度處于行人和車輛高 度的水平中線處；
[0018] 步驟三二、激光雷達水平掃描，獲得動態(tài)物體水平中線處的二維起始坐標(XI，H) 和終點坐標(X2，H);
[0019] 步驟三三、根據(jù)中線原理，則行人及車輛的高度均為2H;
[0020]步驟三四、根據(jù)激光雷達測距原理獲得行人及車輛與激光雷達之間的距離，其過 程為：
[0021 ]激光雷達與行人和車輛之間的距離均為S = vt/2;
[0022] 其中，v是激光雷達的速度3*108m/s，t是激光雷達激光發(fā)射回波所需時間t2與激 光雷達中激光發(fā)射的時間tl的差，即t = t2_tl;
[0023] 步驟三五、結合步驟三三及步驟三四獲得行人的位置坐標，即
[0024] 行人的位置坐標:行人的頭部起始坐標為(XI，2H，S)，行人的頭部終點坐標為(X2， 2H，S);行人的腳部起始坐標為(XI，0，S)，行人的腳部終點坐標為(X2，0，S);
[0025] 車輛的位置坐標:車輛頂部的起始坐標為(Yl，2H，S)，車輛頂部的終點坐標為(Y2， 2H，S);車輛底部的起始三維坐標為(Y1，0，S)，車輛底部的終點坐標為(Y2，0，S)。
[0026] 步驟四中將步驟三中的行人及車輛的位置坐標映射到步驟一中的圖像中，獲得映 射圖像，其映射過程為：
[0027] 步驟四一、建立攝像機和圖像的數(shù)學模型，即建立攝像機坐標系和圖像坐標系；
[0028] 步驟四二、建立攝像機坐標系與激光雷達坐標系之間的關系；
[0029] 步驟四三、建立激光雷達坐標系與圖像坐標系之間的關系；
[0030] 步驟四四、將步驟三中的行人及車輛的位置坐標映射到圖像坐標系上，獲得行人 及車輛的位置在圖像坐標系下的位置坐標；
[0031] 步驟四五、將步驟四四中的行人及車輛的位置在圖像坐標系下的位置坐標標注在 步驟一中的圖像上，即獲得映射圖像。
[0032] 步驟四一中建立攝像機和圖像的數(shù)學模型，即建立攝像機坐標系和圖像坐標系； 其過程為：
[0033] 建立攝像機的空間直角坐標系(Xc，Yc，Zc)，原點為01;建立圖像坐標系的二維直 角坐標系(X，Y)，原點為02;
[0034] 其中，Xc軸與X軸平行;Yc軸與Υ軸平行;Zc軸垂直于圖像構成的二維平面，且Zc軸 為攝像機的光軸。
[0035] 步驟四二中建立攝像機坐標系與激光雷達坐標系之間的關系;其具體過程為：
[0036] 假設空間一點P在攝像機坐標系下坐標為？(^。，2。），在激光雷達坐標系下的坐 標為？(11，71，21)，則它們存在如下關系：
[0037]
[0038]其中，R和T分別為旋轉和平移矩陣;r