本發(fā)明涉及視頻處理，涉及一種適用于摩托車行車記錄儀的視頻穩(wěn)像方法、裝置及設備。

背景技術(shù)：

1、近年來，隨著摩托車行業(yè)的蓬勃發(fā)展，摩托車行車記錄儀快速迭代更新，在高速行駛和崎嶇道路上，摩托車容易受到劇烈震動和顛簸的影響，這些因素會導致行車記錄儀拍攝的視頻出現(xiàn)模糊和抖動，嚴重影響視頻質(zhì)量。這些視頻不僅在事故取證、保障騎行安全方面至關(guān)重要，還在記錄騎行體驗、分享旅行片段等方面具有重要價值。視頻穩(wěn)像技術(shù)可以有效地減少因震動引起的視頻模糊，使視頻畫面更加穩(wěn)定、清晰。因此，隨著摩托車行業(yè)的持續(xù)發(fā)展，視頻穩(wěn)像技術(shù)在行車記錄儀中的應用將變得愈發(fā)重要。

2、目前的視頻穩(wěn)像技術(shù)多是用于手機、手持相機、運動相機中，少有適用于摩托車行車記錄儀的視頻穩(wěn)像方案。機械穩(wěn)像通過運動敏感元件和伺服控制系統(tǒng)補償相機抖動，但由于其通常體積龐大不適用于摩托車行車記錄儀場景；光學穩(wěn)像通過光學部件的平移來補償抖動引起的像素偏移，但由于光學部件成本昂貴也不適用于摩托車行車記錄儀場景；基于圖像處理的電子穩(wěn)像，雖然成本低廉、體積小，但算法受圖像場景影響較大，只適用于部分摩托車行車記錄儀場景。

3、因此，目前缺少一種適用于摩托車行車記錄儀的低成本、體積小、不受前景影響的視頻穩(wěn)像方案，用于消除道路顛簸、速度驟變、車輛抖動等引起的抖動。順應時代潮流的慣性傳感器具有小型化、低功耗無需考慮場景信息便可獲取運動物體當前姿態(tài)信息的特點，可用于精確的估計運動矢量，同時可以提升穩(wěn)像系統(tǒng)的執(zhí)行速度，十分契合摩托車行車記錄儀視頻穩(wěn)像場景。

技術(shù)實現(xiàn)思路

1、本發(fā)明要克服摩托車行駛過程中因為各種外部原因?qū)е滦熊囉涗泝x拍攝的視頻抖動的問題，提供一種適用于摩托車行車記錄儀的視頻穩(wěn)像方法、裝置及設備。本發(fā)明通過估計、平滑從慣性傳感器得到的數(shù)據(jù)，補償視頻幀，實現(xiàn)了高效、穩(wěn)定的視頻穩(wěn)像，為摩托車行車記錄儀等設備提供了更好的視頻穩(wěn)像方法。

2、本發(fā)明的第一個方面提供一種適用于摩托車行車記錄儀視頻穩(wěn)像的方法，包括：

3、步驟1)同步攝像頭圖像和慣性傳感器數(shù)據(jù)的采樣時間；慣性傳感器數(shù)據(jù)包括角速度和加速度數(shù)據(jù)；

4、步驟2)利用角速度、加速度數(shù)據(jù)估計出攝像頭運動的朝向四元數(shù)；

5、步驟3)利用速度阻尼雙向slerp平滑，對估計得到的朝向四元數(shù)進行運動平滑；

6、步驟4)利用平滑前后的四元數(shù)經(jīng)過運算得到旋轉(zhuǎn)矩陣，用旋轉(zhuǎn)矩陣補償視頻幀，得到穩(wěn)像后的視頻。

7、其中，步驟1)所述的同步攝像頭圖像和慣性傳感器數(shù)據(jù)的采樣時間，包括：

8、根據(jù)攝像頭采樣周期與慣性傳感器采樣周期計算最小對齊周期，將此周期作為攝像頭數(shù)據(jù)的采樣周期。

9、其中，步驟2)所述的利用角速度、加速度數(shù)據(jù)估計出攝像頭運動的朝向四元數(shù)，包括：

10、2.1)基于陀螺儀數(shù)據(jù)捷聯(lián)積分得到陀螺儀朝向四元數(shù)；

11、2.2)基于加速度計數(shù)據(jù)得到加速度計修正四元數(shù)；

12、2.3)計算陀螺儀朝向四元數(shù)和加速度計修正四元數(shù)得到近慣性系下的預測的相機運動朝向四元數(shù)；

13、2.4)通過運動期間陀螺儀捷聯(lián)積分和加速度計測量之間的不一致性估計出零偏值，陀螺儀捷聯(lián)積分前，將該值從原始陀螺儀測量數(shù)據(jù)中減去；

14、重復上述步驟得到更可靠的相機運動朝向四元數(shù)。

15、其中，步驟3)所述的利用速度阻尼雙向slerp平滑，對估計得到的朝向四元數(shù)進行運動平滑，包括：

16、3.1)根據(jù)imu采樣頻率和設置的平滑度σ，最大平滑度σmax，高速下最大平滑度σv_max計算出對應的平滑度比例系數(shù)α，最大平滑度比例系數(shù)αmax以及高速下最大平滑度比例系數(shù)αv_max。

17、3.2)根據(jù)相鄰四元數(shù)計算出角度，結(jié)合imu采樣頻率得到角速度；

18、3.3)對角速度進行一次正向指數(shù)濾波，最大平滑度比例系數(shù)αv_max作為濾波系數(shù)得到正向平滑的角速度；再對正向平滑的角速度進行一次逆向指數(shù)濾波，抵消正向指數(shù)濾波引入的延遲，得到平滑后的角速度；

19、3.4)計算最大角速度，歸一化角速度，根據(jù)歸一化后的角速度、最大平滑度比例系數(shù)αmax以及高速下最大平滑度比例系數(shù)αv_max計算比例系數(shù)αv；

20、3.5)對四元數(shù)進行正向slerp線性插值，平滑系數(shù)使用αv得到正向平滑的四元數(shù)序列；再對正向平滑的四元數(shù)序列進行一次逆向slerp線性插值，抵消正向slerp線性插值引入的延遲，得到一階平滑后的四元數(shù)序列；

21、3.6)根據(jù)平滑前后四元數(shù)的旋轉(zhuǎn)差值計算出角度，更新最大角度，歸一化角度；

22、3.7)對角度進行一次正向指數(shù)濾波，最大平滑度比例系數(shù)αv_max作為濾波系數(shù)得到正向平滑的角度；再對正向平滑的角度進行一次逆向指數(shù)濾波，抵消正向指數(shù)濾波引入的延遲，得到平滑后的角度；

23、3.8)對平滑后的角度再次進行歸一化使角度位于[0.5,1.0]之間；

24、3.9)根據(jù)最大平滑度比例系數(shù)αmax、高速下最大平滑度比例系數(shù)αv_max、角速度、角度計算得到比例系數(shù)αdis；

25、3.10)對一階平滑后的四元數(shù)序列進行正向slerp線性插值，平滑系數(shù)使用αdis得到正向平滑的四元數(shù)序列；再對正向平滑的四元數(shù)序列進行一次逆向slerp線性插值，抵消正向slerp線性插值引入的延遲，得到二階平滑后的四元數(shù)序列。

26、其中，步驟4)所述的利用平滑前后的四元數(shù)經(jīng)過運算得到旋轉(zhuǎn)矩陣，用旋轉(zhuǎn)矩陣補償視頻幀，得到穩(wěn)像后的視頻，包括：

27、對二階平滑得到四元數(shù)序列里前后相鄰四元數(shù)求四元數(shù)差值，轉(zhuǎn)換成旋轉(zhuǎn)矩陣，對視頻幀中的像素點進行補償，得到穩(wěn)定后的視頻幀。

28、本發(fā)明的第二個方面提供一種適用于摩托車行車記錄儀視頻穩(wěn)像的裝置，包括：

29、數(shù)據(jù)同步采集模塊：同步圖像數(shù)據(jù)和慣性傳感器數(shù)據(jù)采樣周期并采樣數(shù)據(jù)，慣性傳感器數(shù)據(jù)包括陀螺儀數(shù)據(jù)和加速度數(shù)據(jù)；

30、運動估計模塊：利用角速度、加速度數(shù)據(jù)估計出攝像頭運動的朝向四元數(shù)；

31、運動平滑模塊：利用速度阻尼slerp線性差值平滑視頻幀的朝向四元數(shù)；

32、運動補償模塊：利用平滑前后四元數(shù)計算得到的旋轉(zhuǎn)差值，轉(zhuǎn)換為旋轉(zhuǎn)矩陣，補償視頻幀得到穩(wěn)定的視頻幀。

33、本發(fā)明的第三個方面提供一種適用于摩托車行車記錄儀視頻穩(wěn)像的設備，包括通信接口、處理器、輸入設備、攝像頭、慣性傳感器、存儲器、計算機程序，處理器運行存儲器中的程序，可以實現(xiàn)上述的視頻穩(wěn)像方法。

34、本發(fā)明提供一種適用于摩托車行車記錄儀的視頻穩(wěn)像方法、裝置及設備，通過同步攝像頭圖像和慣性傳感器數(shù)據(jù)的采樣時間，獲得時間戳對齊的圖像數(shù)據(jù)和慣性傳感器數(shù)據(jù)；慣性傳感器數(shù)據(jù)包括角速度和加速度數(shù)據(jù)；利用角速度、加速度數(shù)據(jù)估計出攝像頭運動的朝向四元數(shù)；利用速度阻尼雙向slerp平滑，對估計得到的朝向四元數(shù)進行運動平滑；利用平滑前后的四元數(shù)經(jīng)過運算得到旋轉(zhuǎn)矩陣，用旋轉(zhuǎn)矩陣補償視頻幀，得到穩(wěn)像后的視頻。通過上述方法的應用，實現(xiàn)了高效、穩(wěn)定的視頻穩(wěn)像，為摩托車行車記錄儀等設備提供了效果優(yōu)秀的視頻穩(wěn)像方法。

35、本發(fā)明的優(yōu)點是：實現(xiàn)了高效、穩(wěn)定的視頻穩(wěn)像，為摩托車行車記錄儀等設備提供了低成本、不受前景影響的視頻穩(wěn)像方案。