本發(fā)明涉及目標跟蹤，特別是涉及一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法。

背景技術：

1、孿生網(wǎng)絡憑借其可以判斷兩個不同輸入之間相似性的特點，已成為單目標追蹤研究的前沿。然而，跟蹤速度慢是深度學習模型的普遍缺點，孿生網(wǎng)絡也是一樣，尤其是在網(wǎng)絡加深模型變大的情況下，計算所消耗的資源越多，跟蹤越慢。

2、dsst(discriminative?scale?space?tracker)作為一種成熟的單目標跟蹤方法，以其強大的實時性能滿足了大部分領域的常規(guī)需求，但其獨立應用往往難以應對目標外觀的快速變化。在目標突然消失或遭遇極端環(huán)境干擾時，可能導致追蹤中斷。此外，在嵌入式系統(tǒng)中，由于板卡系統(tǒng)資源有限，計算速度降低，不能較好的完成實時跟蹤任務。

3、目前在嵌入式終端上，由于板卡本身計算資源有限，dsst跟蹤方法速度受限。深度學習模型在目標跟蹤方向有較好的效果，但其效果是與網(wǎng)絡深度，模型大小成正比的，而網(wǎng)絡加深，模型變大勢必會增加計算負擔，尤其是在計算資源有限的嵌入式系統(tǒng)中，深度學習方法也不能很好的完成實時跟蹤任務。

技術實現(xiàn)思路

1、為解決上述技術問題，本發(fā)明采用的一個技術方案是：一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于，包括如下步驟：

2、s1獲取圖像進行初始化，并對圖像中的目標進行跟蹤，對尺度估計和特征提取方式進行優(yōu)化調(diào)整；

3、s2改進孿生網(wǎng)絡算法,在backbone階段，使用shufflenet代替alexnet,在head階段，使用空洞卷積代替原本卷積；

4、s3將dsst與孿生網(wǎng)絡方法進行有機融合；

5、s4輸出目標坐標。

6、進一步地，所述步驟s1中對圖像中的目標進行跟蹤，具體由以下步驟實現(xiàn)：

7、s1-1初始化：取出序列中的第一幀和目標bounding?box；

8、s1-2特征提?。禾崛∧繕宋恢煤蜻x窗口的特征，并將其變換到傅里葉域；

9、s1-3回歸矩陣生成：生成目標位置回歸矩陣，并將其變換到傅里葉域；

10、s1-4尺度bounding?box生成：生成多個尺度的bounding?box；

11、s1-5尺度特征提?。簩τ诿總€scale?bounding?box，提取對應區(qū)域的特征，并將其變換到傅里葉域；

12、s1-6尺度回歸矩陣生成：生成目標尺度回歸矩陣，并將其變換到傅里葉域；

13、s1-7訓練位置跟蹤模板：使用位置特征和回歸矩陣訓練位置跟蹤模板；

14、s1-8訓練尺度跟蹤模板：使用尺度特征和回歸矩陣訓練尺度跟蹤模板；

15、s1-9跟蹤過程：對于序列中的每一幀，使用位置跟蹤模板計算候選窗口上的響應，找到最大響應處的位置；

16、s1-10尺度估計：在找到的位置上使用尺度跟蹤模板計算不同尺度乘子的響應，找到最大響應的尺度乘子，獲取新的bounding?box尺寸；

17、s1-11更新：使用新的bounding?box尺寸進行下一幀的位置跟蹤；

18、s1-12重復：預測完所有幀后，結(jié)束跟蹤過程。

19、進一步地，所述步驟s1中對尺度估計進行優(yōu)化調(diào)整，具體是把在s1-4中生成的33個bounding?box調(diào)整為25個，因為在第二階段采用孿生網(wǎng)絡進行優(yōu)化，所以此處犧牲部分精度。

20、進一步地，所述步驟s1中對特征提取方式進行優(yōu)化調(diào)整，具體是：

21、針對同一目標，不必實時更新特征，只需要每25幀提取一次特征，同樣是因為在第二階段采用孿生網(wǎng)絡進行優(yōu)化，此處可以犧牲部分精度；

22、針對特征維度的優(yōu)化，在原始dsst中采用的是13維度的特征，對此參數(shù)進行逐步調(diào)整，最終鎖定在第五維度，可以保證精度的同時，大幅度提升跟蹤速度。

23、進一步地，所述步驟s2中改進孿生網(wǎng)絡算法,在backbone階段，使用shufflenet代替alexnet，另外采用逐點分組卷積，其中這分為兩個部分一個是逐點，及采用1*1的卷積核，分組是將輸入的多通道特征圖進行獨立卷積計算，來減少網(wǎng)絡的復雜度，但是這樣會阻礙分組間的信息流通；采用通道重排，來消除逐點分組卷積的負面影響，通道重排是對特征圖的通道進行重新排列，使得不同組之間可以交換信息，增加網(wǎng)絡特征的傳遞能力。

24、進一步地，所述步驟s2中改進孿生網(wǎng)絡算法，在head階段使用空洞卷積代替原本卷積，在backbone階段，采用逐點分組卷積，即1*1的卷積核這樣感受野會收到影像，因此在head階段，采用空洞卷積替代常規(guī)卷積的方法來提升模型的感受野。

25、進一步地，所述步驟s3具體由以下步驟實現(xiàn)：

26、s3-1將dsst作為單目標跟蹤的第一階段，在進行目標跟蹤之后，會返回一個響應峰值；

27、s3-2設定響應閾值，區(qū)間[0-0.7]代表跟蹤丟失，此時進行重新檢測跟蹤，區(qū)間(0.7-0.95]認為跟蹤正常，但是目標框不準確，啟用孿生網(wǎng)絡對目標框進行優(yōu)化，使得目標框更加貼合目標，即框選的更加精準，區(qū)間(0.95-1]。

28、s3-3在啟用孿生網(wǎng)絡時，輸入得模板為當前需要計算的圖像與圖像中的目標框，其中目標模板可以從dsst中直接傳遞，不需要額外計算，此外由于第一階段中dsst已經(jīng)給定了目標及目標位置信息，所以在孿生網(wǎng)絡中，待匹配圖像，不需要完整的畫面，僅需要目標周圍1.2倍區(qū)域即可，這同樣減少了孿生網(wǎng)絡的計算時間。

29、本發(fā)明的有益效果如下：

30、本發(fā)明綜合了孿生網(wǎng)絡與dsst算法兩個方法的優(yōu)點進行有機結(jié)合，實現(xiàn)了在嵌入式或者移動終端等計算資源有限的環(huán)境中進行快速單目標跟蹤的方法，其優(yōu)化dsst算法，在原有速度的基礎上進一步提升速度，并且優(yōu)化孿生網(wǎng)絡模型，用輕量級網(wǎng)絡shufflenet代替原方案，裁剪模型大小，最后將兩者進行有機結(jié)合，用dsst作為追蹤的第一階段，并設定閾值，當追蹤結(jié)果高于閾值的時候說明跟蹤成功，不啟用孿生網(wǎng)絡方法；當追蹤結(jié)果低于閾值的時候，啟用孿生網(wǎng)絡進行第二階段的檢測，對dsst的檢測結(jié)果進行糾正。

技術特征：

1.一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于，包括如下步驟：

2.根據(jù)權利要求1所述的一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于：所述步驟s1中對圖像中的目標進行跟蹤，具體由以下步驟實現(xiàn)：

3.根據(jù)權利要求1所述的一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于：所述步驟s1中對尺度估計進行優(yōu)化調(diào)整，具體是把在s1-4中生成的33個bounding?box調(diào)整為25個，因為在第二階段采用孿生網(wǎng)絡進行優(yōu)化，所以此處犧牲部分精度。

4.根據(jù)權利要求1所述的一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于：所述步驟s1中對特征提取方式進行優(yōu)化調(diào)整，具體是：

5.根據(jù)權利要求1所述的一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于：所述步驟s2中改進孿生網(wǎng)絡算法,在backbone階段，使用shufflenet代替alexnet，另外采用逐點分組卷積，其中這分為兩個部分一個是逐點，及采用1*1的卷積核，分組是將輸入的多通道特征圖進行獨立卷積計算，來減少網(wǎng)絡的復雜度，但是這樣會阻礙分組間的信息流通；采用通道重排，來消除逐點分組卷積的負面影響，通道重排是對特征圖的通道進行重新排列，使得不同組之間可以交換信息，增加網(wǎng)絡特征的傳遞能力。

6.根據(jù)權利要求1所述的一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于：所述步驟s2中改進孿生網(wǎng)絡算法，在head階段使用空洞卷積代替原本卷積，在backbone階段，采用逐點分組卷積，即1*1的卷積核這樣感受野會收到影像，因此在head階段，采用空洞卷積替代常規(guī)卷積的方法來提升模型的感受野。

7.根據(jù)權利要求1所述的一種基于孿生網(wǎng)絡與dsst算法的單目標追蹤方法，其特征在于：所述步驟s3具體由以下步驟實現(xiàn)：

技術總結(jié)
本發(fā)明公開了一種基于孿生網(wǎng)絡與DSST算法的單目標追蹤方法，包括獲取圖像進行初始化，并對圖像中的目標進行跟蹤，對尺度估計和特征提取方式進行優(yōu)化調(diào)整；改進孿生網(wǎng)絡算法,在Backbone階段，使用ShuffleNet代替AlexNet,在Head階段，使用空洞卷積代替原本卷積；將DSST與孿生網(wǎng)絡方法進行有機融合。本發(fā)明綜合了孿生網(wǎng)絡與DSST算法兩個方法的優(yōu)點進行有機結(jié)合，實現(xiàn)了在嵌入式或者移動終端等計算資源有限的環(huán)境中進行快速單目標跟蹤的方法，其優(yōu)化DSST算法，在原有速度的基礎上進一步提升速度，并且優(yōu)化孿生網(wǎng)絡模型，用輕量級網(wǎng)絡shuffleNet代替原方案，裁剪模型大小，最后將兩者進行有機結(jié)合，用DSST作為追蹤的第一階段，并設定閾值，當追蹤結(jié)果高于閾值的時候說明跟蹤成功，不啟用孿生網(wǎng)絡方法；當追蹤結(jié)果低于閾值的時候，啟用孿生網(wǎng)絡進行第二階段的檢測，對DSST的檢測結(jié)果進行糾正。

技術研發(fā)人員：金志楊,楊明珠,趙偕清
受保護的技術使用者：昆山小眼探索信息科技有限公司
技術研發(fā)日：
技術公布日：2024/10/21