本申請涉及自動駕駛，尤其涉及一種面向自動駕駛的視覺感知方法、裝置、設備及移動工具。

背景技術(shù)：

1、隨著自動駕駛應用的日益廣泛，自動駕駛技術(shù)應用到越來越多的領(lǐng)域中。視覺感知是自動駕駛中的關(guān)鍵一環(huán)，尤其是對道路可行域的識別和檢測，對前方車輛行人的識別和軌跡預測，這些行為的預測準確性直接決定了自動駕駛汽車的安全性能。視覺感知任務包括多個功能模塊，比如2d目標檢測跟蹤、靜態(tài)物體檢測/分割、可行駛區(qū)域分割以及車道線分割等。目前是通過分別為各個功能部署任務模型來實現(xiàn)與之對應的視覺感知任務，但是，多個模型分開部署不但無法保證實時性，還增加了部署工作量。

2、針對上述的問題，目前尚未提出有效的解決方案。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝艘环N面向自動駕駛的視覺感知方法、裝置、設備及移動工具，以解決上述設置多個單任務模型來實現(xiàn)視覺感知任務無法保證實時性的技術(shù)問題。

2、根據(jù)本申請實施例的一個方面，本申請?zhí)峁┝艘环N面向自動駕駛的視覺感知方法，包括：獲取目標檢測模型，其中目標檢測模型包括以下至少一個任務模塊：目標檢測模塊、靜態(tài)物體檢測模塊、語義分割模塊以及車道線分割模塊；利用目標檢測模型對待檢測圖像進行檢測，得到檢測結(jié)果；從檢測結(jié)果中獲取各任務模塊對應的視覺感知數(shù)據(jù)，以同時完成多個視覺感知任務。

3、可選地，利用目標檢測模型對待檢測圖像進行檢測，得到檢測結(jié)果，具體包括：在檢測到目標檢測模型的輸入層接收到待檢測圖像的情況下，通過目標檢測模型的主干網(wǎng)絡提取待檢測圖像的第一特征；通過目標檢測模型的融合結(jié)構(gòu)獲取與各個任務模塊對應的融合特征，并將融合特征輸入至與融合特征對應的任務模塊，其中，融合結(jié)構(gòu)包括第一融合結(jié)構(gòu)與第二融合結(jié)構(gòu)，融合特征包括與目標檢測模塊以及靜態(tài)物體檢測模塊對應的第一融合特征、以及與語義分割模塊及車道線分割模塊對應的第二融合特征；利用各個任務模塊對接收到的融合特征進行檢測，得到檢測結(jié)果。

4、可選地，通過目標檢測模型的融合結(jié)構(gòu)獲取與各個任務模塊對應的融合特征，具體包括：通過第一融合結(jié)構(gòu)對第一特征進行自頂向下地融合以及自底向上地增強，得到第二特征，其中，第一融合結(jié)構(gòu)為目標檢測模塊以及靜態(tài)物體檢測模塊共享的融合結(jié)構(gòu)；對第二特征進行融合，得到第一融合特征。

5、可選地，通過目標檢測模型的融合結(jié)構(gòu)獲取與各個任務模塊對應的融合特征，具體包括：通過第二融合結(jié)構(gòu)對第一特征進行自頂向下地融合以及自底向上地增強，得到第三特征，其中，第二融合結(jié)構(gòu)為語義分割模塊以及車道線分割模塊共享的融合結(jié)構(gòu)；對第三特征進行融合，得到第二融合特征。

6、可選地，利用各個任務模塊對接收到的融合特征進行檢測，得到檢測結(jié)果，具體包括：通過目標檢測模塊檢測第一融合特征，得到目標對象的對象類別以及對象框；通過靜態(tài)物體檢測模塊檢測第一融合特征，得到靜態(tài)物體的類型以及靜態(tài)物體在待檢測圖像中的位置；通過語義分割模塊檢測第二融合特征，得到可行駛區(qū)域的第一分割數(shù)據(jù)以及可行駛區(qū)域中障礙物的第二分割數(shù)據(jù)；通過車道線分割模塊檢測第二融合特征，得到車道線的第三分割數(shù)據(jù)。

7、可選地，根據(jù)本申請實施例的另一個方面，本申請還提供了一種目標檢測模型的訓練方法，包括：構(gòu)建多任務模型，并獲取檢測數(shù)據(jù)集以及分割數(shù)據(jù)集，其中，檢測數(shù)據(jù)集以及數(shù)據(jù)集均預先標注過，檢測數(shù)據(jù)集以及數(shù)據(jù)集均包括訓練集以及驗證集；采用交替訓練策略對多任務模型進行迭代訓練，并在多任務模型的檢測準確率達到準確率閾值的情況下，將多任務模型確定為中間模型；采用交替微調(diào)策略對中間模型進行參數(shù)微調(diào)，以優(yōu)化各個任務分支的參數(shù)，得到目標檢測模型，其中，目標檢測模型包括以下至少一個任務模塊：目標檢測模塊、靜態(tài)物體檢測模塊、語義分割模塊以及車道線分割模塊。

8、可選地，按照交替訓練策略進行迭代訓練中的任一訓練過程，具體包括：利用訓練集對多任務模型中的各個任務分支進行一輪完整訓練；利用分割數(shù)據(jù)集的分割訓練集對多任務模型中的分割任務分支進行一輪完整訓練；對訓練過程中的權(quán)重更新作平滑處理。

9、根據(jù)本申請實施例的另一方面，本申請?zhí)峁┝艘环N面向自動駕駛的視覺感知裝置，包括：模型獲取模塊，用于獲取目標檢測模型，其中，目標檢測模型包括以下至少一個任務模塊：目標檢測模塊、靜態(tài)物體檢測模塊、語義分割模塊以及車道線分割模塊；圖像檢測模塊，用于利用目標檢測模型對待檢測圖像進行檢測，得到檢測結(jié)果；數(shù)據(jù)獲取模塊，用于從檢測結(jié)果中獲取各任務模塊對應的視覺感知數(shù)據(jù)，以同時完成多個視覺感知任務。

10、根據(jù)本申請實施例的另一方面，一種目標檢測模型的訓練裝置，包括：

11、構(gòu)建獲取模塊，用于構(gòu)建多任務模型，并獲取檢測數(shù)據(jù)集以及分割數(shù)據(jù)集，其中，所述檢測數(shù)據(jù)集以及所述數(shù)據(jù)集均預先標注過，所述檢測數(shù)據(jù)集以及所述數(shù)據(jù)集均包括訓練集以及驗證集；

12、訓練模塊，用于采用交替訓練策略對所述多任務模型進行迭代訓練，并在所述多任務模型的檢測準確率達到準確率閾值的情況下，將所述多任務模型確定為中間模型；

13、優(yōu)化模塊，用于采用交替微調(diào)策略對所述中間模型進行參數(shù)微調(diào)，以優(yōu)化各個任務分支的參數(shù)，得到所述目標檢測模型，其中，所述目標檢測模型包括以下至少一個任務模塊：目標檢測模塊、靜態(tài)物體檢測模塊、語義分割模塊以及車道線分割模塊。

14、根據(jù)本申請實施例的另一方面，本申請?zhí)峁┝艘环N電子設備，包括存儲器、處理器、通信接口及通信總線，存儲器中存儲有可在處理器上運行的計算機程序，存儲器、處理器通過通信總線和通信接口進行通信，處理器執(zhí)行計算機程序時實現(xiàn)上述方法的步驟。

15、根據(jù)本申請實施例的另一方面，本申請?zhí)峁┝艘环N移動工具，包括上述電子設備。

16、本申請實施例提供的上述技術(shù)方案與相關(guān)技術(shù)相比具有如下優(yōu)點：

17、本申請通過一種面向自動駕駛的視覺感知方法，包括：獲取目標檢測模型，其中目標檢測模型包括以下至少一個任務模塊：目標檢測模塊、靜態(tài)物體檢測模塊、語義分割模塊以及車道線分割模塊；利用目標檢測模型對待檢測圖像進行檢測，得到檢測結(jié)果；從檢測結(jié)果中獲取各任務模塊對應的視覺感知數(shù)據(jù)，以同時完成多個視覺感知任務。通過單個深度學習模型同時完成多個視覺感知任務，解決了設置多個單任務模型來實現(xiàn)視覺感知任務無法保證實時性的問題。

技術(shù)特征：

1.一種面向自動駕駛的視覺感知方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述目標檢測模型對待檢測圖像進行檢測，得到檢測結(jié)果，具體包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過所述目標檢測模型的融合結(jié)構(gòu)獲取與各個任務模塊對應的融合特征，具體包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過所述目標檢測模型的融合結(jié)構(gòu)獲取與各個任務模塊對應的融合特征，具體包括：

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用各個所述任務模塊對接收到的所述融合特征進行檢測，得到檢測結(jié)果，具體包括：

6.一種目標檢測模型的訓練方法，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，按照所述交替訓練策略進行迭代訓練中的任一訓練過程，具體包括：

8.一種面向自動駕駛的視覺感知裝置，其特征在于，包括：

9.一種目標檢測模型的訓練裝置，其特征在于，包括：

10.一種電子設備，包括存儲器、處理器、通信接口及通信總線，所述存儲器中存儲有可在所述處理器上運行的計算機程序，所述存儲器、所述處理器通過所述通信總線和所述通信接口進行通信，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述權(quán)利要求1至7任一項所述方法的步驟。

11.一種移動工具，其特征在于，包括如權(quán)利要求10所述的電子設備。

技術(shù)總結(jié)
本申請涉及一種面向自動駕駛的視覺感知方法、裝置、設備及移動工具，其中，方法包括：獲取目標檢測模型，其中目標檢測模型包括以下至少一個任務模塊：目標檢測模塊、靜態(tài)物體檢測模塊、語義分割模塊以及車道線分割模塊；利用目標檢測模型對待檢測圖像進行檢測，得到檢測結(jié)果；從檢測結(jié)果中獲取多個視覺感知數(shù)據(jù)，以同時完成多個視覺感知任務。通過單個深度學習模型同時完成各任務模塊對應的視覺感知任務，解決了設置多個單任務模型來實現(xiàn)視覺感知任務無法保證實時性的問題。

技術(shù)研發(fā)人員：梁金源
受保護的技術(shù)使用者：北京智行者科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/17