本公開總體上涉及車輛領(lǐng)域，更具體地涉及用于車輛車道定位的系統(tǒng)和方法。

背景技術(shù)：

車輛的位置可以以若干方式獲取，包括全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)或全球定位系統(tǒng)(gps)接收器、航位推算系統(tǒng)(deadreckoningsystem)和/或計(jì)算輪胎轉(zhuǎn)數(shù)以確定距已知的起始參考點(diǎn)的距離的慣性導(dǎo)航系統(tǒng)。然而，這些技術(shù)缺乏可以確定車道標(biāo)記與道路邊緣之間的車輛定位的精度。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明，提供一種系統(tǒng)，該系統(tǒng)包含具有處理器和存儲(chǔ)器的計(jì)算機(jī)，該存儲(chǔ)器存儲(chǔ)可由處理器執(zhí)行的指令，該指令包括執(zhí)行下列操作的指令：

接收來自固定到車輛的視頻數(shù)據(jù)源的視頻數(shù)據(jù)；

接收來自固定到車輛的lidar數(shù)據(jù)源的光檢測和測距(lidar)數(shù)據(jù)；

將視頻數(shù)據(jù)發(fā)送到回歸神經(jīng)網(wǎng)絡(luò)(rnn)以識(shí)別道路特征，回歸神經(jīng)網(wǎng)絡(luò)(rnn)包括將來自第一層的反饋提供至第二層的反饋元件；

將視頻數(shù)據(jù)發(fā)送到動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(dcnn)以識(shí)別特征；

將lidar數(shù)據(jù)發(fā)送到rnn以識(shí)別特征；

將lidar數(shù)據(jù)發(fā)送到dcnn以識(shí)別特征；

將rnn輸出值和dcnn輸出值發(fā)送到softmax決策網(wǎng)絡(luò)以對(duì)rnn輸出值和dcnn輸出值進(jìn)行聚合；

根據(jù)softmax輸出來確定車輛在道路上的車輛位置定位；

將道路上的車輛位置定位與來自一組訓(xùn)練數(shù)據(jù)圖像的圖像進(jìn)行比較以確定誤差率；

根據(jù)誤差率來確定用于rnn和dcnn的權(quán)重值的變化；

將權(quán)重值的變化應(yīng)用于rnn和dcnn；以及

至少根據(jù)車輛的車輛位置定位來至少控制車輛的轉(zhuǎn)向、制動(dòng)和加速。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中視頻數(shù)據(jù)源至少是固定到車輛的攝像機(jī)或該組訓(xùn)練數(shù)據(jù)圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中l(wèi)idar數(shù)據(jù)源至少是固定到車輛的lidar圖像捕獲裝置和該組訓(xùn)練數(shù)據(jù)圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中特征包括車道標(biāo)記、路沿和道路邊緣中的至少一個(gè)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中計(jì)算機(jī)對(duì)rnn輸出值和dcnn輸出值進(jìn)行聚合以產(chǎn)生softmax輸出值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，計(jì)算機(jī)從視頻數(shù)據(jù)中提取視頻幀圖像，并且從lidar數(shù)據(jù)中提取lidar幀圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，計(jì)算機(jī)將視頻幀圖像和lidar幀圖像轉(zhuǎn)換成機(jī)器可讀圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，計(jì)算機(jī)將機(jī)器可讀圖像發(fā)送到rnn輸入和dcnn輸入。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，存儲(chǔ)器進(jìn)一步存儲(chǔ)將用于rnn和dcnn的權(quán)重值存儲(chǔ)在存儲(chǔ)器中的指令。

根據(jù)本發(fā)明，提供一種系統(tǒng)，該系統(tǒng)包含具有處理器和存儲(chǔ)器的計(jì)算機(jī)，該存儲(chǔ)器存儲(chǔ)可由處理器執(zhí)行的指令，該指令包括執(zhí)行以下操作的指令：

接收來自固定到車輛的攝像機(jī)的視頻數(shù)據(jù)；

接收來自固定到車輛的lidar圖像捕獲裝置的光檢測和測距(lidar)數(shù)據(jù)；

將視頻數(shù)據(jù)發(fā)送到回歸神經(jīng)網(wǎng)絡(luò)(rnn)以識(shí)別道路特征，回歸神經(jīng)網(wǎng)絡(luò)(rnn)包括使來自第一層的信號(hào)能夠被反饋回第二層的反饋元件；

將視頻數(shù)據(jù)發(fā)送到動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(dcnn)以識(shí)別道路特征；

將lidar數(shù)據(jù)發(fā)送到rnn以識(shí)別特征；

將lidar數(shù)據(jù)發(fā)送到dcnn以識(shí)別特征；

將rnn輸出值和dcnn輸出值發(fā)送到softmax決策網(wǎng)絡(luò)以至少根據(jù)rnn輸出值和dcnn輸出值來確定softmax輸出；

根據(jù)softmax輸出來確定車輛在道路上的車輛位置定位；以及

至少根據(jù)車輛的車輛位置定位來至少控制車輛的轉(zhuǎn)向、制動(dòng)和加速。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中特征至少包括車道標(biāo)記、路沿和道路邊緣。

根據(jù)本發(fā)明，提供一種方法，該方法包含：

接收來自車輛上的視頻數(shù)據(jù)源的視頻數(shù)據(jù)；

接收來自車輛上的lidar數(shù)據(jù)源的光檢測和測距(lidar)數(shù)據(jù)；

將視頻數(shù)據(jù)發(fā)送到回歸神經(jīng)網(wǎng)絡(luò)(rnn)以識(shí)別道路特征，回歸神經(jīng)網(wǎng)絡(luò)(rnn)包括使來自第一層的信號(hào)能夠被反饋回第二層的反饋元件；

將視頻數(shù)據(jù)發(fā)送到動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(dcnn)以識(shí)別道路特征；

將lidar數(shù)據(jù)發(fā)送到rnn以識(shí)別道路特征；

將lidar數(shù)據(jù)發(fā)送到dcnn以識(shí)別道路特征；

將rnn輸出值和dcnn輸出值發(fā)送到softmax決策網(wǎng)絡(luò)以至少根據(jù)rnn輸出值和dcnn輸出值來確定softmax輸出；

根據(jù)softmax輸出來確定車輛在道路上的車輛位置定位；

將道路上的車輛位置定位與來自一組訓(xùn)練數(shù)據(jù)圖像的圖像進(jìn)行比較以確定誤差率；

根據(jù)誤差率來確定用于rnn和dcnn的權(quán)重值的變化；

將權(quán)重值的變化應(yīng)用于rnn和dcnn；以及

至少根據(jù)車輛的車輛位置定位來至少控制車輛的轉(zhuǎn)向。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法進(jìn)一步包含至少控制車輛的加速和制動(dòng)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中視頻數(shù)據(jù)源至少是固定到車輛的攝像機(jī)或該組訓(xùn)練數(shù)據(jù)圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中l(wèi)idar數(shù)據(jù)源至少是固定到車輛的lidar圖像捕獲裝置和該組訓(xùn)練數(shù)據(jù)圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中道路特征至少包括車道標(biāo)記、路沿和道路邊緣。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法進(jìn)一步包含通過對(duì)rnn輸出值和dcnn輸出值進(jìn)行聚合來確定softmax輸出。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法進(jìn)一步包含從視頻數(shù)據(jù)中提取視頻幀圖像和從lidar數(shù)據(jù)中提取lidar幀圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法進(jìn)一步包含將視頻幀圖像和lidar幀圖像轉(zhuǎn)換成機(jī)器可讀圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，該方法進(jìn)一步包含將用于rnn和dcnn的權(quán)重值存儲(chǔ)在存儲(chǔ)器中。

附圖說明

圖1是具有可以控制和監(jiān)測自主車輛的各種系統(tǒng)的各種計(jì)算機(jī)硬件部件的示例性自主車輛的框圖；

圖2是可以對(duì)車輛周圍的特征進(jìn)行分類的示例性實(shí)時(shí)道路識(shí)別系統(tǒng)的示意圖；

圖3是具有四層的示例性回歸神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork)的示意圖；

圖4是示例性動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(dynamicconvolutionalneuralnetwork)的各部分的圖示；

圖5是可以由車輛的計(jì)算機(jī)實(shí)施的示例性過程的流程圖；

圖6是可以由車輛的計(jì)算機(jī)實(shí)施的第二示例性過程的流程圖。

具體實(shí)施方式

實(shí)時(shí)道路識(shí)別系統(tǒng)

圖1的圖示是具有連接到并且通過運(yùn)動(dòng)控制計(jì)算機(jī)7的各種車輛計(jì)算機(jī)模塊的自主車輛或半自主車輛的示例性車輛計(jì)算機(jī)系統(tǒng)60的示意圖，運(yùn)動(dòng)控制計(jì)算機(jī)7也可以被稱為電子控制單元(ecu)。運(yùn)動(dòng)控制計(jì)算機(jī)7可以負(fù)責(zé)監(jiān)測和控制其他計(jì)算機(jī)控制器。運(yùn)動(dòng)計(jì)算機(jī)7具有至少一個(gè)處理器并且可以具有各種類型的永久和瞬時(shí)存儲(chǔ)器以存儲(chǔ)計(jì)算機(jī)指令、寄存器值、臨時(shí)變量和永久變量。此外，運(yùn)動(dòng)控制計(jì)算機(jī)7總體上可以包括用于例如經(jīng)由可佩戴設(shè)備、用戶設(shè)備和/或車輛內(nèi)的人機(jī)界面交換數(shù)據(jù)(例如，來自和到乘員)的指令，車輛內(nèi)的人機(jī)界面可以是交互式語音應(yīng)答(ivr)系統(tǒng)、包括觸摸屏或諸如此類的圖形化用戶界面(gui)等中的一個(gè)或多個(gè)。

運(yùn)動(dòng)控制計(jì)算機(jī)7被連接到導(dǎo)航計(jì)算機(jī)9、制動(dòng)控制計(jì)算機(jī)11、發(fā)動(dòng)機(jī)和馬達(dá)控制計(jì)算機(jī)13、轉(zhuǎn)向計(jì)算機(jī)15和遙測單元(telemetricunit)19。導(dǎo)航計(jì)算機(jī)9可以接收例如來自全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)的信號(hào)以確定車輛的地理位置，或者在替代方案中，導(dǎo)航計(jì)算機(jī)9可以部署用于確定地理位置的航位推算系統(tǒng)。

制動(dòng)控制計(jì)算機(jī)11可以監(jiān)測和控制車輛的制動(dòng)器以及影響車輛的停止的任何參數(shù)。發(fā)動(dòng)機(jī)和馬達(dá)控制計(jì)算機(jī)13可以連同車輛的動(dòng)力傳動(dòng)系統(tǒng)一起監(jiān)測和控制發(fā)動(dòng)機(jī)和馬達(dá)。轉(zhuǎn)向控制計(jì)算機(jī)17可以監(jiān)測和控制車輛的轉(zhuǎn)向系統(tǒng)，以及生成轉(zhuǎn)向配置文件，該轉(zhuǎn)向配置文件可以被發(fā)送到運(yùn)動(dòng)控制計(jì)算機(jī)7以在規(guī)劃路線和操縱時(shí)使用。遙測單元19或諸如此類被提供用于例如以已知的方式向網(wǎng)絡(luò)(未示出)發(fā)送信息和從網(wǎng)絡(luò)接收信息。車輛可以與其他網(wǎng)絡(luò)或車輛通信，并且可以包括無線網(wǎng)絡(luò)技術(shù)，例如蜂窩、無線保真(wi-fi)、藍(lán)牙、近場通信(nfc)、有線和/或無線分組網(wǎng)絡(luò)等。

圖2是實(shí)時(shí)道路識(shí)別系統(tǒng)48的示意圖，該實(shí)時(shí)道路識(shí)別系統(tǒng)48可以對(duì)車輛周圍的道路特征進(jìn)行分類，例如，系統(tǒng)48可以確定道路的路沿和車道標(biāo)記(例如左車道標(biāo)記)。系統(tǒng)48可以獨(dú)立于車輛的導(dǎo)航系統(tǒng)而確定車輛在道路上的定位。道路特征從來自光檢測和測距(lidar)圖像捕獲裝置50的傳感器數(shù)據(jù)和從來自視頻數(shù)據(jù)源(例如，攝像機(jī)或圖像捕獲裝置52)的圖像數(shù)據(jù)中進(jìn)行提取。來自lidar裝置50的lidar數(shù)據(jù)和來自視頻圖像捕獲裝置52的圖像數(shù)據(jù)由回歸神經(jīng)網(wǎng)絡(luò)(rnn)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(dcnn)56兩者進(jìn)行處理。rnn54和dcnn56的輸出然后通過柔性最大值傳輸函數(shù)(softmax)決策網(wǎng)絡(luò)(sdn)58進(jìn)行處理和聚合。sdn58的輸出然后被應(yīng)用于車輛計(jì)算機(jī)系統(tǒng)60，該車輛計(jì)算機(jī)系統(tǒng)60進(jìn)而可以操作自主車輛。

如已知的，lidar裝置50是發(fā)射強(qiáng)烈聚焦光束并且測量由傳感器檢測到反射所花費(fèi)的時(shí)間的遠(yuǎn)程感測單元。該信息被用于計(jì)算距對(duì)象的范圍或距離。以這種方式，lidar類似于雷達(dá)(無線電檢測和測距)，除了它是基于激光的離散脈沖。一組三維坐標(biāo)(例如，一組x、y、z坐標(biāo))或?qū)ο蟮木暥?、?jīng)度和高度根據(jù)發(fā)射與返回激光脈沖之間的時(shí)間差、脈沖被“激發(fā)(fired)”的角度以及傳感器的絕對(duì)位置來計(jì)算。

視頻圖像捕獲裝置52可以是以電子方式捕獲圖像的任何類型的攝像機(jī)，例如安裝在前格柵上的攝像機(jī)或擋風(fēng)玻璃攝像機(jī)。視頻圖像捕獲裝置52還可以是立體攝像機(jī)系統(tǒng)，其允許視頻圖像捕獲裝置52獲得深度感知。另外，視頻圖像捕獲裝置52可以被調(diào)整用于不可見輻射，即，用于改善夜視和感測的紅外線。

回歸神經(jīng)網(wǎng)絡(luò)54是一類人工神經(jīng)網(wǎng)絡(luò)，其中該網(wǎng)絡(luò)具有使來自一個(gè)層的信號(hào)能夠被反饋回到當(dāng)前層的反饋元件。具有四個(gè)層的示例性回歸神經(jīng)網(wǎng)絡(luò)54在圖3中示出。網(wǎng)絡(luò)54具有一系列作為輸入層以接收來自lidar裝置50和視頻圖像裝置52的數(shù)據(jù)的輸入神經(jīng)元12、14、16、18。第一層被連接到第一中間神經(jīng)元層20，第一中間神經(jīng)元層20被連接到第二神經(jīng)元層22。第二神經(jīng)元層被連接到輸出神經(jīng)元層24。中間神經(jīng)元層20、22也被稱為隱藏層。

上文中的術(shù)語“神經(jīng)元”是指已知的人工神經(jīng)元，其接收表示樹突的一個(gè)或多個(gè)輸入并且將它們加和以產(chǎn)生表示神經(jīng)元軸突的輸出。每一個(gè)節(jié)點(diǎn)的加和可以被加權(quán)，并且加和通過稱為激活函數(shù)或傳遞函數(shù)的非線性函數(shù)進(jìn)行傳遞。傳遞函數(shù)通常具有s形形狀(sigmoidshape)，但是它們還可以采取其他非線性函數(shù)的形式，例如分段線性函數(shù)或階梯函數(shù)。非線性函數(shù)的目的是使人工神經(jīng)元的輸出為“真”或“假”、或“1”或“0”。

反饋路徑21、23可以在隱藏層中提供，其可以乘以固定的權(quán)重值1。因此，反饋形成神經(jīng)網(wǎng)絡(luò)54的內(nèi)部存儲(chǔ)器狀態(tài)，其允許神經(jīng)網(wǎng)絡(luò)54呈現(xiàn)動(dòng)態(tài)瞬時(shí)行為。因此，神經(jīng)網(wǎng)絡(luò)54可以將值或狀態(tài)存儲(chǔ)到存儲(chǔ)器中，并且稍后在處理信息時(shí)使用所存儲(chǔ)的值和狀態(tài)。

回歸神經(jīng)網(wǎng)絡(luò)54可以被設(shè)計(jì)成處理分布在神經(jīng)元網(wǎng)絡(luò)上的模式化信息。例如，圖像作為獨(dú)立像素的集合是無意義的；為了理解圖像，回歸神經(jīng)網(wǎng)絡(luò)54可以處理從lidar裝置50和視頻裝置52接收到的輸入的空間模式。在空間模式的背景內(nèi)，來自每一個(gè)像素的信息可以獲取含義。在時(shí)域(temporal)處理期間，同樣也是如此。例如，不具有其伴隨像素的單個(gè)像素可以表現(xiàn)為簡單無意義的灰度像素。圖像的像素的集合形成信號(hào)的特有時(shí)域模式，其中它可以區(qū)分其他所存儲(chǔ)的圖像。

動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56是使用相同神經(jīng)元的許多相同副本的一類人工網(wǎng)絡(luò)。動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56可以用較少數(shù)量的參數(shù)來表示計(jì)算量大的模型。圖4示出了可以在動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56中部署的示例性動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)過程68。

在卷積過程68中，輸入圖像70具有卷積應(yīng)用在輸入圖像70上以產(chǎn)生卷積圖像72的過濾器71。卷積過程68將過濾器71值與輸入圖像70的值進(jìn)行排序和/或組合。它可以被認(rèn)為是具有查看輸入圖像70的離散部分并且對(duì)離散部分執(zhí)行一些數(shù)學(xué)處理以產(chǎn)生卷積圖像72的小窗口。

非線性階段可以被部署以將偏差或權(quán)重引入到卷積圖像72中以產(chǎn)生非線性圖像74。權(quán)重可以通過非線性函數(shù)(例如，傳遞函數(shù))來應(yīng)用，非常類似于來自以上的回歸神經(jīng)網(wǎng)絡(luò)54的權(quán)重。傳遞函數(shù)通常具有s形形狀，但是它們也可以采取其他非線性函數(shù)的形式，例如分段線性函數(shù)或階梯函數(shù)。

在池化階段(poolingstage)中，與卷積過程中的處理非常相似，池化過濾器75有條理地處理非線性圖像74，以尋找可能包含可以被抽取(decimated)或降采樣(downsampled)的不變量置換的區(qū)域。不變量置換(invariantpermutation)可以是多余或與非線性圖像74不相關(guān)的像素，例如，鄰近由視頻圖像捕獲裝置52內(nèi)的噪聲模數(shù)轉(zhuǎn)換過程生成的明確定義的邊界的額外像素。池化階段的輸出是特征映射76。

回歸神經(jīng)網(wǎng)絡(luò)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56的輸出由softmax決策網(wǎng)絡(luò)58進(jìn)行處理。如已知的，softmax決策網(wǎng)絡(luò)58確定回歸神經(jīng)網(wǎng)絡(luò)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56的輸出值是否在期望的范圍內(nèi)。例如，動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)54的池化階段具有0.21的數(shù)據(jù)值，該數(shù)據(jù)值在系統(tǒng)48的可接受的數(shù)據(jù)范圍之外，當(dāng)池化階段數(shù)據(jù)值是在0.0和0.1之間時(shí)，系統(tǒng)48的可接受的數(shù)據(jù)范圍默認(rèn)為“0”數(shù)據(jù)值，并且當(dāng)池化數(shù)據(jù)值是在0.9和1.0之間時(shí)，系統(tǒng)48的可接受的數(shù)據(jù)范圍默認(rèn)為“1”。softmax決策網(wǎng)絡(luò)58可以確定0.21的數(shù)據(jù)值是異常的并且將數(shù)據(jù)值改變?yōu)椤?”以允許系統(tǒng)48使用。

softmax決策網(wǎng)絡(luò)58的輸出被發(fā)送到車輛計(jì)算機(jī)系統(tǒng)60。車輛計(jì)算機(jī)系統(tǒng)60結(jié)合導(dǎo)航計(jì)算機(jī)9可以有效地自主操作車輛的加速器、制動(dòng)器和轉(zhuǎn)向裝置并且通過檢測左車道標(biāo)記和右車道標(biāo)記以及將車輛保持在兩者之間來使車輛在道路上有效地行駛。

過程流程圖

圖5是說明示例性過程100的流程圖，該示例性過程100可以由車輛計(jì)算機(jī)系統(tǒng)60來執(zhí)行以處理注入到lidar裝置54和視頻捕獲裝置52中的一組訓(xùn)練數(shù)據(jù)圖像以學(xué)習(xí)道路特征，例如車道標(biāo)記、路沿和道路邊緣。訓(xùn)練數(shù)據(jù)圖像是具有所識(shí)別的道路特征的一組圖像。因此，車輛計(jì)算機(jī)系統(tǒng)60可以對(duì)該組訓(xùn)練數(shù)據(jù)圖像的道路特征進(jìn)行分類，將車輛計(jì)算機(jī)系統(tǒng)60分類與實(shí)際訓(xùn)練數(shù)據(jù)圖像所識(shí)別的道路特征進(jìn)行比較，并且進(jìn)而訓(xùn)練神經(jīng)網(wǎng)絡(luò)以能夠?qū)崟r(shí)識(shí)別道路特征。該組訓(xùn)練數(shù)據(jù)圖像連同關(guān)于訓(xùn)練數(shù)據(jù)圖像的一組訓(xùn)練數(shù)據(jù)可以包含例如所識(shí)別的道路特征(例如車道標(biāo)記、路沿和道路邊緣)的“真實(shí)世界”圖像的許多圖像。

過程100開始于框105，在框105中，將一組訓(xùn)練數(shù)據(jù)圖像呈現(xiàn)給lidar數(shù)據(jù)源(例如lidar捕獲裝置50)和視頻捕獲裝置52二者，或者通過將訓(xùn)練數(shù)據(jù)圖像注入到位于lidar捕獲裝置50和視頻捕獲裝置52中的圖像處理設(shè)備中。換句話說，訓(xùn)練數(shù)據(jù)圖像物理上位于每一個(gè)裝置的每一個(gè)透鏡的前方，或者訓(xùn)練數(shù)據(jù)圖像的數(shù)字化版本繞過透鏡被直接應(yīng)用到每一個(gè)裝置的成像軟件或硬件。

接下來在框110中，從視頻幀數(shù)據(jù)中提取視頻幀圖像并且從lidar幀數(shù)據(jù)中提取lidar幀圖像，訓(xùn)練數(shù)據(jù)圖像的視頻幀數(shù)據(jù)和lidar幀數(shù)據(jù)從lidar捕獲裝置50和視頻捕獲裝置52中的每一個(gè)中進(jìn)行提取。該組幀圖像可以是例如由lidar捕獲裝置50和視頻捕獲裝置52捕獲的凍結(jié)圖像。

接下來，在框115中，車輛計(jì)算機(jī)系統(tǒng)60將這組幀圖像轉(zhuǎn)換成道路的機(jī)器可讀圖像，并且進(jìn)一步去除不是道路的圖像的部分或整個(gè)圖像。例如，地平線以上的圖像可以被丟棄，因?yàn)樘炜盏膱D像對(duì)于確定道路上車輛位置定位沒有幫助。

接下來，在框120中，將機(jī)器可讀圖像發(fā)送到回歸神經(jīng)網(wǎng)絡(luò)(rnn)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(dcnn)56?；貧w神經(jīng)網(wǎng)絡(luò)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56上面進(jìn)行了討論。

接下來，在框125中，將回歸神經(jīng)網(wǎng)絡(luò)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56的輸出應(yīng)用于softmax決策網(wǎng)絡(luò)(sdn)58。softmax決策網(wǎng)絡(luò)(sdn)58上面進(jìn)行了討論。

接下來，在框130——框130可以在框125或框145之后——中，車輛計(jì)算機(jī)系統(tǒng)60將softmax決策網(wǎng)絡(luò)(sdn)58的輸出與關(guān)于這組訓(xùn)練數(shù)據(jù)圖像中的每一個(gè)圖像的訓(xùn)練數(shù)據(jù)進(jìn)行比較，并且確定圖像確定的統(tǒng)計(jì)精度。如上所述，這組訓(xùn)練數(shù)據(jù)圖像可以包含例如所識(shí)別的道路特征(例如車道標(biāo)記、路沿和道路邊緣)的“真實(shí)世界”圖像的許多圖像。

接下來，在框135中，調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)重以減小sdn預(yù)測/分類與地面實(shí)況之間的誤差率。

接下來，在框140中，訓(xùn)練算法確定識(shí)別所識(shí)別的道路特征的誤差率是否在預(yù)定的統(tǒng)計(jì)上可接受的標(biāo)準(zhǔn)內(nèi)，例如，誤差率是定義訓(xùn)練數(shù)據(jù)與網(wǎng)絡(luò)的輸出之間的最小誤差的可調(diào)的閾值參數(shù)，超過該閾值參數(shù)，由網(wǎng)絡(luò)提供的近似值被認(rèn)為是可接受的。如果誤差率不可接受，則過程在框145中繼續(xù)，否則過程100繼續(xù)到框150。

在框145中，相應(yīng)地調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)重，例如，將調(diào)整后的權(quán)重值應(yīng)用于第二中間神經(jīng)元層22、第一中間層20和反饋路徑23。神經(jīng)網(wǎng)絡(luò)中的權(quán)重值的應(yīng)用可以是例如每當(dāng)神經(jīng)元22產(chǎn)生到輸出神經(jīng)元24的輸出時(shí)應(yīng)用的簡單乘數(shù)。然后，該過程返回到框120以執(zhí)行圖像與具有改變的權(quán)重值的道路特征測試圖像的另一個(gè)比較。

在框150中，將具有確定的可接受的誤差的權(quán)重存儲(chǔ)在車輛計(jì)算機(jī)系統(tǒng)60的存儲(chǔ)器中以供稍后使用或存儲(chǔ)在神經(jīng)元的寄存器存儲(chǔ)器中，并且過程100結(jié)束。

圖6是說明示例性過程200的流程圖，該示例性過程200可以由車輛計(jì)算機(jī)系統(tǒng)60執(zhí)行以用于通過以下方式來確定車輛在道路上的位置：捕獲車輛周圍的lidar圖像和視頻圖像、在經(jīng)訓(xùn)練的回歸神經(jīng)網(wǎng)絡(luò)54和經(jīng)訓(xùn)練的動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56中處理lidar圖像和視頻、然后在softmax決策網(wǎng)絡(luò)58中做出關(guān)于神經(jīng)網(wǎng)絡(luò)54、56的輸出的決策。車輛計(jì)算機(jī)系統(tǒng)60可以根據(jù)具有一組真實(shí)圖像的道路特征(例如車道標(biāo)記、路沿和道路邊緣)來確定車輛的位置，并且確定車輛在車道中的相對(duì)位置。

過程200開始于框205，在框205中，lidar捕獲裝置50和視頻捕獲裝置52可以捕獲其周圍道路的前向圖像(相對(duì)于車輛)。

接下來，在框210中，車輛計(jì)算機(jī)系統(tǒng)60接收來自lidar圖像捕獲裝置50和視頻捕獲裝置52的視頻和lidar圖像的幀，并且從視頻和lidar圖像中提取幀數(shù)據(jù)。

接下來，在框215中，車輛計(jì)算機(jī)系統(tǒng)60將幀數(shù)據(jù)呈現(xiàn)給經(jīng)訓(xùn)練的回歸神經(jīng)網(wǎng)絡(luò)54和經(jīng)訓(xùn)練的動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56。回歸神經(jīng)網(wǎng)絡(luò)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56上面進(jìn)行了討論。

接下來，在框220中，將回歸神經(jīng)網(wǎng)絡(luò)54和動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)56的輸出應(yīng)用于softmax決策網(wǎng)絡(luò)(sdn)58。softmax決策網(wǎng)絡(luò)(sdn)58上面進(jìn)行了討論。

接下來，在框225中，車輛計(jì)算機(jī)系統(tǒng)60基于sdn58的輸出來確定相對(duì)于道路邊緣和右和左車道標(biāo)記的車輛位置，并且在車輛決策中利用該信息，例如，如果sdn58確定道路正在轉(zhuǎn)彎，則將指示自主車輛轉(zhuǎn)彎并且遵循道路的曲率。

接下來，在框230中，運(yùn)動(dòng)控制計(jì)算機(jī)7接收來自導(dǎo)航計(jì)算機(jī)9的車輛的地理位置。運(yùn)動(dòng)控制計(jì)算機(jī)7向制動(dòng)控制計(jì)算機(jī)11發(fā)送如由運(yùn)動(dòng)控制計(jì)算機(jī)7結(jié)合導(dǎo)航計(jì)算機(jī)9所確定的通過在適當(dāng)?shù)臅r(shí)間致動(dòng)制動(dòng)機(jī)構(gòu)來使車輛減速的指令。發(fā)動(dòng)機(jī)和馬達(dá)控制計(jì)算機(jī)13將如由運(yùn)動(dòng)控制計(jì)算機(jī)7結(jié)合導(dǎo)航計(jì)算機(jī)9所確定的在適當(dāng)?shù)臅r(shí)間通過使馬達(dá)、發(fā)動(dòng)機(jī)加速和減速并且控制車輛的變速器來使車輛加速和減速。轉(zhuǎn)向計(jì)算機(jī)15將如運(yùn)動(dòng)控制計(jì)算機(jī)7結(jié)合導(dǎo)航計(jì)算機(jī)9所確定的在必要時(shí)完成車輛的適當(dāng)?shù)挠肄D(zhuǎn)和左轉(zhuǎn)以及使車輛恢復(fù)到直線行駛，并且，在行程結(jié)束時(shí)過程200結(jié)束。

結(jié)論

如本文所使用的，修飾形容詞的副詞“大體上”是指由于材料、加工、制造、傳感器測量、計(jì)算、處理時(shí)間、傳輸時(shí)間等缺陷，形狀、結(jié)構(gòu)、測量值、值、計(jì)算值等可以偏離準(zhǔn)確描述的幾何結(jié)構(gòu)、距離、測量值、值、計(jì)算值等。

計(jì)算設(shè)備——例如本文所討論的那些——總體上各自包括由一個(gè)或多個(gè)計(jì)算設(shè)備——例如以上說明的那些——可執(zhí)行的并且用于實(shí)施上述過程的框或步驟的指令。計(jì)算機(jī)可執(zhí)行指令可以由計(jì)算機(jī)程序來編譯或解釋，該計(jì)算機(jī)程序采用多種編程語言和/或技術(shù)創(chuàng)建，這些編程語言和/或技術(shù)包括但并不限于單獨(dú)地或組合的java^tm、c、c++、c#、visualbasic、python、javascript、實(shí)際抽取與匯報(bào)語言(perl)、超文本標(biāo)記語言(html)、超級(jí)文本預(yù)處理語言(php)等。通常，處理器(例如，微處理器)如從存儲(chǔ)器、計(jì)算機(jī)可讀介質(zhì)等接收指令，并且執(zhí)行這些指令，由此實(shí)施一個(gè)或多個(gè)過程，包括本文所描述的一個(gè)或多個(gè)過程。這樣的指令或其他數(shù)據(jù)可以采用各種計(jì)算機(jī)可讀介質(zhì)來存儲(chǔ)和傳送。計(jì)算設(shè)備中的文件總體上是存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)——例如存儲(chǔ)介質(zhì)、隨機(jī)存取存儲(chǔ)器等——上的數(shù)據(jù)的集合。

計(jì)算機(jī)可讀介質(zhì)包括參與提供數(shù)據(jù)(例如，指令)的任何介質(zhì)，該數(shù)據(jù)可以由計(jì)算機(jī)讀取。這樣的介質(zhì)可以采用多種形式，包括但不限于非易失性介質(zhì)、易失性介質(zhì)等。非易失性介質(zhì)包括例如光盤或磁盤和其他永久性存儲(chǔ)器。易失性介質(zhì)包括典型地構(gòu)成主存儲(chǔ)器的動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)。計(jì)算機(jī)可讀介質(zhì)的常規(guī)形式包括，例如軟盤、柔性盤、硬盤、磁帶、任何其他磁性介質(zhì)、只讀光盤存儲(chǔ)器(cd-rom)、數(shù)字化視頻光盤(dvd)、任何其他光學(xué)介質(zhì)、穿孔卡片、紙帶、具有孔圖案的任何其他物理介質(zhì)、隨機(jī)存取存儲(chǔ)器(ram)、可編程只讀存儲(chǔ)器(prom)、可擦除可編程只讀存儲(chǔ)器(eprom)、閃速電可擦除可編程只讀存儲(chǔ)器(flash-eeprom)、任何其他存儲(chǔ)器芯片或內(nèi)存盒、或者計(jì)算機(jī)可讀取的任何其他介質(zhì)。

關(guān)于本文所描述的介質(zhì)、過程、系統(tǒng)、方法等，應(yīng)當(dāng)理解的是，雖然這樣的過程等的步驟被描述為按照一定的順序排列發(fā)生，但這樣的過程可以采用以本文所描述的順序之外的順序執(zhí)行所描述的步驟來進(jìn)行實(shí)施。進(jìn)一步應(yīng)當(dāng)理解的是，某些步驟可以同時(shí)執(zhí)行，可以添加其他步驟，或者可以省略本文所描述的某些步驟。換言之，本文的系統(tǒng)和/或過程的描述提供用于說明某些實(shí)施例的目的，并且不應(yīng)被解釋為限制所公開的主題。

相應(yīng)地，應(yīng)當(dāng)理解的是，以上說明書旨在是說明性而不是限制性的。通過閱讀以上說明書，除了提供的示例外，許多實(shí)施例和應(yīng)用對(duì)本領(lǐng)域技術(shù)人員而言都是顯而易見的。本發(fā)明的范圍應(yīng)參照所附和/或包括在非臨時(shí)專利申請中的權(quán)利要求連同這樣的權(quán)利要求所享有的全部等效范圍來確定，而不是參照以上說明書來確定。可以預(yù)期和預(yù)料的是，未來的發(fā)展將發(fā)生在本文所討論的領(lǐng)域中，并且所公開的系統(tǒng)和方法將被結(jié)合到這樣的未來的實(shí)施例中?？傊?，應(yīng)當(dāng)理解的是，所公開的主題能夠進(jìn)行修改和變化。