移動成像平臺校準的制作方法
【專利說明】
【背景技術(shù)】
[0001]在計算領(lǐng)域內(nèi)，許多情形牽涉到移動平臺的掃描，所述移動平臺被提供來行進通過某個區(qū)域并捕獲該區(qū)域的表示(representat1n)。例如，配備有一個或多個照相機的汽車可以被駕駛通過城市的路網(wǎng)，同時捕獲城市的圖像，這些圖像以后被聯(lián)結(jié)(stitch)在一起來形成城市的可導航的圖片之旅。作為另一個例子，使用各種類型的激光掃描器(諸如光探測和測距(“激光雷達”)掃描器)進行的區(qū)域掃描可以導致捕獲關(guān)于區(qū)域的空間信息，其使得能進行區(qū)域的幾何結(jié)構(gòu)的三維重建。這些和其它技術(shù)可被利用來捕獲和重建區(qū)域的各種類型的表示。

【發(fā)明內(nèi)容】

[0002]本概要以簡化的形式介紹選擇的概念，這些概念還將在下面的詳細說明中進行描述。本概要既不打算確認所要求保護的主題的關(guān)鍵因素或必要特征，也不打算被使用來限制所要求保護的主題的范圍。
[0003]對于許多移動平臺，在移動平臺上的掃描設(shè)備在進入?yún)^(qū)域進行掃描之前，以受控的設(shè)置(setting)被精確地校準。這樣的校準可以被執(zhí)行，例如以便驗證區(qū)域的圖像是被照相機和/或激光雷達設(shè)備用精確校準的取向捕獲的，這樣使得所捕獲的區(qū)域的重建(諸如，通過有不同取向的圖像把捕獲的圖像聯(lián)結(jié)在一起)可以產(chǎn)生準確的結(jié)果。然而，以受控的設(shè)置達到的精確校準可能很難在長期的行進時期內(nèi)保持。如果物理震動(jolt)使得傳感器設(shè)備變?yōu)轱@著地未對準(misalign)，則移動平臺可能不得不返回到受控的設(shè)置。這樣的重新校準會讓該平臺在延長的持續(xù)時間內(nèi)服務(wù)中止，并且以可接受的精度執(zhí)行這樣的重新校準可能是昂貴的。另外，無法檢測錯誤校準(miscalibrat1n)可能導致大量地捕獲造成誤差的數(shù)據(jù)(例如，全景圖像或三維重建的未對準的聯(lián)結(jié)，導致顯著的誤差和數(shù)據(jù)訛誤)和/或造成不能使用于重建的大量數(shù)據(jù)集的丟棄。
[0004]這里提出的是用于驗證移動平臺在行進期間的傳感器的校準的技術(shù)。按照這些技術(shù)，包括至少一個激光掃描器、至少一個照相機和位置傳感器(例如，全球定位系統(tǒng)(GPS)接收機、慣性測量單元(MU)和/或無線電三角測量設(shè)備)的移動平臺可以行進通過某個區(qū)域，而同時用每個傳感器隨時間地捕獲數(shù)據(jù)(例如，用照相機捕獲圖像；用激光掃描器捕獲該區(qū)域的激光掃描；以及用位置傳感器捕獲平臺的位置)。對于每個傳感器，可以識別傳感器路徑，包括在平臺移動通過該區(qū)域時傳感器的被檢測的路徑。作為第一個例子，激光掃描器可以通過比較以接連的時間段捕獲的激光掃描而生成激光掃描器路徑(例如，第一激光雷達點云，其指示在第一時間，平臺離諸如建筑物這樣的固定物體的距離，以及第二激光雷達點云，其指示在第二時間，平臺離同一個物體的距離)，并且可以確定激光掃描器路徑，包括平臺隨時間的一系列平移和取向。以各種間隔捕獲的圖像可以進行比較(例如，可以在兩個接連的圖像上在不同的位置識別固定的連接點(tie point)，且圖像評估技術(shù)可被利用來確定該區(qū)域內(nèi)在該處捕獲每個圖像的透視點)，導致把照相機路徑確定為在某個時間段內(nèi)的一系列平移和取向改變。類似地，由位置傳感器檢測的位置可被檢測，以識別位置傳感器的隨時間的位置傳感器路徑。
[0005]在識別激光掃描器路徑、照相機路徑和位置傳感器路徑后，平臺可以比較這些路徑，以驗證傳感器的校準的保持。在實施例中，每個傳感器的坐標系統(tǒng)對于靜止坐標系統(tǒng)被配準，并且可以把在平臺的第一傳感器的第一傳感器路徑上的每一對點之間的平移和取向改變與在該平臺的另一個傳感器的第二傳感器路徑上的每一對點之間的對應(yīng)的平移和取向改變進行比較。相匹配的比較可以驗證傳感器的連續(xù)的校準，而不匹配(例如，在平臺的隨時間所檢測的平移和取向改變中的差異)可以指示:至少一個傳感器已變?yōu)殄e誤校準的。另外，激光掃描器路徑與照相機路徑、激光掃描器路徑與位置傳感器路徑、以及照相機路徑與位置傳感器路徑的三方(three-way)比較(以及在等同的傳感器的路徑之間的比較，例如，比較由第一照相機檢測的第一照相機路徑與由第二照相機檢測的第二照相機路徑)可以識別出錯誤校準的設(shè)備。通過對于每個設(shè)備使用路徑的計算和比較來執(zhí)行這樣的校準檢驗，這里提出的技術(shù)可以使得能甚至在平臺連續(xù)行進時周期和/或連續(xù)地驗證所保持的校準，和/或使得實現(xiàn)用于檢測錯誤校準的更快速和更準確的技術(shù)，其可以降低由錯誤校準引起的低效性。這樣的校準技術(shù)的這些和其它使用可被包括在這里提出的技術(shù)的許多實施例中。
[0006]為了達到上述的和相關(guān)的目的，以下的說明和附圖闡述某些說明性方面和實現(xiàn)。這些說明性方面和實現(xiàn)指示可以利用一個或多個方面的各種方式中的僅僅幾種方式。當結(jié)合附圖考慮時，本公開內(nèi)容的其它方面、優(yōu)點和新穎的特征將從以下的詳細說明變得明顯。
【附圖說明】
[0007]圖1是特征為交通工具在某個區(qū)域內(nèi)移動，同時捕獲該區(qū)域的圖像、同時用位置傳感器監(jiān)視交通工具的位置的示范性情景的說明圖。
[0008]圖2是特征為捕獲汽車周圍區(qū)域中的激光雷達點云和描繪區(qū)域內(nèi)存在的其它物體的示范性情景的說明圖。
[0009]圖3是特征為按照這里提出的技術(shù)、為了驗證平臺的傳感器的校準而進行傳感器路徑的比較的示范性情景的說明圖。
[0010]圖4是按照這里提出的技術(shù)、被配置成驗證移動平臺的傳感器的校準的示范性系統(tǒng)的部件框圖。
[0011]圖5是按照這里提出的技術(shù)、驗證移動平臺的傳感器的校準的示范性方法的流程圖。
[0012]圖6是包括被配置成體現(xiàn)這里闡述的條款中的一個或多個的處理器可執(zhí)行指令的示范性計算機可讀介質(zhì)的說明圖。
[0013]圖7是特征為按照這里提出的技術(shù)、確定對于移動平臺的各個傳感器路徑的平移和取向的示范性情景的說明圖。
[0014]圖8是特征為按照這里提出的技術(shù)、對于獨立的坐標系統(tǒng)配準移動平臺的各個傳感器路徑以便易于傳感器路徑的比較的示范性情景的說明圖。
[0015]圖9圖示在其中可以實施這里闡述的條款中的一個或多個的示范性計算領(lǐng)域?！揪唧w實施方式】
[0016]現(xiàn)在參照附圖描述所要求保護的主題，在圖上各處同樣的參考標號用來指同樣的單元。在以下的說明中，為了解釋起見，闡述了許多具體的細節(jié)，以便對于所要求保護的主題提供透徹的了解。然而，顯然的是，所要求保護的主題可以在沒有這些具體細節(jié)的情況下被實踐。在其它的實例中，結(jié)構(gòu)和設(shè)備以框圖的形式被示出，以便易于描述所要求保護的主題。
[0017]A.圖1給出特征為平臺104行進通過區(qū)域102、同時使用各種各樣的傳感器來捕獲區(qū)域102的表示的第一個示范性情景100的說明圖。雖然平臺104是移動的(例如，展現(xiàn)相對于區(qū)域102的靜止物體的特定的運動向量106)，但移動平臺可以使用以相對于平臺104的不同取向被放置的一個或多個照相機108 (例如，面向前方的照相機108、面向左面的照相機108、面向右面的照相機108、面向后方的照相機108和一個或多個面向上方的照相機108)，它們周期地捕獲區(qū)域102的圖像100。平臺104還可以包括被配置成檢測平臺104的位置114的位置傳感器112，諸如，全球定位系統(tǒng)(GPS)接收機、慣性測量單元(頂10和/或無線電三角測量設(shè)備(例如，蜂窩通信設(shè)備，其被配置成根據(jù)在固定且已知的位置處并以可檢測的發(fā)射功率進行發(fā)射的附近蜂窩塔的信號強度，對平臺104的位置114進行三角測量)。區(qū)域102 (可選地包括在區(qū)域102內(nèi)的各種物體116 (例如，其它交通工具、建筑物、行人和道路標志)的圖像110捕獲可以使得實現(xiàn)區(qū)域102的重建，諸如是可導航的一組全景圖像110。
[0018]圖2給出特征為平臺104行進通過區(qū)域102、同時捕獲區(qū)域102的不同表示的第二示范性情景200的說明圖。在這個示范性情景200中，平臺104的特征為激光掃描器202，其包括被配置成發(fā)射激光信號206的激光雷達發(fā)射器204、和被配置成探測激光雷達信號206從區(qū)域102內(nèi)的附近物體116的反射208的激光雷達探測器210。通過探測在各個時間214的反射208，激光探測器可以從在該時間214捕獲的激光雷達數(shù)據(jù)212外推分別指示激光雷達信號206從物體116的反射的一個或多個激光雷達點云216。對激光雷達點云216的進一步評估可以使得能確定物體116的形狀、大小、取向和距離。這個信息以后可被使用來例如生成在捕獲的時間的區(qū)域102 (包括在區(qū)域102中存在的物體116)的三維重建。
[0019]平臺104可以組合使用一個或多個照相機108的圖像110的捕獲與激光雷達數(shù)據(jù)212和激光雷達點云216的捕獲，以生成區(qū)域102的魯棒的表示。另外，平臺104可以利用位置傳感器112來檢測平臺104的隨時間的路徑，這可以通知該重建過程。
[0020]然而，基于通過使用被安裝在移動平臺104上的各種各樣傳感器對各種類型數(shù)據(jù)的捕獲的區(qū)域102的準確表示可能由于錯誤校準而被減弱。例如，來自多個傳感器的數(shù)據(jù)的重建可能顯著地依賴于傳感器相對于平臺104和其它傳感器的方位和/或取向的假定。一個或多個傳感器的錯誤校準可能是例如由于傳感器和/或移動平臺104的物理震動而引發(fā)的。利用傳感器的假定取向與實際取向之間的變化來重建區(qū)