專利名稱：：一種基于關鍵幀的實時攝像機跟蹤方法
技術領域：
：本發(fā)明涉及攝像機跟蹤方法，尤其涉及一種基于關鍵幀的實時攝像機跟蹤方法。
背景技術：
：實時攝像機跟蹤技術指在自然場景中根據(jù)攝像機的視頻圖像輸入，實時恢復攝像機的方位。該技術可分為基于硬件或者基于視覺的攝像機跟蹤，在增強現(xiàn)實，視頻編輯，機器導航中都是最關鍵的組成部分。硬件設備包括陀螺儀，GPS導航設備，深度掃描儀等。硬件設備的優(yōu)點是誤差范圍穩(wěn)定，通用性強；但是誤差比較大，經(jīng)濟成本也比較高。基于視覺的方法主要利用計算機視覺算法從圖像感應器中提取特征，分析特征，并恢復攝像機在空間中的方位?，F(xiàn)有的攝像機全局定位技術主要可參考IrynaSkrypnykandDavidG.Lowe.Scenemodeling，recognitionandtrackingwithinvariantimagefeatures.InISMAR’04Proceedingsofthe3rdIEEE/ACMInternationalSymposiumonMixedandAugmentedReality，pages110-119。他們采用的方法是用從運動推斷結構方法恢復出場景的稀疏三維SIFT特征點結構(可參考GuofengZhang，XueyingQin，WeiHua，Tien-TsinWong，Pheng-AnnHeng，andHujunBao.RobustMetricReconstructionfromChallengingVideoSequences.IEEEConferenceonComputerVisionandPatternRecognition(CVPR)，2007.)，然后將輸入圖像上的二維SIFT特征點與場景的三維SIFT特征點匹配，得到二維SIFT特征點的三維信息，然后求解攝像機方位。該方法的缺點是當場景變大，特征點變多，SIFT描述量的匹配性能下降，跟蹤變得不穩(wěn)定；而且匹配時間上升，不能滿足實時跟蹤的要求。為了改進是攝像機跟蹤的性能，一些研究者提出關鍵幀技術(主要可參考LucaVacchetti，VincentLepetit，PascalFua，StableReal-Time3DTrackingUsingOnlineandOfflineInformation，IEEETransactionsonPatternAnalysisandMachineIntelligence，Volume26，Issue10，Pages1385-1391，2004)，從索引圖像序列中選取一定數(shù)目的關鍵幀，而在實時攝像機跟蹤過程中，輸入圖像的上特征點之和最接近的關鍵幀上的特征點匹配。他們的關鍵幀是用戶手工選取的，相對來說是一個不穩(wěn)定的，且耗時間的過程。另一方面，圖像識別技術也被用來做快速位置識別，可參考IrscharaArnold，ChristopherZach，Jan-MichaelFrahm，BischofHorst，F(xiàn)romStructure-from-MotionPointCloudstoFastLocationRecognition，inIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR2009)，2009.他們利用從運動推斷結構技術恢復出場景的稀疏三維SIFT特征點結構，并自動選擇關鍵幀代表場景中需要識別的位置，然后利用特征詞匯樹(可參考DavidNistér，HenrikStewénius，ScalableRecognitionwithaVocabularyTree，IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，Vol.2(2006)，pp.2161-2168.)快速識別攝像機所在的位置。
發(fā)明內容本發(fā)明的目的在于針對現(xiàn)有攝像機全局定位技術的不足，提出一種基于關鍵幀的實時攝像機跟蹤方法?；陉P鍵幀的實時攝像機跟蹤方法包括如下步驟1)捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構；2)給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀；3)在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀；4)實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)。所述的捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構步驟為1)從每一幀索引圖像中提取特征點；2)每一幀索引圖像中的特征點與前一幀索引圖像的特征點匹配，得到同一個特征點在多幅索引圖像上的位置信息；3)根據(jù)特征點在多幅索引圖像上觀察到的位置信息，恢復出特征點的三維坐標。所述的給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀步驟為與關鍵幀相關的能量函數(shù)定義為其中F是索引圖像集合，是關鍵幀集合，Ec(F)是完備項，Er(F)是冗余項，λ是權重。完備項Ec(F)定義如下其中V(F)是關鍵幀包含的三維特征點，是索引圖像序列包含的三維特征點，即所有特征點，χ表示一個特征點。特征明銳項s(χ)＝D(χ)·min(|f(χ)|，T)，D(χ)是特征點特征反應值絕對值大小，|f(χ)|是可觀察到這個特征點的索引圖像的數(shù)目，稱為特征匹配長度，T控制最大的特征匹配長度，min(，)是取兩個變量的較小值函數(shù)。特征密度項d(χ)定義如下d(xi)是χ在第i幀索引圖像上對應的特征點xi的特征密度，是在圖像上的一個局部窗口內的特征點的個數(shù)。冗余項Er(F)定義如下其中是歸一化；|f(χ)∩F|是χ在關鍵幀集合F中出現(xiàn)的次數(shù)?；谏鲜龅哪芰亢瘮?shù)定義，利用貪婪法優(yōu)化能量，自動選取使能量值最小的關鍵幀集合；關鍵幀集合初始化為空集合，貪婪法優(yōu)化的每一次迭代，將最大減少能量函數(shù)的索引圖像加入關鍵幀集合，直到能量函數(shù)不能下降為止。所述的在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀步驟為1)將關鍵幀中所包含的所有特征點組織成特征詞匯樹的搜索結構，特征詞匯樹的每一個節(jié)點對于判斷關鍵幀相似值的重要性由節(jié)點的權值決定，權值定義為該節(jié)點所包含的特征點覆蓋的關鍵幀數(shù)目的倒數(shù)；2)對于每一幀實時輸入圖像，所有關鍵幀與輸入圖像的相似值初始為0；對于實時輸入圖像上的每一個特征點，在特征詞匯樹中搜索與之最接近的節(jié)點，包含在這個節(jié)點中的每一個關鍵幀與輸入圖像的相似值加上該節(jié)點的權值；所有特征點搜索完成后，相似值最大的關鍵幀被選為輸入圖像的候選關鍵幀。所述的實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)步驟為1)實時輸入圖像與候選關鍵幀匹配特征點；2)所有得到的匹配包括特征點在當前圖像上的圖像坐標和在空間的三維坐標，通過優(yōu)化所有特征點三維坐標在圖像上的投影和圖像坐標之間的誤差，求得攝像機的旋轉和位置參數(shù)，完成攝像機跟蹤過程。本發(fā)明的關鍵幀選擇方法是全自動的方法，僅需要用戶指定能量函數(shù)的一個權值；而且本發(fā)明利用了貪婪法優(yōu)化能量函數(shù)，可以很快速地確定關鍵幀；對于幾千幀圖像序列，僅僅需要十幾秒。本發(fā)明還結合快速圖像識別技術，通過首先確認候選關鍵幀，再進行特征匹配的方法，充分利用關鍵幀提升匹配效率和性能；大大地增強了實時攝像機跟蹤在大型場景中的穩(wěn)定性和實用性。本發(fā)明計算效率高，求解結果穩(wěn)定，由該方法得到的攝像機跟蹤結果可直接用于增強現(xiàn)實，虛擬交互等應用；而且，該方法自動選擇關鍵幀的方法也適用于圖像序列數(shù)據(jù)壓縮。圖1是本發(fā)明的特征詞匯樹及關鍵幀投票法的示意圖；圖2是基于關鍵幀的實時攝像機跟蹤方法的流程圖；圖3是本發(fā)明實施例的索引圖像序列的稀疏三維特征點結構。圖4是本發(fā)明實施例的關鍵幀集合的示意圖。圖5是本發(fā)明實施例的實時攝像機跟蹤用于增強現(xiàn)實的結果圖。具體實施例方式本發(fā)明提升了攝像機實時跟蹤技術的穩(wěn)定性，延展性和實時性，在現(xiàn)實環(huán)境中能得到魯棒的攝像機跟蹤結果。1.為了達到這個目的，本發(fā)明采取以下技術方案1)捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構；2)給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀；3)在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀；4)實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)。2.所述的捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構步驟為捕獲索引圖像序列利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構。每一個三維特征點表示為χ＝{xi|i∈f(χ))}，f(χ)是可觀察到特征點χ的索引圖像集合。χ同時包含特征描述量和三維位置。χ的三維位置表示為奇次坐標(xχ，yχ，zχ，1)。1)從每一幀索引圖像中提取特征點；2)每一幀索引圖像中的特征點與前一幀索引圖像的特征點匹配，得到同一個特征點在多幅索引圖像上的位置信息；3)根據(jù)特征點在多幅索引圖像上觀察到的位置信息，恢復出特征點的三維坐標。3.所述的給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀步驟為給定索引圖像序列需要自動選擇關鍵幀集合F，優(yōu)化使能量函數(shù)最小。包含兩個項完備項和冗余項。完備項使更多的索引圖像會被選為關鍵幀；冗余項控制關鍵幀的數(shù)目。1)關鍵幀選擇通過優(yōu)化能量函數(shù)完成的，能量函數(shù)為其中Ec(F)是完備項，即關鍵幀應該包含盡可能多的三維特征點；Er(F)是冗余項，即關鍵幀之間重復的特征點應盡可能少；λ是權重，控制關鍵幀數(shù)目和包含的特征點。完備項Ec(F)定義如下其中V(F)是關鍵幀包含的三維特征點；是索引圖像序列包含的三維特征點，即所有特征點。本發(fā)明將優(yōu)先選擇重要性強的特征點所屬于的索引圖像作為關鍵幀，而特征點的重要性取決于明銳項和穩(wěn)定性。特征明銳項s(χ)取決于SIFT特征點高斯層差的反應值絕對值大小D(χ)，穩(wěn)定性表示為可觀察到這個特征點的索引圖像的數(shù)目|f(χ)|，稱為特征匹配長度。s(χ)定義如下s(χ)＝D(χ)·min(f|f(χ)|，T)。其中T控制最大的特征匹配長度，防止部分過大的特征長度壓制其它特征點。本發(fā)明要求特征點在二維圖像空間均勻分布，以利于攝像機求解的穩(wěn)定性。特征密度項d(χ)控制選取的特征點在圖像上的分布密度，定義如下d(xi)是χ在第i幀索引圖像上對應的特征點xi的特征密度，計算方法是在一個局部的窗口內計算存在的特征點的個數(shù)，見表1冗余項Er(F)的作用是使關鍵幀之間重疊的特征點盡可能少，即使χ在盡可能少的關鍵幀中出現(xiàn)，以此簡化特征匹配?；谝阎膄(χ)，Er(F)定義如下其中是歸一化；|f(χ)∩F|是χ在關鍵幀集合F中出現(xiàn)的次數(shù)；如果僅僅出現(xiàn)一次，即|f(χ)∩F|＝1，則沒有冗余。2)計算的所有子集的能量函數(shù)可以確定使最小的全局最優(yōu)子集，即關鍵幀集合；然而常常包含幾百上千幀，窮舉計算太費時間。利用貪婪法求取關鍵幀雖然只能得到局部的最優(yōu)子集，但是可以極大縮短時間，而且并不影響系統(tǒng)性能。這個方法類似于最速下降優(yōu)化，每一次迭代，都將最大減少能量函數(shù)的索引圖像加入關鍵幀集合；直到能量函數(shù)不能下降為止；具體算法見表2。4.所述的在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀步驟為在實時攝像機跟蹤過程中，對于每一幀在線輸入圖像，如果與所有關鍵幀進行匹配，將會非常耗時，不能達到實時性能。因為在線輸入圖像一般只與部分關鍵幀重疊，所以本發(fā)明提出先確定與輸入圖像最相似的少數(shù)候選關鍵幀。利用圖像識別的特征詞匯樹技術，快速從F中定位當前輸入圖像所對應的若干候選關鍵幀，然后進行特征匹配，見圖1。1)利用圖像檢索的特征詞匯樹技術可以快速定位相似圖像。首先，在關鍵幀集合F的基礎上，構建有l(wèi)層b個分支的特征詞匯樹V。V的根節(jié)點Root包括所有在關鍵幀中的特征點，K-Means方法根據(jù)特征點的SIFT描述量，將Root分成b個類，每類都成為Root的子節(jié)點。然后用K-Means方法將Root的每一個子節(jié)點分成b類，對應創(chuàng)建b個子節(jié)點，以此類推，直到達到第l層子節(jié)點，完成V的構建。每一個節(jié)點i包含關鍵幀鏈表Li，即Li中的關鍵幀有特征點被分類到節(jié)點i中。Ni(k)表示關鍵幀k中被分到節(jié)點i的特征點的數(shù)目。V的每一個節(jié)點i對于關鍵幀的識別的重要性由節(jié)點的權重wi決定，定義如下其中K是關鍵幀數(shù)目。可以看出，節(jié)點i包含的關鍵幀越少，權重越大，識別能力越強。2)在實時攝像機跟蹤過程中，利用基于V的關鍵幀投票法快速識別候選關鍵幀。對于每一幀實時輸入圖像，所有關鍵幀與輸入圖像的相似值初始為0；對于實時輸入圖像上的每一個特征點，在特征詞匯樹中搜索與之最接近的節(jié)點，包含在這個節(jié)點中的每一個關鍵幀與輸入圖像的相似值加上該節(jié)點的權值；所有特征點搜索完成后，相似值最大的關鍵幀被選為輸入圖像的候選關鍵幀；具體算法見表3。由于有些節(jié)點覆蓋了太多的關鍵幀，導致對于關鍵幀區(qū)分性很低，本發(fā)明通過閾值τ(等于30)直接忽略這些節(jié)點。這個方法的復雜度是是在特征搜索遍歷V的過程中訪問的節(jié)點中包含的關鍵幀數(shù)目的平均值。算法的運行時間主要取決于輸入圖像的特征點數(shù)目，因為大部分時間都在計算特征描述量之間的距離。5.所述的實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)步驟為1)實時輸入圖像與候選關鍵幀匹配特征點；2)所有得到的匹配包括特征點在當前圖像上的圖像坐標和在空間的三維坐標，通過優(yōu)化所有特征點三維坐標在圖像上的投影和圖像坐標之間的誤差，求得攝像機的旋轉和位置參數(shù)，完成攝像機跟蹤過程。實施例本發(fā)明提出一種基于關鍵幀的實時攝像機跟蹤方法，主要包括四個步驟1.從索引圖像序列中恢復場景的稀疏三維特征點結構；2.自動從索引圖像中選擇關鍵幀；3.實時攝像機跟蹤時，快速選擇候選關鍵幀；4.實時輸入圖像和候選關鍵幀進行特征匹配得到包含二維三維信息的匹配點，最后求解攝像機方位。具體實施過程分為預處理部分和實時攝像機跟蹤部分，流程如圖2所示，以下介紹處理一個校園場景實時例的步驟。1.預處理部分1)利用從運動推斷結構技術，從索引圖像序列恢復場景的稀疏SIFT三維特征點結構?，F(xiàn)有許多種用于恢復場景三維信息的算法，一般采用從運動推斷結構的離線攝像機跟蹤方法，即可對大部分的圖像序列高精度地恢復場景稀疏三維信息?，F(xiàn)有許多軟件都可以完成這個步驟，如2D3公司的boujou5、開放的免費軟件VoodooCameraTracker或ACTS自動攝像機跟蹤系統(tǒng)。實施例的稀疏三維特征點結構見圖3.2)從索引圖像序列中自動選擇關鍵幀集合F，使能量函數(shù)最小。實施例的關鍵幀見圖4。3)在選取的關鍵幀集合F的基礎上，建立用于快速候選關鍵幀識別的特征詞匯樹V。2.實時跟蹤攝像機部分1)利用網(wǎng)絡攝像頭實時捕獲圖像數(shù)據(jù)，可用任何一款彩色網(wǎng)絡攝像頭。微軟公司的DirectShow多媒體開發(fā)API提供通用的應用程序框架，可從USB或者1394接口讀取攝像頭輸入。2)從輸入圖像提取一定數(shù)量的SIFT特征點，控制數(shù)量的原因是跟蹤攝像機不需要太多三維點，而且提取的特征點越多，這個步驟越耗時。3)利用基于特征詞匯樹V的關鍵幀投票法快速識別候選關鍵幀。實施例的候選關鍵幀見圖5第2行。4)當前輸入圖像上提取的SIFT特征點與每一個幀候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標。為了加速特征點的匹配速度，一般只取K＝3～4幀關鍵幀；而且每一個關鍵幀上的特征點用K-D樹數(shù)據(jù)結構組織，單個特征點的算法復雜度只有l(wèi)ogm，可以達到實時性能。5)得到當前輸入圖像上二維特征點和三維特征點的匹配信息之后，可以通過優(yōu)化投影誤差求得攝像機的方位參數(shù)，完成攝像機跟蹤過程。投影誤差公式是其中R和t是攝像機的旋轉和平移參數(shù)，R是3×3正交矩陣，t是三維向量。mi＝[u，v，1]T和Mi＝[x，y，z，1]T表示第i個匹配特征點的二維圖像坐標和三維坐標。K表示攝像機的內部參數(shù)，其中f是攝像機的焦距，(cx，cy)是圖像平面的中心。以上所有的非線性優(yōu)化都使用Levenberg-Marquardt算法。6)利用求解的攝像機方位，設置虛擬攝像機，繪制虛擬物體。實施例的攝像機跟蹤結果用于增強現(xiàn)實見圖5第1行。權利要求1.一種基于關鍵幀的實時攝像機跟蹤方法，其特征在于包括如下步驟1)捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構；2)給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀；3)在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀；4)實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)。2.根據(jù)權利要求1中所述的一種基于關鍵幀的實時攝像機跟蹤方法，其特征在于所述的捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構步驟為1)從每一幀索引圖像中提取特征點；2)每一幀索引圖像中的特征點與前一幀索引圖像的特征點匹配，得到同一個特征點在多幅索引圖像上的位置信息；3)根據(jù)特征點在多幅索引圖像上觀察到的位置信息，恢復出特征點的三維坐標。3.根據(jù)權利要求1中所述的一種基于關鍵幀的實時攝像機跟蹤方法，其特征在于所述的給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀步驟為與關鍵幀相關的能量函數(shù)定義為其中F是索引圖像集合，是關鍵幀集合，Ec(F)是完備項，Er(F)是冗余項，λ是權重。完備項Ec(F)定義如下其中V(F)是關鍵幀包含的三維特征點，是索引圖像序列包含的三維特征點，即所有特征點，χ表示一個特征點。特征明銳項s(χ)＝D(χ)·min(|f(χ)|，T)，D(χ)是特征點特征反應值絕對值大小，|f(χ)|是可觀察到這個特征點的索引圖像的數(shù)目，稱為特征匹配長度，T控制最大的特征匹配長度，min(，)是取兩個變量的較小值函數(shù)。特征密度項d(χ)定義如下d(xi)是χ在第i幀索引圖像上對應的特征點xi的特征密度，是在圖像上的一個局部窗口內的特征點的個數(shù)。冗余項Er(F)定義如下其中是歸一化；|f(χ)∩F|是χ在關鍵幀集合F中出現(xiàn)的次數(shù)?；谏鲜龅哪芰亢瘮?shù)定義，利用貪婪法優(yōu)化能量，自動選取使能量值最小的關鍵幀集合；關鍵幀集合初始化為空集合，貪婪法優(yōu)化的每一次迭代，將最大減少能量函數(shù)的索引圖像加入關鍵幀集合，直到能量函數(shù)不能下降為止。4.根據(jù)權利要求1中所述的一種基于關鍵幀的實時攝像機跟蹤方法，其特征在于所述的在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀步驟為1)將關鍵幀中所包含的所有特征點組織成特征詞匯樹的搜索結構，特征詞匯樹的每一個節(jié)點對于判斷關鍵幀相似值的重要性由節(jié)點的權值決定，權值定義為該節(jié)點所包含的特征點覆蓋的關鍵幀數(shù)目的倒數(shù)；2)對于每一幀實時輸入圖像，所有關鍵幀與輸入圖像的相似值初始為0；對于實時輸入圖像上的每一個特征點，在特征詞匯樹中搜索與之最接近的節(jié)點，包含在這個節(jié)點中的每一個關鍵幀與輸入圖像的相似值加上該節(jié)點的權值；所有特征點搜索完成后，相似值最大的關鍵幀被選為輸入圖像的候選關鍵幀。5.根據(jù)權利要求1中所述的一種基于關鍵幀的實時攝像機跟蹤方法，其特征在于所述的實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)步驟為1)實時輸入圖像與候選關鍵幀匹配特征點；2)所有得到的匹配包括特征點在當前圖像上的圖像坐標和在空間的三維坐標，通過優(yōu)化所有特征點三維坐標在圖像上的投影和圖像坐標之間的誤差，求得攝像機的旋轉和位置參數(shù)，完成攝像機跟蹤過程。全文摘要本發(fā)明公開了一種基于關鍵幀的實時攝像機跟蹤方法。包括如下步驟1)捕獲索引圖像序列，利用從運動推斷結構方法，恢復場景的稀疏三維特征點結構；2)給定索引圖像序列和稀疏三維特征點結構，通過優(yōu)化與關鍵幀相關的能量函數(shù)，自動選擇關鍵幀；3)在實時攝像機跟蹤過程中，對于每一幀實時輸入圖像，先利用圖像識別的特征詞匯樹方法，快速從關鍵幀集合中定位與實時輸入圖像相似的候選關鍵幀；4)實時輸入圖像上提取的特征點與候選關鍵幀上的特征點匹配，得到圖像上特征點對應的三維坐標，求得攝像機的方位參數(shù)。本發(fā)明計算效率高，求解結果穩(wěn)定，由該方法得到的攝像機跟蹤結果可直接用于增強現(xiàn)實，虛擬交互等應用。文檔編號G06T7/20GK101763647SQ201010104078公開日2010年6月30日申請日期2010年2月2日優(yōu)先權日2010年2月2日發(fā)明者章國鋒,鮑虎軍,董子龍申請人:浙江大學