專利名稱：數(shù)字圖像穩(wěn)定設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明構(gòu)思這里涉及數(shù)字圖像穩(wěn)定(DIS)，而且更具體地，涉及檢測(cè)、選擇、和分組用于數(shù)字圖像穩(wěn)定的特征點(diǎn)的方法。
背景技術(shù)：
數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)和包括這樣的攝像頭的手持設(shè)備常常用來(lái)在攝像頭在人類操作員的手中操作時(shí)捕獲圖像或視頻。因此，在捕獲圖像或視頻時(shí)攝像頭可能在操作員手中搖晃或抖動(dòng)。該抖動(dòng)可以包括水平分量、垂直分量、和旋轉(zhuǎn)分量。旋轉(zhuǎn)可以沿與圖像捕獲電路的聚焦平面垂直的軸，或者沿與圖像捕獲電路的聚焦平面平行的軸，或者沿在垂直軸與平行軸之間歪斜的軸。抖動(dòng)可以使得手捕獲視頻讓觀看者分心或迷惑，因此期望使用數(shù)字電路來(lái)數(shù)字估計(jì)攝像頭軌跡(即，在每對(duì)連續(xù)幀之間檢測(cè)的抖動(dòng))并且從相同場(chǎng)景的視頻幀的序列中過(guò)濾該抖動(dòng)。用于估計(jì)連續(xù)視頻幀之間的攝像頭軌跡并且用于從視頻幀的序列中過(guò)濾由攝像頭軌跡造成的抖動(dòng)的電路可以包含在攝像機(jī)本身中，并且在存儲(chǔ)捕獲的視頻幀之前(例如，如果攝像機(jī)包括實(shí)時(shí)MPEG編碼器則在MPEG編碼之前或在其期間)被激活以實(shí)時(shí)取消抖動(dòng)。替換地，用于估計(jì)連續(xù)視頻幀之間的攝像頭軌跡并且用于從視頻幀的存儲(chǔ)序列中過(guò)濾抖動(dòng)的電路可以是由實(shí)現(xiàn)數(shù)字圖像穩(wěn)定(DIQ方法的軟件控制的通用微型計(jì)算機(jī)，或者可以是專用硬件，諸如嵌入在優(yōu)化用于執(zhí)行數(shù)字圖像穩(wěn)定(DIQ方法的 ASIC(專用集成電路)中的MPEG視頻編碼器。通過(guò)穩(wěn)定的、固定或移動(dòng)攝像機(jī)產(chǎn)生的視頻在捕獲的視頻中主要包含平滑的運(yùn)動(dòng) (平移、旋轉(zhuǎn))。另一方面，不穩(wěn)定的攝像機(jī)產(chǎn)生貫穿視頻圖像中具有高頻抖動(dòng)(平移的和 /或旋轉(zhuǎn)的)的視頻。從物理成像設(shè)備捕獲的數(shù)字圖像序列常常顯示不希望的高頻抖動(dòng)運(yùn)動(dòng)。圖像序列中呈現(xiàn)的抖動(dòng)運(yùn)動(dòng)的量取決于圖像捕獲設(shè)備相對(duì)于捕獲序列中的對(duì)象的物理性質(zhì)。景深和成像器的底座的不穩(wěn)定性(取決于底座的重量、慣量、平衡)組合以產(chǎn)生不希望的抖動(dòng)全局運(yùn)動(dòng)。數(shù)字圖像穩(wěn)定(DIQ系統(tǒng)首先估計(jì)不希望的(無(wú)意的)運(yùn)動(dòng)，然后對(duì)圖像序列施加校正。穩(wěn)定視頻的視覺(jué)效果高度依賴于攝像頭軌跡估計(jì)的質(zhì)量。數(shù)字圖像穩(wěn)定(DIS)算法使用有效跟蹤的特征點(diǎn)來(lái)估計(jì)兩個(gè)連續(xù)幀之間的抖動(dòng)運(yùn)動(dòng)。數(shù)字視頻穩(wěn)定采用硬件和/ 或軟件方法，用于從包含由不穩(wěn)定攝像機(jī)造成的不期望抖動(dòng)運(yùn)動(dòng)的不穩(wěn)定的視頻中產(chǎn)生空間穩(wěn)定的視頻。在傳統(tǒng)DIS技術(shù)中，通過(guò)分析場(chǎng)景中不同的點(diǎn)的運(yùn)動(dòng)矢量來(lái)檢測(cè)攝像頭運(yùn)動(dòng)。但是運(yùn)動(dòng)矢量可以由對(duì)象運(yùn)動(dòng)以及攝像頭運(yùn)動(dòng)引起。存在這樣的函數(shù)，其提供幀的每個(gè)像素的數(shù)字得分，指示該點(diǎn)作為在時(shí)間相鄰的幀中能夠檢測(cè)的特征點(diǎn)有多合適。這樣的函數(shù)的一個(gè)示例是哈里斯角點(diǎn)檢測(cè)器(Harris Corner Detector)。然而，特征點(diǎn)的幅度對(duì)于圖像的不同部分通常很不同。DIS方法可以采用全局閾值與每個(gè)像素的數(shù)字得分進(jìn)行比較，這并不必然導(dǎo)致特征點(diǎn)的最優(yōu)分布。因此，在低對(duì)比度的區(qū)域(例如，無(wú)云的藍(lán)天導(dǎo)致稀散的或沒(méi)有特征點(diǎn))中可能特征點(diǎn)太少，而在具有許多結(jié)構(gòu)的區(qū)域中，特征點(diǎn)可能彼此過(guò)于接近。特征點(diǎn)的分布不當(dāng)可能增加計(jì)算過(guò)于接近的特征點(diǎn)的冗余運(yùn)動(dòng)矢量的計(jì)算負(fù)擔(dān)，并且可能無(wú)法提供準(zhǔn)確的運(yùn)動(dòng)矢量。在數(shù)字圖像穩(wěn)定(DIS)方法的實(shí)施方式中，期望最小化計(jì)算開(kāi)銷以便減少電路的功耗和減少執(zhí)行DIS方法所需的時(shí)間。還期望檢測(cè)和測(cè)量攝像頭的軌跡并準(zhǔn)確地刻畫(huà)抖動(dòng)以使得可以從存儲(chǔ)/顯示的視頻中正確地補(bǔ)償和正確地取消抖動(dòng)。在數(shù)學(xué)中，仿射幾何是通過(guò)仿射變換(即，非單線性變換和轉(zhuǎn)換)依然不改變的幾何性質(zhì)的研究。已經(jīng)發(fā)展了被稱為仿射矩陣的由數(shù)字系數(shù)定義的數(shù)學(xué)方程組來(lái)刻畫(huà)在每對(duì)連續(xù)幀之間或在其各部分(例如，幀中的運(yùn)動(dòng)對(duì)象)之間檢測(cè)的運(yùn)動(dòng)的橫向(上/下)、旋轉(zhuǎn)、和標(biāo)量(例如，放大或縮小)。因此，抖動(dòng)可以通過(guò)被稱為主變換或全局變換的相對(duì)于場(chǎng)景中的任何實(shí)際固定對(duì)象(例如，巖石、桌子、停駐的汽車、高山、太陽(yáng))的第一仿射變換矩陣來(lái)刻畫(huà)，同時(shí)幀中的任何運(yùn)動(dòng)對(duì)象(例如，鳥(niǎo)、人、球、移動(dòng)的車)可以通過(guò)另外的仿射矩陣來(lái)刻畫(huà)。主變換(主幀間變換)指示可能由用戶的手抖動(dòng)造成的攝像頭運(yùn)動(dòng)，其可以通過(guò)檢測(cè)與在時(shí)間t捕獲的每個(gè)幀的實(shí)際固定對(duì)象關(guān)聯(lián)的一個(gè)或多個(gè)興趣點(diǎn)(稱為“特征點(diǎn)”)、 然后在時(shí)間相鄰幀(t+ι)中搜索相同的特征點(diǎn)、并且計(jì)算每個(gè)特征點(diǎn)的運(yùn)動(dòng)矢量來(lái)計(jì)算。 與特定對(duì)象關(guān)聯(lián)(一起分組)的多個(gè)運(yùn)動(dòng)矢量然后被用于計(jì)算該對(duì)象的仿射變換，其根據(jù)仿射公式定義其檢測(cè)的運(yùn)動(dòng)χ, = SX 氺 x+ry 氺 y+txy' = rx 氺 x+sy 氺 y+ty可以使用在視頻壓縮領(lǐng)域中采用的各種搜索方法來(lái)計(jì)算連續(xù)幀之間特征點(diǎn)的運(yùn)動(dòng)矢量。這樣的搜索方法可以在兩個(gè)時(shí)間相鄰幀中采用諸如絕對(duì)差值和(SAD)、平均絕對(duì)差值(MAD)、或平均平方差(MSE)的宏塊的數(shù)學(xué)比較(例如，通過(guò)將當(dāng)前幀中包含特征點(diǎn)的 8X8像素宏塊與以特征點(diǎn)的位置為中心的參考幀(t+Ι)中的搜索區(qū)域中的多個(gè)8X8像素宏塊進(jìn)行比較來(lái)搜索參考幀(t+Ι)中特征點(diǎn)的位置)。在時(shí)間相鄰幀(t和t+Ι)之間以特征點(diǎn)為中心的宏塊的位移的測(cè)量的量和方向被稱為特征點(diǎn)的“運(yùn)動(dòng)矢量”。

發(fā)明內(nèi)容
本發(fā)明的一方面提供識(shí)別特征點(diǎn)、并導(dǎo)出由于全局移動(dòng)或攝像頭移動(dòng)而以一致方式移動(dòng)的特征點(diǎn)的運(yùn)動(dòng)矢量、同時(shí)準(zhǔn)確用于DIS目的的高效率過(guò)程。用于DIS算法的良好特征點(diǎn)是當(dāng)應(yīng)用合適的運(yùn)動(dòng)估計(jì)算法時(shí)給出單值的運(yùn)動(dòng)矢量的點(diǎn)。為了識(shí)別圖像中的特征點(diǎn)，應(yīng)用于視頻幀的像素的哈里斯角點(diǎn)檢測(cè)器估計(jì)該像素有多適合作為特征點(diǎn)。圖像的不同區(qū)域具有識(shí)別的特征點(diǎn)候選者的不同密度。公開(kāi)的光柵掃描順序選擇和揀選的方法基于視頻幀的小區(qū)域(稱為瓦片(tile))提供最終的特征點(diǎn)分布，其中特征點(diǎn)的最大數(shù)量隨瓦片的亮度圖像數(shù)據(jù)的方差σ 2線性增長(zhǎng)。每個(gè)視頻幀被劃分為較小數(shù)量j Xk個(gè)瓦片。數(shù)量j Xk個(gè)瓦片可以從用于SD視頻的4X4到用于HD視頻的6X6或更大；在(4. . 8) X (4. . 8)的范圍內(nèi)的其他數(shù)量也是可能的并且可以是有益的。選擇瓦片尺寸以使得獨(dú)立移動(dòng)的足夠大的對(duì)象覆蓋至少一個(gè)瓦片的大部分，從而可以捕獲它們的運(yùn)動(dòng)用于DIS目的，同時(shí)忽略小對(duì)象的運(yùn)動(dòng)。具有更多感興趣圖像數(shù)據(jù)并且因而需要更多特征點(diǎn)的瓦片預(yù)期具有較高的方差σ 2。特征點(diǎn)揀選算法找到特征點(diǎn)之間的可編程的最小距離但是需要最少的硬件存儲(chǔ)器。分級(jí)運(yùn)動(dòng)估計(jì)算法可以用來(lái)估計(jì)從幀到幀的特征點(diǎn)移動(dòng)，其中關(guān)于后一搜索級(jí)別的可編程運(yùn)動(dòng)范圍是有意的小，從而優(yōu)選大對(duì)象或全局移動(dòng)而非局部移動(dòng)。因此，最小化所需的操作數(shù)量，同時(shí)結(jié)果足夠準(zhǔn)確用于數(shù)字圖像穩(wěn)定應(yīng)用。對(duì)于例如通過(guò)揀選算法選擇的每個(gè)特征點(diǎn)，在使用的開(kāi)始矢量的小范圍中通過(guò)塊匹配確定其運(yùn)動(dòng)矢量。開(kāi)始矢量是包含當(dāng)前特征點(diǎn)的瓦片和周圍瓦片(例如，上、下、左、 右)的瓦片運(yùn)動(dòng)矢量。瓦片運(yùn)動(dòng)估計(jì)是導(dǎo)出特征點(diǎn)的運(yùn)動(dòng)矢量的過(guò)程的第一步?；诟采w輸入圖像的中心部分的非重疊瓦片(例如，在特征點(diǎn)揀選算法中使用的相同瓦片)完成瓦片運(yùn)動(dòng)估計(jì)。對(duì)于每個(gè)瓦片，在下采樣圖像上執(zhí)行全塊匹配搜索。當(dāng)前幀通過(guò)用于標(biāo)清(SD)視頻的四到八或用于高清(HD)視頻的八到十六的第二下采樣系數(shù)fs2進(jìn)行下采樣。在該下采樣域中，對(duì)每個(gè)瓦片完成全搜索塊匹配并且存儲(chǔ)瓦片矢量以備后用(例如，作為用于導(dǎo)出特征點(diǎn)的運(yùn)動(dòng)矢量的開(kāi)始矢量)。將為每個(gè)瓦片估計(jì)一個(gè)運(yùn)動(dòng)矢量，以最低分辨率進(jìn)行全搜索，通過(guò)下采樣亮度數(shù)據(jù)的第二下采樣系數(shù)fs2進(jìn)行下采樣，并且將產(chǎn)生最低SAD的運(yùn)動(dòng)矢量候選者分配到每個(gè)瓦片。根據(jù)實(shí)施例，對(duì)于邊界瓦片，可以將搜索限制在可用的搜索區(qū)域，因此不會(huì)產(chǎn)生導(dǎo)致參考?jí)K(部分地)在搜索區(qū)域外部的運(yùn)動(dòng)矢量。相對(duì)于使用的分辨率，瓦片運(yùn)動(dòng)搜索將產(chǎn)生半像素精度矢量搜索區(qū)域?qū)⑼ㄟ^(guò)簡(jiǎn)單雙線性插值進(jìn)行上采樣。這僅使用非常少的本地存儲(chǔ)器，因此節(jié)約VLSI實(shí)施方式中的存儲(chǔ)器和邏輯區(qū)域。一旦已經(jīng)確定了特征點(diǎn)的運(yùn)動(dòng)矢量，就將全部特征點(diǎn)相關(guān)數(shù)據(jù)傳遞到下一 DIS 塊，具體地為運(yùn)動(dòng)矢量分組塊。下面將參考附圖來(lái)更詳細(xì)地描述本發(fā)明構(gòu)思的示范性實(shí)施例。然而，本發(fā)明可以以不同的形式實(shí)現(xiàn)，而不應(yīng)被解讀為限于這里描述的實(shí)施例。相反，提供這些例子使得本公開(kāi)更為全面和完整，并向本領(lǐng)域技術(shù)人員完整地傳達(dá)本發(fā)明的范圍。相同的數(shù)字通篇指代相同的元件。


包括附圖以提供本發(fā)明構(gòu)思的進(jìn)一步的理解，并且合并和構(gòu)成本說(shuō)明書(shū)的一部分。

本發(fā)明構(gòu)思的示范性實(shí)施例，并且與說(shuō)明書(shū)一起用來(lái)解釋本發(fā)明的原理。附圖中圖IA到IF是用于說(shuō)明根據(jù)本發(fā)明構(gòu)思的示范性實(shí)施例的數(shù)字圖像穩(wěn)定方法中的步驟的當(dāng)前幀和參考幀、以及其選擇的特征點(diǎn)和運(yùn)動(dòng)矢量的視圖；圖2A是依據(jù)圖IA到IF中說(shuō)明的DIS方法中的步驟的包含圖IA的當(dāng)前幀F(xiàn)t、并且劃分為邊界區(qū)域和核心區(qū)域中的jXk多個(gè)瓦片的圖IE的捕獲幀的圖；圖2B是依據(jù)圖IA到IF中說(shuō)明的DIS方法中的步驟的說(shuō)明選擇的、拒絕的、和取消的特征點(diǎn)的圖2A的圖像幀的核心區(qū)域中的一個(gè)瓦片的圖；圖3是根據(jù)本發(fā)明構(gòu)思的實(shí)施例的配置為執(zhí)行DIS過(guò)程的電路塊的圖；圖4A和4B是用于執(zhí)行圖IA到IF中說(shuō)明的DIS方法中的步驟的識(shí)別和選擇圖IA 和2A的圖像幀的每個(gè)瓦片中的多個(gè)特征點(diǎn)的方法的流程圖；圖5是用于說(shuō)明圖IA到IF中說(shuō)明的DIS方法中的運(yùn)動(dòng)矢量計(jì)算步驟的利用其上
7添加的瓦片運(yùn)動(dòng)矢量下采樣的圖IA的當(dāng)前幀F(xiàn)t的視圖；圖6是圖5的下采樣幀中的瓦片的一部分的視圖，其說(shuō)明使用圖5的瓦片運(yùn)動(dòng)矢量作為用于塊匹配搜索的開(kāi)始矢量以計(jì)算圖IA到IF中說(shuō)明的DIS方法中使用的選擇的特征點(diǎn)的運(yùn)動(dòng)矢量；圖7是用于執(zhí)行圖IA到IF中說(shuō)明的DIS方法中的步驟的計(jì)算圖IA和2A的圖像幀中選擇的特征點(diǎn)的運(yùn)動(dòng)矢量的方法的流程圖；圖8A是當(dāng)攝像頭僅具有平移運(yùn)動(dòng)而沒(méi)有旋轉(zhuǎn)分量時(shí)在距攝像頭相同距離的視頻場(chǎng)景中相同的實(shí)際固定對(duì)象的兩個(gè)特征點(diǎn)的運(yùn)動(dòng)矢量的圖；圖8B是當(dāng)攝像頭具有旋轉(zhuǎn)分量時(shí)距攝像頭相同距離的實(shí)際固定對(duì)象的兩個(gè)特征點(diǎn)的運(yùn)動(dòng)矢量的圖；圖8C是當(dāng)攝像頭僅具有平移運(yùn)動(dòng)而沒(méi)有旋轉(zhuǎn)分量時(shí)距攝像頭不同距離的相同的實(shí)際固定對(duì)象的兩個(gè)特征點(diǎn)的運(yùn)動(dòng)矢量的圖；圖9A和9B是視頻場(chǎng)景中實(shí)際固定對(duì)象的特征點(diǎn)的兩對(duì)運(yùn)動(dòng)矢量的圖，用于說(shuō)明即使四個(gè)運(yùn)動(dòng)矢量的方向和幅度全部不同時(shí)每個(gè)對(duì)也可以具有相同的矢量幅度差；圖10示出說(shuō)明用于圖IA到IF中說(shuō)明的DIS方法中的特征點(diǎn)分組的角度差的間接測(cè)量的歸一化矢量差的計(jì)算的三個(gè)矢量圖；圖11是用于執(zhí)行圖IA到IF中說(shuō)明的DIS方法中圖ID的矢量分組步驟的使用圖 10AU0BU0C的歸一化矢量差來(lái)間接測(cè)量圖IA和2A的圖像幀中選擇的特征點(diǎn)的運(yùn)動(dòng)矢量之間的角度差的分組算法的流程圖；圖12是歸一化矢量差(a-b)的幅度| (a_b) |與歸一化矢量差(a-b)的幅度比|b 作為角度差θ的函數(shù)的曲線圖，其說(shuō)明用于在圖11的分組算法的步驟中使用近似的可用性；以及圖13是包括配置為執(zhí)行圖11的特征點(diǎn)分組算法的分組算法電路1310的特征點(diǎn)分組電路的框圖。
具體實(shí)施例方式圖IA到IF是用于說(shuō)明根據(jù)本發(fā)明構(gòu)思的示范性實(shí)施例的數(shù)字圖像穩(wěn)定方法中的步驟的當(dāng)前幀和參考幀、以及其選擇的特征點(diǎn)和運(yùn)動(dòng)矢量的視圖。圖IA示出場(chǎng)景的兩個(gè)連續(xù)視頻幀，當(dāng)前幀F(xiàn)t和參考幀F(xiàn)t+1。場(chǎng)景包括例如山坡 (在前景中)、電線桿、高山、和太陽(yáng)的固定對(duì)象、以及例如左上的鳥(niǎo)的運(yùn)動(dòng)對(duì)象。當(dāng)前幀F(xiàn)t 和參考幀F(xiàn)w是具有較大面積的各個(gè)連續(xù)捕獲幀的部分(如圖IE所示)。較大的捕獲幀是在數(shù)字圖像穩(wěn)定(DIQ之前通過(guò)圖像傳感器捕獲的原始圖像。由于由抖動(dòng)運(yùn)動(dòng)造成的攝像頭軌跡引起參考幀F(xiàn)w相對(duì)于當(dāng)前幀F(xiàn)t旋轉(zhuǎn)和平移。捕獲幀(見(jiàn)圖1E)的尺寸一般通過(guò)攝像機(jī)的物理圖像傳感器(未示出)的硬件尺寸預(yù)定。當(dāng)前幀F(xiàn)t和參考幀F(xiàn)w的尺寸可以動(dòng)態(tài)地選擇以避免或最小化由于攝像頭的抖動(dòng)運(yùn)動(dòng)引起在捕獲幀的邊界外發(fā)生當(dāng)前幀F(xiàn)t的 “過(guò)度偏離”。圖IB示出與場(chǎng)景中的實(shí)際固定對(duì)象和運(yùn)動(dòng)對(duì)象關(guān)聯(lián)的當(dāng)前幀F(xiàn)t中的多個(gè)選擇的特征點(diǎn)(圓形)。將當(dāng)前幀F(xiàn)t劃分為多個(gè)矩形瓦片，每個(gè)瓦片可以包括至少一個(gè)選擇的特征點(diǎn)。可以通過(guò)執(zhí)行圖2A、2B和4A和4B中說(shuō)明的方法的步驟、和/或通過(guò)圖3的電路來(lái)識(shí)別和選擇圖IB所示的選擇的特征點(diǎn)。應(yīng)當(dāng)理解，本發(fā)明構(gòu)思的方法考慮到，在有些情況下，取決于圖像樣式，一個(gè)或多個(gè)瓦片可以不具有任何選擇的特征點(diǎn)，但是為了描述本發(fā)明構(gòu)思的實(shí)施例的目的，圖IB中在每個(gè)瓦片中顯示至少一個(gè)選擇的特征點(diǎn)。當(dāng)前幀和參考幀被存儲(chǔ)在圖3的電路的存儲(chǔ)器350中，同時(shí)通過(guò)執(zhí)行圖2A、2B和4A和4B說(shuō)明的方法的步驟來(lái)識(shí)別和選擇圖IB所示的選擇的特征點(diǎn)。圖IC示出具有運(yùn)動(dòng)矢量(箭頭)的當(dāng)前幀F(xiàn)t的每個(gè)選擇的特征點(diǎn)?？梢酝ㄟ^(guò)執(zhí)行圖6和7所示的方法的步驟來(lái)計(jì)算圖IC所示的選擇的特征點(diǎn)的運(yùn)動(dòng)矢量。圖ID示出場(chǎng)景中的運(yùn)動(dòng)矢量已經(jīng)被分組(例如，組A、組B、組C)。場(chǎng)景中的實(shí)際固定對(duì)象的運(yùn)動(dòng)矢量(組B和組C)是由攝像頭移動(dòng)(例如抖動(dòng))造成的?？梢酝ㄟ^(guò)圖 10AU0B和IOC以及圖11所示的方法的步驟來(lái)執(zhí)行圖ID所示的選擇的特征點(diǎn)的運(yùn)動(dòng)矢量的分組，其中基于使用幅度比和歸一化矢量差的配對(duì)算法將運(yùn)動(dòng)矢量配對(duì)/分組(包括或排除)。圖IE示出在由圖像傳感器(未示出)輸出的較大的捕獲幀的大背景中的參考幀 Ft+1。通過(guò)使用圖ID所示的實(shí)際固定對(duì)象的組B和組C的運(yùn)動(dòng)矢量定義參考幀F(xiàn)w的仿射系數(shù)來(lái)確定參考幀F(xiàn)w的位置?？梢允沟迷趨⒖紟倪吔缤獾牟东@幀的圖像數(shù)據(jù)對(duì)執(zhí)行用于計(jì)算組B和組C的運(yùn)動(dòng)矢量的圖6和7所示的方法的步驟的電路可用。圖IF示出如果沒(méi)有由圖ID所示的實(shí)際固定對(duì)象的運(yùn)動(dòng)矢量指示的抖動(dòng)攝像頭運(yùn)動(dòng)則參考幀F(xiàn)w在它本該由圖像傳感器(未示出)接收的位置。已經(jīng)通過(guò)補(bǔ)償電路(未示出)應(yīng)用參考幀F(xiàn)w的仿射系數(shù)以旋轉(zhuǎn)和平移參考幀F(xiàn)w來(lái)校正攝像頭的抖動(dòng)運(yùn)動(dòng)。特征點(diǎn)識(shí)別、揀選和分布圖2A是依據(jù)圖IA到IF中說(shuō)明的DIS方法中的步驟的劃分為邊界區(qū)域和核心區(qū)域中的jXk多個(gè)瓦片的當(dāng)前幀F(xiàn)t (見(jiàn)圖1E)以便于特征點(diǎn)的識(shí)別和揀選的捕獲幀的圖。邊界區(qū)域與核心區(qū)域之間的邊界線可以獨(dú)立于接收的圖像數(shù)據(jù)的內(nèi)容由硬件或通過(guò)軟件預(yù)先確定，同時(shí)當(dāng)前幀F(xiàn)t的邊界可以基于由例如接收的圖像數(shù)據(jù)內(nèi)容指示的抖動(dòng)攝像頭運(yùn)動(dòng)的程度而動(dòng)態(tài)地選擇，以便防止或減少當(dāng)前幀的過(guò)度偏離。因此，核心區(qū)域可以或可以不對(duì)應(yīng)于圖IA所示的當(dāng)前圖像幀F(xiàn)t的尺寸和位置。每個(gè)捕獲的視頻幀被劃分為小數(shù)目的非重疊瓦片(例如，用于標(biāo)清的4X4瓦片和用于高清的6X6或更多瓦片)，目的是算法上選擇提供適合于數(shù)字圖像穩(wěn)定的良好特征點(diǎn)分布的特征點(diǎn)。圖像的不同區(qū)域可以具有不同密度的合適的特征點(diǎn)。在極端情況下，幀的區(qū)域可能不具有任何合適的特征點(diǎn)，例如在無(wú)云的藍(lán)天的情況下。在其他區(qū)域中，潛在的特征點(diǎn)也許非常稠密。當(dāng)使用基于全局的閾值來(lái)識(shí)別和選擇全部特征點(diǎn)時(shí)，特征點(diǎn)傾向于集中在圖像的小區(qū)域中，導(dǎo)致差的DIS結(jié)果。依然期望在其中有更多結(jié)構(gòu)的圖像的區(qū)域中具有更多特征點(diǎn)，因?yàn)榇嬖跐撛谏细信d趣的運(yùn)動(dòng)。在這些密集的區(qū)域中，另一問(wèn)題是如何保證并非所有特征點(diǎn)堆積在一起。因此本發(fā)明的一方面提供用于確保將用于DIS的特征點(diǎn)之間的最小距離(MIN_DIST)的高效率方法。為了 DIS算法的穩(wěn)定性，盡可能廣泛地分布特征點(diǎn)，同時(shí)限制特征點(diǎn)的總數(shù)量。特征點(diǎn)的“良好分布”可以表示如下其具有大的凸包；特征點(diǎn)彼此不太接近(MIN_DIST)；在具有較少的合適特征點(diǎn)的瓦片中，如果可能，則選擇至少最小數(shù)量(mirufeatures)的特征點(diǎn)；以及，在具有更多的合適特征點(diǎn)的瓦片中，選擇更多的特征點(diǎn)(max_num_features =min_features+max_plus_features*(tile_variance σ 2/total_variance))?；谕咂牧炼确讲頾2確定每個(gè)瓦片中特征點(diǎn)的最大數(shù)量(maX_nUm_ features)。在一個(gè)實(shí)施例中，每個(gè)瓦片中特征點(diǎn)的最大數(shù)量(maX_num_featureS)是每個(gè)瓦片的特征點(diǎn)的可編程的最小數(shù)量(mirufeatures)加上另外的特征點(diǎn)的可編程的最大數(shù)量 (max_plus_features)乘以特定瓦片的方差σ 2與瓦片方差的總和的比率的和。如果瓦片具有不同的尺寸則可以應(yīng)用校正因子。因此，每個(gè)瓦片的最終選擇的特征點(diǎn)的最大數(shù)量可以替換地為mirufeatures加上與瓦片的方差σ 2成比例、通過(guò)對(duì)應(yīng)的瓦片權(quán)重歸一化的var_ features的部分?？梢越o予邊界瓦片較高權(quán)重，因?yàn)樗鼈儼ㄟ吔鐓^(qū)域因此較大。在該替
換的情況下，給定瓦片的特征點(diǎn)的最大數(shù)量計(jì)算如下因此，選擇的特征點(diǎn)的最大數(shù)量(maX_num_featureS)并不在全部瓦片中保持恒定，也不在幀F(xiàn)t與幀F(xiàn)w之間保持恒定。在一個(gè)實(shí)施例中，每個(gè)瓦片中特征點(diǎn)的最大數(shù)量(max_num_features)是每個(gè)瓦片中亮度數(shù)據(jù)的方差ο2除以總亮度方差的函數(shù)，需要預(yù)先計(jì)算每個(gè)瓦片的亮度方差ο2和幀的總方差。本領(lǐng)域普通技術(shù)人員不難理解其他函數(shù)也是可以的，例如涉及平均亮度值和瓦片方差O2的函數(shù)。為了識(shí)別特征點(diǎn)，可以使用諸如哈里斯角點(diǎn)檢測(cè)器之類的角點(diǎn)檢測(cè)器。哈里斯角點(diǎn)檢測(cè)器評(píng)估圖像的每個(gè)像素作為可能的特征點(diǎn)候選者。優(yōu)選的特征點(diǎn)候選者是其中特征質(zhì)量估計(jì)函數(shù)具有局部最大值的點(diǎn)。公開(kāi)的特征點(diǎn)選擇的方法通過(guò)將每個(gè)識(shí)別的特征點(diǎn)的結(jié)果值(估計(jì)該像素多么適合作為特征點(diǎn))與LOCAL (局部)而非GLOBAL (全局)(全幀) 閾值進(jìn)行比較來(lái)優(yōu)化由哈里斯角點(diǎn)檢測(cè)器識(shí)別的特征點(diǎn)的選擇。因此，公開(kāi)的方法考慮每個(gè)局部區(qū)域處的特征點(diǎn)密度乃至幀的不同部分中的對(duì)比度的差別。獲得的特征點(diǎn)分布是基于視頻幀的小區(qū)域，(例如，非重疊瓦片)，其中每個(gè)瓦片中的特征點(diǎn)的數(shù)量隨瓦片的亮度圖像數(shù)據(jù)的方差ο2線性增加。具有更多感興趣圖像數(shù)據(jù)且因而需要更多特征點(diǎn)的瓦片預(yù)期具有較高的方差σ2。圖4Α和4Β是說(shuō)明維持每個(gè)瓦片中特征點(diǎn)之間的最小距離(MIN_DIST)同時(shí)僅需要少量局部狀態(tài)信息從而減少硬件實(shí)施成本的方法的流程圖，。圖2B是圖2A的圖像幀的核心區(qū)域中的一個(gè)瓦片的圖，其說(shuō)明選擇的(灰色)、拒絕的(白色)、以及先前選擇但是取消的(灰色但是打叉)特征點(diǎn)。圖2B中示出為小方塊的特征點(diǎn)已經(jīng)使用哈里斯角點(diǎn)檢測(cè)器算法識(shí)別為特征點(diǎn)候選者，然后依據(jù)圖4A和4B說(shuō)明的方法的步驟按光柵掃描順序被依次選擇、拒絕或取消。對(duì)于每個(gè)瓦片選擇識(shí)別的特征點(diǎn)候選者的最大數(shù)量(maX_num_featureS)。根據(jù)本發(fā)明的實(shí)施例，每個(gè)識(shí)別的特征點(diǎn)候選者可以通過(guò)如下例如以光柵掃描順序選擇i.識(shí)別的特征點(diǎn)候選者是其中哈里斯角點(diǎn)估計(jì)函數(shù)超過(guò)可編程閾值且其中該估計(jì)具有局部最大值的像素。為了滿足局部最大值，探討的位置處的值必須大于按掃描順序在該像素之前的全部直接和對(duì)角鄰居的值，但是僅大于或等于按掃描順序在該位置之后的直接和對(duì)角鄰居的值。這被實(shí)現(xiàn)以容納相同值是相當(dāng)類似的事實(shí)。ii. 一旦特征點(diǎn)候選者已經(jīng)被識(shí)別，其將進(jìn)入數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)(例如，揀選列表， 但是其他實(shí)施方式也是可能的)，其可以為每個(gè)瓦片保留預(yù)定最大數(shù)量的特征點(diǎn)候選者， 例如，最大32、48、64、或更多的最終選擇的特征點(diǎn)，前提是沒(méi)有在可編程封鎖范圍(MIN_ DIST)內(nèi)的具有更大的估計(jì)函數(shù)值的特征點(diǎn)候選者。為了說(shuō)明的目的，選擇最大值32來(lái)描述本實(shí)施例。iii.如果后來(lái)識(shí)別的特征點(diǎn)候選者已經(jīng)存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中，則將離該點(diǎn)比封鎖范圍(MIN_DIST)更近的具有更小估計(jì)函數(shù)值的全部其他特征點(diǎn)從數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)中刪除。為了說(shuō)明的目的，假定瓦片(5，4)的特征點(diǎn)候選者的預(yù)定最大數(shù)量是四(S卩，max_ num_features = 4)。如圖2A所示，瓦片(5，4)包含按光柵掃描順序的四個(gè)最終選擇的特征點(diǎn)(灰色)SFP3、SFP4、SFP5和SFP7、以及三個(gè)先前選擇但是取消的(灰色但是打叉)特征點(diǎn)SFP1、SFP2、和SFP6、加上兩個(gè)拒絕的(從未選擇的)特征點(diǎn)(白色)。取消的先前選擇的(灰色但是打叉)的特征點(diǎn)SFP1、SFP2、和SFP6是這樣的特征點(diǎn)候選者，它們?cè)趫D 4A和4B說(shuō)明的方法的過(guò)程期間按光柵掃描順序選擇為特征點(diǎn)，但是隨后取消作為特征點(diǎn)候選者，原因是它們處于稍后識(shí)別和選擇為特征點(diǎn)候選者的較大的特征點(diǎn)候選者的排斥區(qū)域0ON_DIST)內(nèi)，或因?yàn)檫x擇的特征點(diǎn)的列表已經(jīng)滿了(即，選擇的特征點(diǎn)候選者的數(shù)量 SFP_count = max_num_features)并且較早選擇的特征點(diǎn)在選擇的特征點(diǎn)候的列表中是最小的并且小于稍后識(shí)別和選擇的特征點(diǎn)候選者。取消的先前選擇的特征點(diǎn)SFPl是依據(jù)圖4A和4B說(shuō)明的方法的步驟按光柵掃描順序識(shí)別和選擇的第一特征點(diǎn)。稍后，取消的先前選擇的特征點(diǎn)SFP2被識(shí)別和選擇，但是在選擇SFP2之后，選擇的特征點(diǎn)SFP3被識(shí)別并且大于SFP2。由于SFP2處于較大的、選擇的特征點(diǎn)SFP3的排斥區(qū)(MIN_DIST)內(nèi)，當(dāng)選擇SFP3時(shí)立即取消SFP2。在選擇SFP3之后，在SFP3的排斥區(qū)(MIN_DIST)的右下角識(shí)別特征點(diǎn)候選者，并且因?yàn)樵撎卣鼽c(diǎn)候選者小于SFP3且處于它的排斥區(qū)內(nèi)，其被立即拒絕(即，不選擇)。然后，在剛好超出SFP3的排斥區(qū)(MIN_DIST)的下方識(shí)別特征點(diǎn)候選者，并且它被選擇為SFP4(且后來(lái)沒(méi)有被取消)。 然后，在SFP3的排斥區(qū)(MIN_DIST)的更下方的右邊識(shí)別特征點(diǎn)候選者，并且它被選擇為 SFP5(且后來(lái)沒(méi)有被取消，因?yàn)樗m接近但是沒(méi)有處在SFP7的排斥區(qū)內(nèi))。然后，在SFP5 的排斥區(qū)(MIN_DIST)的下方的右邊識(shí)別特征點(diǎn)候選者，并且它被選擇為SFP6(且后來(lái)被取消，因?yàn)樗幵谳^大的稍后選擇的特征點(diǎn)SFP7的排斥區(qū)內(nèi))。當(dāng)SFP6被選擇時(shí)，選擇的特征點(diǎn)的列表已經(jīng)“滿了(full)”(例如，該瓦片的特征點(diǎn)的最大數(shù)量是4)，因?yàn)樵谶x擇的特征點(diǎn)SFPU SFP3、SFP4和SFP5的列表中SFPl是最小的，且因?yàn)镾FP6大于SFP1，故取消 SFPl0然后，在SFP6的排斥區(qū)(MIN_DIST)的下方的內(nèi)部識(shí)別特征點(diǎn)候選者，并且它被選擇為SFP7(因?yàn)镾FP6由于選擇的特征點(diǎn)SFP7大于SFP6和/或因?yàn)榱斜硪褲M等而被立即取消)。然后，在SFP7的排斥區(qū)(MIN_DIST)的下方的內(nèi)部識(shí)別特征點(diǎn)候選者，并且它被拒絕 (未選擇)，因?yàn)樽詈蟮奶卣鼽c(diǎn)小于SFP7。有可能SFP7實(shí)際小于取消的SFP2 (如果SFP3比 SFP7大得多)，但是已經(jīng)獲得特征點(diǎn)的良好分布?？删幊谭怄i范圍(MIN_DIST)確保最終選擇的特征點(diǎn)不過(guò)于緊密地簇?fù)碓谝黄??？梢栽诿總€(gè)瓦片被下采樣的下縮放(downscaling)過(guò)程期間確定每個(gè)瓦片的像素亮度方差ο2。每個(gè)瓦片中特征點(diǎn)的最大數(shù)量被確定為每個(gè)瓦片的特征點(diǎn)的可編程的恒定最小數(shù)量加上總可變特征點(diǎn)的數(shù)量乘以特定瓦片的方差ο 2與瓦片方差的總和的比率的和?？梢蕴砑有Ｕ蜃佑糜谶吘壓徒锹渫咂瑓^(qū)的區(qū)域，因?yàn)樘卣鼽c(diǎn)也可以處于邊界區(qū)域。對(duì)于每個(gè)瓦片，對(duì)于按光柵掃描順序識(shí)別的每個(gè)特征點(diǎn)候選者，使用上述的揀選過(guò)程(即，選擇、拒絕、取消)收集和存儲(chǔ)多至最大數(shù)量的特征點(diǎn)候選者。最后，最終選擇的每個(gè)瓦片的特征點(diǎn)候選者正是具有最高估計(jì)函數(shù)響應(yīng)的特征點(diǎn)候選者，其最大數(shù)量被預(yù)定?？赡苡羞@樣的實(shí)例，其中在給定瓦片中沒(méi)有可用的足夠的特征點(diǎn)候選者，諸如低對(duì)比度圖像數(shù)據(jù)的瓦片，該情況下，產(chǎn)生的最終使用的特征點(diǎn)的數(shù)量將小于編程的最小數(shù)量(例如，小于min_ features 的數(shù)量)。因此，提供一種以光柵掃描順序處理特征點(diǎn)候選者的方法，其中即使會(huì)在稍后識(shí)別和選擇更多新特征點(diǎn)候選者也維持包括不過(guò)于緊密地簇?fù)碓谝黄鸬闹炼嘤?jì)算的最大數(shù)量的選擇的特征點(diǎn)的列表。該揀選特征點(diǎn)的光柵掃描順序方法與從識(shí)別的特征點(diǎn)候選者當(dāng)中區(qū)分優(yōu)先次序并選擇的各種其他方法相比具有減少存儲(chǔ)器和計(jì)算的量的優(yōu)點(diǎn)。例如，在替換實(shí)施例中，可以將瓦片的全部特征點(diǎn)候選者識(shí)別和存儲(chǔ)在存儲(chǔ)器中存儲(chǔ)的大列表中， 然后僅在瓦片的全部特征點(diǎn)候選者已經(jīng)被識(shí)別之后，可以應(yīng)用數(shù)學(xué)揀選算法以找到不在集合的任何其他成員的排斥區(qū)(MIN_DIST)內(nèi)的最大特征點(diǎn)候選者的最優(yōu)集合(具有預(yù)定最大尺寸)。然而，這樣的揀選算法比圖4A和4B的光柵順序揀選(選擇、拒絕、取消)方法 (其示范性結(jié)果在圖2B中示出)需要更多物理存儲(chǔ)器(用于存儲(chǔ)瓦片的識(shí)別的特征點(diǎn)候選者的整個(gè)列表)且潛在地需要更多的總的計(jì)算。圖4A和4B的光柵掃描順序揀選算法沒(méi)有必要提供作為全局最優(yōu)的選擇的特征點(diǎn)的集合，因?yàn)樘卣鼽c(diǎn)候選者可以由稍后被選擇但是稍后將其取消的特征點(diǎn)候選者從列表中取消，相反它提供可以在具有有限本地存儲(chǔ)的硬件中實(shí)現(xiàn)的算法。雖然圖4A和4B的方法被描述為按照“光柵掃描順序”(即，從左到右且從上到下)處理識(shí)別的特征點(diǎn)候選者，其為哈里斯角點(diǎn)檢測(cè)器通常進(jìn)行的像素順序，該方法可以采用選擇特征點(diǎn)候選者的任何序列，諸如非相鄰特征點(diǎn)候選者的不連續(xù)序列，只要全部特征點(diǎn)被依次識(shí)別并最終揀選。圖3是根據(jù)本發(fā)明構(gòu)思的實(shí)施例的特征點(diǎn)電路的框圖。特征點(diǎn)電路3000包括特征點(diǎn)選擇器300和已選擇特征點(diǎn)(SFP)運(yùn)動(dòng)矢量計(jì)算器700以及共享的RAM存儲(chǔ)器350。特征點(diǎn)選擇器300包括下采樣器310、特征點(diǎn)候選者識(shí)別器330、和特征點(diǎn)候選者揀選器340。特征點(diǎn)候選者識(shí)別器330使用哈里斯角點(diǎn)檢測(cè)器算法識(shí)別特征點(diǎn)候選者并且向特征點(diǎn)候選者揀選器340 —次一個(gè)瓦片地按光柵掃描順序輸出識(shí)別的特征點(diǎn)，例如，以像素位置和哈里斯角點(diǎn)響應(yīng)(Harris Corner response)。特征點(diǎn)候選者揀選器340配置為執(zhí)行如圖IB和2B中進(jìn)一步說(shuō)明的圖4A和4B的逐一揀選每個(gè)瓦片的識(shí)別的特征點(diǎn)的方法。 下采樣器310包括瓦片-方差ο 2計(jì)算器320功能塊，其根據(jù)以下公式計(jì)算圖像幀的每個(gè)瓦片的瓦片-方差ο2:
、\ . ^ootoJ ^ ..........；...........— ...........；其中y值是瓦片內(nèi)的亮度值而N是瓦片中像素的數(shù)量。圖3所示的電路可以在半導(dǎo)體芯片中實(shí)現(xiàn)，其具有被配置為從具有捕獲圖像的傳感器和用于將捕獲的圖像轉(zhuǎn)換為圖像數(shù)據(jù)的電路的攝像頭接收?qǐng)D像數(shù)據(jù)的輸入/輸出管腳。圖3的電路處理的數(shù)據(jù)經(jīng)由輸入/輸出管腳輸出到攝像頭的其他組件。如下面將進(jìn)一小化芯片的尺寸，存儲(chǔ)器需要在物理尺寸上很小因此存儲(chǔ)容量受限。根據(jù)本發(fā)明的另一實(shí)施例，為了節(jié)約計(jì)算功率并減少所需操作的數(shù)量，特征點(diǎn)選擇器300可以僅對(duì)亮度數(shù)據(jù)操作，其將由下采樣器310按照為2、4、或8 的可選擇的因子fsl來(lái)水平和垂直地下采樣。本實(shí)施例中選擇為4的因子fsl。經(jīng)fsl下采樣的亮度數(shù)據(jù)由特征點(diǎn)候選者識(shí)別器330用于特征點(diǎn)識(shí)別，而且在替換實(shí)施例中可以稍后由 SFP運(yùn)動(dòng)矢量計(jì)算器700的分級(jí)塊匹配搜索單元730用于特征點(diǎn)運(yùn)動(dòng)矢量估計(jì)。根據(jù)更適合于其中硬件不動(dòng)產(chǎn)、處理帶寬、或功率容量更可用的應(yīng)用的本發(fā)明構(gòu)思的另一個(gè)實(shí)施例， 可以提供諸如外部SDRAM的芯片外存儲(chǔ)器以補(bǔ)充芯片上存儲(chǔ)器的存儲(chǔ)容量。在通過(guò)下采樣器310計(jì)算較小的下采樣圖像的同時(shí)，計(jì)算每個(gè)瓦片的亮度方差 (瓦片-方差)o2，并且識(shí)別3X3哈里斯角點(diǎn)矩陣的較小本征值的全局最大值。作為左上瓦片的左上像素的坐標(biāo)的瓦片偏移量和瓦片像素尺寸兩者優(yōu)選地是使用的最大下采樣因子(fs2)的倍數(shù)。而且優(yōu)選地，圖像核心區(qū)域在整個(gè)圖像中居中。因此，左邊界區(qū)域的寬度與右邊界區(qū)域的寬度相同且上邊界區(qū)域的高度與下邊界區(qū)域的高度相同(見(jiàn)圖2A)。一旦輸入幀亮度數(shù)據(jù)已經(jīng)被下采樣和存儲(chǔ)在RAM存儲(chǔ)器350中，特征點(diǎn)候選者識(shí)別器330將其按瓦片順序讀取，并將識(shí)別的特征點(diǎn)候選者依次饋送到特征點(diǎn)候選者揀選器 340。對(duì)于塊330的特征點(diǎn)識(shí)別過(guò)程，與邊界區(qū)域相鄰的瓦片中的潛在特征點(diǎn)的統(tǒng)計(jì)區(qū)域擴(kuò)展到邊界區(qū)域，因此每個(gè)邊界區(qū)域的像素與相鄰?fù)咂南袼匾黄鹛幚怼Ｏ袼財(cái)?shù)據(jù)在每個(gè)瓦片內(nèi)按光柵掃描順序讀取從上到下逐行，在每行內(nèi)從左到右逐像素。為了處理每個(gè)瓦片，特征點(diǎn)候選者識(shí)別器330需要每個(gè)內(nèi)部瓦片邊界上的三個(gè)另外的像素用于使用哈里斯角點(diǎn)檢測(cè)器的特征點(diǎn)識(shí)別。因此，這些像素將被讀取不止一次。識(shí)別的特征點(diǎn)候選者是每個(gè)瓦片中哈里斯矩陣的較低本征值λ 1具有局部最大值處的像素。 為了滿足局部最大值，探討的像素的角點(diǎn)響應(yīng)必須大于左上、上、右上、和左鄰居的角點(diǎn)響應(yīng)并且大于或等于右、左下、下、和右下鄰居的角點(diǎn)響應(yīng)。通過(guò)該定義，具有相同的恒定角點(diǎn)響應(yīng)的較大區(qū)域的至少一個(gè)點(diǎn)將被識(shí)別為潛在的特征點(diǎn)候選者。局部最大值的檢測(cè)邏輯將需要角點(diǎn)響應(yīng)的兩個(gè)行緩沖器。首先將具有局部角點(diǎn)響應(yīng)最大值的點(diǎn)與可編程角點(diǎn)響應(yīng)閾值進(jìn)行比較。如果探討的點(diǎn)的角點(diǎn)響應(yīng)小于該閾值，則忽略它。否則，將該特征點(diǎn)的坐標(biāo)及其角點(diǎn)響應(yīng)提供給特征點(diǎn)候選者揀選器340。特征點(diǎn)候選者揀選器340在每個(gè)瓦片中掌控最多max_num_features(例如，32) 個(gè)具有最高角點(diǎn)響應(yīng)的特征點(diǎn)候選者，同時(shí)確保全部特征點(diǎn)彼此間具有最小可編程距離 (MIN_DIST)。以上算法中使用的兩個(gè)點(diǎn)之間的距離如下定義dist f f ‘1 ), ( X'2 ‘) 1 = ii'jrt>:·； Γι - r !. Itfi — 1, !)
\ '■、!l J \ Vi / J‘通過(guò)僅考慮揀選器的選擇的特征點(diǎn)的列表和進(jìn)來(lái)的特征點(diǎn)候選者的當(dāng)前內(nèi)容并且立刻做出決定的操作來(lái)實(shí)現(xiàn)圖4A和4B的方法的揀選。因此，適配為執(zhí)行圖4A和4B的方法的特征點(diǎn)候選者揀選器340將不會(huì)固有地計(jì)算全局最優(yōu)，并且結(jié)果將取決于其中進(jìn)來(lái)的特征點(diǎn)候選者被提供的順序。特征點(diǎn)候選者揀選器340逐一輸出選擇的特征點(diǎn)，并且它們被存儲(chǔ)在圖3的電路的存儲(chǔ)器350的部分中的SFP列表中。圖4A和4B是用于執(zhí)行圖IA到IF中說(shuō)明的DIS方法中的步驟的識(shí)別和選擇圖IA
13和2A的圖像幀的每個(gè)瓦片中的多個(gè)特征點(diǎn)的方法的流程圖。該方法開(kāi)始于數(shù)據(jù)輸入步驟 S400，其中當(dāng)前幀F(xiàn)t的亮度數(shù)據(jù)被接收，隨后是下采樣步驟S402。初始化步驟S404重置瓦片計(jì)數(shù)器值current_tile和像素計(jì)數(shù)器值current_pixel。接下來(lái)，隨著current_piXel的增加(步驟S428)，按光柵掃描順序?qū)urrent_ tile的下采樣亮度數(shù)據(jù)的每個(gè)像素執(zhí)行哈里斯角點(diǎn)檢測(cè)器(步驟S406、SD408和S410)。 每當(dāng)當(dāng)前像素的角點(diǎn)響應(yīng)超過(guò)局部最大值或閾值時(shí)，(即，判決步驟SD408的“是”分支)， 當(dāng)前像素被識(shí)別為當(dāng)前FP(特征點(diǎn))候選者(步驟S410)然后立即經(jīng)歷特征點(diǎn)揀選算法 (SD412、SD414、SD416、S417、SD430、S418、S420)。如果列表沒(méi)有滿，則當(dāng)當(dāng)前FP候選者大于已存儲(chǔ)在選擇的特征點(diǎn)的列表中的最小的先前選擇的FP候選者時(shí)(步驟SD412的是分支)，特征點(diǎn)揀選算法選擇(S420)當(dāng)前 FP候選者，否則當(dāng)前FP候選者被拒絕(拒絕步驟S417)而不被選擇(判決步驟SD412的否分支)。如果當(dāng)選擇當(dāng)前FP候選者時(shí)選擇的特征點(diǎn)的列表已滿，例如由選擇的特征點(diǎn)計(jì)數(shù) SFP_count 指 Tj^白勺(艮口，SFP_count = max_num_features = min_features+max_plus_ features*(tile_variance/total_variance)),則從列表中取消最小的先前選擇的FP候選者(SD430)，否則增加 SFP_count 值(SD430)。僅當(dāng)當(dāng)前FP候選者不在列表中已有的任何較大的(SD416)先前選擇的特征點(diǎn)的排斥區(qū)域(MIN_DIST)內(nèi)(SD414)時(shí)，特征點(diǎn)揀選算法選擇(S420)當(dāng)前FP候選者。因此， 如果當(dāng)前FP候選者在列表中已有的任何較大的(SD416)先前選擇的特征點(diǎn)的MIN_DIST內(nèi) (SD414)，則它被拒絕(判決步驟SD416的否分支，以及拒絕步驟S417)而不被選擇。另一方面，如果當(dāng)前FP候選者在列表中已有的任何較小的(SD416)先前選擇的特征點(diǎn)的MIN_DIST 內(nèi)(SD414)，則全部較小的(SD416)先前選擇的特征點(diǎn)被取消(判決步驟SD416的是分支， 以及取消步驟S418)，而且當(dāng)前FP候選者被選擇(S420)，并且相應(yīng)地更新SFP_Coimt (例如，減少或不變)(S418)。一旦已經(jīng)選擇(S420)或拒絕(S417)當(dāng)前FP候選者，哈里斯角點(diǎn)檢測(cè)器就輸出當(dāng)前瓦片的下一(S428)當(dāng)前像素(S410)的值(SD422)，并且下一識(shí)別的FP候選者馬上經(jīng)歷特征點(diǎn)揀選算法(SD412、SD414、SD416、S417、SD430、S418、S420)等。如果已經(jīng)處理當(dāng)前瓦片的最后像素(SD422)，則處理下一瓦片(SD似4、S426)。如果已經(jīng)處理最后瓦片，則完成該過(guò)程直到下一圖像幀將被處理。特征點(diǎn)運(yùn)動(dòng)矢量計(jì)算在當(dāng)前幀F(xiàn)t中的每個(gè)瓦片的特征點(diǎn)已經(jīng)被識(shí)別和揀選之后，圖IA到IF的DIS方法中的下一步驟是獲得每個(gè)選擇的特征點(diǎn)的運(yùn)動(dòng)矢量。用于計(jì)算特征點(diǎn)的運(yùn)動(dòng)矢量的塊匹配算法(BMA)是眾所周知的。在塊匹配中，對(duì)參考幀的目標(biāo)區(qū)域中的塊的全部可能位置計(jì)算誤差函數(shù)(例如，SAD、MAD、MSE)。具有該函數(shù)的最低結(jié)果的位置被用于計(jì)算估計(jì)運(yùn)動(dòng)矢量。塊匹配是計(jì)算復(fù)雜的。存在幾個(gè)已知方法來(lái)減少計(jì)算成本。分級(jí)或多分辨率塊匹配是這些方法中的一種，其中首先以低分辨率計(jì)算全局運(yùn)動(dòng)。產(chǎn)生的矢量將用于以較高分辨率搜索較小范圍，從而減少需要的算術(shù)運(yùn)算的總數(shù)。對(duì)于多數(shù)應(yīng)用，特別對(duì)于視頻編碼，對(duì)于幀的全部塊需要準(zhǔn)確的運(yùn)動(dòng)矢量。因此， 在后面階段中的搜索范圍常常相對(duì)較大。圖IA到IF中說(shuō)明的數(shù)字圖像穩(wěn)定(DIS)方法中，僅需要估計(jì)特征點(diǎn)(例如，實(shí)際固定對(duì)象)從一幀到下一幀的相對(duì)運(yùn)動(dòng)。為了圖像穩(wěn)定的目的，需要代表背景和大對(duì)象的運(yùn)動(dòng)的準(zhǔn)確運(yùn)動(dòng)矢量，而較小對(duì)象無(wú)需具有與其關(guān)聯(lián)的準(zhǔn)確運(yùn)動(dòng)矢量。在DIS算法的后期階段中可以過(guò)濾任何關(guān)于較小對(duì)象的不準(zhǔn)確矢量。預(yù)期在DIS方法中顯著的大的固定對(duì)象的特征點(diǎn)將因?yàn)槿忠苿?dòng)或攝像頭移動(dòng)而按一致方式移動(dòng)。我們認(rèn)識(shí)到獨(dú)立移動(dòng)的充分大的對(duì)象覆蓋至少一個(gè)瓦片的主要部分， 使得它們的運(yùn)動(dòng)可以被估計(jì)為瓦片自身的主導(dǎo)運(yùn)動(dòng)，同時(shí)小對(duì)象的運(yùn)動(dòng)對(duì)瓦片自身的運(yùn)動(dòng)矢量具有很少的影響。因此，可以修改計(jì)算運(yùn)動(dòng)矢量的過(guò)程以減少計(jì)算，例如通過(guò)使用分級(jí)運(yùn)動(dòng)估計(jì)算法以及通過(guò)使用瓦片的運(yùn)動(dòng)矢量來(lái)優(yōu)選瓦片運(yùn)動(dòng)而非局部運(yùn)動(dòng)。因此，第一步驟在于，將當(dāng)前圖像幀劃分為jXk多個(gè)瓦片(該第一步驟已經(jīng)執(zhí)行用于特征點(diǎn)選擇的目的，如上參考圖IB和2A所述的)。計(jì)算足夠準(zhǔn)確用于DIS的特征點(diǎn)的運(yùn)動(dòng)矢量的第二步驟在于，使用最低分辨率上的塊匹配為每個(gè)瓦片導(dǎo)出一個(gè)運(yùn)動(dòng)矢量。該步驟中，計(jì)算給定瓦片的SAD(絕對(duì)差值的和)。 關(guān)于給定瓦片的運(yùn)動(dòng)矢量是最小化SAD的運(yùn)動(dòng)矢量。關(guān)于給定運(yùn)動(dòng)矢量候選者ν = (vx, vy)的SAD (絕對(duì)差值的和)被定義為通過(guò)使用低分辨率下采樣的圖像，減少了計(jì)算并且進(jìn)一步減少場(chǎng)景中小對(duì)象的影響。在第三步驟中，瓦片的運(yùn)動(dòng)矢量將在塊匹配算法中被用作每個(gè)瓦片中的特征點(diǎn)的運(yùn)動(dòng)矢量的局部搜索的開(kāi)始矢量。因?yàn)楦采w至少一個(gè)瓦片的主要部分的充分大的對(duì)象可以擴(kuò)展到相鄰?fù)咂芸赡茉诿總€(gè)瓦片中有些特征點(diǎn)會(huì)更強(qiáng)烈地與相鄰?fù)咂倪\(yùn)動(dòng)矢量關(guān)聯(lián)而非與它們被發(fā)現(xiàn)所處的瓦片的運(yùn)動(dòng)矢量關(guān)聯(lián)。因此，有效的將是使用全部相鄰?fù)咂倪\(yùn)動(dòng)矢量作為任何給定瓦片的特征點(diǎn)的運(yùn)動(dòng)矢量的塊匹配搜索的多個(gè)開(kāi)始矢量。這里使用的瓦片在具有至少最大支持的運(yùn)動(dòng)矢量的尺寸的邊界區(qū)域的幀中居中，使得可以完成全部瓦片中全部特征點(diǎn)的運(yùn)動(dòng)搜索而不用參考幀外的像素。圖5是用于說(shuō)明圖IA到IF中說(shuō)明的DIS方法中的運(yùn)動(dòng)矢量計(jì)算步驟的利用其上添加的計(jì)算的瓦片運(yùn)動(dòng)矢量的下采樣的圖IA的當(dāng)前幀F(xiàn)t的視圖。圖5中的較小(更少像素，更少數(shù)據(jù))圖像通過(guò)水平和垂直地下采樣從原始的當(dāng)前捕獲幀或從先前下采樣的圖像 (圖4A和4B的步驟S402)導(dǎo)出。通過(guò)下采樣因子fs2(例如4)的下采樣被用于全局(瓦片)運(yùn)動(dòng)估計(jì)。4X4下采樣剛好平均化16個(gè)像素(通過(guò)取整)，沒(méi)有在輸入側(cè)的任何重疊。 然后，執(zhí)行使用每個(gè)完整下采樣瓦片的塊匹配搜索以確定每個(gè)瓦片的運(yùn)動(dòng)矢量。關(guān)于給定瓦片的運(yùn)動(dòng)矢量是最小化SAD的運(yùn)動(dòng)矢量。在瓦片的情況下，采用找到的第一個(gè)運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量將用作附近特征點(diǎn)的運(yùn)動(dòng)矢量的局部搜索的開(kāi)始矢量。關(guān)于每個(gè)開(kāi)始矢量的運(yùn)動(dòng)范圍是可編程的。由于用于瓦片運(yùn)動(dòng)估計(jì)所需的操作的數(shù)量?jī)H是用于局部運(yùn)動(dòng)估計(jì)所需操作的 12%,每個(gè)循環(huán)計(jì)算大約8個(gè)絕對(duì)差的和就夠了。因此，可以不需要諸如脈動(dòng)陣列的復(fù)雜或額外的處理組件。圖6是圖5的下采樣幀中的瓦片的一部分的視圖，其說(shuō)明使用圖5的瓦片運(yùn)動(dòng)矢量作為用于塊匹配搜索的開(kāi)始矢量以計(jì)算圖IA到IF中說(shuō)明的DIS方法中使用的選擇的特征點(diǎn)的運(yùn)動(dòng)矢量。在瓦片中每個(gè)特征點(diǎn)的一組開(kāi)始矢量中的每一個(gè)周圍的高分辨率域中執(zhí)行小局部塊匹配搜索。該步驟可以以原始的視頻分辨率、或以2或4的因子fs3的下采樣執(zhí)行。使用的開(kāi)始矢量是已經(jīng)如上確定的瓦片運(yùn)動(dòng)矢量。使用的開(kāi)始矢量是特征點(diǎn)所屬瓦片的矢量以及屬于四個(gè)直接鄰居(上瓦片、左瓦片、右瓦片、下瓦片)(假定存在)的矢量。因此，圖6 中，對(duì)應(yīng)于塊匹配搜索區(qū)域1的開(kāi)始矢量是特征點(diǎn)(FP)自己的瓦片的運(yùn)動(dòng)矢量；對(duì)應(yīng)于塊匹配搜索區(qū)域2的開(kāi)始矢量是在FP的瓦片的下方的塊的運(yùn)動(dòng)矢量；對(duì)應(yīng)于塊匹配搜索區(qū)域 3的開(kāi)始矢量是在FP的瓦片的右方的塊的運(yùn)動(dòng)矢量；對(duì)應(yīng)于塊匹配搜索區(qū)域4的開(kāi)始矢量是在FP的瓦片的左方的塊的運(yùn)動(dòng)矢量；對(duì)應(yīng)于塊匹配搜索區(qū)域5的開(kāi)始矢量是在FP的瓦片的上方的塊的運(yùn)動(dòng)矢量。根據(jù)另一實(shí)施例，使用四個(gè)對(duì)角鄰居的開(kāi)始矢量?？梢詧?zhí)行用于選擇開(kāi)始矢量的其他步驟(例如，用于減少塊匹配計(jì)算的數(shù)量)，尤其是如果第一組瓦片矢量具有暗示一個(gè)大對(duì)象的彼此類似的幅度和方向(參見(jiàn)關(guān)于圖8A、8B、9、10A、10B、IOC的運(yùn)動(dòng)矢量分組的討論)。替換地，塊匹配可以以給定優(yōu)先級(jí)、或僅當(dāng)兩個(gè)或多個(gè)塊匹配搜索區(qū)域重疊時(shí)、或在彼此接近的塊匹配搜索區(qū)域之間等執(zhí)行。通常，向特征點(diǎn)分配運(yùn)動(dòng)矢量將逐個(gè)瓦片進(jìn)行，并且給定瓦片的每個(gè)特征點(diǎn)將使用相同的開(kāi)始矢量(例如，瓦片運(yùn)動(dòng)矢量的相同選擇)。然而，在各種其他實(shí)施例中，在給定瓦片的不同部分中的特征點(diǎn)可以使用開(kāi)始矢量的不同選擇，前提是檢測(cè)的瓦片運(yùn)動(dòng)矢量的分組中與各瓦片相鄰的特征點(diǎn)更可能是在該組的每個(gè)成員中共同找到的相同對(duì)象的可見(jiàn)點(diǎn)。因此，可以首先對(duì)靠近每個(gè)瓦片的周長(zhǎng)的那些特征點(diǎn)執(zhí)行塊匹配搜索，以檢測(cè)是否它們?nèi)炕驇缀跞款愃朴谒鼈冏约旱耐咂倪\(yùn)動(dòng)矢量和/或類似于瓦片運(yùn)動(dòng)矢量的相鄰分組的瓦片運(yùn)動(dòng)矢量。例如，如果全部初始選擇的特征點(diǎn)(例如，靠近給定瓦片的周長(zhǎng)的全部特征點(diǎn)、或離其中點(diǎn)最遠(yuǎn)的特征點(diǎn))的運(yùn)動(dòng)矢量相同或類似于它們自己的瓦片的運(yùn)動(dòng)矢量，則可以減少剩余的特征點(diǎn)的選擇的開(kāi)始矢量的集合。對(duì)使用的每個(gè)開(kāi)始矢量，我們使用非常小的范圍用于局部搜索。這里的目的不在于確定用于每個(gè)特征點(diǎn)的準(zhǔn)確矢量。相反，感興趣的特征點(diǎn)是屬于背景或大對(duì)象的那些。對(duì)于那些特征點(diǎn)，瓦片運(yùn)動(dòng)矢量的一個(gè)應(yīng)該是良好的，或接近于感興趣的特征點(diǎn)的運(yùn)動(dòng)矢量， 因此，關(guān)于每個(gè)選擇的瓦片運(yùn)動(dòng)矢量的小的局部搜索是足夠的。再參考圖3，特征點(diǎn)電路3000的SFP(選擇的特征點(diǎn))運(yùn)動(dòng)矢量計(jì)算器700包括 第二下采樣器710，用于輸出比第一下采樣器310更進(jìn)一步下采樣的亮度數(shù)據(jù)用于瓦片矢量計(jì)算；瓦片矢量計(jì)算器720，用于計(jì)算每個(gè)瓦片的運(yùn)動(dòng)矢量；以及分級(jí)塊匹配搜索單元 730，用于確定和輸出從特征點(diǎn)選擇器300的特征點(diǎn)候選者揀選器340接收的每個(gè)選擇的特征點(diǎn)(SFP)的運(yùn)動(dòng)矢量。第二下采樣器710輸出圖5所示的深度下采樣的當(dāng)前幀F(xiàn)t。瓦片矢量計(jì)算器720使用由第二下采樣器710輸出的當(dāng)前幀F(xiàn)t的深度下采樣的亮度數(shù)據(jù)來(lái)計(jì)算每個(gè)瓦片的運(yùn)動(dòng)矢量。分級(jí)塊匹配搜索單元730使用兩個(gè)連續(xù)幀的全分辨率亮度數(shù)據(jù)(或第一下采樣器310的輸出)、并如上所述使用瓦片矢量作為開(kāi)始矢量來(lái)確定由特征點(diǎn)選擇器300的特征點(diǎn)候選者揀選器340輸出的每個(gè)選擇的特征點(diǎn)的運(yùn)動(dòng)矢量。圖7是示出用于執(zhí)行圖IA到IF中說(shuō)明的DIS方法中的步驟的計(jì)算圖IA和2A的當(dāng)前幀F(xiàn)t中選擇的特征點(diǎn)(SFP)的運(yùn)動(dòng)矢量的方法的流程圖。在初始步驟中，圖3所示的分級(jí)塊匹配搜索單元730接收視頻的兩個(gè)連續(xù)幀(當(dāng)CN 102547119 A
前幀和參考幀)的亮度數(shù)據(jù)(步驟S700i)以及選擇的特征點(diǎn)的像素位置(S700ii)。當(dāng)前幀F(xiàn)t被劃分為多個(gè)下采樣瓦片(S710)，其可以優(yōu)選地與圖4A和4B的特征點(diǎn)揀選方法中先前使用的瓦片相同。在子步驟S710-A，將當(dāng)前幀F(xiàn)t劃分為jXk多個(gè)瓦片加上邊界區(qū)域，如圖2A所示。在子步驟S710-B，與每個(gè)瓦片關(guān)聯(lián)的亮度數(shù)據(jù)通過(guò)因子fs2 (例如，fs2 = 4、8用于SD ；fs2 = 8、16用于HD)被下采樣，如圖5所示。接下來(lái)，在步驟S720，使用全搜索塊匹配利用深度下采樣的亮度數(shù)據(jù)計(jì)算每個(gè)瓦片的運(yùn)動(dòng)矢量，如圖5所示，實(shí)現(xiàn)相對(duì)于下采樣分辨率的半像素精度?？梢员４媾c計(jì)算的運(yùn)動(dòng)矢量對(duì)應(yīng)的計(jì)算的最小SAD值以用于DIS的其他特征(例如，用于過(guò)濾小對(duì)象的特征點(diǎn))。在步驟S730，基于步驟S720的計(jì)算的瓦片運(yùn)動(dòng)矢量為當(dāng)前選擇的特征點(diǎn)(SFP)選擇開(kāi)始矢量，如上描述的。在步驟S740，利用全分辨率亮度數(shù)據(jù)執(zhí)行分級(jí)塊匹配算法并且使用基于瓦片矢量的選擇的開(kāi)始矢量確定當(dāng)前SFP的運(yùn)動(dòng)矢量。重復(fù)步驟S730和步驟S740直到每個(gè)瓦片的每個(gè)SFP的運(yùn)動(dòng)矢量已經(jīng)被計(jì)算(通過(guò)循環(huán)SD750和S752)。利用運(yùn)動(dòng)矢量幅度和方向的特征點(diǎn)分組通過(guò)計(jì)算相鄰幀中可識(shí)別的“特征點(diǎn)”的運(yùn)動(dòng)矢量來(lái)檢測(cè)視頻幀之間的運(yùn)動(dòng)。然后可以將特征點(diǎn)的運(yùn)動(dòng)矢量“分組”以便識(shí)別場(chǎng)景內(nèi)的運(yùn)動(dòng)對(duì)象，因?yàn)閰^(qū)別于攝像頭/場(chǎng)景的全局運(yùn)動(dòng)。分析攝像頭/場(chǎng)景的全局運(yùn)動(dòng)以在有意的(例如，搖攝)和無(wú)意的(抖動(dòng)) 全局運(yùn)動(dòng)之間進(jìn)行區(qū)分。如果沒(méi)有抖動(dòng)(無(wú)攝像頭軌跡)則實(shí)際固定對(duì)象(例如，巖石的角，高山的峰)的每個(gè)檢測(cè)的特征點(diǎn)將預(yù)期在兩個(gè)或多個(gè)連續(xù)幀的每個(gè)中的相同位置中找到，并且全部那些檢測(cè)的特征點(diǎn)的運(yùn)動(dòng)矢量將被測(cè)量為空。然而，如果有攝像頭抖動(dòng)，則任何給定的實(shí)際固定對(duì)象的許多特征點(diǎn)的矢量會(huì)具有不同的幅度和方向。數(shù)字圖像穩(wěn)定電路可以用來(lái)將(特征點(diǎn)的)多個(gè)運(yùn)動(dòng)矢量正確地“分組”以使得它們歸結(jié)為相同的實(shí)際固定對(duì)象。通常的抖動(dòng)攝像頭運(yùn)動(dòng)是平移和旋轉(zhuǎn)運(yùn)動(dòng)的混合，并且從攝像頭到對(duì)象的距離改變。這貢獻(xiàn)了背景固定對(duì)象的特征點(diǎn)的運(yùn)動(dòng)矢量差。但是當(dāng)照相機(jī)運(yùn)動(dòng)具有旋轉(zhuǎn)分量時(shí)， 距照相機(jī)相同距離的相同對(duì)象的運(yùn)動(dòng)矢量的方向無(wú)法相同。相同固定對(duì)象的特征點(diǎn)的矢量的幅度和方向二者可以不同。圖8A和8B說(shuō)明與純粹的平移矢量運(yùn)動(dòng)比較從旋轉(zhuǎn)的攝像頭運(yùn)動(dòng)產(chǎn)生的不同的矢量。圖中，假定相同固定的物理對(duì)象的兩個(gè)選擇的特征點(diǎn)SFP4和SFP5物理上處于距攝像頭相同距離，并且在純粹平移的攝像頭運(yùn)動(dòng)的情況下矢量A是SFP4的運(yùn)動(dòng)矢量而B(niǎo)是SFP5的運(yùn)動(dòng)矢量，而在包括旋轉(zhuǎn)的攝像頭運(yùn)動(dòng)的情況下矢量A'是SFP4的運(yùn)動(dòng)矢量而B(niǎo)'是SFP5 的運(yùn)動(dòng)矢量。對(duì)于純粹平移的攝像頭運(yùn)動(dòng)，矢量A和B將具有完全相同的運(yùn)動(dòng)矢量，但是矢量 A'和B'由于旋轉(zhuǎn)的攝像頭運(yùn)動(dòng)而具有不同的幅度和不同的方向，即使它們處于距攝像頭相同距離。圖8A和8C說(shuō)明在其中相同固定對(duì)象的兩個(gè)特征點(diǎn)距離攝像頭不同距離的情況下從純粹的平移矢量運(yùn)動(dòng)產(chǎn)生的不同的矢量。假定相同固定的物理對(duì)象的兩個(gè)選擇的特征點(diǎn) SFP4和SFP7物理上處于距攝像頭不同距離，并且在純粹平移的攝像頭運(yùn)動(dòng)的情況下矢量A 仍是SFP4的運(yùn)動(dòng)矢量而C"是SFP7的運(yùn)動(dòng)矢量。因?yàn)镾FP7比SFP4更接近于攝像頭，同時(shí)它們是相同固定對(duì)象上的點(diǎn)，所以它們的運(yùn)動(dòng)矢量的幅度是不同的(矢量C"小于矢量A)。
因此，在將運(yùn)動(dòng)矢量分組時(shí)，需要考慮矢量差的余量用于由這些因素引起的矢量幅度和矢量方向(角度)差以使得可以將相同固定對(duì)象的全部特征點(diǎn)的運(yùn)動(dòng)矢量分組在一起。利用誤差余量和使用簡(jiǎn)單的運(yùn)動(dòng)矢量差的檢測(cè)運(yùn)動(dòng)矢量組的通常方法是定義誤差閾值。運(yùn)動(dòng)矢量差的幅度ΔΜ是可以作為分組判決的基礎(chǔ)的測(cè)量，并且誤差余量作^可以定義為Δ M = SQRT ((xa-xb) "2+ (ya-yb) "2) <Ι1ιΔΜ，其中A = (xa, ya)；B=(xb，yb);且作^是矢量差的幅度ΔM的誤差閾值(正數(shù))。當(dāng)攝像頭運(yùn)動(dòng)是純粹平移(上下、和/或側(cè)向)時(shí)運(yùn)動(dòng)矢量差方法的幅度是足夠的，因?yàn)楣潭▽?duì)象的全部特征點(diǎn)的運(yùn)動(dòng)矢量將具有相同的方向，因?yàn)樗鼈內(nèi)上嗤钠揭茢z像頭運(yùn)動(dòng)定義。如比較圖8Α和8Β所示，即使在純粹的平移的攝像頭運(yùn)動(dòng)的情況下，不同的固定特征點(diǎn)的運(yùn)動(dòng)矢量也可以因?yàn)閷?duì)象距攝像頭不同距離而不同。在通常視頻場(chǎng)景中相同的固定對(duì)象的特征點(diǎn)的運(yùn)動(dòng)矢量的幅度差一般相對(duì)較小，而且還可以通過(guò)允許矢量幅度差(IA卜|Β |)的一些余量來(lái)容忍該幅度差，并且在該情況下運(yùn)動(dòng)矢量差幅度ΔM的方法是合適的。圖9Α說(shuō)明其中運(yùn)動(dòng)矢量差的幅度ΔΜ是用于將兩個(gè)特征點(diǎn)分組在一起的良好基礎(chǔ)的兩個(gè)運(yùn)動(dòng)矢量A和B的情況。在某些情況下矢量差的幅度ΔΜ單獨(dú)可能不是將矢量分組的良好基礎(chǔ)。圖9Β說(shuō)明其中矢量差的幅度ΔΜ'不是用于將兩個(gè)特征點(diǎn)分組在一起的良好基礎(chǔ)的兩個(gè)運(yùn)動(dòng)矢量A'和B'的情況。圖9Α和9Β中，如所示，矢量對(duì)(Α，B)和(A'，B')具有完全相同的矢量差的幅度(ΔΜ=ΔΜ')。每個(gè)對(duì)(Α，Β)和(A'，B')也可以具有在誤差余量 ιΔΜ內(nèi)的其各自的矢量差的幅度ΔΜ、ΔΜ'?？梢曰谒鼈兊氖噶坎畹姆圈う瑢⑹噶繉?duì)A和B適當(dāng)?shù)胤纸M在一起。但是矢量對(duì)A'和B'具有太多的角度(方向)差(例如，與對(duì)A和B比較)以致于將矢量A'和矢量B' —起分組在相同組中不適當(dāng)。矢量差的幅度ΔΜ方法本身可能在其中兩個(gè)特征點(diǎn)具有在余量Th,M內(nèi)的它們的矢量差的幅度同時(shí)它們具有太大的角度(方向)差的實(shí)例中不適合用于運(yùn)動(dòng)矢量分組。攝像頭軌跡的旋轉(zhuǎn)分量可以造成固定對(duì)象的一個(gè)或多個(gè)特征點(diǎn)具有相同或相似的幅度，但是具有不同的方向，這并未被矢量差的幅度方法檢測(cè)。因此，矢量差的幅度方法會(huì)造成不正確的抖動(dòng)補(bǔ)償和/或少于最優(yōu)的視頻壓縮、和/或過(guò)度的計(jì)算功率或時(shí)間消耗、和/或由于固定或運(yùn)動(dòng)對(duì)象的不正確視頻壓縮帶來(lái)的視頻干擾。由特征點(diǎn)電路3000的分級(jí)塊匹配搜索單元730輸出的選擇的特征點(diǎn)(SFP)的運(yùn)動(dòng)矢量接下來(lái)根據(jù)它們的幅度和方向進(jìn)行分組，以基于連續(xù)視頻幀之間對(duì)象的感知的相對(duì)運(yùn)動(dòng)將選擇的特征點(diǎn)(SFP)的運(yùn)動(dòng)矢量與場(chǎng)景中的對(duì)象關(guān)聯(lián)。當(dāng)攝像頭運(yùn)動(dòng)具有旋轉(zhuǎn)分量時(shí)，諸如圍繞與圖像傳感器/光電二極管陣列的平面正交的軸，一個(gè)對(duì)象(例如背景)的運(yùn)動(dòng)矢量的方向無(wú)法相同。背景的不同特征點(diǎn)矢量的幅度和方向均不同，即使它們實(shí)際上固定且距攝像頭相同距離。
代替僅使用運(yùn)動(dòng)矢量差的幅度ΔΜ和誤差余量作^用于分組判決，我們使用運(yùn)動(dòng)矢量的幅度比和歸一化的矢量差來(lái)檢測(cè)和容忍由旋轉(zhuǎn)攝像頭運(yùn)動(dòng)造成的運(yùn)動(dòng)矢量差的一些量。其中矢量A= (xa，ya)，而矢量 B = (xb, yb),第一分組判決準(zhǔn)則是基于幅度比(Mr) = |b|，其中b|"2 = (|B|"2)/(|A|"2) = (xb"2+yb"2) / (xa"2+ya"2)。第二分組判決準(zhǔn)則是基于歸一化矢量差(用于角度差的評(píng)估)=|a_b|，其中a-bl'2 = [{(xa-xb)"2+(ya_yb)1}/(xa"2+ya"2)]。對(duì)于矢量A與矢量B之間的角度差不超過(guò)θ th度，第二分組判決準(zhǔn)則是a_b|~2 < Ma~2，其中Ma"2 = SQRT(l+|b| "2_2*|b|*cos θ J ；以及|b| = SQRT{(xb"2+yb"2)/(xa"2+ya"2)}即使在存在旋轉(zhuǎn)攝像頭運(yùn)動(dòng)時(shí)，使用基于這兩個(gè)分組判決準(zhǔn)則的判決的分組方法也可以執(zhí)行最優(yōu)的運(yùn)動(dòng)矢量分組。圖10示出說(shuō)明用于圖IA到IF中說(shuō)明的DIS方法中的特征點(diǎn)分組的角度差的間接測(cè)量的歸一化矢量差的計(jì)算的三個(gè)矢量圖。參考圖10中的圖(a)，將矢量A與矢量B之間的差矢量(A-B)繪制為標(biāo)記為(A-B)的水平矢量。為了容易閱讀，將圖(c)繪制為比圖 (a)和圖(b)大的比例。差矢量(A-B)的絕對(duì)幅度ΔM(A-B)將計(jì)算如下Δ M (A-B) = SQRT ((xa_xb) “ 2+ (ya-yb) ~ 2)，其中A= (xa, ya)B= (xb, yb)參考圖10的圖(b)，將歸一化矢量a定義為矢量A除以矢量的絕對(duì)值|A|，因此歸一化矢量a具有幅度1(見(jiàn)圖10的圖(c))。將歸一化矢量b定義為矢量B除以矢量的絕對(duì)值|a|。通過(guò)以下公式定義幅度|A|和|B| A|"2 = (xa"2+ya"2)B|"2 = (xb"2+yb"2)注意b = B/|A|，因此幅度比(Mr)是絕對(duì)值|b = |B|/|A| = (B/|A|)|。因此， Ib是歸一化矢量b的幅度，它通過(guò)將矢量B除以矢量A的幅度|A|而歸一化(S卩，b = B/I A|)。因此，幅度比(Mr) = |b I = SQRT{(xb"2+yb"2)/(xa"2+ya"2)} 因?yàn)闅w一化矢量a的幅度是1，幅度|b|也等于歸一化矢量a的幅度與歸一化矢量 b的幅度Ibl之間的幅度比。因此，幅度Ibl稱為幅度比|b| (Mr)。幅度比|b|不是矢量A 和B之間的角度差θ的函數(shù)。作為我們的第一分組判決準(zhǔn)則，我們將|Α|/|Β|與運(yùn)動(dòng)向量A和向量B的幅度比 Mr進(jìn)行比較。如果(|A|/|B|)~2>Mr~2，則我們判定矢量A和矢量B無(wú)法在相同組中。因此，如果(IAI / IB I Γ2 > Mr"2,則合適的最終組合判決是矢量A和矢量B無(wú)法在相同組中。 但是，如果(|A|/|B|)~2<Mr~2則我們基于使用歸一化矢量差a-b作為準(zhǔn)則做出第二比較。歸一化矢量差(a-b)的絕對(duì)幅度I a-b I根據(jù)如下公式計(jì)算a-bl'2 = [{(xa-xb)"2+(ya-yb)"2}/(xa"2+ya"2)]
歸一化矢量差(a-b)具有如圖10的圖(c)所示的絕對(duì)幅度|a_b|，其中，長(zhǎng)度|a|、 Ib和I (a-b) I形成具有與邊ι (a-b) I相對(duì)的矢量差角度θ的三角形，這意味著也可以使用作為θ函數(shù)的余弦規(guī)則計(jì)算ι (a-b) I。余弦規(guī)則定義三角形的未知邊的長(zhǎng)度與其他邊的長(zhǎng)度以及與未知邊相對(duì)的角度之間的數(shù)學(xué)關(guān)系。歸一化矢量差(a-b)的幅度I a-b I可以使用余弦規(guī)則通過(guò)以下公式獲得(a-b) = SQRT(l+|b|"2_2*|b|*cosθ)。因此，表示為歸一化矢量差(a-b)(圖10的圖(c)中與角度差θ相對(duì)的三角形的邊)的幅度|a_b|的閾值的角度閾值可以被計(jì)算為|b|和角度差θ的函數(shù)，如余弦規(guī)則指示的那樣。因此，我們可以定義幅度I (a-b) I的閾值幅度Ma作為角度差閾值，其中Ma是選擇的閾值角度9th的函數(shù)。因此，我們可以將計(jì)算的歸一化矢量差(a-b)的幅度|a_b|的平方與Ma的平方進(jìn)行比較。因此，將I a-b I ~2與Ma~2進(jìn)行比較來(lái)決定矢量A與矢量B之間的角度差是否足夠小以使得應(yīng)當(dāng)將它們分組在一起。我們定義Ma~2= (1+1 b |~2_2* | b | *cos θ th)，其中θ th是用于分組判決目的的預(yù)定角度閾值(例如30度)，并且|b I = I (B/I A|) I = SQRT{(xb"2+yb"2)/(xa"2+ya"2)}如果I a-b |~2小于Ma~2，則我們判定矢量A和矢量B可以在相同組中。因此，如果 a-b I "2小于Ma~2，則合適的最終分組決定是矢量A和矢量B在相同的組中。因此，如果|a-b|~2小于Ma~2而且僅當(dāng)(|A|/|B|)不大于幅度比(Mr)的平方 Ibl ~2，則矢量A和矢量B在相同的組中。因此，Ma~2的確切計(jì)算需要一次平方根運(yùn)算(即， 用于計(jì)算I b I)，而平方根運(yùn)算可以是計(jì)算復(fù)雜的，或者需要相當(dāng)?shù)挠布?shí)現(xiàn)，平方根運(yùn)算的消除意義重大。我們已經(jīng)設(shè)想用于Ma的近似(S卩，Ma = 0.5)，其對(duì)于|b|等于1加或減 30% (S卩，對(duì)于0.7彡|b|彡1.3)和處于矢量誤差(矢量差)角度的30度內(nèi)(即，-30度
+30度)提供良好的分組結(jié)果。因此，第二分組準(zhǔn)則變?yōu)閨a-br2<0.5~2。如果我們繪制角度差θ、幅度比|b|以及歸一化差I(lǐng) a-b I之間的關(guān)系，我們可以獲得圖12的曲線圖。圖12是作為角度差θ的各種值(在0度和90度之間)的函數(shù)的歸一化矢量差 (a-b)的幅度I (a-b) I與歸一化矢量差(a-b)的幅度比|b的曲線圖，其說(shuō)明在圖11的分組算法的判決步驟dS1140中可使用的近似的可用性。通過(guò)實(shí)驗(yàn)，典型視頻給出關(guān)于幅度比大于1加或減30%和關(guān)于角度差θ最大達(dá) 30度的良好的分組結(jié)果，如圖12的方形區(qū)域的邊界所示。如圖12的曲線圖所示，該經(jīng)驗(yàn)范圍對(duì)于0與0. 5之間的歸一化矢量差的近似有效。使用近似，可以將SQRT(i+|br2-2*|b|*cose)近似為0.5而不管Ibl，以減少計(jì)算的負(fù)擔(dān)。因此，使用該近似，第二分組準(zhǔn)則變?yōu)閨a-br2<0.5~2。圖11是說(shuō)明根據(jù)本發(fā)明構(gòu)思的實(shí)施例的分組過(guò)程的流程圖。分組過(guò)程1100使用包括關(guān)于選擇的特征點(diǎn)(見(jiàn)圖IA和2A的圖像幀)的運(yùn)動(dòng)矢量之間的角度差的間接測(cè)量的歸一化矢量差的兩個(gè)準(zhǔn)則，以執(zhí)行圖IA到IF中說(shuō)明的DIS方法中圖ID的矢量分組步驟。 分組算法1100包括幅度比分組判決準(zhǔn)則(在判決步驟DS1120)和歸一化矢量差分組判決準(zhǔn)則(在判決步驟SD1140)。在分組算法1100外部操作的配對(duì)算法(步驟S1104、S1106、 S1152、dS1150、和S1154)掌控哪些特征點(diǎn)(運(yùn)動(dòng)矢量)已經(jīng)與其他特征點(diǎn)配對(duì)，哪些仍未配對(duì)，以及哪些將整個(gè)從分組算法1100中排除。配對(duì)算法提供一對(duì)SFP運(yùn)動(dòng)矢量A和B作為對(duì)分組算法1100的輸入(S1104、S1106)。在初始步驟iS1102，從外部電路接收幅度比余量、以及角度余量并提供給分組算法1100。分組算法1100基于接收的矢量A計(jì)算|A|~2并基于接收的矢量B計(jì)算|B|~2(步驟S1112和S1114)，以在至少隨后的步驟S1116、dS1120、和dSl 140中使用這些計(jì)算值進(jìn)行隨后的計(jì)算。因此，當(dāng)將接收的矢量B從與接收的矢量A的分組排除時(shí)(判決步驟dS1120 的是分支或判決步驟dS1140的否分支)，配對(duì)算法分配新的矢量B (步驟S115》且分組算法1100基于新矢量B計(jì)算IB Γ2的新值(步驟Sl 114)，但是不需要同時(shí)更新當(dāng)前矢量A的計(jì)算值|Α|~2(步驟S1112)，因?yàn)閷⒗^續(xù)比較相同的矢量Α，不過(guò)是利用新矢量B。因此，適配為執(zhí)行分組算法1100的硬件或軟件可以被配置為分開(kāi)存儲(chǔ)值|Β|~2和|Α|~2的一個(gè)或多個(gè)實(shí)例，以使得計(jì)算高效地使用這些值中的一個(gè)進(jìn)行多次比較，只要在矢量A和B中一次僅一個(gè)改變。分組算法1100接下來(lái)使用|Α|~2和B I ~2(來(lái)自步驟Sl 112和Sl 114)計(jì)算幅度比 Mr(|b|"2)和a-b|"2 (Sllie)0在判決步驟dS1120應(yīng)用第一(幅度比)分組判決準(zhǔn)則。在判決步驟dS1120中將幅度比的平方Mr~2與(| A | / | B | )~2和/或與幅度比余量(來(lái)自步驟 iS1102)進(jìn)行比較。如果(IAI / IB I Γ2 > Mr"2 (判決步驟dS1120的是分支)，則不將當(dāng)前矢量A與當(dāng)前矢量B分組，并且結(jié)束與當(dāng)前矢量B的比較并選擇新的矢量B (步驟S1152)。 如果(IAI / IB I Γ2不大于Mr~2 (判決步驟dS1120的否分支)，則當(dāng)前矢量A可以變?yōu)榕c當(dāng)前矢量B分組，并且應(yīng)用第二分組判決準(zhǔn)則(在判決步驟dS1140)。如果|b|處于預(yù)定范圍中(例如，基于|b|~2的值)并且如果角度差θ處于預(yù)定范圍中(判決步驟dS1130的是分支)，則歸一化差矢量(a-b)的幅度Ma被近似(例如，Ma~2 = 0. 5"2)。否則，(判決步驟 dS1130的否分支)，計(jì)算歸一化差矢量(a-b)的幅度Ma(S1132)。接下來(lái)，在判決步驟dS1140中在第二(歸一化矢量差)分組判決準(zhǔn)則中使用歸一化差矢量(a-b)的近似的或計(jì)算的幅度Ma。在判決步驟dS1140中將Ma的平方(Ma~2)與 (|『13|)~2和/或與角度余量(來(lái)自步驟丨31102)進(jìn)行比較。如果(卜_13|)~2小于胞~2， (判決步驟dS1140的是分支)，則可以將當(dāng)前矢量A與當(dāng)前矢量B分組(步驟S1142)。如果(I a-b I) "2不小于Ma~2，(判決步驟dS1140的否分支)，則不將當(dāng)前矢量A與當(dāng)前矢量B 分組，并且結(jié)束與當(dāng)前矢量B的比較并選擇新的矢量B (步驟S1152)。一旦當(dāng)前矢量A已經(jīng)與全部可用的分組候選者矢量B比較(判決步驟dS1150的是分支)，則選擇新矢量A并且繼續(xù)與剩余的(未分組的)分組候選者矢量B比較(S1154、 S1112等)，或如果已經(jīng)分組全部矢量，則分組算法1100等待直到新的幀需要處理。圖13是包括配置為執(zhí)行圖11的特征點(diǎn)分組算法的分組算法電路1310的特征點(diǎn)分組電路1300的框圖。特征點(diǎn)分組電路1300包括幅度比(Mr)比較器1320，配置為基于幅度比Mr (|b I)的準(zhǔn)則執(zhí)行第一分組判決(圖11的判決步驟dS1120)；以及矢量角度比較器1330，配置為基于歸一化矢量差的準(zhǔn)則(用于角度差的評(píng)估)執(zhí)行第二分組判決(圖11 的判決步驟dS1140)。本發(fā)明構(gòu)思的該示范性實(shí)施例中的矢量角度比較器1330包括歸一化差的幅度(Ma)計(jì)算器/估計(jì)器1332和歸一化差的幅度(Ma)比較器1334。歸一化差的幅度(Ma)計(jì)算器/估計(jì)器1332如上關(guān)于圖11的步驟dS1130、S1132、和S1134描述的進(jìn)行產(chǎn)生或計(jì)算。
特征點(diǎn)分組電路1300與圖3的特征點(diǎn)電路3000共享RAM存儲(chǔ)器350。存儲(chǔ)器350 的SFP列表352部分包含由特征點(diǎn)候選者揀選器340輸出的選擇的特征點(diǎn)的列表。特征點(diǎn)分組電路1300中的配對(duì)算法控制器1302通過(guò)DMA存取SFP列表352并且選擇矢量A和矢量B用于分組算法電路1310中的比較，如上參考圖11的步驟S1152、S1154、dS1156、和 dS1150所述。當(dāng)比較產(chǎn)生一組或多組矢量(選擇的特征點(diǎn)的組)時(shí)，配對(duì)算法控制器1302 將分組的矢量或其描述列表寫(xiě)入存儲(chǔ)器350的FP分組清單3M部分。特征點(diǎn)分組電路1300還包括I A|~2計(jì)算器1312、|B | "2計(jì)算器1314、以及Mr~2 = b|~2和a-b|~2計(jì)算器1316，配置為分別執(zhí)行圖11的步驟S1112、S1114、和S1116。上面公開(kāi)的主題考慮為說(shuō)明性的，而非限制性的，并且所附權(quán)利要求書(shū)意圖涵蓋落入本發(fā)明構(gòu)思的真實(shí)精神和范圍的全部這樣的修改、增強(qiáng)、和其他實(shí)施例。因此，在法律允許的最大范圍內(nèi)，本發(fā)明的范圍將由所附權(quán)利要求書(shū)及其等價(jià)物的最寬泛允許的解釋來(lái)確定，而不應(yīng)限制或約束于前述的詳細(xì)說(shuō)明。相關(guān)申請(qǐng)的交叉引用本發(fā)明要求2010年12月23日向美國(guó)專利商標(biāo)局提交的兩件美國(guó)臨時(shí)申請(qǐng)編號(hào) 61/426, 970和編號(hào)61/426，975的優(yōu)先權(quán)。兩件臨時(shí)申請(qǐng)的公開(kāi)內(nèi)容通過(guò)引用合并于此。
權(quán)利要求
1.一種處理視頻數(shù)據(jù)的方法，包括 接收代表第一圖像幀的第一圖像數(shù)據(jù)； 將第一圖像幀的部分劃分為多個(gè)瓦片； 選擇每個(gè)瓦片中的特征點(diǎn)；導(dǎo)出與每個(gè)瓦片對(duì)應(yīng)的一個(gè)瓦片運(yùn)動(dòng)矢量； 基于瓦片運(yùn)動(dòng)矢量為每個(gè)選擇的特征點(diǎn)選擇開(kāi)始向量； 接收代表第二幀的第二圖像數(shù)據(jù)；以及使用選擇的開(kāi)始向量導(dǎo)出與每個(gè)選擇的特征點(diǎn)對(duì)應(yīng)的特征點(diǎn)運(yùn)動(dòng)矢量。
2.如權(quán)利要求1所述的方法，其中選擇每個(gè)瓦片中的特征點(diǎn)包括識(shí)別瓦片內(nèi)的特征點(diǎn)，其包括執(zhí)行第一圖像數(shù)據(jù)的第一下采樣。
3.如權(quán)利要求1所述的方法，其中導(dǎo)出瓦片運(yùn)動(dòng)矢量包括執(zhí)行第一圖像數(shù)據(jù)的第二下采樣。
4.如權(quán)利要求3所述的方法，其中導(dǎo)出瓦片運(yùn)動(dòng)矢量進(jìn)一步包括為每個(gè)瓦片執(zhí)行完全搜索塊匹配。
5.如權(quán)利要求1所述的方法，其中選擇每個(gè)瓦片中的特征點(diǎn)包括使用角點(diǎn)檢測(cè)器識(shí)別第一圖像幀中每個(gè)瓦片中的特征點(diǎn)。
6.如權(quán)利要求1所述的方法，其中選擇特征點(diǎn)進(jìn)一步包括計(jì)算第一圖像幀中每個(gè)瓦片的亮度方差。
7.如權(quán)利要求1所述的方法，其中選擇特征點(diǎn)進(jìn)一步包括計(jì)算第一圖像幀的總方差， 并計(jì)算每個(gè)瓦片的亮度方差與總方差的比率。
8.如權(quán)利要求1所述的方法，其中選擇每個(gè)瓦片中的特征點(diǎn)包括將第一圖像幀中每個(gè)瓦片中的每個(gè)特征點(diǎn)識(shí)別為當(dāng)前識(shí)別的特征點(diǎn)候選者；以及基于當(dāng)前識(shí)別的特征點(diǎn)候選者的角點(diǎn)響應(yīng)與當(dāng)前瓦片中先前識(shí)別的特征點(diǎn)候選者的角點(diǎn)響應(yīng)的比較、以及當(dāng)前識(shí)別的特征點(diǎn)候選者與其他先前識(shí)別的特征點(diǎn)候選者的鄰近來(lái)揀選瓦片的識(shí)別的特征點(diǎn)。
9.如權(quán)利要求8所述的方法，其中所述揀選包括如果當(dāng)前識(shí)別的特征點(diǎn)候選者在先前識(shí)別的特征點(diǎn)候選者的預(yù)定最小距離內(nèi)，則拒絕當(dāng)前識(shí)別的特征點(diǎn)候選者。
10.如權(quán)利要求9所述的方法，進(jìn)一步包括如果當(dāng)前識(shí)別的特征點(diǎn)候選者小于先前識(shí)別的特征點(diǎn)候選者，則拒絕當(dāng)前識(shí)別的特征點(diǎn)候選者。
11.如權(quán)利要求8所述的方法，進(jìn)一步包括在存儲(chǔ)器中存儲(chǔ)最多預(yù)定數(shù)量個(gè)識(shí)別的特征點(diǎn)候選者。
12.如權(quán)利要求11所述的方法，進(jìn)一步包括如果當(dāng)前識(shí)別的特征點(diǎn)候選者大于當(dāng)前存儲(chǔ)的識(shí)別的特征點(diǎn)候選者當(dāng)中的最小者，則在存儲(chǔ)器中存儲(chǔ)當(dāng)前瓦片的當(dāng)前識(shí)別的特征點(diǎn)候選者；以及如果當(dāng)前識(shí)別的特征點(diǎn)候選者更大，則取消當(dāng)前存儲(chǔ)的識(shí)別的特征點(diǎn)候選者當(dāng)中的最小者的存儲(chǔ)。
13.如權(quán)利要求11所述的方法，其中所述揀選進(jìn)一步包括 如果滿足以下條件則取消當(dāng)前存儲(chǔ)的特征點(diǎn)候選者的存儲(chǔ)一個(gè)或多個(gè)當(dāng)前存儲(chǔ)的特征點(diǎn)候選者在當(dāng)前識(shí)別的特征點(diǎn)候選者的預(yù)定最小距離內(nèi)；而且當(dāng)前識(shí)別的特征點(diǎn)候選者大于該一個(gè)或多個(gè)當(dāng)前存儲(chǔ)的特征點(diǎn)候選者。
14.如權(quán)利要求11所述的方法，其中與每個(gè)瓦片對(duì)應(yīng)的識(shí)別的特征點(diǎn)候選者的預(yù)定數(shù)量是64或更少。
15.如權(quán)利要求1所述的方法，其中鄰近第一幀的周長(zhǎng)的邊界邊緣中的像素不被包括在所述多個(gè)瓦片中。
16.一種圖像處理電路，包括接收器，配置為接收?qǐng)D像數(shù)據(jù)的第一幀和第二幀；劃分器，配置為將第一幀的部分劃分為多個(gè)瓦片；特征點(diǎn)電路，配置為識(shí)別每個(gè)瓦片中的特征點(diǎn)；以及運(yùn)動(dòng)矢量電路，配置為為每個(gè)瓦片導(dǎo)出關(guān)于識(shí)別的特征點(diǎn)的運(yùn)動(dòng)矢量。
17.如權(quán)利要求16所述的電路，其中運(yùn)動(dòng)矢量電路進(jìn)一步包括瓦片矢量計(jì)算器，配置為導(dǎo)出每個(gè)瓦片的第一幀和第二幀之間的運(yùn)動(dòng)矢量；以及搜索單元，配置為使用選擇的開(kāi)始矢量導(dǎo)出每個(gè)瓦片中的選擇的特征點(diǎn)的運(yùn)動(dòng)矢量；以及存儲(chǔ)器，配置為為每個(gè)瓦片存儲(chǔ)最多預(yù)定數(shù)量個(gè)特征點(diǎn)。
18.如權(quán)利要求16所述的電路，進(jìn)一步包括下采樣器，配置為下采樣第一幀和第二幀的圖像數(shù)據(jù)以導(dǎo)出每個(gè)瓦片中的特征點(diǎn)的第一幀和第二幀之間的運(yùn)動(dòng)矢量。
19.如權(quán)利要求16所述的電路，其中特征點(diǎn)電路包括角點(diǎn)檢測(cè)器，配置為識(shí)別瓦片的特征點(diǎn)。
20.如權(quán)利要求16所述的電路，其中運(yùn)動(dòng)矢量電路進(jìn)一步配置為從瓦片矢量的一個(gè)中選擇用于選擇的點(diǎn)的開(kāi)始矢量。
21.如權(quán)利要求20所述的電路，其中第一幀的第一瓦片中的選擇的點(diǎn)的選擇的開(kāi)始矢量包括第一瓦片的瓦片矢量、以及相對(duì)于第一瓦片右邊相鄰、左邊相鄰、上邊相鄰和下邊相鄰的任何瓦片的瓦片矢量。
22.如權(quán)利要求16所述的電路，其中特征點(diǎn)電路配置為從每個(gè)瓦片中的識(shí)別的特征點(diǎn)當(dāng)中選擇多個(gè)選擇的特征點(diǎn)。
23.如權(quán)利要求16所述的電路，其中存儲(chǔ)器為每個(gè)瓦片存儲(chǔ)最多64個(gè)選擇的特征點(diǎn)。
24.如權(quán)利要求16所述的電路，其中經(jīng)由圖像處理電路的I/O管腳接收?qǐng)D像數(shù)據(jù)的第一幀和第二幀。
25.—種處理視頻數(shù)據(jù)的方法，包括 將幀的部分劃分為多個(gè)瓦片；估計(jì)每個(gè)瓦片的運(yùn)動(dòng)矢量； 基于運(yùn)動(dòng)特性將運(yùn)動(dòng)矢量揀選到組中；以及選擇代表幀的場(chǎng)景內(nèi)的固定對(duì)象的運(yùn)動(dòng)矢量組。
26.如權(quán)利要求25所述的方法，其中估計(jì)瓦片的運(yùn)動(dòng)矢量包括使用下采樣亮度數(shù)據(jù)執(zhí)行特征點(diǎn)的搜索。
27.如權(quán)利要求沈所述的方法，其中估計(jì)瓦片的運(yùn)動(dòng)矢量包括選擇具有最小絕對(duì)差值和(SAD)的瓦片運(yùn)動(dòng)矢量候選者。
28.如權(quán)利要求25所述的方法，其中選擇代表幀的場(chǎng)景內(nèi)的固定對(duì)象的運(yùn)動(dòng)矢量組包括拒絕代表幀的場(chǎng)景內(nèi)的移動(dòng)對(duì)象的移動(dòng)的至少一個(gè)運(yùn)動(dòng)矢量組。
29.一種攝像頭，包括圖像捕獲電路，配置為捕獲圖像并輸出圖像數(shù)據(jù)的第一幀和第二幀；以及圖像處理電路，包括瓦片電路，配置為將第一幀的部分劃分為多個(gè)瓦片； 特征點(diǎn)電路，配置為識(shí)別第一幀內(nèi)的每個(gè)瓦片中的特征點(diǎn)；以及運(yùn)動(dòng)矢量電路，配置為導(dǎo)出關(guān)于每個(gè)瓦片的運(yùn)動(dòng)矢量并導(dǎo)出每個(gè)瓦片中的識(shí)別的特征點(diǎn)的運(yùn)動(dòng)矢量。
30.如權(quán)利要求四所述的攝像頭，其中運(yùn)動(dòng)矢量電路進(jìn)一步配置為基于至少一個(gè)瓦片的運(yùn)動(dòng)矢量導(dǎo)出識(shí)別的特征點(diǎn)的運(yùn)動(dòng)矢量。
31.如權(quán)利要求四所述的攝像頭，進(jìn)一步包括分組電路，配置為基于運(yùn)動(dòng)特性將運(yùn)動(dòng)矢量揀選到組中，并選擇代表幀的場(chǎng)景內(nèi)的固定對(duì)象的運(yùn)動(dòng)矢量組。
全文摘要
一種數(shù)字圖像穩(wěn)定(DIS)方法，包括特征點(diǎn)揀選算法，用于選擇最優(yōu)特征點(diǎn)；計(jì)算高效的基于瓦片矢量的分級(jí)塊匹配搜索算法，用于導(dǎo)出選擇的特征點(diǎn)的運(yùn)動(dòng)矢量；以及特征點(diǎn)運(yùn)動(dòng)矢量分組/比較算法，用于基于矢量幅度比準(zhǔn)則和角度差準(zhǔn)則來(lái)將選擇的特征點(diǎn)分組。
文檔編號(hào)H04N5/14GK102547119SQ201110436850
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者M.布朗, 樸圣秀 申請(qǐng)人:三星電子株式會(huì)社