專利名稱：基于大廣角鏡頭的fpga+dsp嵌入式多值目標(biāo)閾值分類跟蹤裝置的制作方法
基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)閾值分類跟蹤裝置技術(shù)領(lǐng)域：
本發(fā)明屬于嵌入式機(jī)器視覺應(yīng)用和目標(biāo)跟蹤技術(shù)領(lǐng)域。背景技術(shù)：
普通的圖像跟蹤器大都由常規(guī)鏡頭來獲取目標(biāo)信息。由于常規(guī)鏡頭的視場(chǎng)角較小，只 能獲取現(xiàn)場(chǎng)有限的局部信息，導(dǎo)致視覺系統(tǒng)的盲區(qū)較大，不利于目標(biāo)的實(shí)時(shí)跟蹤。本發(fā)明 采用大廣角鏡頭構(gòu)建的全景視覺系統(tǒng)有大視場(chǎng)全場(chǎng)景攝錄的優(yōu)勢(shì)， 一方面，大廣角能瞬時(shí) 攝錄全方位的景物，視野寬，圖像信息量大，相機(jī)與景物處于相對(duì)運(yùn)動(dòng)狀態(tài)時(shí)目標(biāo)不易丟 失，另一方面，全景攝錄也無需使用云臺(tái)伺服系統(tǒng)進(jìn)行搖拍也避免了多攝像機(jī)圖像拼接技 術(shù)所需的復(fù)雜算法，節(jié)約了成本，在動(dòng)態(tài)拍攝、安全監(jiān)控、機(jī)動(dòng)目標(biāo)檢測(cè)、多目標(biāo)跟蹤及 車輛自動(dòng)導(dǎo)航等方面有廣泛的應(yīng)用前景。
DSP (Digital Signal Processor)具有靈活、準(zhǔn)確、穩(wěn)定、可重復(fù)、體積小、功耗
低，尤其是可編程性和易于實(shí)現(xiàn)自適應(yīng)處理等特點(diǎn)，在數(shù)據(jù)、語音、視像信號(hào)等高速數(shù)學(xué) 運(yùn)算和實(shí)時(shí)處理方面具有獨(dú)特的優(yōu)勢(shì)，是進(jìn)行產(chǎn)品定制開發(fā)的理想硬件平臺(tái)。但在DSP中
實(shí)現(xiàn)當(dāng)前較新的一些圖像處理算法如基于概率學(xué)的多值目標(biāo)跟蹤等復(fù)雜算法仍屬業(yè)界的 技術(shù)難題，亟待大力開展應(yīng)用研究和開發(fā)。本發(fā)明考慮到在實(shí)時(shí)圖像處理過程中，圖像的 前期處理工作有數(shù)據(jù)量大、占用系統(tǒng)資源多，處理速度要求高，算法相對(duì)簡(jiǎn)單的特點(diǎn)，據(jù) 此采用現(xiàn)場(chǎng)可編程門陣列(Field Program Gate Array，簡(jiǎn)稱FPGA)來完成如數(shù)字濾波、 圖像增強(qiáng)、圖像分割和閾值處理等數(shù)字圖像預(yù)處理工作。而DSP負(fù)責(zé)數(shù)據(jù)量相對(duì)較少，但 算法、計(jì)算公式和邏輯策略相對(duì)復(fù)雜的圖像處理任務(wù)。試驗(yàn)表明，基于上述功能模塊分工 設(shè)計(jì)的FPGA+DSP的多值目標(biāo)跟蹤裝置取得了良好的跟蹤效果。
目標(biāo)跟蹤理論需要綜合運(yùn)用圖像處理、模式識(shí)別、隨機(jī)統(tǒng)計(jì)、估值理論、最優(yōu)化算法 等現(xiàn)代信息處理技術(shù)。所涉及的問題是多學(xué)科交叉的前沿問題，是當(dāng)今國(guó)際上研究的熱點(diǎn)。 普通的目標(biāo)跟蹤方法受光線影響大，當(dāng)物體被遮擋或背景復(fù)雜、背景與目標(biāo)同時(shí)移動(dòng)等情 況下容易丟失目標(biāo)。本發(fā)明采用通過非參數(shù)化的蒙特卡羅模擬方法來實(shí)現(xiàn)遞推貝葉斯濾波 對(duì)目標(biāo)位置進(jìn)行預(yù)測(cè)、跟蹤，具有非線性，受光照及遮擋影響小，容易拓展多個(gè)目標(biāo)等優(yōu) 點(diǎn)。

發(fā)明內(nèi)容:
本發(fā)明目的是克服現(xiàn)有技術(shù)存在的上述不足，提供一種基于大廣角鏡頭寬視野大場(chǎng)景 圖像的FPGA+DSP嵌入式多值目標(biāo)閾值分類跟蹤裝置。使該裝置可實(shí)現(xiàn)全景視覺圖像采集、 多值目標(biāo)閾值分類識(shí)別、基于概率預(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤、跟蹤門內(nèi)有效目標(biāo)校 驗(yàn)等圖像處理功能。
本發(fā)明提供的基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)閾值分類跟蹤裝置的總體架構(gòu)為
可調(diào)分辨率的超大廣角圖像采集系統(tǒng)由大廣角鏡頭和可編程彩色面陣CMOS芯片構(gòu)成，
用于采集大場(chǎng)景下多目標(biāo)數(shù)字圖像。
現(xiàn)場(chǎng)可編程門陣列FPGA:與可調(diào)分辨率的超大廣角圖像采集系統(tǒng)中的CMOS芯片連接， 通過編程可調(diào)整控制多目標(biāo)數(shù)字圖像采集分辨率大小；受DSP的控制，根據(jù)其控制指令對(duì) FPGA內(nèi)部IP核處理模塊進(jìn)行重新配置和組合，以實(shí)現(xiàn)數(shù)字濾波、圖像增強(qiáng)等預(yù)處理運(yùn)算； 提供CMOS和SRAM芯片的連接接口，把大量圖像數(shù)據(jù)實(shí)時(shí)傳輸至ljSRAM中。
SRAM數(shù)據(jù)存儲(chǔ)器與現(xiàn)場(chǎng)可編程門陣列FPGA雙向連接，受DSP程序調(diào)度，用于暫存多 值目標(biāo)數(shù)字圖像。
數(shù)字信號(hào)處理器DSP: DSP作為主控制器，負(fù)責(zé)控制FPGA采集、預(yù)處理圖像，與外部設(shè) 備的接口和數(shù)據(jù)通訊任務(wù)，同時(shí)完成整個(gè)裝置的核心算法，包括多值目標(biāo)閾值分類識(shí)別算 法、基于概率預(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤算法、跟蹤門內(nèi)有效目標(biāo)校驗(yàn)算法。裝置上 電時(shí)系統(tǒng)從FLASH中把程序加載到DSP的內(nèi)存中，啟動(dòng)系統(tǒng)工作。
FLASH程序存儲(chǔ)器用來存放DSP處理程序，其容量大小為32M字節(jié)，地址范圍從 0X90000000-0X92000000。
數(shù)據(jù)通訊模塊基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)跟蹤裝置支持兩種通訊 方式網(wǎng)絡(luò)通訊和RS232通訊。網(wǎng)絡(luò)通訊采用標(biāo)準(zhǔn)的TCP/IP協(xié)議，主要用來傳輸多目標(biāo) 跟蹤圖像結(jié)果的輸出。RS232工作于硬件流控方式，以增加數(shù)據(jù)傳輸?shù)目煽啃院头€(wěn)定性。
主要軟件功能模塊相關(guān)算法為
多值目標(biāo)閾值分類識(shí)別器
處理過程為首先進(jìn)行目標(biāo)辨識(shí)初始化，對(duì)被跟蹤多值目標(biāo)的顏色閾值及所處環(huán)境光 照條件等特征參數(shù)進(jìn)行標(biāo)定，接著DSP依據(jù)被跟蹤多值目標(biāo)的顏色閾值和亮度等特征參數(shù) 對(duì)圖像進(jìn)行全場(chǎng)搜索，直至系統(tǒng)判定出不同目標(biāo)的中心點(diǎn)位置，最后以此作為多目標(biāo)交叉 跟蹤算法的先驗(yàn)概率。
基于概率預(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤器
這種多目標(biāo)交叉跟蹤算法特征在于在DSP內(nèi)實(shí)現(xiàn)的基于概率預(yù)測(cè)模型的圖像多目標(biāo) 交叉跟蹤器的軟件模塊設(shè)計(jì)思路。這種多目標(biāo)交叉跟蹤算法涉及一種創(chuàng)新的混合交叉運(yùn)算 的方法即分解概率預(yù)測(cè)運(yùn)算過程中的每一步分別對(duì)不同目標(biāo)交叉進(jìn)行。這些步驟主要包括 捕獲先驗(yàn)概率信息(如計(jì)算目標(biāo)區(qū)域顏色直方圖)、目標(biāo)粒子集初始化、移動(dòng)粒子、計(jì)算 粒子權(quán)值、權(quán)值標(biāo)準(zhǔn)化、粒子重采樣、預(yù)測(cè)目標(biāo)當(dāng)前位置等。獨(dú)創(chuàng)的交叉程序架構(gòu)，使以 上步驟對(duì)各個(gè)不同目標(biāo)進(jìn)行同步處理，并行運(yùn)算，從而實(shí)現(xiàn)了多目標(biāo)實(shí)時(shí)快速跟蹤，大大 提高了處理速度和跟蹤效率。
跟蹤門內(nèi)有效目標(biāo)校驗(yàn)器
處理過程為分別在跟蹤算法預(yù)測(cè)出的各個(gè)目標(biāo)中心點(diǎn)位置生成跟蹤門，跟蹤門的大 小可根據(jù)被跟蹤目標(biāo)大小進(jìn)行預(yù)先程序設(shè)定。在跟蹤門內(nèi)進(jìn)行目標(biāo)特征值校驗(yàn)如對(duì)每個(gè)像素點(diǎn)進(jìn)行顏色閾值判定，將跟蹤門內(nèi)符合目標(biāo)顏色閾值的像素點(diǎn)總數(shù)與預(yù)先設(shè)定的p值進(jìn) 行比較，大于p值證明跟蹤有效，系統(tǒng)進(jìn)行跟蹤結(jié)果輸出并繼續(xù)跟蹤；若小于p值則跟蹤 失敗，系統(tǒng)需重新進(jìn)行全場(chǎng)圖像的多值目標(biāo)閾值分類識(shí)別。獨(dú)創(chuàng)的跟蹤門內(nèi)有效目標(biāo)校驗(yàn) 器對(duì)跟蹤結(jié)果進(jìn)行快速、有效地二次驗(yàn)證，控制目標(biāo)跟蹤過程，大大提高了系統(tǒng)運(yùn)行的可 靠性。
本發(fā)明的優(yōu)點(diǎn)和積極效果
綜上所述，與其他跟蹤裝置與算法相比，本發(fā)明具有以下優(yōu)點(diǎn)
參基于大廣角鏡頭建立的全景視覺系統(tǒng)輔助可編程彩色面陣CMOS芯片，最高可達(dá) 300萬像素，根據(jù)使用場(chǎng)合、應(yīng)用環(huán)境的不同可以通過對(duì)FPGA的編程調(diào)整和控制大廣角 圖像分辨率，以獲得多目標(biāo)跟蹤的最佳圖像范圍和大場(chǎng)景下高質(zhì)量的目標(biāo)圖像。針對(duì)不同 應(yīng)用優(yōu)化取景范圍和分辨率，以避免由于被跟蹤目標(biāo)的運(yùn)動(dòng)超出鏡頭視角范圍而造成的目 標(biāo)丟失以及由于目標(biāo)分辨率低而造成的難于識(shí)別。
參高性能FPGA+DSP嵌入式系統(tǒng)，充分保證跟蹤的實(shí)時(shí)性、準(zhǔn)確性及裝置工作的穩(wěn)定 性和低功耗性。同時(shí)利于機(jī)載安裝，靈活組態(tài)和方便維護(hù)。
參具有創(chuàng)新性的FPGA與DSP軟件模塊配置和功能分工模式，充分發(fā)揮了系統(tǒng)軟、硬 件各自的優(yōu)勢(shì)及特點(diǎn)，布局合理，優(yōu)化了裝置性能。
參多值目標(biāo)閾值分類識(shí)別算法考慮了處理對(duì)象的可變性和復(fù)雜性，采用非單一準(zhǔn)則 進(jìn)行多門限估計(jì)和目標(biāo)特征提取，開發(fā)了以顏色、亮度等為主的多值圖像分割算法和分類 標(biāo)記配準(zhǔn)方法。簡(jiǎn)單、實(shí)用、有效。
采用一種改進(jìn)的基于概率預(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤算法，在單DSP內(nèi)創(chuàng)建 了一種交叉程序架構(gòu)，對(duì)各個(gè)目標(biāo)進(jìn)行同步處理，從而使多跟蹤模塊同時(shí)工作成為現(xiàn)實(shí)， 提高了處理速度和跟蹤效率，實(shí)現(xiàn)了在每幀圖像中的多目標(biāo)實(shí)時(shí)跟蹤。
參創(chuàng)建跟蹤門內(nèi)有效目標(biāo)校驗(yàn)器控制目標(biāo)跟蹤過程，提高了系統(tǒng)運(yùn)行的可靠性。對(duì) 跟蹤結(jié)果進(jìn)行快速、有效地二次驗(yàn)證，確?；诟怕暑A(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤器在 跟蹤丟失時(shí)第一時(shí)間捕獲當(dāng)前被跟蹤目標(biāo)信息。
參靈活的跟蹤結(jié)果輸出方式，可同時(shí)輸出圖像和當(dāng)前被跟蹤目標(biāo)圖像坐標(biāo)。
依托于嵌入式FPGA+DSP平臺(tái)，構(gòu)成一套完整的、軟硬件結(jié)合的、實(shí)時(shí)性強(qiáng)集成度 高的多值目標(biāo)跟蹤裝置。以嵌入式硬件平臺(tái)為依托的大視場(chǎng)多值目標(biāo)閾值分類跟蹤器在動(dòng) 態(tài)拍攝、安全監(jiān)控、機(jī)動(dòng)目標(biāo)檢測(cè)、多目標(biāo)跟蹤及車輛自動(dòng)導(dǎo)航等方面有廣泛應(yīng)用前景。 尤其對(duì)構(gòu)建體積小、功耗低的機(jī)載目標(biāo)跟蹤系統(tǒng)有很大優(yōu)勢(shì)。


圖1是本發(fā)明系統(tǒng)硬件框圖； 圖2是本發(fā)明系統(tǒng)程序框圖。
具體實(shí)施方式
實(shí)施例1:
以移動(dòng)機(jī)器人跟蹤雙色球航標(biāo)進(jìn)行自主導(dǎo)航為例說明該裝置在實(shí)施識(shí)別和跟蹤兩種 不同顏色的頂部航標(biāo)時(shí)的步驟和方法。
基于大廣角鏡頭的FPGA+DSP多值目標(biāo)閾值分類跟蹤裝置如圖1所示，主要包括大廣 角鏡頭和可編程彩色面陣CMOS芯片構(gòu)成可調(diào)分辨率的超大廣角圖像采集系統(tǒng)；現(xiàn)場(chǎng)可編 程門陣列FPGA，編程控制采集圖像的分辨率大小，并對(duì)圖像進(jìn)行數(shù)字高通濾波、圖像去 噪處理，將處理后的圖像存儲(chǔ)在外部數(shù)據(jù)存儲(chǔ)器SRAM中。DSP為主控制器，完成整個(gè)裝置 的核心算法。FLASH作為程序存儲(chǔ)器用來存放DSP的處理程序。數(shù)據(jù)通訊模塊與DSP雙 向連接，實(shí)現(xiàn)裝置的通訊功能。
多值目標(biāo)閾值分類跟蹤過程主要由四個(gè)步驟組成-
可調(diào)分辨率的大廣角圖像采集，多值目標(biāo)閾值分類識(shí)別，多目標(biāo)交叉跟蹤，跟蹤門內(nèi) 有效目標(biāo)校驗(yàn)。
下面的實(shí)用案例具體說明了本發(fā)明的實(shí)施步驟和應(yīng)用效果。
步驟一建立基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)閾值分類跟蹤裝置。以 MT9T001型CMOS芯片及FE185C046HA-1魚眼鏡頭建立超大廣角視覺圖像采集系統(tǒng)。 Cyclone IIC35型FPGA將圖像采集分辨率編程設(shè)定為720X576，并對(duì)圖像進(jìn)行數(shù)字高通 濾波、圖像去噪處理，將處理后的圖像存儲(chǔ)在SRAM (CY7C1021CV33-12)中。TMS320DM642 DSP，完成整個(gè)裝置的核心算法。FLASH (39VF040)用來存放DSP處理程序。串口和網(wǎng)絡(luò) 通訊芯片分別采用16c752和W幾XT971A。
步驟二多值目標(biāo)閾值分類識(shí)別。在本案例中以顏色為目標(biāo)特征向量元素對(duì)雙色球航 標(biāo)進(jìn)行多值目標(biāo)閾值識(shí)別分類。為保證與周圍環(huán)境及目標(biāo)對(duì)顏色之間的反差，將目標(biāo)表面 顏色分別設(shè)置為黃色和藍(lán)色。在系統(tǒng)初始化階段，首先對(duì)室外光線進(jìn)行檢測(cè)，調(diào)整 FE185C046HA-1廣角鏡頭光圈；然后將黃色、藍(lán)色目標(biāo)分別移動(dòng)至圖像中的顏色自動(dòng)標(biāo)定 區(qū)域，系統(tǒng)自動(dòng)讀取相關(guān)變量數(shù)值，進(jìn)行均值及方差計(jì)算，分別得到藍(lán)色Y、 Cb、 Cr閾 值限定范圍為85<Y<123、 132<Cb<163 、 100<Cr<125，黃色Y、 Cb、 Cr閾值限定 范圍為97<Y<129、 69<Cb<103 、 128<Cr<157; DSP利用初始化階段得到的多值目 標(biāo)閾值對(duì)全屏范圍內(nèi)的每一像素點(diǎn)進(jìn)行分類判定，分別統(tǒng)計(jì)屬于藍(lán)色和黃色范圍內(nèi)的像素 坐標(biāo)，并對(duì)屬于各自范圍內(nèi)的像素坐標(biāo)利用求平均值的方式，獲得藍(lán)色和黃色目標(biāo)的中心 位置分別為(423， 181)、 (249， 165)，并標(biāo)記配對(duì)輸出(Bl， Yl)。從而實(shí)現(xiàn)對(duì)多目標(biāo) 的分類識(shí)別，為步驟三提供先驗(yàn)概率做好準(zhǔn)備。
步驟三多目標(biāo)交叉跟蹤。在確定了藍(lán)色和黃色目標(biāo)中心位置的基礎(chǔ)上，DSP采用一 種基于概率預(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤算法實(shí)現(xiàn)多值目標(biāo)的實(shí)時(shí)跟蹤，具體包括捕獲 先驗(yàn)概率信息(計(jì)算目標(biāo)區(qū)域顏色直方圖)、目標(biāo)粒子集初始化、移動(dòng)粒子、計(jì)算粒子權(quán) 值、權(quán)值標(biāo)準(zhǔn)化、重采樣、預(yù)測(cè)目標(biāo)當(dāng)前位置七個(gè)步驟第一步，捕獲先驗(yàn)概率信息。需要分別計(jì)算以藍(lán)色和黃色目標(biāo)中心位置30X30范圍內(nèi)圖像的顏色直方圖，設(shè)計(jì)了一種同 時(shí)包含Y、 U、 V信息的顏色直方圖，具體方法為將Y、 U、 V分量的取值范圍0 255 連續(xù)分割成32段，每段大小為8，三個(gè)分量的取值范圍共計(jì)96 (32X3)段，即顏色直方 圖橫坐標(biāo)軸共計(jì)96個(gè)坐標(biāo)點(diǎn)。從原點(diǎn)開始0 32為Y的取值范圍，33 64為U的取值范 圍，65 96為V的取值范圍，縱坐標(biāo)軸表示黃色和藍(lán)色目標(biāo)中心30x30范圍內(nèi)屬于不同 Y、 U、 V取值范圍的像素個(gè)數(shù)，利用N個(gè)數(shù)組分別存儲(chǔ)N個(gè)目標(biāo)的顏色直方圖信息，在 本案例中\(zhòng)=2，即被跟蹤目標(biāo)個(gè)數(shù)為2。第二步，目標(biāo)粒子集初始化。在第一幀圖像到來 時(shí)，分別在兩個(gè)目標(biāo)的中心15X15范圍內(nèi)隨機(jī)產(chǎn)生150個(gè)30X30的方框，即粒子，并按 照第一步的方式統(tǒng)計(jì)每一個(gè)粒子的顏色直方圖；第三步，移動(dòng)粒子。當(dāng)下一幀圖像到來時(shí)， 根據(jù)上一幀中每個(gè)粒子的位置(x，y)，隨機(jī)移動(dòng)到新的位置(x + RangeXrandom, y + Range Xrandom)， Range為移動(dòng)范圍，本實(shí)施例中取15, random為-1 1的隨機(jī)數(shù)。第四步，
計(jì)算粒子權(quán)值。利用<formula>formula see original document page 8</formula>計(jì)算每個(gè)粒子的權(quán)值，式中x為多值
、...comW * 20 ,
目標(biāo)顏色直方圖，Zm為對(duì)應(yīng)粒子的顏色直方圖，count為粒子個(gè)數(shù)；第五步，權(quán)值標(biāo)準(zhǔn)化。 將每個(gè)粒子的權(quán)值與所有粒子的權(quán)值和相除，使得每個(gè)粒子權(quán)值的取值范圍變?yōu)? 1之 間；第六步，粒子重采樣。如果粒子的權(quán)值小于閾值a (a=所有粒子平均權(quán)值X K， K 值越大參與粒子重采樣的粒子越多，本實(shí)施例中K=0.2)，則表示該粒子代表目標(biāo)位置的 概率很低，需要重新采樣以保證盡可能多的粒子能夠參與下一步的目標(biāo)預(yù)測(cè)。參照第三步 的方法，將這些粒子隨機(jī)移動(dòng)一個(gè)位置產(chǎn)生新的粒子，并計(jì)算權(quán)值；第七步，預(yù)測(cè)目標(biāo)當(dāng) 前位置。設(shè)定閾值P (P=所有粒子平均權(quán)值X K'， K'值越小參與預(yù)測(cè)的粒子越多，本實(shí) 施例中K'-0.8)分別統(tǒng)計(jì)兩個(gè)目標(biāo)中權(quán)值大于p的粒子，這些粒子權(quán)值的平均值即為兩個(gè) 目標(biāo)的預(yù)測(cè)位置。
步驟四跟蹤門內(nèi)有效目標(biāo)校驗(yàn)。為了驗(yàn)證跟蹤結(jié)果的正確性，分別在兩個(gè)預(yù)測(cè)出的 目標(biāo)位置點(diǎn)生成跟蹤門l、跟蹤門2，跟蹤門大小設(shè)定為50x50。在跟蹤門l內(nèi)利用目標(biāo)l的 顏色閾值85<丫<123、 132<Cb<163 、 100<&<125統(tǒng)計(jì)滿足要求的像素個(gè)數(shù)，在跟蹤 門2內(nèi)利用目標(biāo)2的顏色閾值97<丫<129、 69<Cb<103 、 128<0:<157統(tǒng)計(jì)滿足要求的 像素個(gè)數(shù)，如果像素個(gè)數(shù)小于一定的闊值p，則判定為跟蹤失敗，需要重新進(jìn)行多值目標(biāo) 的檢測(cè)，再啟動(dòng)多值目標(biāo)跟蹤模塊；如果像素個(gè)數(shù)大于或等于閾值p則判定跟蹤成功，輸 出跟蹤結(jié)果，本案例中n值為100。
權(quán)利要求
1、一種基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)閾值分類跟蹤裝置，其特征在于該裝置的總體架構(gòu)包括可調(diào)分辨率的超大廣角圖像采集系統(tǒng)由大廣角鏡頭和可編程彩色面陣CMOS芯片構(gòu)成，用于采集大場(chǎng)景下多目標(biāo)數(shù)字圖像；現(xiàn)場(chǎng)可編程門陣列FPGA與可調(diào)分辨率的大廣角圖像采集系統(tǒng)中的CMOS芯片連接，通過編程可控制多目標(biāo)數(shù)字圖像的采集分辨率大??；受DSP的控制，根據(jù)其控制指令對(duì)FPGA內(nèi)部IP核處理模塊進(jìn)行重新配置和組合，以實(shí)現(xiàn)數(shù)字濾波、圖像增強(qiáng)等預(yù)處理運(yùn)算；提供CMOS和SRAM芯片的連接接口，把大量圖像數(shù)據(jù)實(shí)時(shí)傳輸?shù)絊RAM中；SRAM數(shù)據(jù)存儲(chǔ)器與現(xiàn)場(chǎng)可編程門陣列FPGA雙向連接，受DSP程序調(diào)度，用于暫存多值目標(biāo)數(shù)字圖像；數(shù)字信號(hào)處理器DSPDSP作為主控制器，負(fù)責(zé)控制FPGA采集、預(yù)處理圖像，與外部設(shè)備的接口和數(shù)據(jù)通訊任務(wù)，同時(shí)完成整個(gè)裝置的核心算法，包括多值目標(biāo)閾值分類識(shí)別算法、基于概率預(yù)測(cè)模型的圖像多目標(biāo)交叉跟蹤算法、跟蹤門內(nèi)有效目標(biāo)校驗(yàn)算法；裝置上電時(shí)系統(tǒng)從FLASH中把程序加載到DSP的內(nèi)存中，啟動(dòng)系統(tǒng)工作；FLASH程序存儲(chǔ)器用來存放DSP處理程序，其容量大小為32M字節(jié)，地址范圍從0X90000000-0X92000000；數(shù)據(jù)通訊模塊基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)跟蹤裝置支持兩種通訊方式網(wǎng)絡(luò)通訊和RS232通訊；網(wǎng)絡(luò)通訊采用標(biāo)準(zhǔn)的TCP/IP協(xié)議，主要用來傳輸多目標(biāo)跟蹤圖像結(jié)果的輸出；RS232工作于硬件流控方式，以增加數(shù)據(jù)傳輸?shù)目煽啃院头€(wěn)定性。
2、 根據(jù)權(quán)利要求1臓的縫，辦征在于在DSP內(nèi)實(shí)現(xiàn)的多值目標(biāo)閾值分類識(shí)別器的軟件 模塊設(shè)計(jì)；該模決的處理禾i^為首先進(jìn)行目標(biāo)辨識(shí)初始化，對(duì)MJ^多值目標(biāo)的顏色閾tt^ff 處環(huán) ^照^#^#征參^ 行標(biāo)定，M DSP依據(jù)鄉(xiāng)跟享多值目標(biāo)的顏色閾值和^g的特征參 ,圖像進(jìn)行全場(chǎng)搜索，分類識(shí)別，^HS配準(zhǔn)，計(jì)算相關(guān)目標(biāo)參辦曬積、不同目標(biāo)的中心點(diǎn)位 置，并以此作為多目標(biāo)^J10薦法的基礎(chǔ)。
3、 根據(jù)權(quán)利要求1所述的裝置，，征在于在DSP內(nèi)實(shí)現(xiàn)的基于概率預(yù)測(cè)模型的圖像多目標(biāo)，!^器的軟件^t央設(shè)計(jì)；誕跟字、器采用的多目標(biāo)，跟享算法涉及一種創(chuàng)新的混合 :運(yùn)算 的方袪，即^m率預(yù)測(cè)運(yùn)算過程中的每一步分別對(duì)不同目標(biāo)^3t行；,步驟主要包括捕獲 先驗(yàn)概率信息、目標(biāo)粒m^j始化、移動(dòng)粒子、計(jì)算粒子權(quán)值、權(quán)值標(biāo)準(zhǔn)化、粒子鼓樣、預(yù)測(cè) 目標(biāo)當(dāng)前隨；獨(dú)創(chuàng)的效 構(gòu)，使以上步艦^h不同目豐^a行同步處理，荊話算，從 而實(shí)現(xiàn)了多目標(biāo)實(shí)時(shí),跟宗，^:提高了處a^和足跟宗效率。
4、根據(jù)權(quán)利要求1阮逸的，，，征在于在DSP內(nèi)實(shí)現(xiàn)的s跟宗門內(nèi)有效目標(biāo)農(nóng)驗(yàn)器的軟件模塊設(shè)計(jì)，來控制目標(biāo)S鵬過程；處理禾辨為分別被腺算法預(yù)測(cè)出的於目標(biāo)中心點(diǎn)錢生 戯跟享門，足腺門的大小可根據(jù)郷鵬目標(biāo)大小進(jìn)《預(yù)先辦設(shè)定；招跟宗門內(nèi)進(jìn)行目+灘征值 二次校驗(yàn)如對(duì)針像素點(diǎn)進(jìn)行顏色閾傲啶，將足跟享門內(nèi)船目標(biāo)顏色閾值的像素點(diǎn)總數(shù)與預(yù)先 設(shè)定的ptta行比較，大于p值證明足UfW效，系統(tǒng)進(jìn)行足跟 結(jié)果輸出并繼續(xù)￡10;若小于p值 則足鵬知汰，系統(tǒng)需￡ 行全場(chǎng)圖像的多值目標(biāo)閾值分類識(shí)別。
全文摘要
基于大廣角鏡頭的FPGA+DSP嵌入式多值目標(biāo)閾值分類跟蹤裝置。涉及一種在視頻流中識(shí)別跟蹤多目標(biāo)的嵌入式系統(tǒng)和相關(guān)算法。圖像采集由大廣角鏡頭和彩色面陣CMOS芯片完成；數(shù)字濾波、圖像增強(qiáng)等數(shù)字圖像預(yù)處理工作由FPGA承擔(dān)；而在DSP為核心的主處理器中實(shí)現(xiàn)多值目標(biāo)閾值分類識(shí)別、標(biāo)記配準(zhǔn)等算法，一種改進(jìn)的基于概率預(yù)測(cè)模型的多目標(biāo)交叉運(yùn)算的圖像跟蹤程序?qū)崟r(shí)生成跟蹤門；跟蹤門內(nèi)有效目標(biāo)校驗(yàn)器控制跟蹤過程并輸出目標(biāo)值。以嵌入式硬件平臺(tái)為依托的大視場(chǎng)多值目標(biāo)閾值分類跟蹤器在動(dòng)態(tài)拍攝、安全監(jiān)控、機(jī)動(dòng)目標(biāo)檢測(cè)、多目標(biāo)跟蹤及車輛自動(dòng)導(dǎo)航等方面有廣泛應(yīng)用前景。尤其對(duì)構(gòu)建體積小、功耗低的機(jī)載目標(biāo)跟蹤系統(tǒng)有很大優(yōu)勢(shì)。
文檔編號(hào)G06T7/00GK101447075SQ200810154739
公開日2009年6月3日 申請(qǐng)日期2008年12月31日 優(yōu)先權(quán)日2008年12月31日
發(fā)明者馮為嘉, 孟憲秋, 曹作良, 朱均超, 李雁斌 申請(qǐng)人:天津理工大學(xué)