一種大規(guī)模人群視頻分析系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)設(shè)及計(jì)算機(jī)視覺(jué)領(lǐng)域，特別是一種大規(guī)模人群視頻分析系統(tǒng)和方法。
【背景技術(shù)】
[0002] 在人群比較容易密集的場(chǎng)所，比如火車(chē)站、汽車(chē)站、電影院、大型超市等，經(jīng)常發(fā)生 由于人群踩踏引起的傷亡事件。雖然我國(guó)現(xiàn)有的視頻監(jiān)控系統(tǒng)已具備一定程度的規(guī)模，運(yùn) 些視頻監(jiān)控系統(tǒng)在及時(shí)響應(yīng)公共安全事件和治安保障中起著重要作用，且各種視頻監(jiān)控系 統(tǒng)被廣泛地應(yīng)用于各種場(chǎng)景中，但是現(xiàn)在大多監(jiān)控依靠人工監(jiān)控，亟需探索和研究智能視 頻監(jiān)控用于安防，幫助監(jiān)控人員完成智能趨勢(shì)預(yù)測(cè)、特征事件定位等任務(wù)，為突發(fā)事件預(yù) 防、可疑線索追查等提供有效幫助。

【發(fā)明內(nèi)容】

[0003] 針對(duì)上述部分問(wèn)題，本公開(kāi)提供了一種大規(guī)模人群視頻分析系統(tǒng)和方法。
[0004] -種大規(guī)模人群視頻分析系統(tǒng)，所述系統(tǒng)包括人群密度計(jì)算模塊、人群前景分割 模塊、人群跟蹤模塊、人群狀態(tài)分析模塊、事件判定模塊;其中：
[000引所述人群密度計(jì)算模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內(nèi)的人群數(shù)量；
[0006] 所述人群前景分割模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內(nèi)的前景和背景分割后、前景中的人群區(qū)域；
[0007] 所述人群跟蹤模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍內(nèi)的 人群運(yùn)動(dòng)方向與速度；
[0008] 所述人群狀態(tài)分析模炔基于得到的人群數(shù)量、人群區(qū)域、人群運(yùn)動(dòng)方向與速度進(jìn) 行處理分析，并將分析結(jié)果送入事件判定模塊；
[0009] 所述事件判定模塊用于判定人群事件是否異常；
[0010] 所述人群事件是指在監(jiān)控區(qū)域內(nèi)，達(dá)到一定規(guī)模的人群出現(xiàn)某種群體特征性行 為。
[0011] -種用于實(shí)現(xiàn)大規(guī)模人群視頻分析系統(tǒng)的方法，所述方法包括下述步驟：
[0012] 本公開(kāi)能夠幫助監(jiān)控人員完成智能趨勢(shì)預(yù)測(cè)、特征事件定位等任務(wù)，為突發(fā)事件 預(yù)防、可疑線索追查等提供有效幫助。
【附圖說(shuō)明】
[0013] 圖1本公開(kāi)一個(gè)實(shí)施例中關(guān)于大規(guī)模人群視頻分析系統(tǒng)數(shù)據(jù)處理流示意圖；
[0014] 圖2本公開(kāi)系統(tǒng)的一個(gè)實(shí)施例中完全卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)示意圖；
[0015] 圖3本公開(kāi)方法的一個(gè)實(shí)施例中完全卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0016] 在一個(gè)基礎(chǔ)的實(shí)施例中提供了一種大規(guī)模人群視頻分析系統(tǒng)，所述系統(tǒng)包括人群 密度計(jì)算模塊、人群前景分割模塊、人群跟蹤模塊、人群狀態(tài)分析模塊、事件判定模塊；其 中：
[0017] 所述人群密度計(jì)算模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內(nèi)的人群數(shù)量；
[0018] 所述人群前景分割模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內(nèi)的前景和背景分割后、前景中的人群區(qū)域；
[0019] 所述人群跟蹤模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍內(nèi)的 人群運(yùn)動(dòng)方向與速度；
[0020] 所述人群狀態(tài)分析模炔基于得到的人群數(shù)量、人群區(qū)域、人群運(yùn)動(dòng)方向與速度進(jìn) 行處理分析，并將分析結(jié)果送入事件判定模塊；
[0021] 所述事件判定模塊用于判定人群事件是否異常；
[0022] 所述人群事件是指在監(jiān)控區(qū)域內(nèi)，達(dá)到一定規(guī)模的人群出現(xiàn)某種群體特征性行 為。
[0023] 在運(yùn)個(gè)實(shí)施例中，所述系統(tǒng)能夠?yàn)楸O(jiān)控人員完成智能趨勢(shì)預(yù)測(cè)、特征事件定位等 任務(wù)提供數(shù)據(jù)支持，為突發(fā)事件預(yù)防、可疑線索追查等提供有效幫助。所述圖像數(shù)據(jù)可W直 接是一帖完整的視頻截圖，也可W是已處理成方便相應(yīng)模塊進(jìn)行進(jìn)一步處理的圖像數(shù)據(jù)， 還可W是為方便傳輸進(jìn)行壓縮處理后的圖像數(shù)據(jù)，然后在接收該圖像數(shù)據(jù)的模塊中進(jìn)行相 應(yīng)的解壓縮處理，等等。在人群狀態(tài)分析模塊中，其進(jìn)行的處理分析主要是基于得到的人群 數(shù)量、人群區(qū)域、人群運(yùn)動(dòng)方向與速度來(lái)分析確定監(jiān)控區(qū)域的人群所處的人群事件是什么 類(lèi)型的人群事件，進(jìn)而將該人群事件的結(jié)論發(fā)送給事件判定模塊，通過(guò)事件判定模塊根據(jù) 制定的判斷規(guī)則來(lái)判斷該人群事件是否存在異常。所述人群事件的類(lèi)型可能因不同系統(tǒng)對(duì) 人群事件的分類(lèi)不同而不同。
[0024] 在一個(gè)實(shí)施例中，提供了人群密度計(jì)算模塊計(jì)算人群數(shù)量的優(yōu)選計(jì)算模型，即：所 述人群密度計(jì)算模塊采用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN，Deep Convolutional Neural Network)模型來(lái)進(jìn)行人群密度估計(jì)進(jìn)而得到人群數(shù)量。
[002引所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)目標(biāo)為映射F:X 一 D，其中X表示訓(xùn)練集中圖像 的像素特征，D表示人群密度圖像。該模型具有如下特點(diǎn)：在學(xué)習(xí)人群特征上具有良好的有 效性和魯棒性，不需要額外的標(biāo)識(shí)工作，并且與圖像前景分割是獨(dú)立的，因此能夠獲得更合 理的計(jì)算結(jié)果。在人群密度計(jì)算模塊使用該模型，可W為后續(xù)的分析提供可靠的數(shù)據(jù)支持， 進(jìn)而在發(fā)生異常的人群事件時(shí)，能為監(jiān)控者的決策提供幫助。
[0026] 在一個(gè)實(shí)施例中，提供了人群前景分割模塊的優(yōu)選分割模型，即：所述人群前景分 割模塊采用完全卷積神經(jīng)網(wǎng)絡(luò)(FCNNJully Convolutional化ural化twork)模型來(lái)計(jì)算 人群區(qū)域。
[0027] 完全卷積神經(jīng)網(wǎng)絡(luò)相對(duì)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，能夠適用于圖片尺度變化的情況， 使用更加靈活方便。
[0028] 在一個(gè)實(shí)施例中，提供了人群跟蹤模塊的優(yōu)選計(jì)算人群運(yùn)動(dòng)方向與速度的方法， 良P :所述人群跟蹤模塊采用KLT算法化anade-Lucas-Tomasi)來(lái)得到人群運(yùn)動(dòng)方向與速度。
[0029] 雖然采用光流法進(jìn)行運(yùn)動(dòng)物體檢測(cè)的問(wèn)題主要在于大多數(shù)光流法計(jì)算耗時(shí)，實(shí)時(shí) 性和實(shí)用性都較差，但是光流法的優(yōu)點(diǎn)在于光流不僅攜帶了運(yùn)動(dòng)物體的運(yùn)動(dòng)信息，而且還 攜帶了有關(guān)景物Ξ維結(jié)構(gòu)的豐富信息，它能夠在不知道場(chǎng)景的任何信息的情況下，檢測(cè)出 運(yùn)動(dòng)對(duì)象。
[0030] 在一個(gè)實(shí)施例中，所述人群密度計(jì)算模塊將人群密度圖像映射表達(dá)式實(shí)現(xiàn)為一個(gè) 核屯、單元，即：所述人群密度計(jì)算模塊包括人群密度圖像映射單元，所述人群密度圖像映射 單元的表達(dá)式為：
[0031]
[0032] 其中；
[0033] Di(p)為密度圖像D中第i個(gè)人周?chē)狞c(diǎn)P;
[0034] Z為歸一化參數(shù)；
[003引Pi為第i個(gè)標(biāo)記的人；
[0036] Nh是作為頭部模型的正規(guī)化的2D高斯核函數(shù)；
[0037] 扣為頭部的位置；
[003引化為Nh的方差；
[0039] 化是作為身體模型的二元正態(tài)分布；
[0040] Pb為人身體的位置；
[0041 ] Σ為化的協(xié)方差矩陣。
[0042] 上述映射能夠保證在一個(gè)密度映射中所有密度值在整體上是等于原圖中人群數(shù) 量。
[0043] 在一個(gè)實(shí)施例中，對(duì)產(chǎn)生人群事件的群體特征性行為進(jìn)行了劃分，進(jìn)一步明確本 公開(kāi)系統(tǒng)要監(jiān)測(cè)的人群行為，即：所述群體特征性行為包括人群密集、人群聚集、人群滯留、 人群跑動(dòng)和人群逆行；
[0044] 所述人群密集指對(duì)過(guò)去的T1秒監(jiān)控區(qū)域內(nèi)的人數(shù)平均值超過(guò)設(shè)置的參數(shù)闊值； [004引所述人群聚集指監(jiān)控區(qū)域內(nèi)停留下來(lái)聚集在一起的人群區(qū)域內(nèi)的人數(shù)超過(guò)設(shè)置 闊值；
[0046] 所述人群滯留指對(duì)監(jiān)控圖像中的人群特征點(diǎn)進(jìn)行跟蹤，所述人群特征點(diǎn)的運(yùn)動(dòng)距 離在時(shí)間T2內(nèi)低于設(shè)置的闊值；
[0047] 所述人群跑動(dòng)指監(jiān)控區(qū)域內(nèi)運(yùn)動(dòng)速度大于速度闊值V的人的數(shù)量超過(guò)數(shù)量闊值 N1;
[0048] 所述人群逆行指監(jiān)控區(qū)域內(nèi)的禁行區(qū)域內(nèi)沿逆行方向運(yùn)動(dòng)的人的數(shù)量超過(guò)闊值 N2；
[0049] 其中，T1、T2、V、N1和N2為預(yù)設(shè)值或能夠修改的自定義值。
[0050] 根據(jù)上述群體特征性行為的劃分，本公開(kāi)要監(jiān)測(cè)的人群事件包括人群密集、人群 聚集、人群滯留、人群跑動(dòng)和人群逆行，進(jìn)而在系統(tǒng)中為了標(biāo)識(shí)人群事件，可W為每個(gè)人群 事件分配事件ID。
[0051] 進(jìn)一步地，通過(guò)該實(shí)施例，也暗含了在系統(tǒng)的事件判斷模塊如何判斷人群事件異 常。
[0052] 對(duì)于人群密集事件，所述事件判定模塊通過(guò)對(duì)過(guò)去T秒內(nèi)區(qū)域內(nèi)人數(shù)平均值進(jìn)行 統(tǒng)計(jì)來(lái)，若超過(guò)設(shè)置的參數(shù)闊值，則判斷區(qū)域內(nèi)人群密集;其中τ為預(yù)設(shè)值或能夠修改的自 定義值。在一個(gè)實(shí)施例中，所述Τ為10秒。
[0053] 對(duì)于人群聚集事件，所述事件判定模塊通過(guò)對(duì)圖像中停留下來(lái)聚集在一起的人群 區(qū)域內(nèi)的人數(shù)進(jìn)行統(tǒng)計(jì)，如果超過(guò)設(shè)置闊值，則判斷區(qū)域內(nèi)發(fā)生異常聚集。
[0054] 對(duì)于人群滯留事件，所述事件判定模塊通過(guò)對(duì)圖像中的人群特征點(diǎn)進(jìn)行跟蹤;一 段時(shí)間內(nèi)運(yùn)動(dòng)距離越短的說(shuō)明停留時(shí)間越久，當(dāng)停留時(shí)間超過(guò)設(shè)置的闊值時(shí)，則說(shuō)明區(qū)域 內(nèi)有人群滯留。
[0055] 對(duì)于人群跑動(dòng)事件，所述事件判定模塊通過(guò)計(jì)算場(chǎng)景下跟蹤特征點(diǎn)的運(yùn)動(dòng)速度， 統(tǒng)計(jì)運(yùn)動(dòng)速度大于闊值Τ1的特征點(diǎn)的個(gè)數(shù)，當(dāng)特征點(diǎn)個(gè)數(shù)大于闊值Τ2時(shí)，表明場(chǎng)景下發(fā)生 了異常跑動(dòng);其中Τ1、Τ2為預(yù)設(shè)值或能夠修改的自定義值。
[0056] 對(duì)于人群逆行事件，所述事件判定模塊通過(guò)禁行區(qū)域內(nèi)沿逆行方向運(yùn)動(dòng)的特征點(diǎn) 的個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，如果超過(guò)闊值Ν個(gè)，則判斷區(qū)域發(fā)生逆行;其中Ν為預(yù)設(shè)值或能夠修改的自 定義值，比如Ν為10。
[0057] 更優(yōu)地，所述系統(tǒng)確定了在一段事件內(nèi)連續(xù)監(jiān)測(cè)到的人群事件是否為同一人群事 件的方法，即：所述群體特征性行為中的某種行為在連續(xù)多次出現(xiàn)時(shí)，若相鄰兩次的時(shí)間間 隔大于設(shè)定時(shí)間，則相鄰兩次出現(xiàn)的該種行為被認(rèn)為是兩次事件，否則相鄰兩次出現(xiàn)的該 種行為被認(rèn)為是一次事件。比如，在人群密集事件中，若相鄰的兩次人群密集事件如果間隔 大于60秒，則判定為兩次事件。在人群聚集事件中，若相覆蓋區(qū)域內(nèi)的兩次人群密集事件如 果間隔大于60秒，則判定為兩次事件。在人群滯留事件中，若相同滯留區(qū)域內(nèi)發(fā)生的滯留事 件如果相隔10秒內(nèi)，則判定為同一個(gè)滯留事件。在人群跑動(dòng)事件中，若相鄰的兩次人群跑動(dòng) 事件如果間隔大于60秒，則判定為兩次事件。在人群逆行事件中，若相同逆行區(qū)域相鄰的兩 次人群逆行事件如果間隔大于60秒，則判定為兩次事件。
[0058] 在一個(gè)實(shí)施例中，所述系統(tǒng)還包括實(shí)時(shí)監(jiān)控模塊，所述實(shí)時(shí)監(jiān)控模塊用于反映當(dāng) 前時(shí)間點(diǎn)，某一路視頻所對(duì)應(yīng)場(chǎng)景內(nèi)人群的情況，通過(guò)圖示的方式來(lái)展示人群的密集程度。 其中，所述圖示的方式所依據(jù)的圖可W是基于監(jiān)控視頻中的圖像。
[0059] 優(yōu)選的，所述實(shí)時(shí)監(jiān)控模塊中使用的圖包括人群停留染色圖和人群分布熱力圖； 所述人群停留染色圖按照停留時(shí)間長(zhǎng)短，對(duì)場(chǎng)景中的人群進(jìn)行Jet染色;所述人群分布熱力 圖按照人群疏密，W熱力圖的形式展現(xiàn)場(chǎng)景中人群的實(shí)時(shí)分布情況。
[0060] 進(jìn)一步地，所述Jet染色為根據(jù)場(chǎng)景中人物停留的時(shí)間長(zhǎng)短對(duì)目標(biāo)進(jìn)行染色，最大 值表現(xiàn)為紅色，最小值表現(xiàn)為藍(lán)色。其中：藍(lán)色