一種應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法
【專利摘要】本發(fā)明提供一種應(yīng)用于電梯安全監(jiān)控的圖像信息采集方法，從而能夠便于后期視頻分析，快速有效地實現(xiàn)電梯異常運行狀態(tài)和/或電梯內(nèi)異?；顒拥淖詣訄缶?。具體為：位置固定的攝像頭拍攝的圖像作為背景模型；通過減背景法用當前視頻幀與背景模型做差獲得差分圖像，再根據(jù)二值化公式對差分圖像進行二值化處理，再通過形態(tài)學濾波算法去噪，最后對去噪后的結(jié)果進行區(qū)域連通分析；采用Canny算子提取出二值化后的圖像的邊緣輪廓；以所述邊緣輪廓的形式對人體站立圖像進行建模，并存儲，用于與實時提取的前景輪廓通過模板匹配算法進行比對判斷，從而建立基本的機器視覺。
【專利說明】
一種應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種電梯視頻監(jiān)控的圖像信息采集及處理方法，用以基于機器視覺實 現(xiàn)電梯異常運行狀態(tài)和/或電梯內(nèi)異常活動的自動報警。
【背景技術(shù)】
[0002] 電梯在給人們帶來便捷和方便的同時，也對人們的安全發(fā)出了挑戰(zhàn)。由于電梯是 一個相對封閉的公共場所，一方面為犯罪分子進行不法行為提供了極佳的場所，電梯轎廂 內(nèi)打架、搶劫等事件頻頻發(fā)生；另一方面，當一個人單獨乘坐電梯時，尤其是老人可能發(fā)生 突發(fā)疾病摔倒在電梯里，如不能及時發(fā)現(xiàn)，可能危及生命。為了構(gòu)建一個安全的生活環(huán)境， 在很多的高層小區(qū)、賓館、大廈的電梯轎廂內(nèi)都安裝了視頻監(jiān)控裝置。然而目前這些安裝在 電梯轎廂內(nèi)的視頻監(jiān)控系統(tǒng)和城市中很多地方安裝的大部分視頻監(jiān)控系統(tǒng)一樣，只是簡單 的錄像;監(jiān)控和處理電梯轎廂乘員異常行為，只是依賴人工實時監(jiān)控視頻。
[0003] 所以，傳統(tǒng)的視頻監(jiān)控系統(tǒng)有以下缺點：
[0004] 1.功能單一，只是簡單的錄像，存儲，回放等功能，無法對監(jiān)控場景進行實時的分 析和處理。
[0005] 2.需要監(jiān)控室內(nèi)的監(jiān)控人員通過長時間觀看視頻圖像來對電梯轎廂內(nèi)進行監(jiān)控， 但人眼具有易疲勞的缺點，不可能時刻保持警戒。
[0006] 3.有些大型小區(qū)的監(jiān)控視頻有幾十甚至上百臺攝像機，工作人員根本無法監(jiān)看和 管理。
[0007] 4.數(shù)據(jù)分析困難，安保人員查詢特定事件事發(fā)時的錄像資料的過程中，海量的數(shù) 據(jù)給人們增加了困難。
[0008] 5.大部分事件都是事后響應(yīng)，一旦遇到突發(fā)疾病情況，難以及時響應(yīng)。
[0009] 6.目前電梯轎廂內(nèi)報警方式主要是乘客自己去按警鈴，但一般情況下，當乘客遭 到不法侵害時，很難有機會去按報警鈴。
[0010] 中國專利文獻CN101557506A《基于計算機視覺的電梯轎廂內(nèi)暴力行為智能檢測裝 置》提出的方案主要是通過Codebook算法來提取前景人體對象，并通過單人前景區(qū)域所占 像素點進行人數(shù)判斷，若人數(shù)為單人以上時，則觸發(fā)算法，提取出人群行為的三維特征向量 序列，將這些序列通過隱馬爾可夫模型檢驗，從而判斷是否發(fā)生異常行為。該方案主要存在 以下缺點：
[0011] 1. Codebook建模算法復雜。
[0012] 2.基于單人前景區(qū)域所占像素點來進行人數(shù)判斷，若乘員攜帶行李、或存在人員 遮擋、人員站立位置發(fā)生變化等情況，會導致誤判。
[0013] 3.該方法需要提取出人群行為的三維特征向量序列，基于統(tǒng)計特征來檢測異常行 為，這就需要建立一個訓練學習機制，而該學習機制是基于樣本訓練庫的，樣本訓練庫的建 立就要求必須有足夠多的訓練樣本，從而使得現(xiàn)有的基于統(tǒng)計特征的檢測方法難以得到實 際應(yīng)用。此外，即使能夠做到建立多樣本數(shù)據(jù)庫，由于收集較多訓練樣本的成本和工作量很 大，無法在實際電梯系統(tǒng)中推廣。
[0014]中國專利文獻CN105347127A《電梯轎廂內(nèi)異常情況的監(jiān)控系統(tǒng)及監(jiān)控方法》提出 的方案主要是采用一個3D體感攝像裝置，該攝像裝置具有用于面部表情識別和動作識別的 彩色攝像頭、深度傳感器、紅外追蹤裝置和用于語音識別的多點陣列麥克風。該方案主要存 在以下缺點：
[0015] 1.對硬件設(shè)備要求較高，價格昂貴。
[0016] 2.多數(shù)據(jù)融合及多數(shù)據(jù)判斷存在一些問題(譬如可能存在面部表情和行為甚至語 言不符合的情況），其次，識別的越多，需要處理的數(shù)據(jù)量也就越大，很難保證數(shù)據(jù)處理的實 時性。
[0017] 總體來說，目前看似較為先進、智能的監(jiān)控(理論)方案，算法都比較復雜，硬件要 求較高，數(shù)據(jù)運算量大，都很難保證實時性的要求。

【發(fā)明內(nèi)容】

[0018] 為了解決目前基于機器視覺的電梯安全監(jiān)控處理方法存在的采集信息繁雜、數(shù)據(jù) 處理量大、難以在居民社區(qū)推廣應(yīng)用等問題，本發(fā)明提供一種新的應(yīng)用于電梯安全監(jiān)控的 圖像信息采集方法，從而能夠便于后期視頻分析，快速有效地實現(xiàn)電梯異常運行狀態(tài)和/或 電梯內(nèi)異?；顒拥淖詣訄缶?。
[0019] 本發(fā)明的技術(shù)方案如下：
[0020] -種應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法，其特征在于，包括以下步驟：
[0021] (1)背景建模
[0022] 在轎廂封閉且空置時，轎廂內(nèi)安裝位置固定的攝像頭拍攝的圖像作為背景模型 Bk;
[0023] (2)前景提取
[0024] 當檢測到轎廂關(guān)門信號后，通過減背景法用當前視頻幀Ik與背景模型Bk做差獲得 差分圖像D k，再根據(jù)二值化公式對差分圖像Dk進行二值化處理，再通過形態(tài)學濾波算法去 噪，最后對去噪后的結(jié)果進行區(qū)域連通分析，若連通區(qū)域的面積大于設(shè)定的閾值，則認為其 是前景目標，相應(yīng)的區(qū)域就是前景的區(qū)域范圍；其中：
[0025] 減背景法計算式為Dk(x，y)= | Ik(x，y)_Bk(x，y)
[0026] 二值化計算式為 A (a% J)=.] ' 丄乂( ）
[0,^Z)A.(x,v){r
[0027] 式中Dk(x,y)為差分圖像，（x,y)為像素點的坐標，Ik(x,y)為當前視頻幀，Bk(x,y) 為背景圖像模型，Rk(x，y)為二值化后的圖像；
[0028] (3)輪廓提取
[0029] 采用Canny算子提取出二值化后的圖像的邊緣輪廓；
[0030] (4)前景輪廓判斷
[0031] 以所述邊緣輪廓的形式對人體站立圖像進行建模，并存儲，用于與實時提取的前 景輪廓通過模板匹配算法進行比對判斷，從而建立基本的機器視覺。
[0032] 基于以上方案，本發(fā)明還進一步作了如下優(yōu)化限定：
[0033] 轎廂內(nèi)僅設(shè)置一個攝像頭。這主要是考慮到本發(fā)明確立的背景建模和前景提取方 案對一個視角的拍攝視頻進行處理已經(jīng)提取、準備了足夠的信息，而無需多處設(shè)置攝像頭 (生成三維立體圖像信息），相應(yīng)的也大大降低了數(shù)據(jù)運算量，從而提高了告警的實時性。
[0034]步驟（1)采用時間平均法對背景進行建模，即對一段時間內(nèi)的視頻幀求和然后再 求平均，計算公式如下：
[0036] 式中B(x，y)表示背景模型AKxd)表示第i幀圖像。
[0037] 步驟(4)還建立了一系列單人安全乘梯輪廓庫，即：通過模板匹配算法將實時前景 人體輪廓與單人安全乘梯輪廓庫進行比對，若設(shè)定幀數(shù)的連續(xù)若干幀圖像始終未能匹配， 則認為發(fā)生了潛在的安全問題。
[0038] 相對于現(xiàn)有技術(shù)，本發(fā)明具有以下技術(shù)效果：
[0039] 1、前述專利文獻的方案在背景建模時沒有考慮到有關(guān)電梯轎廂的實際情況：電梯 轎廂(非透明轎廂)關(guān)門后是一個封閉空間，且攝像頭安裝位置固定，環(huán)境簡單且基本上不 會發(fā)生變化，而且由固定光源照明，轎廂內(nèi)光線的強弱變化不大，在背景建模時其實不用考 慮光線的變化。如果是透明轎廂，則背景在一直變化，就需要對背景進行實時建模，這是極 為困難的。本發(fā)明切實、充分考慮了轎廂監(jiān)控圖像的特點，針對非透明的轎廂，進行簡單的 背景建模，基于背景模型（在檢測到轎廂關(guān)門后才)進行前景提取以及輪廓提取，信息采集 量顯著降低，為后期的視頻分析快速、高效奠定了基礎(chǔ)。
[0040] 2、本發(fā)明深入分析了電梯異常運行狀態(tài)和電梯內(nèi)異?；顒影l(fā)生時反映的監(jiān)控圖 像特點，并綜合考慮了漏報率和謊報率，對前景提取以及輪廓提取進行了重要的優(yōu)化，保證 了后期視頻分析能夠快速、高效地得出結(jié)果，從而及時、準確地發(fā)出告警，提高電梯乘員乘 梯安全性，有效減輕監(jiān)控人員的負擔，并能提高安保人員響應(yīng)突發(fā)情況的快速性和針對事 件的準確性。
[0041] 3、本發(fā)明硬件實現(xiàn)成本較低，能夠廣泛應(yīng)用于居民小區(qū)、辦公樓等場所的（非透明 的)轎廂式電梯。
【附圖說明】
[0042] 圖1為本發(fā)明所涉及的硬件架構(gòu)示意圖。
[0043] 圖2為利用本發(fā)明實現(xiàn)基于機器視覺的電梯安全監(jiān)控軟件基本流程示意圖。
【具體實施方式】
[0044] -、背景建模：
[0045] 考慮到電梯轎廂是一個封閉空間，且攝像頭安裝位置固定，環(huán)境簡單且基本上不 會發(fā)生變化，而且由固定光源照明，轎廂內(nèi)光線的強弱變化不大，因此，在人體前景提取時 選擇減背景算法來提取電梯轎廂內(nèi)的人體，對于背景差法而言，獲得到真實的背景十分關(guān) 鍵，因此首先要建立背景模型。考慮到實際背景的不變性和算法的簡潔性，選擇時間平均法 對背景進行建模。
[0046] 時間平均法是對一段時間內(nèi)的視頻幀求和然后再求平均。
[0048] 式中B(x，y)表示背景模型AKxd)表示第i幀圖像。
[0049] 二、前景提?。?br>[0050] 建立背景模型后，采集到轎廂關(guān)門信號后，通過減背景法用當前視頻幀Ik與背景 模型Bk做差獲得差分圖像D k，再根據(jù)二值化公式對差分圖像進行二值化處理，由于差分圖像 可能會含有一些噪聲，再通過形態(tài)學濾波算法去除一些噪聲的影響，最后對去噪后的結(jié)果 進行區(qū)域連通分析，若連通區(qū)域的面積大于設(shè)定的閾值，則認為其是前景目標，相應(yīng)的該區(qū) 域就是前景的區(qū)域范圍。
[0051] Dk(x，y)= | Ik(x，y)_Bk(x，y) | (減背景法公式）
[0052] 咕，心U當(二值化公式）
[0053]其中Dk(x，y)為差分圖像，（x，y)為像素點的坐標，Ik(x，y)為當前視頻幀，Bk(x，y) 為背景圖像模型，Rk(x，y)為二值化后的圖像。
[0054]另外，前景提取這一環(huán)節(jié)，可以由轎廂關(guān)門信號采集模塊觸發(fā)運行，從而避免不必 要的數(shù)據(jù)運算量以及對總線的占用。
[0055]三、輪廓提?。?br>[0056]提取完差分圖像后，再用Canny算子提取出該圖像的邊緣輪廓。算法思想如下，圖 像的邊緣是圖像上灰度變化最劇烈的地方，利用這個特點，對圖像上各個像素點進行一階 或二階微分來確定邊緣像素點。對于一階微分而言，圖像的峰值處就對應(yīng)著圖像的邊緣點， 二階微分圖像的過零點處對應(yīng)著圖像的邊緣點。為了計算方便，通常用差分代替導數(shù)計算， 由于圖像的一階導數(shù)具有固定的方向性，不具有普遍性，因此可以用圖像的梯度代替。 Canny算子檢測邊緣的基本原理是:采用二維高斯函數(shù)的任一方向上的一階方向?qū)?shù)為噪 聲濾波器，通過與圖像卷積進行濾波;然后對濾波后的圖像尋找圖像梯度的局部極大值，以 確定圖像的邊緣。
，式中〇為高斯濾波器的參數(shù)，它的大小控制著對圖 像的平滑程度，〇越小濾波器定位精度越高，但信噪比低，要根據(jù)實際需要選取〇的大小。 [0058]設(shè)高斯平滑后的圖像為I(x，y)，用有限差分近似偏微分計算平滑后圖像每一個像 素的梯度的幅值和方向，將邊緣增強。 0059 1/, [/，./] = (/[/，./十 1] - /[/，./] + /[/ + 1、/ + 1] - /[/ + 1,./]>/2
[0060 ]用上式計算出x, y方向的差分函數(shù)之后，該像素點梯度的幅值M (i , j)和方向9 (i , j)為
[0061]卜碌，] /) = arclan(/)' |>，./]/P,.[/，.,>]}
[0062]在梯度幅值圖像M中以像素點（i，j)為中心的3X3的鄰域內(nèi)沿著梯度方向0 (i，j)插 值，如果像素點（i，j)處的梯度幅值M(i，j)大于0(i，j)方向上及鄰域的兩個插值，則將像素 點（i，j)標記為候選邊緣點，否則為非邊緣點。標記完邊緣點后，采用雙閾值法對各個標記 的像素點進行判斷，首先設(shè)定高閾值Th和低閾值!^，其次對標記為候選邊緣點的每個像素點 (i，j)進行判斷，凡是像素點的梯度幅值M(i，j)大于高閾值T h的一定是邊緣點;凡是像素點 的梯度幅值M(i，j)小于低閾值h-定不是邊緣點；如果梯度幅值大于低閾值h同時又小于 高閾值Th，則看這個像素點的臨界像素中有沒有超過高閾值的邊緣點，如果有，它就是邊緣 點，如果沒有，就是非邊緣點。因為前景邊緣輪廓提取對于人數(shù)判斷及單人乘梯時是否安全 的判斷起著至關(guān)重要的作用。故采用相對復雜的Canny算子法，該算法具有低誤判率，高定 位精度、且能夠抑制虛假邊緣的優(yōu)點。
[0063]四、前景輪廓判斷：
[0064]人們在乘坐電梯時，正常情況下為人體站立姿勢，很多時候處于靜止狀態(tài)或小幅 度的移動狀態(tài)。對人體站立圖像進行建模，并存儲。
[0065]這樣，通過與實時提取的前景輪廓通過模板匹配算法進行比對判斷，能夠判斷轎 廂內(nèi)是否有人，根據(jù)需要還可以進一步判斷轎廂內(nèi)是否只有一個人，進而還可以判斷乘梯 人員的基本狀況。
[0066]本發(fā)明可以通過采用DSP對視頻數(shù)據(jù)流進行處理并分析判斷目標的動作和行為， 通過自動地檢測目標，識別目標類型以及目標行為等算法，智能的抽取、分析和理解視頻源 中的關(guān)鍵信息，對電梯自身故障、電梯內(nèi)人員摔倒、施暴等異常行為進行識別，在異常行為 發(fā)生時及時的發(fā)出報警信號。通知安保人員，由安保人員決定該如何處理該行為。這樣就減 少了對乘客的傷害，從而提高乘客乘坐電梯時的安全性，也同時極大地減輕了安保人員的 工作強度。
[0067]以下針對常見的兩種乘梯安全狀況給出具體的應(yīng)用示例：
[0068] 1、針對電梯困人的具體應(yīng)用：
[0069] 一旦發(fā)生困人時，人員在短時間之內(nèi)并不會發(fā)生安全事故，且假設(shè)轎廂內(nèi)有多人， 應(yīng)有人能主動報警自救。但考慮到小孩或殘疾人等單人乘梯時，由于身高問題，無法自己報 警，就需要借助本發(fā)明進行自動觸發(fā)報警。
[0070] 不過該種情況對實時性要求不用太高，需要考慮減少誤報警以避免增加安保人員 的工作量。具體流程如下:采集到轎廂關(guān)門信號，且在60S內(nèi)電梯仍未移動，若此時通過模板 匹配法判斷轎廂內(nèi)有人存在，則觸發(fā)報警。
[0071] 2、針對單人突發(fā)疾病等安全問題的具體應(yīng)用：
[0072] 通過模板匹配算法若判斷轎廂內(nèi)只有一人時，則觸發(fā)該算法，該算法如下:首先建 立一系列的單人安全乘梯輪廓庫，在轎廂門關(guān)閉時，實時采集視頻幀，對視頻幀進行前景輪 廓提取，并通過模板匹配算法將實時前景人體輪廓與單人安全乘梯輪廓庫進行比對，若連 續(xù)10幀圖像都沒有匹配上，則認為可能發(fā)生潛在的安全問題，由裝置觸發(fā)報警單元。以每秒 25幀計算，10幀圖像花費時間0.4秒，保證了檢測的實時性，同時也降低了誤報率。該算法有 可能存在一定的誤報率，但單人情況時若發(fā)生漏報可能會造成人員生命安全，故權(quán)衡誤報 率和漏報率，最終傾向消除漏報率，可允許有一定的誤報率。
【主權(quán)項】
1. 一種應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法，其特征在于，包括以下步驟： (1) 背景建模 在轎廂封閉且空置時，轎廂內(nèi)安裝位置固定的攝像頭拍攝的圖像作為背景模型Bk; (2) 前景提取 當檢測到轎廂關(guān)門信號后，通過減背景法用當前視頻幀Ik與背景模型Bk做差獲得差分 圖像Dk，再根據(jù)二值化公式對差分圖像Dk進行二值化處理，再通過形態(tài)學濾波算法去噪，最 后對去噪后的結(jié)果進行區(qū)域連通分析，若連通區(qū)域的面積大于設(shè)定的閾值，則認為其是前 景目標，相應(yīng)的區(qū)域就是前景的區(qū)域范圍；其中： 減背景法計算式為Dk(x，y)= I Ik(x，y)_Bk(x，y) 式中Dk(x，y)為差分圖像，（x，y)為像素點的坐標，Ik(x，y)為當前視頻幀，Bk(x，y)為背 景圖像模型，Rk(x，y)為二值化后的圖像； (3) 輪廓提取 采用Canny算子提取出二值化后的圖像的邊緣輪廓； (4) 前景輪廓判斷 以所述邊緣輪廓的形式對人體站立圖像進行建模，并存儲，用于與實時提取的前景輪 廓通過模板匹配算法進行比對判斷，從而建立基本的機器視覺。2. 根據(jù)權(quán)利要求1所述的應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法，其特征在于:轎廂 內(nèi)僅設(shè)置一個攝像頭。3. 根據(jù)權(quán)利要求1所述的應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法，其特征在于:步驟 (1)采用時間平均法對背景進行建模，即對一段時間內(nèi)的視頻幀求和然后再求平均，計算公 式如下：式中B(x，y)表示背景模型,B1(Xj)表示第i幀圖像。4. 根據(jù)權(quán)利要求1所述的應(yīng)用于電梯安全監(jiān)控的機器視覺建立方法，其特征在于:步驟 (4)還建立了一系列單人安全乘梯輪廓庫，即：通過模板匹配算法將實時前景人體輪廓與單 人安全乘梯輪廓庫進行比對，若設(shè)定幀數(shù)的連續(xù)若干幀圖像始終未能匹配，則認為發(fā)生了 潛在的安全問題。
【文檔編號】B66B5/00GK106006266SQ201610496253
【公開日】2016年10月12日
【申請日】2016年6月28日
【發(fā)明人】王晶, 韓建軍, 李紅昌
【申請人】西安特種設(shè)備檢驗檢測院