一種增強現(xiàn)實攝像機監(jiān)控方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種增強現(xiàn)實攝像機監(jiān)控方法及其系統(tǒng)，所述方法包括通過攝像機獲取監(jiān)控區(qū)域的視頻信息、攝像機的地理位置信息和攝像機的姿態(tài)信息；將視頻信息、地理位置信息和姿態(tài)信息傳輸?shù)皆鰪姮F(xiàn)實管理終端，增強現(xiàn)實管理終端將地理位置信息和姿態(tài)信息進行圖形化處理后疊加在實時畫面上。本發(fā)明能夠?qū)⒌乩砦恢眯畔⒑妥藨B(tài)信息進行圖形化后疊加在實時視頻畫面上，使得用戶對地理位置和監(jiān)控攝像機姿態(tài)的感知更直觀。
【專利說明】一種增強現(xiàn)實攝像機監(jiān)控方法及其系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及安防工程的攝像機監(jiān)控領(lǐng)域，特別涉及一種增強現(xiàn)實攝像機監(jiān)控方法及其系統(tǒng)。

【背景技術(shù)】
[0002]監(jiān)控攝像機的地理位置信息和姿態(tài)信息是組成監(jiān)控信息的重要部分，因為當有違法犯罪或其它事故發(fā)生的時候，往往不僅僅需要知道監(jiān)控區(qū)域的畫面信息，還需要知道事故發(fā)生的具體方位。而現(xiàn)有監(jiān)控攝像機雖然已經(jīng)可以做到獲取攝像機的地理位置信息，但是現(xiàn)有的攝像機內(nèi)并沒有集成獲取監(jiān)控方向的功能，大多是通過外部加裝傳感器來實現(xiàn)的；另外，相關(guān)傳感器獲取的數(shù)據(jù)都是直接疊加在視頻畫面上，無法被計算機使用，信息呈現(xiàn)形式枯燥單一，不夠生動直觀。


【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種增強現(xiàn)實攝像機監(jiān)控方法。
[0004]本發(fā)明的另一目的在于克服現(xiàn)有技術(shù)的不足，提供一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)。
[0005]為了實現(xiàn)第一個發(fā)明目的，采用的技術(shù)方案如下:
一種增強現(xiàn)實攝像機監(jiān)控方法，所述方法包括:
通過攝像機獲取監(jiān)控區(qū)域的視頻信息、攝相機的地理位置信息和攝像機的姿態(tài)信息；將視頻信息、地理位置信息和姿態(tài)信息傳輸?shù)皆鰪姮F(xiàn)實管理終端，增強現(xiàn)實管理終端將地理位置信息和姿態(tài)信息進行圖形化處理后疊加在實時畫面上。
[0006]使用本發(fā)明的增強現(xiàn)實監(jiān)控方法不僅能獲取監(jiān)控區(qū)域的畫面信息，還能獲取監(jiān)控攝像機的地理位置信息和姿態(tài)信息，將地理位置信息和姿態(tài)信息進行圖形化處理后再疊加在實時畫面上進行顯示，使得用戶對于地理位置信息和姿態(tài)信息的感知更為直觀，改善了用戶體驗。
[0007]進一步的，所述地理位置信息和姿態(tài)信息先嵌入到由視頻信息編碼而成的視頻流中，再傳輸?shù)皆鰪姮F(xiàn)實管理終端。
[0008]進一步的，所述地理位置信息和姿態(tài)信息在嵌入到視頻流前經(jīng)過加密處理。
[0009]進一步的,所述加密采用base64編碼加密處理。
[0010]一些視頻編碼標準中含有保留字，在碼流中有特殊含義；同時一些應(yīng)用的保密需要，應(yīng)該對用戶編碼數(shù)據(jù)進行編碼，使其限制在一個特定字符集中，故采用base64加密處理，起到保護作用，當修改base64的索引表，即可得到加密的功能，只有在編碼和解碼端使用相同索引表的情況下，才能正常解析內(nèi)容。
[0011]進一步的，采用H.264對視頻信息進行視頻編碼，使用輔助增強信息SEINal單元中的SEI消息承載地理位置信息和姿態(tài)信息；增強現(xiàn)實管理終端獲取視頻流并對視頻流進行解碼，解碼過程中采用H.264進行所述視頻解碼獲得視頻信息，并從視頻流中承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息，解析后的地理位置信息和姿態(tài)信息經(jīng)過圖形化處理后疊加在視頻畫面上顯
/Jn ο
[0012]現(xiàn)有的一些定制化攝像機，外部加裝了傳感器，但是這些傳感器數(shù)據(jù)需要通過專有網(wǎng)絡(luò)協(xié)議傳輸和存儲，無法做到和原有系統(tǒng)兼容和同步。但本發(fā)明中攝像機的地理位置信息和姿態(tài)信息是通過H.264視頻編碼標準中輔助增強信息SEINal單元的SEI消息嵌入到視頻流中，并不改變現(xiàn)有編碼標準碼流結(jié)構(gòu)。基于此，符合H.264視頻編碼標準的編碼器廠商不需要做任何改變，只需將輔助增強信息SEINal單元的SEI消息一部分字段用來描述攝像機地理位置信息和姿態(tài)信息，在視頻流中進行傳送；符合H.264標準的解碼器廠商也不需要做任何改變，只需將輔助增強信息SEINal單元的SEI消息對應(yīng)的部分字段經(jīng)過解碼獲取得到，并將其明確為攝像機的定位信息即可。并且本發(fā)明的圖形疊加是在解碼后進行的，數(shù)據(jù)被格式化傳輸和存儲，可以被計算機利用。
[0013]另外，通過對H.265和SVAC標準碼流結(jié)構(gòu)的研究發(fā)現(xiàn)，本發(fā)明的一種增強現(xiàn)實監(jiān)控方法還可以采用標準H.265或SVAC進行視頻編碼和解碼，此時，則把地理位置信息和姿態(tài)信息嵌入到H.265或SVAC標準碼流的輔助增強信息SEINal單元中的SEI消息，解碼時從承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息，解析后的地理位置信息和姿態(tài)信息經(jīng)過圖形化處理后疊加在視頻畫面上顯示。
[0014]對于有獲取監(jiān)控區(qū)域音頻信息要求的用戶，本發(fā)明的一種增強現(xiàn)實監(jiān)控方法還獲取監(jiān)控區(qū)域的音頻信息，并把音頻信息編碼傳送到管理終端進行解碼播放。
[0015]本發(fā)明的有益效果:在傳輸時使用H.264標準碼流的輔助增強信息SEINal單元的SEI消息承載地理位置信息和姿態(tài)信息使得所述的監(jiān)控方法能直接應(yīng)用于現(xiàn)有的符合
H.264標準的攝像機和播放器，而無需針對地理位置信息和姿態(tài)信息在運營網(wǎng)絡(luò)或媒體介質(zhì)上增加新的承載結(jié)構(gòu)，地理位置信息和姿態(tài)信息經(jīng)過圖形化處理后再疊加在實時視頻畫面上使得畫面信息更為豐富，地理位置信息和姿態(tài)信息能直觀的被人們感知，并且本發(fā)明的圖形疊加是在解碼后疊加的，數(shù)據(jù)被格式化傳輸和存儲，可以被計算機利用。通過增強現(xiàn)實管理終端添加自己感興趣的信息，實現(xiàn)了用戶與畫面之間的互動。
[0016]進一步的，本發(fā)明的監(jiān)控方法還通過增強現(xiàn)實管理終端添加自定義標簽信息。
[0017]為了實現(xiàn)另一個發(fā)明目的，采用的技術(shù)方案如下:
一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)，包括攝像機和增強現(xiàn)實管理終端，所述攝像機設(shè)置有視頻采集模塊，所述攝像機還設(shè)置有地理位置信息采集模塊、姿態(tài)信息獲取模塊和視頻流處理模塊，所述視頻采集模塊、地理位置信息采集模塊和姿態(tài)信息獲取模塊分別與視頻流處理模塊電連接，所述增強現(xiàn)實管理終端與視頻流處理模塊電連接。
[0018]通過視頻采集模塊采集監(jiān)控區(qū)域的視頻信息，通過地理位置信息采集模塊采集攝像機的地理位置信息，通過姿態(tài)獲取模塊獲取攝像機的姿態(tài)信息，然后將地理位置信息、視頻信息和姿態(tài)信息發(fā)送至視頻流處理模塊，將合成的視頻流傳送到增強現(xiàn)實管理終端。本發(fā)明所提供的系統(tǒng)不僅能采集監(jiān)控區(qū)域的視頻畫面還能采集監(jiān)控攝像機的地理位置信息和姿態(tài)信息，并傳送到終端，終端對地理位置信息和姿態(tài)信息進行圖形化處理后再疊加在實時畫面上進行顯示。
[0019]所述視頻流處理模塊具體采用H.264進行視頻編碼，在對所述視頻信息進行視頻編碼時，使用H.264標準碼流的輔助增強信息SEINal單元的SEI消息承載所述地理位置信息和姿態(tài)信息。
[0020]現(xiàn)有的一些定制化攝像機，外部加裝了傳感器，但是這些傳感器數(shù)據(jù)需要通過專有網(wǎng)絡(luò)協(xié)議傳輸和存儲，無法做到和原有系統(tǒng)兼容和同步。而本發(fā)明中攝像機的地理位置信息和姿態(tài)信息是通過H.264視頻編碼標準中輔助增強信息SEINal單元的SEI消息嵌入到視頻流中，并不改變現(xiàn)有編碼標準碼流結(jié)構(gòu)?；诖?，符合H.264視頻編碼標準的編碼器廠商不需要做任何改變，只需將輔助增強信息SEINal單元的SEI消息一部分字段用來描述攝像機地理位置信息和姿態(tài)信息，在視頻流中進行傳送。
[0021]進一步的，所述地理位置信息采集模塊為GPS定位模塊或北斗定位模塊，所述姿態(tài)信息獲取模塊為數(shù)字羅盤和加速度計。
[0022]進一步的，所述增強現(xiàn)實管理終端包括:
視頻流獲取模塊，所述視頻流獲取模塊與視頻流處理模塊電連接；
視頻流解碼模塊，所述視頻流解碼模塊與所述視頻流獲取模塊信號電連接；
圖形化處理模塊，所述圖形化處理模塊用于對地理位置信息和姿態(tài)信息進行圖形化處理，并與所述視頻流解碼模塊電連接；
自定義標簽添加模塊，所述自定義標簽添加模塊用于添加自定義標簽，并與圖形化處理模塊電連接。
[0023]通過視頻流獲取模塊獲取視頻流處理模塊傳送的視頻流信息并傳送到視頻流解碼模塊對視頻流信息進行解碼，在視頻解碼時采用H.264進行視頻解碼，從承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息，并將地理位置信息和姿態(tài)信息傳送到圖形化處理模塊對地理位置信息和姿態(tài)信息進行圖形化處理，圖形化處理后的地理位置信息和姿態(tài)信息疊加在實時視頻畫面上進行顯示，并且本發(fā)明的圖形疊加是在解碼后進行的，數(shù)據(jù)被格式化傳輸和存儲，可以被計算機利用。用戶可以通過自定義標簽添加模塊在顯示畫面上添加自己感興趣的信息，并送到圖形化處理單元進行圖形化處理后疊加在實時畫面上進行顯示，實現(xiàn)用戶與畫面的互動。
[0024]通過對H.265和SVAC標準碼流結(jié)構(gòu)的研究發(fā)現(xiàn)，所述視頻流處理模塊還可以采用標準H.265或SVAC進行視頻編碼，此時，則把地理位置信息和姿態(tài)信息嵌入到標準H.265或SVAC標準碼流的輔助增強信息SEINal單元中的SEI消息，相應(yīng)的增強現(xiàn)實管理終端的視頻流解碼模塊解碼時采用標準H.265或SVAC進行視頻解碼，并從承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息。
[0025]進一步的，所述攝像機還設(shè)有用于為地理位置信息和姿態(tài)信息加密的加密模塊。
[0026]本發(fā)明所涉及的系統(tǒng)通過加密模塊為地理位置信息和姿態(tài)信息進行加密再嵌入到視頻流中去，起到安全保護作用，所述加密模塊對地理位置信息和姿態(tài)信息進行base64編碼加密，修改base64的索引表，即可得到加密的功能，只有在編碼和解碼端使用相同索引表的情況下，才能正常解析內(nèi)容。
[0027]對于有獲取監(jiān)控區(qū)域音頻信息要求的用戶，本發(fā)明所涉及的攝像機還可以設(shè)置音頻采集設(shè)備和音頻處理模塊，所述增強現(xiàn)實管理終端還可以設(shè)置音頻解碼模塊，所述音頻處理模塊與所述音頻解碼模塊電連接。
[0028]對于有獲取監(jiān)控攝像機除地理位置信息和姿態(tài)信息以外的其它增強現(xiàn)實信息的用戶，本發(fā)明所述的攝像機還可以設(shè)置相應(yīng)的增強現(xiàn)實信息的獲取模塊。
[0029]本發(fā)明的有益效果:
1.監(jiān)控攝像機內(nèi)設(shè)有多種傳感器，更智能，體積相對在外部設(shè)置傳感器的攝像機更小，不僅能采集視頻信息，也能采集攝像機的地理位置信息和姿態(tài)信息，采集到的地理位置信息和姿態(tài)信息不是直接顯示在畫面上，而是先經(jīng)過圖形化處理再疊加在視頻畫面上使得信息的顯示更加直觀。
[0030]2.使用H.264標準碼流結(jié)構(gòu)中的輔助增強信息SEINal單元的SEI消息承載攝像機的地理位置信息和姿態(tài)信息，不改變現(xiàn)有編碼標準碼流結(jié)構(gòu)，使得符合H.264標準的編碼器廠商和解碼器廠商不需要做任何改變就可以播放增強現(xiàn)實視頻。
[0031]3.具有加密保護功能。

【專利附圖】

【附圖說明】
[0032]圖1是本發(fā)明實施例的一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖。
[0033]圖2為本發(fā)明實施例的H.264標準碼流中NALU序列組成示意圖。
[0034]圖3為本發(fā)明實施例的NAL模塊類型示意圖。
[0035]圖4為本發(fā)明實施例的輔助增強信息類型示意圖。
[0036]圖5為本發(fā)明實施例的輔助增強信息用戶數(shù)據(jù)未注冊語法定義示意圖。
[0037]圖6為本發(fā)明實施例的加入了 SEI的NALU序列示意圖。
[0038]圖7為本發(fā)明實施例的輔助增強信息用戶數(shù)據(jù)的SEI內(nèi)部結(jié)構(gòu)示意圖。
[0039]圖8是本發(fā)明實施例的效果圖。

【具體實施方式】
[0040]下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細描述。
[0041]實施例1:
一種增強現(xiàn)實攝像機監(jiān)控方法，所述方法包括:通過攝像機獲取監(jiān)控區(qū)域的視頻信息、攝像機的地理位置信息和攝像機的姿態(tài)信息；將地理位置信息和姿態(tài)信息進行加密，加密可以采用base64編碼加密；采用H.264進行視頻編碼，并把地理位置信息和姿態(tài)信息嵌入到H.264標準的輔助增強信息SEINal單元中的SEI消息與視頻信息合成視頻流再發(fā)送到管理終端，管理終端對視頻流進行解碼，從承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息，并對地理位置信息和姿態(tài)信息進行圖形化處理，圖形化后的地理位置信息和姿態(tài)信息疊加在實時畫面上進行顯示，通過增強現(xiàn)實管理終端添加自己感興趣的標簽信息。
[0042]如圖2，H.264標準碼流，由一系列NALU組成，而NAL頭中對NALU的類型的定義如圖3所示，可知nal_unit_type=6時，為輔助增強信息模塊SEI_RBSP，輔助增強信息類型定義如圖4，當有效負載類型(payload type)為5時，輔助增強信息(SEI)語法定義為用戶數(shù)據(jù)未注冊的語法定義，具體的用戶數(shù)據(jù)未注冊的語法定義如圖5所示，最后加入了地理位置信息的SEI模塊在H.264碼流中的形態(tài)如圖6所示。SEI單元的內(nèi)部結(jié)構(gòu)如圖7所示，從圖中可以看出SEI單元可在任意完整的NALU單元之間插入，可以是每個IDR幀前插入，也可以在某個P幀或B幀前插入。
[0043]本發(fā)明其實現(xiàn)系統(tǒng)如下:
如圖1所示，一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)，包括攝像機和增強現(xiàn)實管理終端，所述攝像機設(shè)置有視頻采集模塊，所述攝像機還設(shè)置有地理位置信息采集模塊、姿態(tài)信息獲取模塊和視頻流處理模塊，所述視頻采集模塊、地理位置信息采集模塊和姿態(tài)信息獲取模塊分別與視頻流處理模塊電連接，所述增強現(xiàn)實管理終端與視頻流處理模塊電連接。
[0044]所述視頻流處理模塊具體采用H.264進行視頻編碼，在對所述視頻信息進行視頻編碼時，使用輔助增強信息SEINal單元的SEI消息承載所述地理位置信息和姿態(tài)信息。
[0045]所述增強現(xiàn)實管理終端包括有:
視頻流獲取模塊，所述視頻流獲取模塊與視頻流處理模塊電連接；
視頻流解碼模塊，所述視頻流解碼模塊與所述視頻流獲取模塊信號電連接；
圖形化處理模塊，所述圖形化處理模塊用于對地理位置信息和姿態(tài)信息進行圖形化處理，并與所述視頻流解碼模塊電連接；
自定義標簽添加模塊，所述自定義標簽添加模塊用于添加自定義標簽，并與圖形化處理模塊電連接。
[0046]通過視頻流獲取模塊獲取視頻流處理模塊傳送的視頻流信息并傳送到視頻流解碼模塊對視頻流信息進行解碼，在視頻解碼時具體采用H.264進行視頻解碼，從承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息，并將地理位置信息和姿態(tài)信息傳送到圖形化處理模塊進行圖形化處理，圖形化處理后的地理位置信息和姿態(tài)信息疊加在實時視頻畫面上進行顯示；用戶可以通過自定義標簽添加模塊在顯示畫面上添加自己感興趣的標簽信息，并送到圖形化處理單元進行圖形化處理后疊加在實時畫面上進行顯示，實現(xiàn)用戶與畫面的互動。
[0047]如圖8所示是本實施例的效果圖，從圖中可以看出地理位置信息和標簽信息等是經(jīng)過圖形化處理后再實時疊加在視頻畫面上進行顯示，使得用戶能更直觀的得到所處區(qū)域的信息，并且實現(xiàn)了用戶與畫面的互動。
[0048]實施例2:
本實施例與實施例1基本一致，唯一區(qū)別在于，所述攝像機還設(shè)有用于為地理位置信息和姿態(tài)信息加密的加密模塊。
【權(quán)利要求】
1.一種增強現(xiàn)實攝像機監(jiān)控方法，其特征在于，所述方法包括: 通過攝像機獲取監(jiān)控區(qū)域的視頻信息、攝像機的地理位置信息和攝像機的姿態(tài)信息； 將視頻信息、地理位置信息和姿態(tài)信息傳輸?shù)皆鰪姮F(xiàn)實管理終端，增強現(xiàn)實管理終端將地理位置信息和姿態(tài)信息進行圖形化處理后疊加在實時畫面上。
2.根據(jù)權(quán)利要求1所述的一種增強現(xiàn)實攝像機監(jiān)控方法，其特征在于，所述地理位置信息和姿態(tài)信息先嵌入到由視頻信息編碼而成的視頻流中，再傳輸?shù)皆鰪姮F(xiàn)實管理終端。
3.根據(jù)權(quán)利要求2所述的一種增強現(xiàn)實攝像機監(jiān)控方法，其特征在于，所述地理位置信息和姿態(tài)信息在嵌入到視頻流前經(jīng)過加密處理。
4.根據(jù)權(quán)利要求3所述的一種增強現(xiàn)實攝像機監(jiān)控方法，其特征在于，所述加密處理采用base64編碼加密處理。
5.根據(jù)權(quán)利要求2所述的一種增強現(xiàn)實攝像機監(jiān)控方法，其特征在于，采用H.264對視頻信息進行視頻編碼，使用輔助增強信息SEINal單元中的SEI消息承載地理位置信息和姿態(tài)信息；增強現(xiàn)實管理終端獲取視頻流并對視頻流進行解碼，解碼過程中采用H.264進行所述視頻解碼獲得視頻信息，并從視頻流中承載了地理位置信息和姿態(tài)信息的輔助增強信息SEINal單元的SEI消息中解析獲得地理位置信息和姿態(tài)信息,解析后的地理位置信息和姿態(tài)信息經(jīng)過圖形化處理后疊加在視頻畫面上顯示。
6.根據(jù)權(quán)利要求1所述的一種增強現(xiàn)實攝像機監(jiān)控方法，其特征在于，還通過增強現(xiàn)實管理終端添加自定義標簽信息。
7.一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)，包括攝像機和增強現(xiàn)實管理終端，所述攝像機設(shè)置有視頻采集模塊，其特征在于，所述攝像機還設(shè)置有地理位置信息采集模塊、姿態(tài)信息獲取模塊和視頻流處理模塊，所述視頻采集模塊、地理位置信息采集模塊和姿態(tài)信息獲取模塊分別與視頻流處理模塊電連接，所述增強現(xiàn)實管理終端與視頻流處理模塊電連接。
8.根據(jù)權(quán)利要求7所述的一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)，其特征在于，所述地理位置信息采集模塊為GPS定位模塊或北斗定位模塊，所述姿態(tài)信息獲取模塊為數(shù)字羅盤和加速度計。
9.根據(jù)權(quán)利要求7所述的一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)，其特征在于，所述增強現(xiàn)實管理終端包括有: 視頻流獲取模塊，所述視頻流獲取模塊與視頻流處理模塊電連接； 視頻流解碼模塊，所述視頻流解碼模塊與所述視頻流獲取模塊電連接； 圖形化處理模塊，所述圖形化處理模塊用于對地理位置信息和姿態(tài)信息進行圖形化處理，并與視頻流解碼模塊電連接； 自定義標簽添加模塊，所述自定義標簽添加模塊用于添加自定義標簽，并與圖形化處理模塊連接。
10.根據(jù)權(quán)利要求7所述的一種增強現(xiàn)實攝像機監(jiān)控系統(tǒng)，其特征在于，所述攝像機還設(shè)有用于為地理位置信息和姿態(tài)信息加密的加密模塊。
【文檔編號】H04N7/18GK104363430SQ201410726341
【公開日】2015年2月18日 申請日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】俞翔, 張永濤, 李江明, 胡穎, 羅中亮, 劉玉姣, 覃學(xué)松, 毛亮, 王勝, 劉新波, 汪剛, 黃振江, 劉雙廣 申請人:高新興科技集團股份有限公司