專利名稱：一種基于視頻重構的重復片段定位方法
技術領域：
本發(fā)明涉及數字媒體挖掘、版權保護技術領域，尤其涉及一種基于視頻重構的重復片段定位方法。
背景技術：
隨著圖像和視頻采集設備的廣泛普及以及互聯網技術的飛速發(fā)展，人們可以方便地通過一些流行的圖像/視頻分享網站來分享自己的數字作品，這使得多媒體信息資源空前豐富。比如，著名的圖像分享網站Flickr和視頻分享網站YouTube存儲了數以十億計的圖像/視頻文件。通常，這些共享視頻是一些用戶自制的個性化視頻，除了純原創(chuàng)作品外，很大一部分作品是通過視頻編輯軟件加工合成一系列現有視頻片段構成，特別是網上流行 的視頻片段被不同視頻作品頻繁引用。從多媒體數據挖掘的角度來說，既然多個不同視頻作品包含同一視頻片段，那就說明它們之間在語義上存在著某種聯系，比如這些視頻可能都是在講述關于同一主題的故事等。如果能根據視頻片段的重復出現性來尋找視頻數據庫中視頻間存在的一些語義關聯，并將這些關聯信息融合到多媒體搜索之中，就可以有效地減少系統(tǒng)相似性度量和用戶感知的不一致性，進而提高多媒體搜索引擎的搜索質量。從數字媒體版權保護的角度，被引用視頻片段的原創(chuàng)單位或個人需要知道其作品被哪些視頻使用，進而維護其數字媒體的知識產權。無論是多媒體數據挖掘還是數字媒體版權保護，其核心問題是如何準確地判斷、并精確地定位出多媒體中重復出現的視頻片段。由于被引用視頻片段并不是原封不動的被插入到新視頻作品中，而是經過一定的視頻編輯之后才被使用，所以重復片段定位的主要挑戰(zhàn)是如何快速精確地在視頻作品中定位這些經過視頻變換的片段。最近幾年，重復視頻片段檢測吸引了眾多研究機構的目光，并且產生了大量的成果。在早期的研究中，待檢測的視頻通常是一個比較短的視頻片段，我們稱之為查詢視頻，重復檢測的目標是判斷此查詢視頻片段是否和引用視頻中某等長片段一致。較為常見的檢測模式是基于模板匹配的方法，其分三步進行(I)首先，抽取查詢視頻片段和引用視頻片段的關鍵幀并提取特征；(2)其次，查詢視頻通過一個滑動窗來順序地匹配引用視頻上所有和其等長的子視頻，這種匹配是通過累積查詢視頻幀和引用子視頻幀的視覺相似程度來獲得的；(3)最后，通過相似度閾值判斷，來確定查詢視頻片段是否和對應的子視頻是重復的。這種方法的一個明顯不足是，查詢視頻片段被當成一個整體來進行判斷，要么全部和某段引用子視頻重復，要么全部不重復。也就是說，如果查詢片段中只有一小部分和引用視頻重復，基于模板匹配的方法就會產生很大偏差甚至失效。一種可能的改進措施是將查詢片段重新分解成所有可能的子片段，對每一個子片段再應用上述方法進行檢測。然而，如果查詢片段很長，那么這種方法將極大增加系統(tǒng)的時間開銷，影響系統(tǒng)的響應效率。另一種可選的方法是使用基于視頻重構的重復片段定位方法。這種方法主要包括四個主要步驟
(I)首先，抽取查詢視頻片段和引用視頻片段的關鍵幀；(2)其次，為每一幅關鍵巾貞提取視覺特征；(3)然后，通過視覺特征的相似性計算，為每個查詢幀從所有引用視頻關鍵幀中搜索一個最相似的引用關鍵巾貞列表。(4)最后，利用時間上的一致性約束來從相似引用關鍵幀列表中重構引用視頻片段，進而判斷查詢中是否有重復片段出現。由于這種方法不再直接將查詢序列和引用視頻序列進行直接窗口匹配，所以它能更加靈活地處理查詢視頻中子片段的重復檢測問題。然而，當前的重構算法大都是以一種批處理的方式來重構引用視頻片段。也就是說，它們要求事先一次性為所有查詢關鍵幀都 返回一個相似引用幀列表，然后成批地處理所有列表以判斷查詢視頻中是否有重復片段出現。對于小段查詢視頻，這種方法不僅形式簡單，而且檢測效果也很好。但是，如果查詢視頻太長，這種批處理方式就會面臨高計算復雜度和高內存空間的問題，限制了其在實際媒體環(huán)境中的應用。

發(fā)明內容
本發(fā)明的目的在于提供一種基于視頻重構的重復片段定位方法來解決傳統(tǒng)方法中存在的問題。通過有效地利用重復片段之間的時間一致性信息來自動判斷長查詢視頻和長引用視頻中是否有重復片段出現，并精確地定位出其出現位置。為了達到以上目的，本發(fā)明公開了一種基于視頻重構的重復片段定位方法，包括以下步驟(I).去除查詢視頻序列和引用視頻序列中視頻幀與視頻幀之間存在的大量冗余，為時間臨近、內容一致的小段視頻抽取具有代表性的視頻關鍵幀，實現數據的精簡處理；(2).利用偽文本文檔來描述視頻關鍵幀內容；(3).將視頻關鍵幀之間的視覺相似性計算轉化為偽文本文檔之間的相似性度量，對查詢視頻關鍵幀和引用視頻關鍵幀之間的相似性進行度量，進而為每一幅查詢關鍵幀返回一系列相似引用關鍵幀；(4).綜合利用重復視頻片段的時間一致性約束及不重復片段之間的時間不連續(xù)性來重構引用視頻片段、確定重復視頻片段的邊界信息。進一步，作為一種優(yōu)選，所述步驟(I)中通過一種基于鏡頭邊界約束的均勻采樣方法來抽取視頻的關鍵幀序列。進一步，作為一種優(yōu)選，上述具體的關鍵幀提取步驟如下首先，利用鏡頭檢測方法，將引用數據庫中視頻分割成一個個視頻鏡頭；然后，在每一個視頻鏡頭內均勻采樣，獲得一系列可以表示此鏡頭的關鍵幀；最后，將鏡頭的時間邊界信息和鏡頭內采樣的關鍵幀關聯起來。進一步，作為一種優(yōu)選，所述步驟(2)采用詞包技術將局部SIFT描述子量化視覺詞，并顯式地將視覺詞包轉化為一個偽文本文檔。進一步，作為一種優(yōu)選，所述偽文本文檔具體的提取流程如下首先,使用Hessian-Affine Region Extractor來為每一幅關鍵巾貞提取一系列仿射不變的關鍵點；
其次，為每一個關鍵點計算一個128維的SIFT描述子；然后，采用詞包(Bag-of-Words)技術將每一幅關鍵幀中的所有局部SIFT描述子量化為視覺詞；最后，為每幅關鍵巾貞中的唯一視覺詞顯式地對于一個唯一的、隨機產生的文本詞，所有的偽文本詞構成一個偽文本文檔。進一步,作為一種優(yōu)選,所述步驟(3)中直接采用文本搜索領域的0kapiBM25相似性度量函數來測量查詢幀和引用幀對應偽文本文檔的相似度。本發(fā)明和現有技術相比具有以下有益效果本發(fā)明并不特定于短查詢視頻的重復檢測，也不依賴于特定的閾值選擇方法，而是采用一種在線的(on-line)方式來檢測重復片段。在這種在線方式下，對于每一個到達的查詢關鍵幀，都要做出一個判斷，這不僅判斷此查詢關鍵幀是否和某引用幀重復，還斷定此查詢視頻幀是否是重復片段的起始或終止位置。


當結合附圖考慮時，通過參照下面的詳細描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點，但此處所說明的附圖用來提供對本發(fā)明的進一步理解，構成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構成對本發(fā)明的不當限定，其中圖I是本發(fā)明定位方法流程圖；圖2查詢視頻關鍵幀相似性搜索示意圖；圖3時間一致性約束示意圖；圖4引用視頻序列重構示意圖。
具體實施例方式參照圖I至圖4對本發(fā)明的實施例進行說明。 為使上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細的說明。如圖I所示，一種基于視頻重構的重復片段定位方法，包括以下步驟SI、去除查詢視頻序列和弓I用視頻序列中視頻幀與視頻幀之間存在的大量冗余，為時間臨近、內容一致的小段視頻抽取具有代表性的視頻關鍵幀，實現數據的精簡處理；S2、利用偽文本文檔來描述視頻關鍵幀內容；S3、將視頻關鍵幀之間的視覺相似性計算轉化為偽文本文檔之間的相似性度量，對查詢視頻關鍵幀和引用視頻關鍵幀之間的相似性進行度量，進而為每一幅查詢關鍵幀返回一系列相似引用關鍵幀；S4、綜合利用重復視頻片段的時間一致性約束及不重復片段之間的時間不連續(xù)性來重構引用視頻片段、確定重復視頻片段的邊界信息。以下對發(fā)明各部分進行詳細說明I.關鍵幀提取目前，普遍使用的關鍵幀提取方法主要有兩種。一種是先通過鏡頭檢測算法將視頻分割成內容一致的鏡頭，然后選擇一幀來作為此鏡頭的關鍵幀。另一種是直接通過均勻采樣來獲取視頻的關鍵幀。事實上，這兩種方法各有優(yōu)缺點?；阽R頭的關鍵幀提取方法可以最大程度的降低數據量，但丟失了太多的時間信息。而基于均勻采樣的提取方法可以通過加大采樣密度來獲取更多時間信息，但采集的數據量比較大。本發(fā)明將兩種關鍵幀提取算法融合成一個方法，提出了一種基于鏡頭邊界約束的均勻采樣方案，其具體的關鍵幀提取步驟如下(I).首先，利用鏡頭檢測方法，將引用數據庫中視頻分割成一個個視頻鏡頭；(2).然后，在每一個視頻鏡頭內均勻采樣，獲得一系列可以表示此鏡頭的關鍵幀。本發(fā)明每秒采樣3幀；(3).最后，將鏡頭的時間邊界信息和鏡頭內采樣的關鍵幀關聯起來。這種關鍵幀提取方法的主要特征是，每一幅均勻采樣的關鍵幀都對應一個鏡頭邊 界。利用關鍵幀的鏡頭邊界信息，就可以很好地緩解由視頻變換或特征的不完美性造成的匹配偏移問題。另外，這個邊界信息對于定位拷貝的起源位置也很有幫助。2.偽文本特征提取本發(fā)明也采用了偽文本文檔來描述視頻關鍵幀的內容，其具體的提取流程如下(I).首先,使用Hessian-Affine Region Extractor來為每一幅關鍵巾貞提取一系列仿射不變的關鍵點；(2).其次，為每一個關鍵點計算一個128維的SIFT描述子；(3).然后，采用詞包(Bag-of-Words)技術將每一幅關鍵幀中的所有局部SIFT描述子量化為視覺詞；(4).最后，為每幅關鍵巾貞中的唯一視覺詞顯式地對于一個唯一的、隨機產生的文本詞，所有的偽文本詞構成一個偽文本文檔。3.視頻關鍵幀的相似性度量由于本發(fā)明將每一幅視頻關鍵幀轉化為一個偽文本文檔，所以視頻關鍵幀直接的相似性計算可以轉化為偽文本文檔之間的相似性計算。因此，我們可以直接利用文本搜索領域中許多成熟的索引方法及相似性度量方法來快速地進行視頻關鍵幀的相似性度量。本發(fā)明采用了文本搜索領域的0kapiBM25相似性度量函來測量查詢幀和引用幀的相似度。4.引用視頻片段的重構基于引用視頻片段重構的重復片段定位方法的具體流程(I).如圖2所示，通過關鍵幀相似性搜索，本發(fā)明首先為每一幅查詢視頻關鍵幀返回一系列相似的引用視頻關鍵幀；其中S1-S7為查詢幀，Y11-Y74為引用幀，S2、S3、S4分別和Y22、Y31和Y43相似。(2).根據時間一致性約束條件來融合這些返回的引用幀，重構時間連續(xù)的引用視頻片段。如圖3所示，時間一致性約束條是指如果某段查詢視頻和某段引用視頻重復，那么它們的對應視頻幀應該是連續(xù)相似的，例如查詢子片段Q和引用子片段R連續(xù)相似。(3).如圖4所示，對于某個查詢子片段Q，比如S2、S3和S4，如果我們能從它的相似引用幀中找到時間連續(xù)的三個引用幀，比如Y22、Y31和Y43三幀。那么這三個引用幀就可以重構出一個時間連續(xù)的引用視頻片段，也就可以斷定查詢子片段Q和此重構的引用視頻片段是重復的。
(4).以上三個步驟只能判斷查詢視頻片段Q是否和某段引用視頻重復，但并沒有解決如何定位Q在查詢流中的起始終止位置的問題。本發(fā)明利用不重復片段之間的時間不連續(xù)性來確定重復視頻的邊界。如果t時刻的查詢幀的相似引用幀h不能從其后At個時刻引用幀中找到一個時間連續(xù)的幀，那么查詢序列的時刻位置t很可能就是一個重復片段的結束位置。重復片段的開始位置可以采用類似的方法確定。由于重復視頻的判斷、邊界的定位是以一種在線的(On-Line)的方式進行，其可以處理長查詢視頻或無邊界查詢視頻流的情況，為后續(xù)的長視頻間語義關聯挖掘、版權保護打下基礎。
如上所述，對本發(fā)明的實施例進行了詳細地說明，但是只要實質上沒有脫離本發(fā)明的發(fā)明點及效果可以有很多的變形，這對本領域的技術人員來說是顯而易見的。因此，這樣的變形例也全部包含在本發(fā)明的保護范圍之內。
權利要求
1.一種基于視頻重構的重復片段定位方法，其特征在于，包括以下步驟 (1).去除查詢視頻序列和引用視頻序列中視頻幀與視頻幀之間存在的大量冗余，為時間臨近、內容一致的小段視頻抽取具有代表性的視頻關鍵幀，實現數據的精簡處理； (2).利用偽文本文檔來描述視頻關鍵幀內容； (3).將視頻關鍵幀之間的視覺相似性計算轉化為偽文本文檔之間的相似性度量，對查詢視頻關鍵幀和引用視頻關鍵幀之間的相似性進行度量，進而為每一幅查詢關鍵幀返回一系列相似引用關鍵巾貞; (4).綜合利用重復視頻片段的時間一致性約束及不重復片段之間的時間不連續(xù)性來重構引用視頻片段、確定重復視頻片段的邊界信息。
2.根據權利要求I所述的一種基于視頻重構的重復片段定位方法，其特征在于，所述步驟(I)中通過一種基于鏡頭邊界約束的均勻采樣方法來抽取視頻的關鍵幀序列。
3.根據權利要求2所述的一種基于視頻重構的重復片段定位方法，其特征在于，其具體的關鍵幀提取步驟如下 首先，利用鏡頭檢測方法，將引用數據庫中視頻分割成一個個視頻鏡頭； 然后，在每一個視頻鏡頭內均勻采樣，獲得一系列可以表示此鏡頭的關鍵幀； 最后，將鏡頭的時間邊界信息和鏡頭內采樣的關鍵幀關聯起來。
4.根據權利要求I所述的一種基于視頻重構的重復片段定位方法，其特征在于，所述步驟(2)采用詞包技術將局部SIFT描述子量化視覺詞，并顯式地將視覺詞包轉化為一個偽文本文檔。
5.根據權利要求4所述的一種基于視頻重構的重復片段定位方法，其特征在于，所述偽文本文檔具體的提取流程如下 首先，使用Hessian-Affine Region Extractor來為每一幅關鍵巾貞提取一系列仿射不變的關鍵點； 其次，為每一個關鍵點計算一個128維的SIFT描述子； 然后，采用詞包技術將每一幅關鍵幀中的所有局部SIFT描述子量化為視覺詞； 最后，為每幅關鍵巾貞中的唯一視覺詞顯式地對于一個唯一的、隨機產生的文本詞，所有的偽文本詞構成一個偽文本文檔。
6.根據權利要求I所述的一種基于視頻重構的重復片段定位方法，其特征在于，所述步驟(3)中直接采用文本搜索領域的0kapiBM25相似性度量函數來測量查詢幀和引用幀對應偽文本文檔的相似度。
全文摘要
本發(fā)明公開了一種基于視頻重構的重復片段定位方法，包括以下步驟去除查詢視頻序列和引用視頻序列中視頻幀與視頻幀之間存在的大量冗余，為時間臨近、內容一致的小段視頻抽取具有代表性的視頻關鍵幀，實現數據的精簡處理；利用偽文本文檔來描述視頻關鍵幀內容；將視頻關鍵幀之間的視覺相似性計算轉化為偽文本文檔之間的相似性度量，對查詢視頻關鍵幀和引用視頻關鍵幀之間的相似性進行度量，進而為每一幅查詢關鍵幀返回一系列相似引用關鍵幀；綜合利用重復視頻片段的時間一致性約束及不重復片段之間的時間不連續(xù)性來重構引用視頻片段、確定重復視頻片段的邊界信息?？捎糜跀底置襟w挖掘、版權保護。
文檔編號H04N21/232GK102750339SQ201210182770
公開日2012年10月24日 申請日期2012年6月5日 優(yōu)先權日2012年6月5日
發(fā)明者朱振峰, 趙耀, 韋世奎 申請人:北京交通大學