專利名稱：基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理和模式識(shí)別技術(shù)領(lǐng)域的方法，特別是一種基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法。
背景技術(shù)：
網(wǎng)絡(luò)視音頻是目前國內(nèi)外快速發(fā)展的新型媒體內(nèi)容服務(wù)產(chǎn)業(yè)，以YouTube和 Tudou為代表的新型網(wǎng)絡(luò)視音頻服務(wù)提供商成為了互聯(lián)網(wǎng)經(jīng)濟(jì)的新寵。我國的網(wǎng)絡(luò)視音頻也正在得到飛速的發(fā)展。上海互聯(lián)網(wǎng)視聽網(wǎng)站數(shù)量居全國前列，用戶覆蓋全國，用戶總量超過1. 3億。互聯(lián)網(wǎng)視聽節(jié)目傳播的影響力越來越大，需要進(jìn)行全面、有效管理，凈化國內(nèi)互聯(lián)網(wǎng)視聽節(jié)目傳播環(huán)境，為青少年健康成長(zhǎng)提供良好的網(wǎng)絡(luò)氛圍。但是目前對(duì)于政策、制度和管理的支持缺乏有效的監(jiān)管手段和先進(jìn)的技術(shù)平臺(tái)，使得在管理技術(shù)與產(chǎn)業(yè)技術(shù)之間產(chǎn)生了一定的距離，導(dǎo)致了目前視音頻產(chǎn)業(yè)發(fā)展遇到嚴(yán)重的瓶頸。因此，當(dāng)前迫切需要提升視音頻技術(shù)管理手段，彌合管理技術(shù)與行業(yè)技術(shù)的差距，通過行業(yè)管理部門與產(chǎn)業(yè)典型企業(yè)的密切合作，解決視音頻產(chǎn)業(yè)發(fā)展的瓶頸。經(jīng)過對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，Weiming Hu, Niahua Xie等在《IEEE Transactions on Systems, Man, and Cybernetics-Part C !Applications and Reviews》 vol.99, PP 1-23, March. 2011,(《IEEE學(xué)報(bào)之系統(tǒng)，人類和控制論-C部分應(yīng)用和回顧》 2011年3月，第99卷，1-23頁)上發(fā)表的“圖像與視頻檢索技術(shù)與系統(tǒng)”(“A Survey on Visual Content-Based Video Indexing and Retrieval”)，該文中列舉了近年來基于內(nèi)容的視頻索引和檢索方法。對(duì)于視頻的檢索方法是1)特征提取，對(duì)視頻進(jìn)行鏡頭分割；2) 在每個(gè)鏡頭中提取關(guān)鍵幀；幻用每個(gè)關(guān)鍵幀的特征向量到數(shù)據(jù)庫中進(jìn)行匹配，最后得到檢索的結(jié)果。然而，針對(duì)互聯(lián)網(wǎng)上的視頻，上述方法有以下的不足第一，網(wǎng)絡(luò)中的視頻種類很多，一些在某些訓(xùn)練視頻集中有效的特征不一定對(duì)于網(wǎng)絡(luò)中的視頻有效；第二，一些傳統(tǒng)方法提取的關(guān)鍵幀往往有很多冗余，網(wǎng)絡(luò)中視頻繁多，關(guān)鍵幀過多會(huì)造成檢索性能下降；第三，對(duì)網(wǎng)絡(luò)中的視頻進(jìn)行分類時(shí)，視頻庫相當(dāng)龐大，很多沒有鑒別力的鏡頭和關(guān)鍵幀的存在會(huì)對(duì)檢索結(jié)果造成很大影響。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索技術(shù)，從視頻的角度，研究互聯(lián)網(wǎng)視頻的分析和檢索技術(shù)，為互聯(lián)網(wǎng)視音頻節(jié)目?jī)?nèi)容分析、分類和研判提供信息和判據(jù)。為了達(dá)到上述目的，本發(fā)明提出一種基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，包括如下步驟步驟一，從互聯(lián)網(wǎng)上隨機(jī)采集若干視頻作為訓(xùn)練樣本集，建立視頻庫，并提取所述訓(xùn)練樣本集中所有視頻中每幀的分塊顏色直方圖特征和亮度特征作為鏡頭分割判斷依據(jù)；
步驟二，根據(jù)步驟一中提取的所述兩種特征對(duì)所述訓(xùn)練樣本集中的所有視頻進(jìn)行自適應(yīng)方式鏡頭分割，并得到鏡頭分割列表；步驟三，根據(jù)所述鏡頭分割列表以及所述兩種特征對(duì)所述訓(xùn)練樣本集中的所有視頻提取關(guān)鍵幀以及獲得關(guān)鍵幀的索引；步驟四，對(duì)于一個(gè)待檢索視頻，首先按照步驟一，步驟二和步驟三的處理之后得到關(guān)鍵幀列表，然后采用軟性判決方法進(jìn)行快速定位和檢索。進(jìn)一步的，所述提取顏色直方圖特征和亮度特征，具體為根據(jù)視頻中各圖像幀的在RGB信道下的4*4分塊顏色直方圖提取顏色特征；根據(jù)視頻中各圖像幀的平均亮度和方法方差亮度提取亮度特征。進(jìn)一步的，一個(gè)η bin的顏色直方圖特征通過以下公式計(jì)算得到
「0014
權(quán)利要求
1.一種基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，包括如下步驟步驟一，從互聯(lián)網(wǎng)上隨機(jī)采集若干視頻作為訓(xùn)練樣本集，建立視頻庫，并提取所述訓(xùn)練樣本集中所有視頻中每幀的分塊顏色直方圖特征和亮度特征作為鏡頭分割判斷依據(jù)；步驟二，根據(jù)步驟一中提取的所述兩種特征對(duì)所述訓(xùn)練樣本集中的所有視頻進(jìn)行自適應(yīng)方式鏡頭分割，并得到鏡頭分割列表；步驟三，根據(jù)所述鏡頭分割列表以及所述兩種特征對(duì)所述訓(xùn)練樣本集中的所有視頻提取關(guān)鍵幀以及獲得關(guān)鍵幀的索引；步驟四，對(duì)于一個(gè)待檢索視頻，首先按照步驟一，步驟二和步驟三的處理之后得到關(guān)鍵幀列表，然后采用軟性判決方法進(jìn)行快速定位和檢索。
2.根據(jù)權(quán)利要求1所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述提取顏色直方圖特征和亮度特征，具體為根據(jù)視頻中各圖像幀的在RGB信道下的4*4分塊顏色直方圖提取顏色特征；根據(jù)視頻中各圖像幀的平均亮度和方法方差亮度提取亮度特征。
3.根據(jù)權(quán)利要求2所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，一個(gè)ηbin的顏色直方圖特征通過以下公式計(jì)算得到
4.根據(jù)權(quán)利要求2所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述圖像幀的平均亮度通過以下公式計(jì)算得到
5.根據(jù)權(quán)利要求4所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述方差亮度通過以下公式計(jì)算得到
6.根據(jù)權(quán)利要求1所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述自適應(yīng)方式鏡頭分割，具體為①采用自適應(yīng)閾值算法分別對(duì)步驟一中提取的兩種特征集進(jìn)行處理，得到兩個(gè)鏡頭分割列表；②取得所述兩個(gè)鏡頭分割列表的并集作為待定列表；③采用軟性判決方法，通過S型函數(shù)得到每個(gè)待定鏡頭分割位置的置信概率，對(duì)最終的結(jié)果做出判斷。
7.根據(jù)權(quán)利要求1所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述提取關(guān)鍵幀以及獲得關(guān)鍵幀的索引方法，具體為①將時(shí)間信息和顏色特征信息組合成綜合信息；②采用改進(jìn)型K-Means算法聚類得到不同鏡頭的關(guān)鍵幀及其索引；③采用尺度不變特征轉(zhuǎn)換相似度匹配過濾掉同一個(gè)鏡頭中冗余的關(guān)鍵幀。
8.根據(jù)權(quán)利要求1所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述軟性判決方法，具體為①在關(guān)鍵幀數(shù)據(jù)庫中，使用歐式距離計(jì)算公式計(jì)算每個(gè)關(guān)鍵幀與其他幀的最短距離；②將所有的最短距離輸入S型置信函數(shù)中得到每個(gè)關(guān)鍵幀索引的置信概率；③待檢索視頻的關(guān)鍵幀列表進(jìn)行匹配，得到置信概率列表；④統(tǒng)計(jì)列表，總概率最大的視頻就是定位視頻。
9.根據(jù)權(quán)利要求8所述的基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，其特征在于，所述S型置信函數(shù)表達(dá)為y — i_q & χ e((Dis tan ce-0. 4)/10)其中，Distance代表最短距離。
全文摘要
本發(fā)明提出一種基于內(nèi)容的互聯(lián)網(wǎng)視頻檢索方法，包括步驟一，從互聯(lián)網(wǎng)上隨機(jī)采集若干視頻作為訓(xùn)練樣本集，建立視頻庫，并提取訓(xùn)練樣本集中所有視頻中每幀的分塊顏色直方圖特征和亮度特征作為鏡頭分割判斷依據(jù)。步驟二，根據(jù)步驟一中提取的兩種特征對(duì)訓(xùn)練樣本集中的所有視頻進(jìn)行自適應(yīng)方式鏡頭分割，并得到鏡頭分割列表。步驟三，根據(jù)鏡頭分割列表以及特征對(duì)訓(xùn)練樣本集中的所有視頻提取關(guān)鍵幀以及獲得關(guān)鍵幀的索引。步驟四，對(duì)于一個(gè)待檢索視頻，首先按照步驟一，二和三處理之后得到關(guān)鍵幀列表，然后采用一種新的軟性判決方法進(jìn)行快速定位和檢索。本發(fā)明可以實(shí)現(xiàn)視頻的快速定位和檢索，有較快的處理速度和較高的檢索效率和檢索正確率。
文檔編號(hào)G06F17/30GK102254006SQ20111019966
公開日2011年11月23日 申請(qǐng)日期2011年7月15日 優(yōu)先權(quán)日2011年7月15日
發(fā)明者劉功申, 李建華, 李生紅, 殷杰, 王士林 申請(qǐng)人:上海交通大學(xué)