本發(fā)明涉及一種食品分析與圖像處理技術，特別是一種多特征融合的視頻摘要生成方法。

背景技術：

當前互聯(lián)網(wǎng)技術和只能設備的迅猛發(fā)展使得人們獲取視頻和瀏覽視頻的方式變得愈發(fā)多樣化，同時面對的視頻數(shù)據(jù)也越來越多，面對如此大量的視頻數(shù)據(jù)，如何從中尋找到我們需要的視頻數(shù)據(jù)或視覺信息是當前的一個研究熱點，也是視頻分析技術的研究內(nèi)容。在對海量視頻數(shù)據(jù)的研究基礎之上，對視頻數(shù)據(jù)的分析，處理和存儲等方法存在缺失，導致用戶在尋找有用視頻數(shù)據(jù)時存在盲目性的缺點，另外現(xiàn)在大部分生成視頻摘要的結果都不大理想，因為很多方法生成的視頻摘要都是靜態(tài)視頻摘要，這種視頻摘要不利于用戶瀏覽，更不利于用戶對視頻內(nèi)容的把握。因此需要對視頻數(shù)據(jù)進行數(shù)據(jù)挖掘和圖像處理得到一種實用性強的基于全局重要性和局部重要性的多特征融合的視頻摘要生成方法。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于全局重要性和局部重要性的多特征融合的視頻摘要生成方法，包括以下步驟：

步驟1，獲取視頻并將視頻作為輸入數(shù)據(jù)；

步驟2，對輸入的視頻數(shù)據(jù)進行片段的分割，記錄分割點和視頻片段的個數(shù)；

步驟3，提取每個視頻片段中的視頻幀和視頻幀中心塊；

步驟4，分別對提取的視頻幀和視頻幀中心塊進行特征和圖像質(zhì)量的計算；

步驟5，根據(jù)得到的特征進行全局重要性和局部重要性的計算；

步驟6，對得到的每一幀的全局重要性和局部重要性進行融合得到融合重要性；

步驟7，根據(jù)分割點對每個視頻片段進行重要性的計算；

步驟8，根據(jù)得到的每個視頻片段的重要性和設定閾值，對視頻片段進行選擇，選出一個優(yōu)化的視頻片段子集；

步驟9，根據(jù)選出的視頻片段子集進行視頻摘要的合成。

本發(fā)明利用了用戶獲取的多種視頻數(shù)據(jù)，包括通過智能設備獲取的和互聯(lián)網(wǎng)上獲取的視頻數(shù)據(jù)等多種視頻數(shù)據(jù)，這些獲取的多種來源的視頻數(shù)據(jù)，能夠盡可能的涵蓋網(wǎng)絡上的所有種類的視頻數(shù)據(jù)；本發(fā)明無需訓練即可快速得到用戶想要的視頻摘要，為用戶節(jié)約了大量的時間和精力；另外本發(fā)明還針對視頻中是否具有音頻信息動態(tài)地抽取視頻中的音頻信息放入視頻摘要；本發(fā)明在呈現(xiàn)給用戶視頻摘要結果的時候，利用了視頻分析和圖像處理的技術，將原始視頻分析處理得到濃縮的視頻摘要，使用戶能夠快速得到想要濃縮視頻，在很大程度上改進了用戶的體驗。

下面結合說明書附圖對本發(fā)明做進一步描述。

附圖說明

圖1是本發(fā)明基于全局重要性和局部重要性的多特征融合的視頻摘要生成方法流程圖。

圖2是本發(fā)明從原始視頻中提取的原始視頻幀示意圖。

圖3是本發(fā)明提取的視頻幀先分割成5x5的小塊，然后提取中心部分的3x3的中心塊用于計算局部重要性的示意圖。

圖4是本發(fā)明基于全局重要性和局部重要性的多特征融合的視頻摘要生成系統(tǒng)演示的效果圖。

具體實施方式

結合圖1，一種基于全局重要性和局部重要性的多特征融合的視頻摘要生成方法，包括以下步驟：

步驟1，獲取視頻并將視頻作為輸入數(shù)據(jù)；

步驟2，對輸入的視頻數(shù)據(jù)處理，得到一個個分割點和視頻片段的個數(shù)；

步驟3，提取每個視頻片段中的視頻幀和視頻幀中心塊；

步驟4，分別對提取的視頻幀和視頻幀中心塊進行特征和圖像質(zhì)量的計算；

步驟5，根據(jù)得到的特征進行全局重要性和局部重要性的計算；

步驟6，對得到的每一幀的全局重要性和局部重要性進行融合得到最終的融合重要性；

步驟7，根據(jù)分割點對每個視頻片段進行重要性的計算；

步驟8，根據(jù)得到的每個視頻片段的重要性，設定閾值進行視頻片段進行選擇，選出一個優(yōu)化的視頻片段子集；

步驟9，根據(jù)選出的視頻片段子集進行視頻摘要的合成。

步驟1中的視頻數(shù)據(jù)可通過互聯(lián)網(wǎng)和各種智能設備獲取，獲取視頻的網(wǎng)站包括http://www.youku.com/，http://www.iqiyi.com/等網(wǎng)站，獲取視頻的智能設備包括各種智能手機、平板等。

步驟2中將獲取的視頻數(shù)據(jù)作為輸入的視頻，并對其進行片段的分割，使用超幀分割的方法結合視頻的前景，背景和運動信息將視頻分割成一個個小的視頻片段，得到一個個分割點和視頻片段的個數(shù)，對視頻片段的剪切點和視頻片段個數(shù)進行保存以便后期的計算。

步驟3中對于視頻進行視頻幀和視頻幀中心塊的提取，視頻幀的提取使用常規(guī)的提取方法即可，但是對于視頻幀中心塊的提取需要先對視頻幀進行分割，這里為了使得視覺內(nèi)容得到很好的保留，將視頻幀平均分成5x5的塊，然后提取出中心部分的3x3的中心塊用于計算局部重要性。

步驟4中對提取的視頻幀和視頻幀中心塊進行圖片特征和圖像質(zhì)量的計算，計算的特征包括視覺顯著性曝光度，飽和度，色度，ruleofthirds，對比度，方向度，另外還需要計算視頻幀和視頻幀中心塊的圖像質(zhì)量的計算；其中視覺顯著性的計算公式為：

公式中，as為靜態(tài)顯著性，at為時間顯著性，γ為一個非負的經(jīng)驗性參數(shù)，fa只是指代一個函數(shù)名而已，用來表示兩種視覺顯著性的融合；

曝光度的計算公式為：

其中x,y分別為提取的視頻圖像轉(zhuǎn)換為hsv圖像的長度和寬度，x,y分別為通道v中的像素位置，iv(x,y)為hsv圖像的v通道。

色度的計算公式為：

其中x,y分別為提取的視頻圖像轉(zhuǎn)換為hsv圖像的長度和寬度，x,y分別為通道s中的像素位置，is(x,y)為hsv圖像的s通道。

飽和度的計算公式為：

其中x,y分別為提取的視頻圖像轉(zhuǎn)換為hsv圖像的長度和寬度，x,y分別為通道v中的像素位置，ih(x,y)為hsv圖像的v通道。

ruleofthirds的計算公式為：

其中x,y分別為提取的視頻圖像轉(zhuǎn)換為hsv圖像的長度和寬度，x,y分別為通道中的像素位置，ih(x,y)、is(x,y)、iv(x,y)為hsv圖像的三個通道。f5、f6、f7是根據(jù)ruleofthirds計算得到的三個特征值，主要是用這三個特征值來反映圖像中的主要信息位于圖像的三分位附近。

對于對比度，方向度的計算，主要是利用tamura紋理特征來計算的，tamura圖像紋理特征包括六種特征，分別為：粗糙度、對比度、方向度、線粒度、規(guī)則度和平滑度六種特征，這六種特征中的前三種特征對于圖像檢索領域來說具有非常重要的作用。

通過無參考圖像的圖像質(zhì)量評價方法獲取視頻幀的圖像質(zhì)量和視頻幀中心塊的圖像質(zhì)量而圖像質(zhì)量主要用來恒量提取的視頻幀和視頻幀中心塊的質(zhì)量的，因為從視頻中抽取的有的視頻幀和中心塊可能質(zhì)量比較低，所以我們需要考慮這些失真的模糊的視頻幀和中心塊所計算的這些特征是否能夠很好地表達視頻，因為圖像質(zhì)量好壞對視頻摘要的生成具有非常重要的作用。

步驟5中對于每幀視頻幀全局重要性和局部重要性的計算，全局重要性的計算公式為：

其中k指第k幀視頻，是視頻幀的質(zhì)量，fg_1～fg_9分別為要求4中計算的基于視頻幀的九個特征的值。

局部重要性的計算公式為：

其中k指第k幀視頻，是視頻幀的質(zhì)量，fl_1～fl_9分別為基于視頻幀中心塊的九個特征的值。

步驟6中對每幀視頻幀進行融合重要性的計算，融合的重要性由兩個部分組成：全局重要性和局部重要性。其計算公式為：

i_gk&lk＝i_gk+i_lk(10)

其中i_gk和i_lk分別為視頻幀的全局重要性和局部重要性。

步驟7中對每個視頻片段重要性的計算，主要根據(jù)步驟2中所得到的視頻片段的剪切點和步驟6中所得到的每一幀視頻幀的融合重要性計算每個視頻片段的平均融合重要性，這一重要性的計算主要為了對接下來的視頻片段子集的選擇做準備。

視頻片段的計算公式為：

ic指視頻片段的融合重要性之和，ij指視頻片段的平均融合重要性，i指步驟2中得到的一個剪切點，next_i指下一個剪切點。視頻片段的平均融合重要性ij作為接下來進行視頻片段子集選擇的依據(jù)。

步驟8中根據(jù)步驟7中計算得到的每個視頻片段的融合重要性和設定的閾值對步驟2中分割所得到的視頻片段集合進行子集的選擇，這里閾值設定為視頻摘要片段所占所有視頻片段的比例，不能設定的比例過高或者過低，否則選擇出來的視頻片段或太多或太少必定會影響視頻摘要的質(zhì)量，例如設定比例為15％或者設定為20％比較合適。

選擇子集的計算公式為：

其中{1,0}是一個決策函數(shù)，用來判斷某個視頻片段是否被選擇出來作為視頻摘要的一部分，如果選擇出來作為視頻摘要的一部分，該函數(shù)的值為1，否則為0?；谏厦娴墓轿覀兙涂梢赃x擇出一個合適的視頻片段子集。

步驟9中根據(jù)步驟8中所選擇出來的視頻片段子集進行視頻摘要的合成。所謂合成就是將所得到的視頻片段子集中每一個視頻片段按照原始視頻中的順序進行合并。視頻摘要的合成時需要考慮該視頻是否包含音頻信息，如果包含音頻信息，則在合成視頻摘要的過程中也要把音頻信息包含進去。如圖4所示為視頻摘要演示系統(tǒng)。這種視頻摘要方法以一種簡潔的方式將視頻摘要結果呈現(xiàn)在用戶面前，極大地改進了用戶對視頻數(shù)據(jù)的瀏覽體驗和需求。