圖像處理裝置的制造方法
【專利摘要】提供一種圖像處理裝置，該圖像處理裝置用于在屬于不同信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，將所述幀按每個(gè)所述信道進(jìn)行分類。所述圖像處理裝置包括自動(dòng)分類部。所述自動(dòng)分類部通過(guò)對(duì)所述活動(dòng)圖像中包含的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，并根據(jù)所述類似度，將所述多個(gè)幀分類至多個(gè)信道。
【專利說(shuō)明】
圖像處理裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理裝置以及圖像處理程序，特別是涉及當(dāng)屬于不同信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，用于將這些幀按各個(gè)信道進(jìn)行分類的圖像處理裝置以及圖像處理程序。
【背景技術(shù)】
[0002]作為對(duì)活動(dòng)圖像錄像的一種方式，已知有延時(shí)這樣的間歇式錄像方式。這是一種以低于通常情況的幀速率、簡(jiǎn)單地說(shuō)邊降幀邊進(jìn)行錄像的方式，可以使相同記錄介質(zhì)進(jìn)行比通常情況更長(zhǎng)時(shí)間的錄像。在監(jiān)控?cái)z像機(jī)中也經(jīng)常會(huì)采用該延時(shí)的方式，進(jìn)而，有時(shí)還會(huì)在由于降低幀速率而產(chǎn)生的間隙時(shí)間內(nèi)插入其它監(jiān)控?cái)z像機(jī)的視頻。在該情況下，記錄多個(gè)攝像機(jī)的視頻、即多個(gè)信道的視頻沿一個(gè)時(shí)間軸交替切換這樣的活動(dòng)圖像。
[0003]對(duì)于將多個(gè)信道的視頻匯總在一個(gè)時(shí)間軸上進(jìn)行錄像后的活動(dòng)圖像，如果使用專用設(shè)備，則可以將每個(gè)攝像機(jī)的、即每個(gè)信道的視頻顯示在監(jiān)控器上。在專利文獻(xiàn)I的專用設(shè)備中，對(duì)視頻的各幀賦予信道編號(hào)的數(shù)據(jù)，播放時(shí)，通過(guò)參照該數(shù)據(jù)，可以從多個(gè)信道的視頻混在一起的視頻中僅調(diào)取任意信道的視頻。
[0004]在先技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:特開2002-319210號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的技術(shù)問(wèn)題
[0008]但是，在一般的播放設(shè)備上播放多個(gè)信道的視頻混在一起的視頻時(shí)，無(wú)法看到每個(gè)信道的視頻。這是因?yàn)?，用于識(shí)別各幀的信道的方式分廠家或機(jī)種而有所不同，一般的播放設(shè)備無(wú)法應(yīng)對(duì)這些方式。
[0009]本發(fā)明的目的在于，提供當(dāng)屬于不同信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，不論該活動(dòng)圖像是通過(guò)什么樣的方式(仕様)進(jìn)行錄像的，都可以進(jìn)行每個(gè)信道的播放的圖像處理裝置以及圖像處理程序。
[0010]用于解決技術(shù)問(wèn)題的方案
[0011 ]本發(fā)明的第一方面所涉及的圖像處理裝置，用于在屬于不同的信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，按各個(gè)所述信道對(duì)所述幀進(jìn)行分類，所述圖像處理裝置包括自動(dòng)分類部。所述自動(dòng)分類部通過(guò)對(duì)包含在所述活動(dòng)圖像中的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，并根據(jù)所述類似度，將所述多個(gè)幀分類至多個(gè)信道。
[0012]這里，在屬于不同信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，提供用于按照每個(gè)信道來(lái)分類這些幀的功能。具體而言，首先，對(duì)活動(dòng)圖像中包含的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，據(jù)此，多個(gè)幀被自動(dòng)地分類至多個(gè)信道。根據(jù)該功能，不管活動(dòng)圖像的方式如何，均可以將屬于不同信道的幀混在一起的活動(dòng)圖像分離為對(duì)應(yīng)每個(gè)信道的活動(dòng)圖像。即、當(dāng)屬于不同信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，不論該活動(dòng)圖像是通過(guò)什么方式錄像的活動(dòng)圖像，都可以進(jìn)行每個(gè)信道的播放。
[0013]本發(fā)明的第二方面所涉及的圖像處理裝置在第一方面所涉及的圖像處理裝置的基礎(chǔ)上，所述自動(dòng)分類部包括設(shè)定部、計(jì)算部、和判斷部。所述設(shè)定部將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀，并將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀。所述計(jì)算部執(zhí)行計(jì)算處理。所述計(jì)算處理是將所述比較幀以及所述基準(zhǔn)幀分割為多個(gè)局部區(qū)域，按各個(gè)所述局部區(qū)域算出所述比較幀和所述基準(zhǔn)幀之間的局部類似度，并且，僅利用該局部類似度高的所述局部區(qū)域來(lái)算出綜合類似度的處理。所述綜合類似度是所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的所述類似度。所述判斷部根據(jù)所述綜合類似度，執(zhí)行所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同信道的判斷處理。
[0014]需要說(shuō)明的是，“將幀分割為多個(gè)局部區(qū)域”除了包括將整個(gè)幀全部無(wú)重復(fù)地分割為多個(gè)局部區(qū)域之外，還包括將整個(gè)幀的部分區(qū)域(例如，除去外框區(qū)域的中央?yún)^(qū)域等)全部無(wú)重復(fù)地分割為多個(gè)局部區(qū)域、或?qū)⒄麄€(gè)幀或其一部分分割為局部重復(fù)的多個(gè)局部區(qū)域；等等。
[0015]這里，為了算出活動(dòng)圖像中包含的幀間的類似度，比較幀以及基準(zhǔn)幀被分割為局部區(qū)域，以該局部區(qū)域?yàn)閱挝?，?jì)算出比較幀和基準(zhǔn)幀之間的局部類似度。然后，僅利用局部類似度高的局部區(qū)域來(lái)算出幀整體上的綜合類似度。該綜合類似度為比較幀和基準(zhǔn)幀是否屬于相同信道的判斷基準(zhǔn)。
[0016]S卩、這里，在計(jì)算綜合類似度時(shí)，不考慮局部類似度低的局部區(qū)域的信息。這是因?yàn)?，屬于相同信道的幀之間其背景圖像一致，但在存在移動(dòng)體的部分(下面，稱為移動(dòng)體部分)則為不同的圖像。并且，在移動(dòng)體部分占幀整體的比例大的情況下，如果利用幀整體的信息來(lái)判斷幀間的綜合類似度的話，則即使是屬于相同信道的幀之間，也會(huì)有綜合類似度被判斷為低的擔(dān)憂。因此，這里，為了避免誤判斷，被認(rèn)為包含很多移動(dòng)體部分的局部類似度低的局部區(qū)域不用于綜合類似度的計(jì)算。其結(jié)果是，可以降低移動(dòng)體的影響，能夠正確地判斷所比較的幀彼此是否屬于相同的信道。
[0017]本發(fā)明的第三方面所涉及的圖像處理裝置在第一方面所涉及的圖像處理裝置的基礎(chǔ)上，所述自動(dòng)分類部包括設(shè)定部、計(jì)算部、和判斷部。所述設(shè)定部將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀，并將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀。所述計(jì)算部執(zhí)行計(jì)算處理。所述計(jì)算處理是從所述比較幀中檢測(cè)特征點(diǎn)，對(duì)應(yīng)每個(gè)所述特征點(diǎn)設(shè)定其附近區(qū)域，并且，僅利用所述附近區(qū)域來(lái)算出綜合類似度的處理。所述綜合類似度是所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的所述類似度。所述判斷部根據(jù)所述綜合類似度，執(zhí)行所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同信道的判斷處理。
[0018]這里，為了算出活動(dòng)圖像中包含的幀間的類似度，從比較幀中檢測(cè)出特征點(diǎn)，并僅利用該特征點(diǎn)的附近區(qū)域來(lái)算出比較幀和基準(zhǔn)幀之間的綜合類似度。該綜合類似度為比較幀和基準(zhǔn)幀是否屬于相同信道的判斷基準(zhǔn)。
[0019]S卩、這里，在計(jì)算綜合類似度時(shí)，不考慮特征點(diǎn)的附近區(qū)域以外的區(qū)域的信息。這是因?yàn)?，即使是屬于不同信道的幀之間，如果它們是拍攝了相似景象的幀，在利用幀整體的信息來(lái)判斷幀間的綜合類似度時(shí)，則會(huì)存在綜合類似度被判斷為高的擔(dān)憂。例如，在拍攝了同一店內(nèi)的不同場(chǎng)所的兩個(gè)視頻中，有時(shí)都是相同的均勻色壁紙、床等占據(jù)了幀的大部分，在這樣的情況下，幀整體的綜合類似度高。因此，這里，為了避免誤判斷，特征點(diǎn)的附近區(qū)域以外的區(qū)域、即拍有相同的均勻色壁紙、床等背景的可能性高的區(qū)域不用于綜合類似度的計(jì)算。其結(jié)果是，可以降低相似背景的影響，能正確地判斷所比較的幀之間是否屬于相同的信道。
[0020]本發(fā)明的第四方面所涉及的圖像處理裝置在第三方面所涉及的圖像處理裝置的基礎(chǔ)上，所述計(jì)算部將所述比較幀分割為多個(gè)局部區(qū)域，并按各個(gè)所述局部區(qū)域從所述比較幀中檢測(cè)所述特征點(diǎn)。
[0021]這里，為了算出活動(dòng)圖像中包含的幀間的類似度，比較幀被分割為局部區(qū)域，并以該局部區(qū)域?yàn)閱挝粰z測(cè)特征點(diǎn)。其結(jié)果是，特征點(diǎn)不會(huì)偏于幀的整個(gè)畫面的一部分區(qū)域，而是從幀整體之中大致均等地檢出。其結(jié)果是，在僅利用特征點(diǎn)的附近區(qū)域來(lái)算出綜合類似度的情況下，可以避免該綜合類似度為評(píng)價(jià)集中的一部分區(qū)域的類似度的值。因此，可以正確地評(píng)價(jià)所比較的幀之間的類似度。
[0022]本發(fā)明的第五方面所涉及的圖像處理裝置在第三方面或第四方面所涉及的圖像處理裝置的基礎(chǔ)上，所述計(jì)算部按各個(gè)所述附近區(qū)域算出所述比較幀和所述基準(zhǔn)幀之間的局部類似度，并且，僅利用該局部類似度高的所述附近區(qū)域來(lái)算出所述綜合類似度。
[0023]這里，為了算出活動(dòng)圖像中包含的幀間的類似度，比較幀被分割為局部區(qū)域，以該局部區(qū)域?yàn)閱挝粊?lái)檢測(cè)特征點(diǎn)。然后，以特征點(diǎn)的附近區(qū)域?yàn)閱挝唬愠霰容^幀和基準(zhǔn)幀之間的局部類似度，進(jìn)而，僅利用局部類似度高的附近區(qū)域來(lái)算出綜合類似度。
[0024]S卩、這里，在計(jì)算綜合類似度時(shí)，不考慮局部類似度低的特征點(diǎn)的附近區(qū)域的信息。這是因?yàn)?，屬于相同信道的幀之間其背景圖像一致，但在移動(dòng)體部分則為不同的圖像。并且，在移動(dòng)體部分占幀整體的比例大的情況下，如果利用幀整體的信息來(lái)判斷幀間的綜合類似度，則即使是屬于相同信道的幀之間，也會(huì)有被判斷為綜合類似度低的擔(dān)憂。因此，這里，為了避免誤判斷，被認(rèn)為包含很多移動(dòng)體部分的局部類似度低的區(qū)域不用于綜合類似度的計(jì)算。其結(jié)果是，可以降低移動(dòng)體的影響，能夠正確地判斷所比較的幀之間是否屬于相同的信道。
[0025]本發(fā)明的第六方面所涉及的圖像處理裝置在第二方面至第五方面中任一方面所涉及的圖像處理裝置的基礎(chǔ)上，所述設(shè)定部從用戶接收幀的畫面內(nèi)的區(qū)域的設(shè)定，并將包含在所述活動(dòng)圖像中的特定幀的所述區(qū)域內(nèi)的圖像、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀的所述區(qū)域內(nèi)的圖像而得的幀設(shè)定為基準(zhǔn)幀，而將包含在所述活動(dòng)圖像中的其它特定幀的所述區(qū)域內(nèi)的圖像設(shè)定為比較幀。
[0026]例如，在作為處理對(duì)象的活動(dòng)圖像是監(jiān)控?cái)z像機(jī)的視頻等的情況下，常常會(huì)在幀的畫面內(nèi)設(shè)置有日期和時(shí)間的顯示區(qū)域。于是，如果利用包含這樣的日期和時(shí)間的顯示區(qū)域的幀整體的信息來(lái)判斷幀間的類似度的話，則即使是屬于相同信道的幀之間，也會(huì)有被判斷為類似度低的擔(dān)憂。此外，在幀的畫面內(nèi)存在設(shè)置有黑邊的情況。相反，在這樣的情況下，如果利用包含黑邊的幀整體的信息來(lái)判斷幀間的類似度的話，則即使是屬于不同信道的幀之間，也會(huì)有被判斷為類似度高的擔(dān)憂。這里，在幀的畫面內(nèi)，僅將用戶所指定的區(qū)域用作類似度計(jì)算的根據(jù)。因此，可以將可能成為上述那樣的誤判斷的主要因素的區(qū)域從作為類似度計(jì)算的根據(jù)的區(qū)域中排除。
[0027]本發(fā)明的第七方面所涉及的圖像處理裝置在第二方面至第六方面中任一方面所涉及的圖像處理裝置的基礎(chǔ)上，所述設(shè)定部能夠設(shè)定多個(gè)所述基準(zhǔn)幀。在設(shè)定有多個(gè)所述基準(zhǔn)幀的情況下，所述計(jì)算部針對(duì)所述各基準(zhǔn)幀執(zhí)行所述計(jì)算處理。所述判斷部在所述判斷處理中，判斷所述綜合類似度最高的所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀屬于相同的所述信道。
[0028]這里，可以設(shè)定多個(gè)基準(zhǔn)幀。并且，將比較幀與各基準(zhǔn)幀相比較，將其與提供最高綜合類似度的基準(zhǔn)幀分類至相同的信道。需要說(shuō)明的是，這里的基準(zhǔn)幀作為代表特定信道的幀而起作用。其結(jié)果是，可以正確地將活動(dòng)圖像中包含的幀分類至多個(gè)信道。
[0029]本發(fā)明的第八方面所涉及的圖像處理裝置在第七方面所涉及的圖像處理裝置的基礎(chǔ)上，所述設(shè)定部邊從所述活動(dòng)圖像中依次選擇幀，邊將最開始選擇的幀設(shè)定為所述基準(zhǔn)幀，而將之后選擇的幀設(shè)定為所述比較幀。每當(dāng)所述設(shè)定部新設(shè)定了所述比較幀時(shí)，所述計(jì)算部執(zhí)行所述計(jì)算處理，并且，所述判斷部執(zhí)行所述判斷處理。所述設(shè)定部在通過(guò)所述判斷處理判斷為所述比較幀與任一個(gè)所述基準(zhǔn)幀、或任一個(gè)作為所述基準(zhǔn)幀的合成源的幀均不屬于相同的所述信道的情況下，將該比較幀重新設(shè)定為所述基準(zhǔn)幀。
[0030]這里，從活動(dòng)圖像中依次選擇幀，并將最開始選擇的幀設(shè)定為代表特定信道的基準(zhǔn)幀。此外，第二個(gè)及其之后選擇的幀首先被設(shè)定為比較幀。然后，將比較幀和到此為止所設(shè)定的各基準(zhǔn)幀進(jìn)行比較，在判斷為不屬于任一個(gè)與基準(zhǔn)幀對(duì)應(yīng)的信道的情況下，則重新將其設(shè)定為代表新的信道的基準(zhǔn)幀。根據(jù)該方法，例如可以避免活動(dòng)圖像中包含的幀的循環(huán)(総當(dāng)?shù)谋容^，能在抑制計(jì)算負(fù)擔(dān)的同時(shí)，將活動(dòng)圖像中包含的幀分類至多個(gè)信道。
[0031]本發(fā)明的第九方面所涉及的圖像處理裝置在第七方面或第八方面所涉及的圖像處理裝置的基礎(chǔ)上，所述設(shè)定部邊從所述活動(dòng)圖像中依次選擇幀，邊將最開始選擇的幀設(shè)定為所述基準(zhǔn)幀，而將之后選擇的幀設(shè)定為所述比較幀。每當(dāng)所述設(shè)定部新設(shè)定了所述比較幀時(shí)，所述計(jì)算部執(zhí)行所述計(jì)算處理，并且，所述判斷部執(zhí)行所述判斷處理，所述設(shè)定部在通過(guò)所述判斷處理判斷為所述比較幀與任一所述基準(zhǔn)幀、或任一作為所述基準(zhǔn)幀的合成源的幀屬于相同的所述信道的情況下，將該比較幀合成到該基準(zhǔn)幀中。
[0032]這里，從活動(dòng)圖像中依次選擇幀，將最開始選擇的幀設(shè)定為代表特定信道的基準(zhǔn)幀。此外，第二個(gè)及其之后選擇的幀首先被設(shè)定為比較幀。然后，將比較幀和到此為止所設(shè)定的各基準(zhǔn)幀進(jìn)行比較，在判斷為屬于與任一基準(zhǔn)幀對(duì)應(yīng)的信道的情況下，該比較幀被合成于該基準(zhǔn)幀。根據(jù)該方法，代表特定信道的基準(zhǔn)幀可以成為正確地代表屬于該信道的各種幀的圖像，能夠?qū)⒒顒?dòng)圖像中包含的幀正確地分類至多個(gè)信道。
[0033]本發(fā)明的第十方面所涉及的圖像處理裝置在第八方面或第九方面所涉及的圖像處理裝置的基礎(chǔ)上，在從所述活動(dòng)圖像中選擇了最后的幀、并且所述計(jì)算處理以及所述判斷處理結(jié)束之后，若設(shè)定有多個(gè)所述基準(zhǔn)幀，則所述計(jì)算部算出所述多個(gè)基準(zhǔn)幀之間的類似度。所述判斷部將所述多個(gè)基準(zhǔn)幀之間的類似度高的所述基準(zhǔn)幀所對(duì)應(yīng)的所述信道彼此合并為一個(gè)信道。
[0034]這里，在針對(duì)各個(gè)幀的自動(dòng)分類的判斷結(jié)束之后，再次判斷信道之間的類似度。因此，可以減少最終通過(guò)自動(dòng)分類檢出的信道的數(shù)量，提高信道分類的精度。
[0035]本發(fā)明的第十一方面所涉及的圖像處理裝置在第八方面至第十方面中任一方面所涉及的圖像處理裝置的基礎(chǔ)上，在從所述活動(dòng)圖像中選擇了最后的幀、并且所述計(jì)算處理以及所述判斷處理結(jié)束之后，所述判斷部消除僅規(guī)定幅數(shù)以下的幀所屬的所述信道。
[0036]這里，在針對(duì)各個(gè)幀的自動(dòng)分類的判斷結(jié)束之后，若存在僅包含規(guī)定幅數(shù)以下的幀的信道時(shí)，則消除這樣的信道。由此，可以避免不被視為信道那樣的信道包含在自動(dòng)分類的最終結(jié)果中，能夠提高信道分類的精度。
[0037]本發(fā)明的第十二方面所涉及的圖像處理裝置在第一方面至第十一方面中任一方面所涉及的圖像處理裝置的基礎(chǔ)上，所述類似度是相關(guān)系數(shù)。
[0038]這里，可以基于幀間的相關(guān)系數(shù)，將活動(dòng)圖像中包含的幀分類至多個(gè)信道。
[0039]本發(fā)明的第十三方面所涉及的圖像處理程序，用于在屬于不同的信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，按各個(gè)所述信道對(duì)所述幀進(jìn)行分類，所述圖像處理程序使計(jì)算機(jī)執(zhí)行分類步驟，在所述分類步驟中，通過(guò)對(duì)包含在所述活動(dòng)圖像中的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，并根據(jù)所述類似度，將所述多個(gè)幀分類至多個(gè)信道。這里，可以實(shí)現(xiàn)和第一方面相同的效果。
[0040]本發(fā)明的第十四方面所涉及的圖像處理程序在第十三方面所涉及的圖像處理程序的基礎(chǔ)上，所述分類步驟包括:將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀的步驟;將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀的步驟;將所述比較幀以及所述基準(zhǔn)幀分割為多個(gè)局部區(qū)域的步驟;按各個(gè)所述局部區(qū)域算出所述比較幀和所述基準(zhǔn)幀之間的局部類似度的步驟;僅利用所述局部類似度高的所述局部區(qū)域來(lái)算出所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的綜合類似度的步驟；以及根據(jù)所述綜合類似度執(zhí)行所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同信道的判斷處理的步驟。這里，可以實(shí)現(xiàn)和第二方面相同的效果。
[0041]本發(fā)明的第十五方面所涉及的圖像處理程序在第十三方面所涉及的圖像處理程序的基礎(chǔ)上，所述分類步驟包括:將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀的步驟;將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀的步驟;從所述比較幀中檢測(cè)特征點(diǎn)的步驟;對(duì)應(yīng)每個(gè)所述特征點(diǎn)設(shè)定作為其附近的區(qū)域的附近區(qū)域的步驟;僅利用所述附近區(qū)域來(lái)算出所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的綜合類似度的步驟；以及根據(jù)所述綜合類似度判斷所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同信道的步驟。這里，可以實(shí)現(xiàn)和第三方面相同的效果。
[0042]發(fā)明效果
[0043]根據(jù)本發(fā)明，不管活動(dòng)圖像的方式如何，均可以將屬于不同信道的幀混在一起的活動(dòng)圖像分離為對(duì)應(yīng)每個(gè)信道的活動(dòng)圖像。即、當(dāng)屬于不同信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，不論該活動(dòng)圖像是通過(guò)什么方式錄像的活動(dòng)圖像，都可以進(jìn)行每個(gè)信道的播放。
【附圖說(shuō)明】
[0044]圖1是本發(fā)明的第一實(shí)施方式所涉及的圖像處理裝置的框圖。
[0045]圖2是取入圖像數(shù)據(jù)前的基本畫面的圖。
[0046]圖3是取入圖像數(shù)據(jù)后的基本畫面的圖。
[0047]圖4是表示屬于一個(gè)時(shí)間軸的靜止圖像組的圖。
[0048]圖5是表示區(qū)域設(shè)定窗口的圖。
[0049]圖6是表不再分類窗口的圖。
[ΟΟδΟ]圖7是表不再分類窗口的另一圖。
[0051 ]圖8是表示確認(rèn)窗口的圖。
[0052]圖9是表示本發(fā)明的第一實(shí)施方式所涉及的自動(dòng)分類處理的流程的流程圖。
[0053]圖10是說(shuō)明本發(fā)明的第一實(shí)施方式所涉及的類似度計(jì)算方法的概念圖。
[0054]圖11是表示本發(fā)明的第二實(shí)施方式所涉及的自動(dòng)分類處理的流程的流程圖。
[0055]圖12是說(shuō)明本發(fā)明的第二實(shí)施方式所涉及的類似度計(jì)算方法的概念圖。
[0056]圖13是表示本發(fā)明的第三實(shí)施方式所涉及的自動(dòng)分類處理的流程的流程圖。
[0057]圖14是說(shuō)明本發(fā)明的第三實(shí)施方式所涉及的類似度計(jì)算方法的概念圖。
[0058]圖15是說(shuō)明本發(fā)明的第三實(shí)施方式所涉及的另一類似度計(jì)算方法的概念圖。
[0059]圖16是說(shuō)明本發(fā)明的第三實(shí)施方式所涉及的再一類似度計(jì)算方法的概念圖。
[0060]圖17是表示本發(fā)明的第三實(shí)施方式所涉及的色彩傾向評(píng)價(jià)處理的流程的流程圖。
[0061]圖18是說(shuō)明定義印象度的信息的圖。
【具體實(shí)施方式】
[0062]下面，參照附圖對(duì)本發(fā)明的幾個(gè)實(shí)施方式所涉及的圖像處理裝置以及圖像處理程序進(jìn)行說(shuō)明。
[0063]U.第一實(shí)施方式〉
[0064]〈 1-1.圖像處理裝置的概要〉
[0065]圖1所示的圖像處理裝置I是本發(fā)明所涉及的圖像處理裝置的一個(gè)實(shí)施方式。圖像處理裝置I是通用的個(gè)人計(jì)算機(jī)。圖像處理裝置I中安裝有作為本發(fā)明所涉及的圖像處理程序的一實(shí)施方式的圖像處理程序2，該圖像處理程序2是由存儲(chǔ)該程序的⑶-R0M、DVD-R0M、USB存儲(chǔ)器等計(jì)算機(jī)可讀的記錄介質(zhì)60等提供的。圖像處理程序2是用于支持針對(duì)活動(dòng)圖像以及靜止圖像的圖像處理的應(yīng)用軟件。圖像處理程序2使圖像處理裝置I執(zhí)行后述的動(dòng)作所包括的步驟。
[0066]圖像處理裝置I具有顯示器10、輸入部20、存儲(chǔ)部30以及控制部40。這些部10?40彼此通過(guò)總線或纜線5等而連接，可適當(dāng)進(jìn)行通信。顯示器10由液晶顯示器等構(gòu)成，向用戶顯示后述的畫面等。輸入部20由鼠標(biāo)以及鍵盤等構(gòu)成，接收用戶對(duì)圖像處理裝置I的操作。存儲(chǔ)部30是由硬盤等構(gòu)成的非易失性的存儲(chǔ)區(qū)域?？刂撇?0由CPU、R0M以及RAM等構(gòu)成。
[0067]圖像處理程序2存儲(chǔ)于存儲(chǔ)部30內(nèi)。在存儲(chǔ)部30內(nèi)確保有軟件管理區(qū)域50。軟件管理區(qū)域50是圖像處理程序2所使用的區(qū)域。在軟件管理區(qū)域50內(nèi)確保有原始圖像區(qū)域51、加工文件區(qū)域52以及印象度定義區(qū)域53。關(guān)于各區(qū)域51?53的作用將在后面進(jìn)行描述。
[0068]控制部40讀出并執(zhí)行存儲(chǔ)于存儲(chǔ)部30內(nèi)的圖像處理程序2，從而虛擬地作為自動(dòng)分類部41以及再分類部45而進(jìn)行動(dòng)作。此外，自動(dòng)分類部也作為設(shè)定部42、計(jì)算部43以及判斷部44而進(jìn)行動(dòng)作。關(guān)于各部41?45的動(dòng)作將在后面進(jìn)行描述。
[0069]〈1-2.圖像處理裝置的構(gòu)成以及動(dòng)作的詳細(xì)情況〉
[0070]控制部40在檢測(cè)到用戶通過(guò)輸入部20進(jìn)行了規(guī)定的操作時(shí)，啟動(dòng)圖像處理程序2。在啟動(dòng)圖像處理程序2之后，在顯示器10上顯示基本畫面Wl(參照?qǐng)D2)。需要注意的是，顯示器10上顯示的畫面、窗口、按鈕及其它所有元素的顯示均由控制部40控制。
[0071]〈1-2-1.圖像數(shù)據(jù)的取入〉
[0072]基本畫面Wl從用戶接收將圖像數(shù)據(jù)取進(jìn)原始圖像區(qū)域51的命令。取進(jìn)原始圖像區(qū)域51的圖像數(shù)據(jù)將作為后述的播放處理、圖像處理以及信道分離處理的對(duì)象。控制部40從靜止圖像文件或活動(dòng)圖像文件中將圖像數(shù)據(jù)取入到原始圖像區(qū)域51。需要說(shuō)明的是，在本說(shuō)明書中，靜止圖像文件是指靜止圖像形式的數(shù)據(jù)文件，活動(dòng)圖像文件是指活動(dòng)圖像形式的數(shù)據(jù)文件。
[0073]在從靜止圖像文件取入圖像數(shù)據(jù)時(shí)，用戶通過(guò)操作輸入部20來(lái)指定一個(gè)靜止圖像文件或一個(gè)文件夾。在前者的情況下，控制部40使用戶輸入該靜止圖像文件在存儲(chǔ)部30內(nèi)的地址路徑以及文件名。在后者的情況下，控制部40使用戶輸入該文件夾在存儲(chǔ)部30內(nèi)的地址路徑以及文件夾名。之后，控制部40將所指定的靜止圖像文件或所指定的文件夾內(nèi)的所有靜止圖像文件作為靜止圖像文件組保存在原始圖像區(qū)域51。需要說(shuō)明的是，在本說(shuō)明書中，在稱為“組”的情況下，其成分的數(shù)量不限定為多個(gè)，也可以是一個(gè)。
[0074]另一方面，在從活動(dòng)圖像文件取入圖像數(shù)據(jù)時(shí)，用戶通過(guò)操作輸入部20而輸入一個(gè)活動(dòng)圖像文件在存儲(chǔ)部30內(nèi)的地址路徑以及文件名?？刂撇?0在檢測(cè)到用戶指定了活動(dòng)圖像文件時(shí)，在基本畫面Wl上重置顯不活動(dòng)圖像取入窗口(未圖不)?；顒?dòng)圖像取入窗口用于從用戶接收所指定的活動(dòng)圖像文件在時(shí)間軸上的整個(gè)區(qū)間中的任意區(qū)間的選擇?？刂撇?0在檢測(cè)到用戶通過(guò)輸入部20選擇了特定的區(qū)間時(shí)，生成與所指定的活動(dòng)圖像文件的該區(qū)間中包含的幀組一一對(duì)應(yīng)的靜止圖像文件組。之后，控制部40將該靜止圖像文件組保存在原始圖像區(qū)域51。因此，在本實(shí)施方式中，作為后述的播放處理、圖像處理以及信道分離處理的對(duì)象的圖像數(shù)據(jù)不是活動(dòng)圖像文件，而是靜止圖像文件。
[0075]需要說(shuō)明的是，控制部40不僅是在取進(jìn)原始圖像區(qū)域51的靜止圖像文件組源于活動(dòng)圖像文件的情況下，而且在源于靜止圖像文件的情況下也會(huì)將靜止圖像文件組識(shí)別為沿著一個(gè)時(shí)間軸排列的文件組。排列是基于文件的屬性等自動(dòng)賦予的。
[0076]〈1-2-2.播放處理〉
[0077]在靜止圖像文件組取入到了原始圖像區(qū)域51時(shí)，控制部40在基本畫面Wl上重疊顯示顯示窗口 W2(參照?qǐng)D3)。創(chuàng)建取進(jìn)原始圖像區(qū)域51的靜止圖像文件組的時(shí)間軸的數(shù)量的顯示窗口 W2。
[0078]在顯示窗口W2內(nèi)，首先顯示取進(jìn)原始圖像區(qū)域51的靜止圖像文件組中包含的一個(gè)靜止圖像文件(例如，在時(shí)間軸上位于最前面的幀的靜止圖像文件)。然后，如后面所述，顯示窗口 W2內(nèi)顯示的幀接受用戶的操作而進(jìn)行切換。
[0079]控制部40可以在顯示窗口 W2內(nèi)將屬于對(duì)應(yīng)該顯示窗口 W2的時(shí)間軸的幀組作為活動(dòng)圖像播放。這里，如圖3所示，在基本畫面Wl上配置有窗口選擇下拉菜單Tl、播放按鈕T2、逐幀播放按鈕T3、回放按鈕T4以及時(shí)間軸條(t ime I ine bar) T5。
[0080]即使在存在多個(gè)顯示窗口W2的情況下，激活的顯示窗口W2也是一個(gè)。窗口選擇下拉菜單Tl從用戶接收使哪個(gè)顯示窗口 W2激活的選擇。下面，將對(duì)應(yīng)激活的顯示窗口 W2的時(shí)間軸稱為激活時(shí)間軸、將屬于激活時(shí)間軸的幀組稱為激活幀組。此外，將當(dāng)前顯示于激活的顯不窗口W2內(nèi)的巾貞稱為激活顯不中貞。
[0081]播放按鈕T2用于從用戶接收激活幀組作為活動(dòng)圖像播放的命令?？刂撇?0在檢測(cè)到用戶通過(guò)輸入部20按下了播放按鈕T2時(shí)，在激活的顯示窗口 W2內(nèi)以沿著時(shí)間軸依次逐幀播放的形式來(lái)顯示激活幀組中包含的幀。需要注意的是，從按下了播放按鈕T2的時(shí)間點(diǎn)的激活顯示幀開始播放。此外，播放按鈕T2從用戶接收播放停止的命令?？刂撇?0在檢測(cè)到在播放過(guò)程中用戶通過(guò)輸入部20按下了播放按鈕T2時(shí)，將激活的顯示窗口 W2內(nèi)的顯示固定為該時(shí)間點(diǎn)的激活顯示幀。
[0082]逐幀播放按鈕T3、回放按鈕T4分別從用戶接收將激活顯示幀切換為沿著激活時(shí)間軸的后一個(gè)幀、前一個(gè)幀的命令。
[0083]時(shí)間軸條T5是圖解式地示出激活時(shí)間軸的對(duì)象(object)。時(shí)間軸條T5在該時(shí)間軸條的延伸方向上按激活幀組的幅數(shù)而被等分割。時(shí)間軸條T5上的從左開始第η個(gè)分割區(qū)域與激活時(shí)間軸上的第η幀對(duì)應(yīng)(η為自然數(shù))。
[0084]如圖3所示，時(shí)間軸條Τ5以不同方式來(lái)顯示對(duì)應(yīng)于選擇幀組的分割區(qū)域Al和對(duì)應(yīng)于非選擇幀組的分割區(qū)域Α2。選擇幀組是指與在激活時(shí)間軸上當(dāng)前所選擇的區(qū)間對(duì)應(yīng)的幀組。非選擇幀組是指與在激活時(shí)間軸上當(dāng)前未被選擇的區(qū)間對(duì)應(yīng)的幀組。
[0085]時(shí)間軸條Τ5從用戶接收激活時(shí)間軸上的任意區(qū)間的選擇。換言之，用戶通過(guò)輸入部20來(lái)操作時(shí)間軸條Τ5上的分割區(qū)域，從而可以從激活幀組中選擇任意數(shù)量的任意幀?？刂撇?0將選擇幀組識(shí)別為后述的圖像處理以及信道分離處理的對(duì)象。需要注意的是，每當(dāng)用戶選擇了時(shí)間軸條Τ5上的分割區(qū)域時(shí)，激活顯示幀切換為最新選擇的分割區(qū)域所對(duì)應(yīng)的幀。
[0086]〈1-2-3.圖像處理〉
[0087]下面，說(shuō)明針對(duì)選擇幀組的圖像處理?？刂撇?0可以執(zhí)行去噪、清晰度、亮度/對(duì)比度/彩度調(diào)整、圖像分辨率、旋轉(zhuǎn)、字符/箭頭/馬賽克的添加、圖像均衡等多個(gè)圖像處理模塊。圖像處理模塊編入圖像處理程序2中。
[0088]用戶通過(guò)輸入部20來(lái)操作基本畫面Wl，從而能夠以任意次數(shù)按任意順序從圖像處理模塊中選擇任意的模塊?？刂撇?0每當(dāng)檢測(cè)到用戶選擇了圖像處理模塊時(shí)，對(duì)選擇幀組執(zhí)行該圖像處理模塊。
[O O89 ]隨著一次、兩次、三次、…地對(duì)幀依次執(zhí)行圖像處理模塊，該幀被依次加工為第一次、第二次、第三次、…。第O次幀對(duì)應(yīng)于保存于原始圖像區(qū)域51的靜止圖像文件。第(m+1)次幀對(duì)應(yīng)于針對(duì)與第m次幀對(duì)應(yīng)的靜止圖像文件執(zhí)行了一次圖像處理模塊后的靜止圖像文件(m為O以上的整數(shù))?？刂撇?0依次生成與第一次以后的幀對(duì)應(yīng)的靜止圖像文件，并將這些靜止圖像文件分別單獨(dú)地保存在加工文件區(qū)域52內(nèi)。
[0090]圖4是示出屬于一個(gè)時(shí)間軸的靜止圖像組如何被圖像處理程序2所管理的概念圖。在圖4中，橫軸的N軸表示時(shí)間軸上的幀的順序，縱軸的M軸表示加工的順序。與圖4的N-M空間內(nèi)的坐標(biāo)(n、m)對(duì)應(yīng)的四邊形表示靜止圖像Q(n、m)。靜止圖像Q(n、m)是在時(shí)間軸上第η幀的第m次的靜止圖像(η為自然數(shù)、m為O以上的整數(shù))。
[0091]關(guān)于各幀，控制部40將當(dāng)前所選擇的坐標(biāo)m的值作為參數(shù)ms來(lái)進(jìn)行管理。在緊接著靜止圖像文件組被取進(jìn)原始圖像區(qū)域51之后，坐標(biāo)心為初始值O。然后，每執(zhí)行一次圖像處理模塊，該幀的坐標(biāo)ms逐一增加。此外，用戶通過(guò)輸入部20進(jìn)行規(guī)定的操作，從而可以自由地變更選擇幀組的坐標(biāo)ms。需要說(shuō)明的是，對(duì)幀執(zhí)行圖像處理模塊是指，對(duì)該幀的第ms次的靜止圖像執(zhí)行圖像處理模塊。因此，變更坐標(biāo)此具有變更圖像處理模塊的執(zhí)行對(duì)象的含義。此外，顯示幀是指，顯示該幀的坐標(biāo)ms的靜止圖像。因此，變更坐標(biāo)ms也具有變更激活的顯示窗口 W2內(nèi)所顯示的對(duì)象的含義。
[0092]〈1-3.信道分離處理〉
[0093]下面，對(duì)安裝于圖像處理程序2的信道分離處理進(jìn)行說(shuō)明。信道分離處理是指，將屬于不同信道的視頻混在一起的活動(dòng)圖像分離為每個(gè)信道的活動(dòng)圖像的處理。即、要作為信道分離處理的對(duì)象的活動(dòng)圖像典型地是指，對(duì)于以延時(shí)的方式錄像的多個(gè)活動(dòng)圖像，以將其它活動(dòng)圖像的視頻埋入各活動(dòng)圖像的間隙時(shí)間的形式混合在了一個(gè)時(shí)間軸上的活動(dòng)圖像(下面，稱為混合延時(shí)活動(dòng)圖像)。混合延時(shí)活動(dòng)圖像是多個(gè)信道的視頻沿時(shí)間軸交替切換這樣的活動(dòng)圖像。
[0094]信道分離處理是針對(duì)選擇幀組而執(zhí)行的，但是，信道分離處理的執(zhí)行需要多個(gè)幀。因此，假設(shè)在僅選擇了一個(gè)幀作為選擇幀組的狀態(tài)下，用于開始信道分離處理的操作按鈕等被無(wú)效化而無(wú)法開始信道分離處理?；蛘撸词故莾H選擇了一個(gè)幀作為選擇幀組，但是在激活時(shí)間軸上存在多個(gè)幀的情況下，也可以將激活時(shí)間軸上的所有幀作為信道分離處理的對(duì)象。下面，將作為信道分離處理的對(duì)象的幀組稱為對(duì)象幀組。此外，將由對(duì)象幀組構(gòu)成的活動(dòng)圖像稱為對(duì)象活動(dòng)圖像。
[0095]信道分離處理包括:將對(duì)象活動(dòng)圖像中包含的多個(gè)幀自動(dòng)分類至多個(gè)信道的自動(dòng)分類處理、和用戶通過(guò)手動(dòng)操作來(lái)校正自動(dòng)分類處理的分類結(jié)果的再分類處理。
[0096]自動(dòng)分類處理由自動(dòng)分類部41執(zhí)行。自動(dòng)分類處理是通過(guò)對(duì)包含于對(duì)象活動(dòng)圖像中的多個(gè)幀實(shí)施圖像處理而將這些幀自動(dòng)分類至多個(gè)信道的處理。具體而言，自動(dòng)分類部41算出幀間的類似度，根據(jù)該類似度，將對(duì)象活動(dòng)圖像中包含的多個(gè)幀分類至多個(gè)信道。幀間的類似度作為被比較的幀屬于相同信道的指標(biāo)而被算出。關(guān)于自動(dòng)分類處理的詳細(xì)情況將在后面進(jìn)行描述，作為自動(dòng)分類處理的結(jié)果，檢測(cè)出多個(gè)信道。多個(gè)幀屬于各個(gè)信道。需要說(shuō)明的是，只要是將混合延時(shí)活動(dòng)圖像作為對(duì)象，通常會(huì)檢測(cè)出多個(gè)信道，但是，自動(dòng)分類處理的結(jié)果也有可能是僅檢測(cè)出一個(gè)信道。此外，在自動(dòng)分類處理中，對(duì)判斷為不屬于任一信道的幀賦予“未分類”這樣的分類的標(biāo)簽。因此，作為自動(dòng)分類處理的結(jié)果，對(duì)包含于對(duì)象活動(dòng)圖像中的各幀賦予任一信道的信道名或者“未分類”的任一標(biāo)簽。
[0097]再分類處理由再分類部45執(zhí)行。再分類處理是按照用戶的操作將對(duì)象活動(dòng)圖像中包含的任意的幀單獨(dú)分類至任意的信道的處理。具體而言，在再分類處理中，可以將通過(guò)自動(dòng)分類處理未分類至任一信道的未分類的幀單獨(dú)分類至特定的信道。此外，也可以將通過(guò)自動(dòng)分類處理分類至錯(cuò)誤信道的幀分類至正確的其它信道。因此，在用戶感到自動(dòng)分類處理的結(jié)果奇怪的情況下，可以以幀為單位來(lái)校正有問(wèn)題的幀所屬的信道。此外，在再分類處理中，也可以按照用戶的操作，新創(chuàng)建信道、或者將多個(gè)信道合并為一個(gè)信道。即、再分類處理用于自動(dòng)分類處理的結(jié)果的手動(dòng)校正。
[0098]自動(dòng)分類部41在檢測(cè)到用戶通過(guò)輸入部20進(jìn)行了規(guī)定的操作時(shí)，開始信道分離處理。在信道分離處理開始后，設(shè)定部42首先在基本畫面Wl上重疊顯示用于顯示選擇幀的區(qū)域設(shè)定窗口W3(參照?qǐng)D5)。區(qū)域設(shè)定窗口W3是從用戶接收選擇幀內(nèi)的作為用于在自動(dòng)分類處理中算出幀間的類似度的基準(zhǔn)的區(qū)域的指定的畫面。選擇幀是包含于對(duì)象幀組中的一個(gè)幀，例如，可以設(shè)為對(duì)象幀組中沿著時(shí)間軸的最開始的幀、或者設(shè)為激活顯示幀。需要注意的是，雖然根據(jù)已經(jīng)描述的內(nèi)容可以明確，但是，激活顯示幀由于是在時(shí)間軸條T5上最新選擇的幀，因此，必然包含于對(duì)象幀組。
[0099]在對(duì)象活動(dòng)圖像是監(jiān)控?cái)z像機(jī)的視頻等的情況下，常常會(huì)在幀的畫面內(nèi)(在圖5的例子中為左下部分)設(shè)置有日期和時(shí)刻的顯示區(qū)域。并且，如果利用包含這樣的日期和時(shí)刻的顯示區(qū)域的幀整體的信息來(lái)判斷幀間的類似度的話，則即使是屬于相同信道的幀彼此，也會(huì)有被判斷為類似度低的擔(dān)憂。此外，在幀的畫面內(nèi)有時(shí)會(huì)設(shè)置有黑邊。相反，在這樣的情況下，如果利用包含黑邊的幀整體的信息來(lái)判斷幀間的類似度的話，則即使是屬于不同信道的幀彼此，也會(huì)有被判斷為類似度高的擔(dān)憂。此外，在對(duì)象活動(dòng)圖像是由設(shè)置于不同電梯內(nèi)的監(jiān)控?cái)z像機(jī)的視頻構(gòu)成的混合延時(shí)活動(dòng)圖像的情況下，也容易判斷為屬于不同信道的幀間的類似度高。這是因?yàn)殡娞輧?nèi)的景物均比較類似。區(qū)域設(shè)定窗口W3有助于避免這樣的事態(tài)，將可能成為誤判斷的主要因素的區(qū)域從作為類似度計(jì)算的根據(jù)的區(qū)域中排除，以使在自動(dòng)分類處理中算出的幀間的類似度成為屬于相同信道的正確的指標(biāo)。具體而言，用戶在區(qū)域設(shè)定窗口 W3的選擇幀內(nèi)指定對(duì)各信道的背景賦予特征的區(qū)域。以電梯的例子來(lái)進(jìn)行說(shuō)明，只要指定對(duì)各電梯內(nèi)的景物賦予特征的拍有海報(bào)等的區(qū)域即可。用戶如果在區(qū)域設(shè)定窗口 W3上通過(guò)鼠標(biāo)等的操作指定了選擇幀內(nèi)的任意區(qū)域，則在選擇幀內(nèi)顯示表示由用戶所指定的區(qū)域的框線71。由此，用戶可以確認(rèn)是否指定了正確的區(qū)域。
[0100]然后，如果用戶按下了區(qū)域設(shè)定窗口W3上的開始按鈕72，則自動(dòng)分類部41檢測(cè)到該情況，開始后述的自動(dòng)分類處理。此外，同時(shí)關(guān)閉區(qū)域設(shè)定窗口W3。需要注意的是，當(dāng)在選擇幀內(nèi)未指定區(qū)域的狀態(tài)下按下了開始按鈕72的情況下，在自動(dòng)分類處理中，幀的整個(gè)畫面被用作類似度計(jì)算的根據(jù)。取消按鈕73是用于取消通過(guò)區(qū)域設(shè)定窗口 W3進(jìn)行的區(qū)域指定的按鈕。
[0101 ]在自動(dòng)分類處理的執(zhí)行中，顯示表示自動(dòng)分類處理的進(jìn)展情況的對(duì)話框。并且，在自動(dòng)分類處理結(jié)束后，關(guān)閉該對(duì)話框，并且再分類部45開始再分類處理。關(guān)于自動(dòng)分類處理的詳細(xì)內(nèi)容將在后面描述。再分類部45首先在基本畫面Wl上重疊顯示圖6所示的再分類窗口 W4作為用于在自動(dòng)分類處理后進(jìn)行再分類的用戶界面。
[0102]在再分類窗口W4上配置有信道一覽區(qū)域Cl、幀一覽區(qū)域C2、播放區(qū)域C3、以及時(shí)間軸條C4。在信道一覽區(qū)域Cl內(nèi)排列分別對(duì)應(yīng)于通過(guò)自動(dòng)分類處理檢測(cè)到的信道的信道對(duì)象91。在圖6的例子中，排列有與四個(gè)信道0101、0102、0103、0104對(duì)應(yīng)的四個(gè)信道對(duì)象91。在本實(shí)施方式中，信道對(duì)象91是圖標(biāo)的形式。
[0103]如圖6所示，在信道對(duì)象91上顯示對(duì)應(yīng)的信道的信道名CHOl、CH02、...。此外，在信道對(duì)象91上顯示代表屬于對(duì)應(yīng)的信道的多個(gè)幀的代表幀的縮略圖像。代表幀接收后述的用戶的操作而適當(dāng)切換，但默認(rèn)例如屬于對(duì)應(yīng)的信道的幀中的、沿著時(shí)間軸的最前面的幀。需要注意的是，雖然在圖6中未示出，但如果信道的數(shù)量多而無(wú)法將所有信道對(duì)應(yīng)的信道對(duì)象91都配置在信道一覽區(qū)域Cl內(nèi)時(shí)，則會(huì)在該區(qū)域Cl內(nèi)出現(xiàn)滾動(dòng)條，從而該區(qū)域Cl得以實(shí)質(zhì)上擴(kuò)大。此外，在信道對(duì)象91上還顯示屬于對(duì)應(yīng)的信道的幀的幅數(shù)。這樣的幀的幅數(shù)接收后述的用戶的操作而發(fā)生變化，隨著該變化，信道對(duì)象91中的幅數(shù)的顯示也會(huì)實(shí)時(shí)地切換。
[0104]此外，在信道一覽區(qū)域Cl內(nèi)除了配置有信道對(duì)象91之外，還配置有未分類對(duì)象92。未分類對(duì)象92是與匯總對(duì)象幀組中不屬于任一信道的未分類幀的分類對(duì)應(yīng)的對(duì)象。需要說(shuō)明的是，匯總未分類的幀的分類雖然不對(duì)應(yīng)于實(shí)際的信道，但是基于匯總幀的含義來(lái)說(shuō)，其虛擬地構(gòu)成一個(gè)信道。為此，未分類對(duì)象92具有和信道對(duì)象91類似的形式，在本實(shí)施方式中，為相同大小的圖標(biāo)。具體而言，在未分類對(duì)象92中，取代信道名而顯示“未分類”，取代屬于信道的幀的幅數(shù)而顯示未分類幀的幅數(shù)。未分類對(duì)象92中的幅數(shù)的顯示也隨著未分類幀的幅數(shù)的變化而實(shí)時(shí)地切換。此外，在未分類對(duì)象92中也顯示代表“未分類”的幀的代表幀的縮略圖像。該代表幀也是接收后述的用戶的操作而適當(dāng)切換，但默認(rèn)例如屬于“未分類”的分類的幀中的、沿著時(shí)間軸的最前面的幀。在本實(shí)施方式中，在未分類對(duì)象92和信道對(duì)象91之間劃有邊界線93。
[0105]再分類部45從用戶接收在信道一覽區(qū)域Cl內(nèi)從所有的信道對(duì)象91以及未分類對(duì)象92中選擇任意的一個(gè)對(duì)象的選擇操作。在所有的對(duì)象91、92中，當(dāng)前選擇了的對(duì)象以不同于其它對(duì)象的形式顯示。在圖6的例子中，以不同于其它對(duì)象91、92的顏色來(lái)顯示信道CHOl的對(duì)象91。下面，將對(duì)應(yīng)當(dāng)前選擇了的一個(gè)對(duì)象91、92的信道或分類稱為選擇信道。
[0106]在幀一覽區(qū)域C2內(nèi)，一覽顯示屬于選擇信道的所有幀的縮略圖像94。需要注意的是，在屬于選擇信道的幀的幅數(shù)多而無(wú)法將所有的縮略圖像94都配置在幀一覽區(qū)域C2內(nèi)時(shí)，則會(huì)在該區(qū)域C2內(nèi)出現(xiàn)滾動(dòng)條95，從而該區(qū)域C2得以實(shí)質(zhì)上擴(kuò)大。因此，用戶通過(guò)切換對(duì)象91、92的選擇狀態(tài)，可以在幀一覽區(qū)域C2內(nèi)選擇性地一覽顯不未分類的所有幀、或?qū)儆谌我恍诺赖乃袔?。因此，可以在有效利用幀一覽區(qū)域C2內(nèi)的有限空間的同時(shí)，全部確認(rèn)包含于對(duì)象幀組中的未分類及已分類的幀。特別是，根據(jù)該一覽顯示的形式，即使是將錯(cuò)誤的幀分類至各信道，也易于發(fā)現(xiàn)該錯(cuò)誤。需要注意的是，在本實(shí)施方式中，信道一覽區(qū)域Cl內(nèi)的縮略圖像94可排列為多層式，隨著原本的幀在時(shí)間軸上的順序η增大，從左至右、從上至下地按時(shí)序配置。
[0107]再分類部45將屬于各信道的特定的一個(gè)幀作為激活幀進(jìn)行管理，并也將特定的一個(gè)未分類的幀作為激活幀來(lái)進(jìn)行管理。在幀一覽區(qū)域C2內(nèi)，在激活幀的縮略圖像94上附加圍框96作為用于和其它幀的縮略圖像94區(qū)別的記號(hào)。幀一覽區(qū)域C2內(nèi)的縮略圖像94分別作為對(duì)象而被識(shí)別，用戶通過(guò)點(diǎn)擊操作等而可以從幀一覽區(qū)域C2內(nèi)的所有縮略圖像94中選擇任意的一個(gè)縮略圖像94。此外，通過(guò)邊按下鍵盤上的特定鍵、邊反復(fù)進(jìn)行點(diǎn)擊操作的操作等，還可以同時(shí)選擇多個(gè)幀一覽區(qū)域C2內(nèi)的縮略圖像94。每當(dāng)在幀一覽區(qū)域C2內(nèi)選擇了縮略圖像94時(shí)，再分類部45將選擇信道的激活幀切換為最新選擇的縮略圖像94所對(duì)應(yīng)的幀。此時(shí)，圍框96的位置也進(jìn)行移動(dòng)。此外，激活幀與顯示于信道對(duì)象91以及未分類對(duì)象92的縮略圖像聯(lián)動(dòng)，每當(dāng)各信道或分類的激活幀變更時(shí)，該信道或分類所對(duì)應(yīng)的對(duì)象91、92的縮略圖像也進(jìn)行切換。即、在本實(shí)施方式中，各信道以及分類的代表幀與激活幀一致。
[0108]通過(guò)拖放操作，可以使幀一覽區(qū)域C2內(nèi)的激活幀的縮略圖像94單獨(dú)地移動(dòng)，以使其重疊于信道一覽區(qū)域Cl內(nèi)的任一對(duì)象91、92上。此外，當(dāng)在幀一覽區(qū)域C2內(nèi)同時(shí)選擇了多個(gè)縮略圖像94的情況下，可以使這多個(gè)縮略圖像94一起移動(dòng)，以使其重疊于信道一覽區(qū)域Cl內(nèi)的任一對(duì)象91、92上。(不過(guò)，雖說(shuō)是“移動(dòng)”，但在作為目標(biāo)的對(duì)象91、92上釋放了縮略圖像94時(shí)，其像插入文件夾那樣地消失。)換言之，再分類部45從用戶接收將幀一覽區(qū)域C2內(nèi)的任意的縮略圖像94與任意的信道或分類相關(guān)聯(lián)的操作。在該相關(guān)聯(lián)操作之后，通過(guò)該操作而被移動(dòng)了的縮略圖像94所對(duì)應(yīng)的幀被再分類至作為該縮略圖像94的移動(dòng)目的地的對(duì)象91、92所對(duì)應(yīng)的信道或分類。需要注意的是，與該操作所涉及的縮略圖像94對(duì)應(yīng)的幀原本就被分類至與該操作所涉及的對(duì)象91、92對(duì)應(yīng)的信道或分類時(shí)，則忽略該操作，不進(jìn)行再分類。
[0109]如圖6所示，信道一覽區(qū)域Cl內(nèi)，在對(duì)象91、92的排列之后配置有新創(chuàng)建對(duì)象97。新創(chuàng)建對(duì)象97是用于新創(chuàng)建信道的對(duì)象，在本實(shí)施方式中是圖標(biāo)的形式。于是，不僅是針對(duì)對(duì)象91、92，針對(duì)新創(chuàng)建對(duì)象97也可以進(jìn)行和上述的相關(guān)聯(lián)操作同樣的操作。具體而言，再分類部45從用戶接收如下操作:S卩、通過(guò)拖放操作，使幀一覽區(qū)域C2內(nèi)的激活幀的縮略圖像94單獨(dú)移動(dòng)，以使其重疊于新創(chuàng)建對(duì)象97上。此外，當(dāng)在幀一覽區(qū)域C2內(nèi)同時(shí)選擇了多個(gè)縮略圖像94的情況下，也可以使這多個(gè)縮略圖像94一起移動(dòng)，以使其重疊于新創(chuàng)建對(duì)象97上。(不過(guò)，雖說(shuō)是“移動(dòng)”，但在新創(chuàng)建對(duì)象97上釋放了縮略圖像94時(shí)，其像插入文件夾那樣地消失。)于是，如果進(jìn)行了該相關(guān)聯(lián)操作，則在新創(chuàng)建對(duì)象97所存在過(guò)的位置上新創(chuàng)建信道對(duì)象91。
[0110]新創(chuàng)建的信道對(duì)象91是表示將通過(guò)相關(guān)聯(lián)操作而被移動(dòng)了的一個(gè)或多個(gè)縮略圖像94所對(duì)應(yīng)的幀作為元素的新的信道的對(duì)象。換言之，通過(guò)相關(guān)聯(lián)操作而被移動(dòng)了的一個(gè)或多個(gè)縮略圖像94所對(duì)應(yīng)的幀被再分類至新的信道。因此，在剛剛新創(chuàng)建了信道對(duì)象91之后，所被移動(dòng)了的縮略圖像94只有一個(gè)的情況下，在該對(duì)象91上顯示該縮略圖像94。另一方面，在多個(gè)縮略圖像94被移動(dòng)了的情況下，這些縮略圖像94中的一個(gè)(例如、最后選擇的一個(gè))顯示在新創(chuàng)建的信道對(duì)象91上。還適當(dāng)賦予并顯示信道名。此外，伴隨著信道對(duì)象91的新創(chuàng)建，新創(chuàng)建對(duì)象97移動(dòng)至包含新創(chuàng)建的對(duì)象91的對(duì)象91、92的排列之后。
[0111]通過(guò)上述的各種相關(guān)聯(lián)操作進(jìn)行了幀的再分類之后，對(duì)應(yīng)作為再分類目的地的信道或分類，對(duì)再分類后的幀重新賦予信道名CH01、CH02、...或“未分類”的標(biāo)簽。此外，從幀一覽區(qū)域C2內(nèi)刪除再分類后的幀的縮略圖像94。此時(shí)，在幀一覽區(qū)域C2內(nèi)，以填充刪除了的縮略圖像94所配置過(guò)的空間的方式對(duì)剩余的縮略圖像94進(jìn)行排隊(duì)。需要注意的是，再分類后的幀中必然包含激活幀。因此，在再分類之后，選擇信道的激活幀變更為沿時(shí)間軸的后面的幀中最近的幀，如果沒(méi)有則變更為沿時(shí)間軸的前面的幀中最近的幀。選擇信道的激活幀的變更適當(dāng)反映在圍框96的位置、以及對(duì)象91、92上的縮略圖像的顯示上。此外，重新計(jì)算屬于與再分類后的幀移動(dòng)前以及移動(dòng)目的地的對(duì)象91、92對(duì)應(yīng)的信道及/或分類的幀的幅數(shù)，并反映在對(duì)象91、92的顯示上。
[0112]此外，上述的各種相關(guān)聯(lián)操作還可以通過(guò)拖放操作以外的方式來(lái)實(shí)現(xiàn)。具體而言，如圖6所示，在幀一覽區(qū)域C2內(nèi)的對(duì)象91、92、97上的右下部位顯示有表示鍵盤的特定的鍵的字符串。再分類部45在檢測(cè)到按下了對(duì)象91、92、97上所顯示的特定的鍵時(shí)，判斷為該時(shí)間點(diǎn)的選擇信道的激活幀、即在幀一覽區(qū)域C2中當(dāng)前正帶有圍框96的幀與該特定的鍵所對(duì)應(yīng)的對(duì)象91、92、97相關(guān)聯(lián)。之后的處理和以拖放操作的方式進(jìn)行了相關(guān)聯(lián)操作時(shí)相同。
[0113]此外，再分類部45也可以接收用戶的操作而合并多個(gè)信道(在本段落以及下一段中也包含“未分類”的分類)。具體而言，可以在信道一覽區(qū)域Cl內(nèi)，通過(guò)拖放操作單獨(dú)地使任意的一個(gè)對(duì)象91、92移動(dòng)，以使其重疊于其它任意一個(gè)對(duì)象91、92上。此外，可同時(shí)選擇多個(gè)對(duì)象91、92，也可以將這多個(gè)對(duì)象91、92—起移動(dòng)至其它任意一個(gè)對(duì)象91、92上。(不過(guò)，雖說(shuō)是“移動(dòng)”，但在作為移動(dòng)目的地的對(duì)象91、92上釋放了被移動(dòng)的對(duì)象91、92時(shí)，其像插入文件夾那樣地消失)換言之，再分類部45從用戶接收將信道一覽區(qū)域Cl內(nèi)的任意的信道與其它任意的信道相關(guān)聯(lián)的操作。在進(jìn)行了該相關(guān)聯(lián)操作時(shí)，與通過(guò)該操作而被移動(dòng)了的對(duì)象91、92對(duì)應(yīng)的信道被合并到與作為該對(duì)象91、92的移動(dòng)目的地的其它對(duì)象91、92對(duì)應(yīng)的信道上。
[0114]如果通過(guò)上述的相關(guān)聯(lián)操作進(jìn)行了信道的合并，則對(duì)屬于與被移動(dòng)了的對(duì)象91、92對(duì)應(yīng)的信道的所有幀重新賦予與作為移動(dòng)目的地的對(duì)象91、92對(duì)應(yīng)的信道的信道名“未分類”、CH01、CH02、...的標(biāo)簽。其結(jié)果是，作為移動(dòng)目的地的對(duì)象91、92成為表示合并后的新的信道的對(duì)象。作為合并后的信道的激活幀，繼續(xù)使用作為移動(dòng)目的地的對(duì)象91、92的激活幀。此外，再分類部45計(jì)算屬于合并后的信道的幀的幅數(shù)，并反映在對(duì)象91、92上的顯示上。此外，在信道一覽區(qū)域Cl內(nèi)使信道對(duì)象91移動(dòng)了的情況下，被移動(dòng)了的信道對(duì)象91消失，以填充消失了的信道對(duì)象91所配置過(guò)的空間的方式對(duì)剩余的對(duì)象91、97進(jìn)行排隊(duì)。在移動(dòng)了未分類對(duì)象92的情況下，雖然幀的幅數(shù)變?yōu)?，但未分類對(duì)象92原樣保留。
[0115]此外，在存在多個(gè)信道對(duì)象91的情況下，信道一覽區(qū)域Cl內(nèi)的這些對(duì)象91的排列順序可以通過(guò)拖放操作而自由變更。例如，在圖6的狀態(tài)下，希望將信道CHOl的信道對(duì)象91移動(dòng)到信道CH02的信道對(duì)象91的右側(cè)時(shí)，只要將信道CHOl的信道對(duì)象91移動(dòng)到信道CH02、CH03的信道對(duì)象91之間即可。
[0116]接著，對(duì)播放區(qū)域C3進(jìn)行說(shuō)明。播放區(qū)域C3可以將屬于選擇信道的幀組作為活動(dòng)圖像播放。如圖6所示，在再分類窗口 W4上配置有播放按鈕76、逐幀播放按鈕77以及回放按鈕78。
[0117]播放按鈕76從用戶接收屬于選擇信道的幀組作為活動(dòng)圖像播放的命令。再分類部45在檢測(cè)到按下了播放按鈕76的情況下，在播放區(qū)域C3內(nèi)，以沿著時(shí)間軸依次逐幀播放的形式來(lái)顯示屬于選擇信道的幀組中包含的幀。從按下了播放按鈕76的時(shí)間點(diǎn)的選擇信道的激活幀開始播放。此外，以對(duì)應(yīng)于選擇信道的幀速率來(lái)進(jìn)行播放。于是，在播放過(guò)程中，播放區(qū)域C3內(nèi)顯示的幀依次切換，每次進(jìn)行了該切換時(shí)，由再分類部45所管理的激活幀被實(shí)時(shí)更新為該切換后的幀。此外，播放按鈕76從用戶接收播放停止的命令。再分類部45在檢測(cè)到在播放過(guò)程中按下了播放按鈕76時(shí)，將播放區(qū)域C3內(nèi)的顯示固定在該時(shí)間點(diǎn)的激活幀。需要注意的是，在停止過(guò)程中，還在播放區(qū)域C3內(nèi)一直顯示選擇信道的激活幀。因此，在停止過(guò)程中，如果通過(guò)幀一覽區(qū)域C2內(nèi)的縮略圖像94的選擇操作而變更了激活幀，則播放區(qū)域C3內(nèi)的顯示也實(shí)時(shí)地變更。
[0118]此外，雖然在播放過(guò)程中激活幀隨時(shí)更新，但幀一覽區(qū)域C2內(nèi)的圍框96也實(shí)時(shí)地移動(dòng)至包圍最新的激活幀的縮略圖像94的位置。此外，這時(shí)，對(duì)應(yīng)于選擇信道的對(duì)象91、92的縮略圖像也被實(shí)時(shí)地更新。即、播放區(qū)域C3內(nèi)的顯示和圍框96的位置以及對(duì)象91、92的縮略圖像的顯示取得同步。但是，在其它實(shí)施方式中，也可以是播放過(guò)程中不取得這樣的同步的構(gòu)成。這種情況下，例如也可以是在播放停止了的時(shí)間點(diǎn)，圍框96的位置才開始移動(dòng)、及/或、對(duì)象91、92的縮略圖像才開始更新。
[0119]逐幀播放按鈕77、回放按鈕78分別從用戶接收將播放區(qū)域C3內(nèi)的顯示切換為屬于選擇信道的幀組中的沿著時(shí)間軸的后一個(gè)幀、前一個(gè)幀的命令?；诎粹o77、78的操作的播放區(qū)域C3內(nèi)的顯示的變更也與激活幀的變更聯(lián)動(dòng)。
[0120]上述的播放功能有助于在現(xiàn)有的信道內(nèi)發(fā)現(xiàn)錯(cuò)誤分類的幀。即、人可以在播放活動(dòng)圖像的過(guò)程中突然出現(xiàn)了屬于不同信道的幀的情況下，迅速發(fā)現(xiàn)該情況。并且，在這樣的情況下，可以迅速停止播放，在幀一覽區(qū)域C2內(nèi)找出對(duì)應(yīng)的幀的縮略圖像94，并通過(guò)上述的相關(guān)聯(lián)操作將該縮略圖像94移動(dòng)至正確的信道即可。
[0121]在再分類窗口W4上的播放區(qū)域C3的下方顯示有幀速率區(qū)域C5，該幀速率區(qū)域C5用于顯示選擇信道的幀速率。幀速率可以通過(guò)各種方法來(lái)計(jì)算，例如、可以作為屬于選擇信道的幀的幅數(shù)除以屬于選擇信道的最前面的幀的時(shí)刻和最后面的幀的時(shí)刻之差所得的值而算出?；蛘?，選擇信道的幀速率也可以基于下面的式子而算出。
[0122](與激活時(shí)間軸對(duì)應(yīng)的活動(dòng)圖像的幀速率)X(屬于選擇信道的幀的幅數(shù))+ (屬于激活時(shí)間軸的幅數(shù))
[0123]但是，如上所述，屬于選擇信道的幀隨著幀的再分類而發(fā)生變化。因此，每當(dāng)進(jìn)行了再分類時(shí)，再分類部45便重新計(jì)算選擇信道的幀速率，實(shí)時(shí)地變更幀速率區(qū)域C5的顯示。此外，在幀速率區(qū)域C5的附近配置有顯示選擇信道的信道名或分類名的信道名區(qū)域C6。因此，用戶可以正確地理解播放區(qū)域C3內(nèi)顯示的視頻屬于哪個(gè)信道、以及幀速率區(qū)域C5內(nèi)顯示的幀速率為哪個(gè)信道的幀速率。
[0124]下面，對(duì)時(shí)間軸條C4進(jìn)行說(shuō)明。時(shí)間軸條C4和基本畫面Wl上的時(shí)間軸條T5同樣是圖解地示出激活時(shí)間軸的對(duì)象。作為信道分離處理的對(duì)象的對(duì)象幀組構(gòu)成激活幀組的一部分或全部。因此，在再分類窗口W4上也可以管理激活時(shí)間軸是重要的，從而配置有和基本畫面Wl上的時(shí)間軸條T5相同的時(shí)間軸條C4。時(shí)間軸條C4在左右方向上延伸，并在左右方向上按激活幀組的幅數(shù)而等分割。時(shí)間軸條C4上的從左開始的第η個(gè)分割區(qū)域與激活時(shí)間軸上的第η個(gè)幀對(duì)應(yīng)(η為自然數(shù))。
[0125]再分類部45在時(shí)間軸條C4上作為表示與選擇信道的激活幀對(duì)應(yīng)的分割區(qū)域的記號(hào)而在該分割區(qū)域的位置顯示直線83。即、直線83示出了顯示于區(qū)域C3內(nèi)以及區(qū)域C2的圍框96內(nèi)的幀在激活時(shí)間軸上的位置。此外，在時(shí)間軸條C4的下方顯示有對(duì)象范圍條85 ο對(duì)象范圍條85和時(shí)間軸條C4同樣地沿左右方向在與對(duì)象幀組所占區(qū)間對(duì)應(yīng)的范圍內(nèi)延伸。
[0126]時(shí)間軸條C4可以在左右方向上擴(kuò)大縮小。具體而言，在再分類窗口W4上配置有尺寸變更條86，尺寸變更條86是組合有滑槽61以及滑塊62這兩個(gè)對(duì)象的對(duì)象。滑槽61具有在左右方向上直線狀延伸的槽那樣的GUI，滑塊62具有在滑槽61內(nèi)沿左右方向滑動(dòng)那樣的⑶I。用戶可以通過(guò)輸入部20操作滑塊62而使滑塊62沿滑槽61在左右方向上往復(fù)移動(dòng)。再分類部45根據(jù)滑槽61內(nèi)的滑塊62的左右方向的位置，階段性地變更時(shí)間軸條C4的左右方向的尺寸。具體而言，隨著滑塊62向右側(cè)移動(dòng)，時(shí)間軸條C4的左右方向的尺寸階段性地變短，隨著滑塊62向左側(cè)移動(dòng)，時(shí)間軸條C4的左右方向的尺寸階段性地變長(zhǎng)。需要注意的是，如果時(shí)間軸條C4的左右方向的尺寸變更，則與其成比例地，所有分割區(qū)域的左右方向的尺寸也均勻地發(fā)生變更。不過(guò)，如果滑塊62到達(dá)了滑槽61內(nèi)的最左的位置，則時(shí)間軸條C4變化為縮略圖一覽C7(參照?qǐng)D7)。此外，在時(shí)間軸條C4以及縮略圖一覽C7的左右方向的尺寸長(zhǎng)而無(wú)法全容納在再分類窗口W4內(nèi)的情況下，則會(huì)出現(xiàn)在左右方向上滾動(dòng)的滾動(dòng)條87，用于顯示時(shí)間軸條C4的區(qū)域在左右方向上得以實(shí)質(zhì)上擴(kuò)大。
[0127]縮略圖一覽C7是將屬于激活時(shí)間軸的所有幀的縮略圖像88排列于左右方向上而成的。因此，用戶也可以在再分類窗口 W4上確認(rèn)包含于激活時(shí)間軸的對(duì)象幀組以外的幀?？s略圖一覽C7上的從左開始第η個(gè)縮略圖像88是激活時(shí)間軸上第η幀的縮略圖像(η為自然數(shù))?？s略圖一覽C7內(nèi)，在選擇信道的激活幀的縮略圖像88上帶有圍框89來(lái)作為用于和其它縮略圖像88區(qū)別的記號(hào)。
[0128]時(shí)間軸條C4以及縮略圖一覽C7和時(shí)間軸條Τ5同樣地從用戶接收激活時(shí)間軸上的任意幀的選擇。換言之，用戶通過(guò)點(diǎn)擊操作等來(lái)選擇時(shí)間軸條C4上的分割區(qū)域、或縮略圖一覽C7內(nèi)的任意的縮略圖像88，從而可以從激活幀組中選擇任意的幀。并且，每當(dāng)在時(shí)間軸條C4以及縮略圖一覽C7上選擇了幀時(shí)，再分類部45判斷該幀是否包含于對(duì)象幀組。然后，在判斷為包含的情況下，將該幀所屬的信道或分類切換為選擇信道。同時(shí)，再分類部45將該幀切換為選擇信道的激活幀。這里的選擇信道以及激活幀的變更實(shí)時(shí)地反映在信道一覽區(qū)域Cl、幀一覽區(qū)域C2、播放區(qū)域C3、幀速率區(qū)域C5以及信道名區(qū)域C6的顯示上。此外，直線83以及圍框89的位置也實(shí)時(shí)地變更。
[0129]用戶可以利用以上說(shuō)明的各種功能，進(jìn)行對(duì)象幀組中包含的多個(gè)幀的再分類。并且，在判斷為再分類結(jié)束的時(shí)間點(diǎn)按下確認(rèn)按鈕E5。接收了該操作，再分類部45關(guān)閉再分類窗口 W4，并新創(chuàng)建屬于新的時(shí)間軸的一個(gè)或多個(gè)活動(dòng)圖像。新創(chuàng)建的一個(gè)或多個(gè)活動(dòng)圖像與在再分類窗口 W4上最終定義的、用戶所選擇了的信道(下面稱最終信道)一一對(duì)應(yīng)。如圖6所示，用戶對(duì)最終信道的選擇是通過(guò)在配置于信道對(duì)象91上的選擇框98中填入選擇標(biāo)記來(lái)進(jìn)行的。需要注意的是，在本實(shí)施方式中，選擇框98的默認(rèn)值是“選擇”的狀態(tài)。因此，用戶僅針對(duì)判斷為不需要?jiǎng)?chuàng)建活動(dòng)圖像的信道操作對(duì)應(yīng)的對(duì)象91上的選擇框，使其成為“非選擇”的狀態(tài)即可。此外，在本實(shí)施方式中，還在播放區(qū)域C3的下方配置有選擇框99。選擇框99是用于選擇是否需要?jiǎng)?chuàng)建選擇信道(但不包含“未分類”的分類)的活動(dòng)圖像的對(duì)象，與信道對(duì)象91上的選擇框98取得同步。再分類部45判斷選擇框98、99的選擇狀態(tài)，確定最終信道。
[0130]以上述方式新創(chuàng)建的活動(dòng)圖像是將屬于各自對(duì)應(yīng)的最終信道的所有幀沿著新的時(shí)間軸排列而成的。此外，此時(shí)，新創(chuàng)建與這些新的活動(dòng)圖像一一對(duì)應(yīng)的顯示窗口 W2。進(jìn)而，再分類部45創(chuàng)建與這些新的活動(dòng)圖像中包含的幀組一一對(duì)應(yīng)的靜止圖像文件組，并保存在加工文件區(qū)域52內(nèi)，作為第O次幀對(duì)待。即、至此之后，可以和取進(jìn)原始圖像區(qū)域51的靜止圖像文件組同樣地處理這些新的活動(dòng)圖像。具體而言，可以在顯示窗口 W2內(nèi)同樣地進(jìn)行播放，同樣地作為各種圖像處理的對(duì)象。
[0131]需要注意的是，并未新創(chuàng)建與“未分類”的分類對(duì)應(yīng)的活動(dòng)圖像。為此，在按下了確認(rèn)按鈕E5的時(shí)間點(diǎn)，再分類部45判斷是否余留有未分類的幀，在有余留的情況下，也可以將該情況傳達(dá)給用戶。這種情況下，例如在再分類部45判斷為余留有未分類的幀的情況下，使圖8所示那樣的確認(rèn)窗口 W5顯示于顯示器10上。并且，等待按下“是”按鈕74，則轉(zhuǎn)移至上述的活動(dòng)圖像的新創(chuàng)建處理。在按下了“否”按鈕75的情況下，關(guān)閉確認(rèn)窗口 W5，恢復(fù)為再分類窗口W4。另一方面，在判斷為未余留有未分類的幀的情況下，馬上轉(zhuǎn)移到上述的活動(dòng)圖像的新創(chuàng)建處理。
[0132]〈1-4.自動(dòng)分類的算法〉
[0133]下面，參照?qǐng)D9對(duì)自動(dòng)分類處理的詳細(xì)情況進(jìn)行說(shuō)明。如上所述，自動(dòng)分類處理在按下了區(qū)域設(shè)定窗口 W3上的開始按鈕72時(shí)開始。下面，將構(gòu)成對(duì)象幀組的多個(gè)幀表示為卩2、"_、行(1為2以上的整數(shù))。需要注意的是，幀?1、？2、一、行的排列等于在時(shí)間軸上的排列。
[0134]首先，在步驟SI中，自動(dòng)分類部41縮小對(duì)象幀組中包含的各幀F(xiàn)hF2^sFj的尺寸。此時(shí)，例如，既可以以幀的橫及/或縱的像素?cái)?shù)變?yōu)橐?guī)定數(shù)的方式來(lái)縮小，也可以以變?yōu)樵瓉?lái)尺寸的規(guī)定比例的尺寸的方式來(lái)縮小。并且，此時(shí)，既可以保存高寬比，也可以不保存。通過(guò)該縮小的步驟，可實(shí)現(xiàn)以下處理的高速化，同時(shí)降低噪聲的影響。下面，縮小后的幀F(xiàn)1、F2、...、Fj也表不為F1、F2、...、Fj。
[0135]在接下來(lái)的步驟S2中，設(shè)定部42定義信道CH1，將幀F(xiàn)1分類至信道CH1。具體而言，對(duì)幀^賦予信道名CH1的標(biāo)簽。此外，設(shè)定部42將幀F(xiàn)1設(shè)定為代表屬于信道(:出的幀組的基準(zhǔn)幀Gu需要注意的是，通過(guò)后述的步驟S10，信道數(shù)可隨時(shí)增加。并且，對(duì)于新創(chuàng)建的信道CH1,*可以設(shè)定代表屬于各個(gè)信道的幀組的基準(zhǔn)幀61(1 = 2、3、…)。
[0136]如果以上的前處理結(jié)束，則設(shè)定部42從剩下的幀F(xiàn)2、F3、…、Fj中沿時(shí)間軸依次選擇Fj( j = 2、3、…、J)，將其設(shè)定為比較幀。另一方面，每當(dāng)設(shè)定了比較幀F(xiàn)j時(shí)，計(jì)算部43、判斷部44以及設(shè)定部42對(duì)比較幀F(xiàn)j反復(fù)進(jìn)行以下的步驟S3?S10，進(jìn)行與現(xiàn)有的基準(zhǔn)幀G^Gs、…、Gl的比較(L是現(xiàn)有的信道數(shù))。
[0137]在步驟S3中，計(jì)算部43將比較幀F(xiàn)j整體分割為規(guī)定數(shù)K(K為2以上的整數(shù))的局部區(qū)域(塊(blockDD^Ds、…、DK(參照?qǐng)D10)。需要注意的是，當(dāng)在區(qū)域設(shè)定窗口 W3上進(jìn)行了區(qū)域的指定的情況下，這里所述的比較幀F(xiàn)j整體是指該區(qū)域整體，在未進(jìn)行指定的情況下，是指幀的整個(gè)畫面。此外，局部區(qū)域D1IdK無(wú)需是將比較幀F(xiàn)遵個(gè)全都進(jìn)行了分割，而且，也可以彼此有一部分重復(fù)。關(guān)于形狀，無(wú)需是矩形，例如也可以是圓形，還可以是其它多邊形。此外，關(guān)于形狀、尺寸，既可以是一樣的，也可以彼此不同。
[0138]在接下來(lái)的步驟S4中，計(jì)算部43將現(xiàn)有的信道CH^Ofe、…、CHl的基準(zhǔn)幀GiA、...、Gl各自分割為局部區(qū)域D’^D’2、…、D’K(參照?qǐng)D10)。局部區(qū)域D’^D’2、…、D’K在幀的畫面內(nèi)被定義為分別與局部區(qū)域D^D^'Dk占據(jù)相同的位置。
[0139]下面，在步驟S5中，計(jì)算部43按照局部區(qū)域Dk、D’k(k=l、2、-_、K)的各個(gè)組合，計(jì)算出比較幀F(xiàn)j和各基準(zhǔn)幀&(1 = 1、2、...、υ的類似度(下面稱為局部類似度)Ylk。即、局部類似度Yu是比較幀F(xiàn)j的局部區(qū)域Dk和基準(zhǔn)幀Gl的局部區(qū)域D’k的類似度。在本實(shí)施方式中，算出被稱為歸一化互相關(guān)(ZNCC(零均值歸一化互相關(guān)))的相關(guān)系數(shù)，但是，在其它實(shí)施方式中，也可以算出被稱為NCC的相關(guān)系數(shù)、被稱為SDD、SAD的類似度等其它類似度。
[0140]下面，在步驟S6中，計(jì)算部43算出比較幀F(xiàn)j和各基準(zhǔn)幀Gi(l= 1、2、...、υ在整個(gè)幀中的類似度(下面稱為綜合類似度)B1。具體而言，計(jì)算部43針對(duì)各1(1 = 1、2、...α)判斷局部類似度Yik高的局部區(qū)域Dk、D’k。此時(shí)，例如既可以將局部類似度Yik在上位規(guī)定比例內(nèi)的區(qū)域判斷為高，還可以將局部類似度Yik大于規(guī)定閾值的區(qū)域判斷為高。并且，關(guān)于各1(1 =1、2、…、L)，計(jì)算部43僅利用整個(gè)幀中局部類似度Ylk高的局部區(qū)域Dk、D’k來(lái)再次算出比較幀F(xiàn)j和基準(zhǔn)幀Gi的類似度，將其作為綜合類似度Βι(參照?qǐng)D10)。在本實(shí)施方式中，也是算出歸一化互相關(guān)(ZNCC)作為綜合類似度扮，但是，也可以和局部類似度Ylk同樣地算出其它類似度。此外，綜合類似度B1和局部類似度Ylk可以通過(guò)不同的方法算出。
[01411如上所述，在本實(shí)施方式中，在計(jì)算綜合類似度Bi時(shí)，并未考慮局部類似度Yik低的局部區(qū)域Dk、D’k的信息，這是基于下面的理由。即，這是由于:相同信道的幀之間其背景圖像一致，但在移動(dòng)體部分則為不同的圖像。并且，在移動(dòng)體部分占幀整體的比例大的情況下，如果利用幀整體的信息來(lái)判斷綜合類似度B1,則即使是相同信道的幀，綜合類似度B1也會(huì)變低。因此，這里，為了避免誤判斷，被認(rèn)為包含很多移動(dòng)體部分的局部類似度Yik低的局部區(qū)域Dk、D’k不用于綜合類似度B1的計(jì)算。其結(jié)果是，可以降低移動(dòng)體的影響，能夠正確地判斷所比較的幀彼此是否屬于相同的信道。
[0142]在接下來(lái)的步驟37中，判斷部44判斷在步驟36中算出的綜合類似度扮、82、‘"、81中最大的綜合類似度，判斷該最大的綜合類似度是否大于規(guī)定的閾值。然后，在判斷為大于規(guī)定的閾值的情況下，處理進(jìn)入步驟S8，在判斷為是規(guī)定的閾值以下的情況下，處理進(jìn)入步驟SlOo
[0143]在步驟S8中，判斷部44判斷比較幀F(xiàn)j屬于信道CHmaxJAX是提供最大綜合類似度Bi的I的值。具體而言，判斷部44對(duì)比較幀F(xiàn)j賦予信道名CHmax的標(biāo)簽，將比較幀F(xiàn)j分類至信道CHmax。由此，比較幀F(xiàn)j和屬于信道CHmax的幀組屬于相同的信道。
[0144]在步驟S8之后，處理進(jìn)入步驟S9。在步驟S9中，設(shè)定部42更新信道CHmm的基準(zhǔn)幀Gmax。具體而言，設(shè)定部42將比較幀F(xiàn)j和現(xiàn)有的基準(zhǔn)幀Gmax合成來(lái)作為新的基準(zhǔn)幀Gmax。在本實(shí)施方式中，作為合成的方式，采用了比較幀F(xiàn)j的權(quán)重大于現(xiàn)有的基準(zhǔn)幀Gmax這樣的加權(quán)平均。這樣，代表屬于信道CHmax的幀組的基準(zhǔn)幀Gmm成為權(quán)重置于更近的幀的合成圖像。其結(jié)果是，在判斷幀間的信道的異同時(shí)，可以應(yīng)對(duì)時(shí)序的變化。需要注意的是，在其它實(shí)施方式中，也可以將比較幀F(xiàn)j原樣設(shè)定為新的基準(zhǔn)幀Gmm。此外，也可以省略步驟S9而不進(jìn)行基準(zhǔn)幀Gmax的更新。
[0145]另一方面，步驟SlO是在步驟S6中算出的綜合類似度均被判斷為在規(guī)定的閾值以下時(shí)執(zhí)行的步驟。換言之，步驟SlO是在比較幀F(xiàn)j和任一個(gè)信道(^的基準(zhǔn)幀不類似時(shí)執(zhí)行的步驟。在步驟SlO中，設(shè)定部42在現(xiàn)有的信道CH1XH2VXHl的基礎(chǔ)上，定義新的信道CHL+1，將比較幀F(xiàn)j分類至該信道CHL+1。具體而言，對(duì)比較幀F(xiàn)j賦予新的信道名CHL+1的標(biāo)簽。此外，設(shè)定部42將比較幀F(xiàn)j設(shè)定為代表屬于新的信道咖+1的幀組的基準(zhǔn)幀Gl+1。
[0146]如果針對(duì)所有的幀F(xiàn)^Fh...、Fj的步驟S3?SlO結(jié)束，則處理進(jìn)入步驟Sll。在步驟S11中，進(jìn)行現(xiàn)有的信道CH1、CH2、…、CHl的校正。具體而言，計(jì)算部43循環(huán)(総當(dāng)化⑴算出基準(zhǔn)幀GhG2V^GU司的幀整體的類似度。需要注意的是，這里所說(shuō)的幀整體和步驟S3—樣，當(dāng)在區(qū)域設(shè)定窗口 W3上進(jìn)行了區(qū)域的指定的情況下，指該區(qū)域整體，在未進(jìn)行指定的情況下，指幀的整個(gè)畫面。此外，在本實(shí)施方式中，和步驟S5、S6—樣，算出歸一化互相關(guān)(ZNCC)作為類似度，但也可以算出其它類似度。此外，類似度也可以通過(guò)與綜合類似度B1以及局部類似度Yik不同的方法來(lái)計(jì)算。于是，如果這些類似度中有超過(guò)規(guī)定閾值的類似度，則判斷部44將提供這樣的類似度的基準(zhǔn)幀G1所對(duì)應(yīng)的信道CH1彼此合并為一個(gè)信道。具體而言，對(duì)屬于合并的信道(:出的所有幀F(xiàn)j再次賦予相同信道名的標(biāo)簽。需要注意的是，這里，也有三個(gè)以上的信道CH1合并為一個(gè)的情況。
[0147]進(jìn)而，在即使進(jìn)行了上述的信道合并還是存在僅包含一個(gè)幀的信道(^出的情況下，判斷部44消除(消滅)該信道CHu具體而言，判斷部44對(duì)屬于消除的所有信道CH1的幀F(xiàn)j再次賦予“未分類”的標(biāo)簽。需要注意的是，在本實(shí)施方式中，僅包含一個(gè)幀F(xiàn)j的信道CH1*消除的對(duì)象，但是，這樣的基準(zhǔn)值也可以是兩個(gè)、三個(gè)、…。此外，也可以事先對(duì)可創(chuàng)建的信道數(shù)設(shè)置上限。這種情況下，為了信道數(shù)不超過(guò)上限，可以從幀F(xiàn)j的幅數(shù)少的信道開始消除。
[0148]基于上述的處理，最終創(chuàng)建的信道的信道名CH1中包含的數(shù)值不是連續(xù)編號(hào)的可能性高。于是，判斷部44依次對(duì)最終創(chuàng)建的信道CHi重新賦予CHOl、CH02、…的信道名，用這些新的信道名來(lái)更新賦予了各幀F(xiàn)j的標(biāo)簽。并且，在此之后，自動(dòng)分類處理結(jié)束。
[0149]〈2.第二實(shí)施方式〉
[0150]下面，對(duì)本發(fā)明的第二實(shí)施方式進(jìn)行說(shuō)明。圖11示出了第二實(shí)施方式所涉及的自動(dòng)分類處理的流程，第二實(shí)施方式和第一實(shí)施方式僅是自動(dòng)分類的算法不同。此外，比較圖9以及圖11可知，兩個(gè)自動(dòng)分類處理的不同點(diǎn)僅在于在第二實(shí)施方式中，取代步驟S4?S6而插入了步驟S24?S26這點(diǎn)。因此，下面，為了簡(jiǎn)單起見，僅對(duì)該不同點(diǎn)進(jìn)行說(shuō)明。
[0151]在第二實(shí)施方式中，在執(zhí)行了和第一實(shí)施方式一樣的步驟SI?S3之后，執(zhí)行步驟S24。在步驟S24中，計(jì)算部43在比較幀F(xiàn)j的各局部區(qū)域內(nèi)檢測(cè)特征點(diǎn)。此時(shí)，優(yōu)選在各局部區(qū)域D1、D2、…、Dk內(nèi)檢測(cè)出的特征點(diǎn)的數(shù)量為相同數(shù)量。下面，將比較幀F(xiàn)j內(nèi)的特征點(diǎn)表示為P1、P2、…、Pu(U為2以上的整數(shù))。
[0152]計(jì)算部43在比較幀F(xiàn)j內(nèi)于各特征點(diǎn)Pu(u=l、2、-_、U)附近設(shè)定局部區(qū)域Vu(參照?qǐng)D12)。局部區(qū)域Vu是以特征點(diǎn)Pu為中心的規(guī)定尺寸的區(qū)域。并且，計(jì)算部43針對(duì)現(xiàn)有的信道
011、012、"_、01的基準(zhǔn)幀61、62、"_、6[各自設(shè)定局部區(qū)域￥’1、￥’2、"_、￥’11(參照?qǐng)D12)。局部區(qū)域V’1、V’2、…、V’u被定義為在幀的畫面內(nèi)分別占據(jù)和局部區(qū)域V1、V2、"_、Vu相同的位置。
[0153]如上所述，在本實(shí)施方式中，以局部區(qū)域D1、D2、-_、Dk為單位從比較幀F(xiàn)j中檢測(cè)特征點(diǎn)Ρι、Ρ2、...、Ρυ。其結(jié)果是，特征點(diǎn)Ρι、Ρ2、...、Ρυ不會(huì)偏于比較幀F(xiàn)j的畫面整體的一部分區(qū)域，而是從比較幀F(xiàn)j整體之中大致均等地檢測(cè)。
[0154]接著，在步驟S25中，計(jì)算部43按照局部區(qū)域Vu、V’ u(u = 1、2、…、U)的各個(gè)組合，算出比較幀F(xiàn)j和各基準(zhǔn)幀Gi(I = 1、2、…、L)的局部類似度Yiuο即、局部類似度Yiu是比較幀F(xiàn)j的局部區(qū)域Vu和基準(zhǔn)幀61的局部區(qū)域V’u的類似度。需要說(shuō)明的是，第一以及第二實(shí)施方式中的局部類似度在均表示局部區(qū)域上的類似度這一點(diǎn)上是共同的，因此，采用相同的標(biāo)號(hào)Y來(lái)表不。此外，在本實(shí)施方式中，算出被稱為歸一化互相關(guān)(ZNCC)的相關(guān)系數(shù)，但和第一實(shí)施方式一樣，也可以算出其它類似度。
[0155]接著，在步驟S26中，計(jì)算部43算出比較幀F(xiàn)j和各基準(zhǔn)幀Gi(l= 1、2、...、L)在幀整體中的綜合類似度仏。需要說(shuō)明的是，第一以及第二實(shí)施方式中的綜合類似度在均表示幀整體上的類似度這一點(diǎn)上是共同的，因此，采用相同的標(biāo)號(hào)B來(lái)表示。具體而言，關(guān)于各1(1 =
1、2、…、L)，計(jì)算部43判斷局部類似度Ylu高的局部區(qū)域VU、V’U。此時(shí)，例如既可以將局部類似度Yiu在上位規(guī)定比例內(nèi)的區(qū)域判斷為高，也可以將局部類似度Yiu大于規(guī)定閾值的區(qū)域判斷為高。然后，關(guān)于各1(1 = 1、2、…、L)，僅利用整個(gè)幀中局部類似度Yiu高的VU、V’U，來(lái)再次算出比較幀F(xiàn)j和基準(zhǔn)幀6:的類似度，將其作為綜合類似度仏。在本實(shí)施方式中，也是算出歸一化互相關(guān)(ZNCC)作為綜合類似度仏，但也可以和第一實(shí)施方式同樣地算出其它類似度。此外，在本實(shí)施方式中，綜合類似度B1和局部類似度Ylu也可以通過(guò)不同的方法計(jì)算。
[0156]通過(guò)上述的步驟S26算出綜合類似度&32、…、Bl。其后的處理流程和第一實(shí)施方式相同。
[0157]如上所述，在本實(shí)施方式中，在計(jì)算綜合類似度時(shí)，不考慮特征點(diǎn)P1、p2、…、Pli附近的局部區(qū)域ν2、...、νυ以外的區(qū)域的信息。這是因?yàn)?，即使是不同信道的幀之間，如果它們是拍攝了相似景象的幀，在采用幀整體的信息來(lái)判斷綜合類似度出的情況下，綜合類似度B1也會(huì)升高。例如，在拍攝了同一店內(nèi)的不同場(chǎng)所的兩個(gè)視頻中，有時(shí)都是相同的均勻色壁紙、床等占據(jù)了幀的大部分，在這樣的情況下，綜合類似度B1增高。因此，這里，為了避免誤判斷，拍有相同的均勻色壁紙、床等背景的可能性高的區(qū)域、即特征點(diǎn)PhPyJLi附近以外的區(qū)域不用于綜合類似度B1的計(jì)算。其結(jié)果是，可以降低相似背景的影響，正確地判斷所比較的幀彼此是否屬于相同的信道。
[0158]進(jìn)而，在本實(shí)施方式中，在計(jì)算綜合類似度扮時(shí)，局部類似度Ylu低的局部區(qū)域Vu、V’u的信息也不考慮。這是因?yàn)椋谝苿?dòng)體部分占幀整體的比例大的情況下，如果利用幀整體的信息來(lái)判斷綜合類似度B1，則即使是相同信道的幀彼此，綜合類似度出也會(huì)降低。因此，這里，為了避免誤判斷，被認(rèn)為包含很多移動(dòng)體部分的局部類似度Yiu低的局部區(qū)域VU、V’U不用于綜合類似度B1的計(jì)算。其結(jié)果是，可以降低移動(dòng)體的影響，能夠正確地判斷所比較的幀彼此是否屬于相同的信道。
[0159]〈3.第三實(shí)施方式〉
[0160]下面，對(duì)本發(fā)明的第三實(shí)施方式進(jìn)行說(shuō)明。圖13示出了第三實(shí)施方式所涉及的自動(dòng)分類處理的流程，第三實(shí)施方式和第一以及第二實(shí)施方式僅是自動(dòng)分類的算法不同。此夕卜，比較圖13以及圖9可知，第一以及第三實(shí)施方式所涉及的自動(dòng)分類處理的不同點(diǎn)僅在于在第三實(shí)施方式中，取代步驟S5、S6而插入了子程序S30這一點(diǎn)。因此，下面，為了簡(jiǎn)單起見，僅對(duì)該不同點(diǎn)進(jìn)行說(shuō)明。
[0161]如上所述，在第一以及第二實(shí)施方式中，算出相關(guān)系數(shù)作為幀間的類似度，但在第三實(shí)施方式中，則基于幀的色彩傾向來(lái)評(píng)價(jià)幀間的類似度。此外，作為幀的色彩傾向，綜合考慮幀畫面內(nèi)的整體的色彩傾向、和幀畫面內(nèi)的局部的色彩傾向。下面，進(jìn)行具體說(shuō)明。
[0162]首先，在第三實(shí)施方式中，執(zhí)行和第一實(shí)施方式一樣的步驟SI?S4，接著，執(zhí)行子程序S30。子程序S30是評(píng)價(jià)表示幀畫面內(nèi)的局部或整體的色彩傾向的各種顏色指標(biāo)的處理，在圖17中示出其詳細(xì)情況。特別是在子程序S30包含的步驟S31?S33中，考慮濃度，在步驟S34?S38中，考慮彩度，在步驟S39?S43中，考慮色相。需要注意的是，雖然在步驟S31?S33中考慮濃度，但也可以取代濃度而采用明度、輝度。此外，在子程序S30所包含的步驟S44?46中，考慮幀的整體的印象度。
[0163]首先，在步驟S31中，計(jì)算部43算出比較幀F(xiàn)j整體的平均濃度Hd。需要注意的是，在區(qū)域設(shè)定窗口W3上進(jìn)行了區(qū)域的指定的情況下，這里所述的比較幀F(xiàn)j整體是指該區(qū)域整體，在未進(jìn)行指定的情況下，是指幀的整個(gè)畫面。此外，計(jì)算部43算出比較幀F(xiàn)j內(nèi)的各局部區(qū)域Dk(k = 1、2、…、K)中的平均濃度Edk。需要說(shuō)明的是，平均濃度是以作為對(duì)象的區(qū)域內(nèi)的所有像素的濃度的平均值而算出的，各像素的濃度是以該像素的RGB值的平均值而算出的。接著，計(jì)算部43針對(duì)各局部區(qū)域Dk(k= 1、2、…、K)，在濃度Edk>濃度Hd的情況下，賦予“I”的值，在濃度EdK濃度Hd的情況下，賦予“O”的值(參照?qǐng)D14)。需要注意的是，該T、“O”是表示局部區(qū)域的濃度以幀整體為基準(zhǔn)是相對(duì)高還是低的指標(biāo)，是與濃度(明亮度)相關(guān)的表示局部的色彩傾向的顏色指標(biāo)(下面，稱為濃度指標(biāo))。
[0164]在接下來(lái)的步驟S32中，計(jì)算部43對(duì)現(xiàn)有的信道CHhCHyJHL的基準(zhǔn)幀、Gl各自執(zhí)行和步驟S31相同的處理。即、關(guān)于各1(1 = 1、2、…、L)，計(jì)算部43針對(duì)基準(zhǔn)幀G1內(nèi)的各局部區(qū)域D’k(k=l、2、-_、K)算出濃度指標(biāo)(參照?qǐng)D14)。需要注意的是，如圖13以及圖17所示，步驟S32被反復(fù)執(zhí)行，因此，關(guān)于已算出濃度指標(biāo)的基準(zhǔn)幀G1,則參照該值而省略新的計(jì)算處理。
[0165]在接下來(lái)的步驟S33中，計(jì)算部43基于在步驟S31、S32中算出的濃度指標(biāo)，算出比較幀F(xiàn)j和各基準(zhǔn)幀Gi(l = 1、2、...、υ之間的類似度Bdi。具體而言，計(jì)算部43算出比較幀F(xiàn)j內(nèi)的濃度指標(biāo)的分布型式(分布K夕一V)和各基準(zhǔn)幀Gi內(nèi)的濃度指標(biāo)的分布型式的類似度來(lái)作為類似度Bdu在本實(shí)施方式中，計(jì)數(shù)“I”、“O”的濃度指標(biāo)不一致的局部區(qū)域Dk、D’k的組合的數(shù)量，將該計(jì)數(shù)值除以局部區(qū)域的數(shù)量K后所得的值的平方值作為類似度BcU(參照?qǐng)D14)。需要注意的是，這里，進(jìn)行用到了局部區(qū)域的數(shù)量K的除法運(yùn)算是為了將類似度Bd1維持在O?I之間的值，進(jìn)行歸一化。此外，步驟S33、以及后述的步驟S38、S43中算出的類似度為越類似則越小的值?；谠摵x，這些類似度也可以作為非類似度。
[0166]但是，圖像的構(gòu)圖是基于畫面內(nèi)的多個(gè)元素的配置而確定的。而且，單純點(diǎn)說(shuō)，很多圖像為大致分為表示關(guān)注物體的區(qū)域和表示其背景的區(qū)域的構(gòu)圖。即、可以認(rèn)為濃度指標(biāo)為“I”的區(qū)域和為“O”的區(qū)域，一方表示關(guān)注物體，另一方表示其背景。基于該想法，可以說(shuō)，比較幀F(xiàn)j內(nèi)的濃度指標(biāo)的分布型式表示比較幀F(xiàn)j的構(gòu)圖，基準(zhǔn)幀Gi內(nèi)的濃度指標(biāo)的分布型式表示基準(zhǔn)幀&的構(gòu)圖。因此，可以說(shuō)，類似度Bd1表示比較幀F(xiàn)j及基準(zhǔn)幀&間的構(gòu)圖的類似度。
[0167]在接下來(lái)的步驟S34中，計(jì)算部43基于比較幀F(xiàn)j內(nèi)的濃度指標(biāo)的分布型式，將比較幀F(xiàn)j分割為兩個(gè)局部區(qū)域R1、R2(參照?qǐng)D15)。局部區(qū)域&是結(jié)合了所有比較幀F(xiàn)j內(nèi)濃度指標(biāo)為“I”的局部區(qū)域Dk的區(qū)域，局部區(qū)域R2是結(jié)合了所有比較幀F(xiàn)j內(nèi)濃度指標(biāo)為“O”的局部區(qū)域Dk的區(qū)域。即、在步驟S34中，基于比較幀F(xiàn)j的構(gòu)圖，將比較幀F(xiàn)j分割為表示關(guān)注物體的區(qū)域和表示其背景的區(qū)域。
[0168]在接下來(lái)的步驟S35中，和步驟S34—樣，計(jì)算部43基于現(xiàn)有的信道CH1、CH2、…、CHl的基準(zhǔn)幀G1、G2、"_、Gl各自中的濃度指標(biāo)的分布型式，將基準(zhǔn)幀G1、G2、"_、Gl各自分割為局部區(qū)域R’1、R’2(參照?qǐng)D15)。局部區(qū)域IT1是結(jié)合了所有基準(zhǔn)幀G1內(nèi)濃度指標(biāo)為“I”的局部區(qū)域D’k的區(qū)域，局部區(qū)域R’2是結(jié)合了所有基準(zhǔn)幀G1內(nèi)濃度指標(biāo)為“O”的局部區(qū)域D’k的區(qū)域。SP、在步驟S35中，基于基準(zhǔn)幀G1的構(gòu)圖，將基準(zhǔn)幀G1分割為表示關(guān)注物體的區(qū)域和表示其背景的區(qū)域。
[0169]在接下來(lái)的步驟S36中，計(jì)算部43針對(duì)比較幀F(xiàn)j內(nèi)的局部區(qū)域R1、R2各自算出對(duì)應(yīng)RGB的三個(gè)平均值。接著，計(jì)算部43基于局部區(qū)域仏中的對(duì)應(yīng)RGB的三個(gè)平均值，算出局部區(qū)域仏的彩度，并基于局部區(qū)域R2中的對(duì)應(yīng)RGB的三個(gè)平均值，算出局部區(qū)域他的彩度。接著，計(jì)算部43算出局部區(qū)域仏、1?2間的相對(duì)的彩度(下面，稱為相對(duì)彩度)。相對(duì)彩度是作為局部區(qū)域R1的彩度和局部區(qū)域R2的彩度之差的絕對(duì)值而算出的。相對(duì)彩度是與彩度相關(guān)的表示色彩傾向的顏色指標(biāo)(下面，稱為彩度指標(biāo))。
[0170]在接下來(lái)的步驟S37中，計(jì)算部43針對(duì)現(xiàn)有的信道CH1XH^…、CHl的基準(zhǔn)幀G!、G2、"_、Gl各自執(zhí)行和步驟S36相同的處理。即、關(guān)于各1(1 = 1、2、…、L)，計(jì)算部43算出基準(zhǔn)幀G1內(nèi)的各個(gè)局部區(qū)域R’1、R’2的彩度，并算出作為這些的差的絕對(duì)值的相對(duì)彩度。需要注意的是，如圖13以及圖17所示，步驟S37被反復(fù)執(zhí)行，因此，關(guān)于已經(jīng)算出相對(duì)彩度的基準(zhǔn)幀G1，則參照該值而省略新的計(jì)算處理。步驟S35也可以同樣地省略。
[0171 ]在接下來(lái)的步驟S38中，計(jì)算部43算出在步驟S36、S37中算出的比較幀F(xiàn)j的相對(duì)彩度與各基準(zhǔn)幀Gi(I = 1、2、…、L)的相對(duì)彩度的類似度Bsiο在本實(shí)施方式中，類似度Bsi是作為兩相對(duì)彩度之差除以255后所得的值的平方值而算出的。需要說(shuō)明的是，這里，進(jìn)行除以255的除法運(yùn)算是為了將類似度Bs1維持在O?I之間的值，進(jìn)行歸一化。
[0172]在接下來(lái)的步驟S39中，計(jì)算部43將比較幀F(xiàn)j分割為主區(qū)域O1以及副區(qū)域O2兩個(gè)區(qū)域。具體而言，在通過(guò)步驟S34算出的局部區(qū)域仏、1?2中，將面積更寬的區(qū)域設(shè)定為主區(qū)域(h、將更窄的區(qū)域設(shè)定為副區(qū)域02(參照?qǐng)D16)。即、步驟S39基于比較幀F(xiàn)j的構(gòu)圖，將比較幀匕分割為表示關(guān)注物體的區(qū)域和表示其背景的區(qū)域。
[0173]在接下來(lái)的步驟S40中，和步驟S39—樣，計(jì)算部43將基準(zhǔn)幀6!、G2、…、Gl各自分割為主區(qū)域(T1以及副區(qū)域0’2兩個(gè)區(qū)域。具體而言，在通過(guò)步驟S35算出的局部區(qū)域R’^R’2中，將面積更寬的區(qū)域設(shè)定為主區(qū)域O’1、將更窄的區(qū)域設(shè)定為副區(qū)域0’2(參照?qǐng)D16)。即、在步驟S40中基于基準(zhǔn)幀G1的構(gòu)圖，將基準(zhǔn)幀G1分割為表示關(guān)注物體的區(qū)域和表示其背景的區(qū)域。
[0174]在接下來(lái)的步驟S41中，計(jì)算部43算出主區(qū)域O1的平均色相，并算出副區(qū)域O2的平均色相。需要說(shuō)明的是，該平均色相是與色相相關(guān)的表示局部的色彩傾向的顏色指標(biāo)(下面，稱為色相指標(biāo))，是以作為對(duì)象的區(qū)域內(nèi)的所有像素的色相的平均值而算出的。
[0175]在接下來(lái)的步驟S42中，計(jì)算部43對(duì)現(xiàn)有的信道CH1、CH2、…、CHl的基準(zhǔn)幀6!、G2、…、Gl各自執(zhí)行和步驟S41相同的處理。即、關(guān)于各1(1 = 1、2、…、L)，計(jì)算部43針對(duì)基準(zhǔn)幀G1內(nèi)的各個(gè)區(qū)域Ο?’2算出色相指標(biāo)。需要注意的是，如圖13以及圖17所示，步驟S42被反復(fù)執(zhí)行，因此，關(guān)于已經(jīng)算出色相指標(biāo)的基準(zhǔn)幀G1,則參照該值而省略新的計(jì)算處理。步驟S40也可以同樣地省略。
[0176]在接下來(lái)的步驟S43中，計(jì)算部43算出比較幀F(xiàn)j內(nèi)的主區(qū)域O1中的色相指標(biāo)與各基準(zhǔn)幀Gi(l = 1、2、…、L)內(nèi)的主區(qū)域O’沖的色相指標(biāo)的類似度Bhn。在本實(shí)施方式中，類似度Bh11是作為主區(qū)域&、()、的色相指標(biāo)之差除以180后所得的值的平方值而算出的。此外，計(jì)算部43算出比較幀F(xiàn)j內(nèi)的副區(qū)域O2中的色相指標(biāo)與各基準(zhǔn)幀Gi(I = 1、2、…、L)內(nèi)的副區(qū)域
O’ 2中的色相指標(biāo)的類似度Mm ο具體而言，將副區(qū)域O2、O ’ 2的色相指標(biāo)之差除以180后所得的值的平方值作為類似度Mm。需要說(shuō)明的是，這里，進(jìn)行除以180的除法運(yùn)算是為了將類似度Bhn、Bh2I維持為O?I之間的值，進(jìn)行歸一化。
[0177]接下來(lái)的步驟S44?S46是評(píng)價(jià)表示幀的畫面內(nèi)的整體的色彩傾向的顏色指標(biāo)的步驟。在本實(shí)施方式中，為了評(píng)價(jià)幀的畫面內(nèi)的整體的色彩傾向，定義有各種印象度ZyAa為2以上的整數(shù))。需要注意的是，用于定義這些印象度ZhZyJ1的各種信息存儲(chǔ)在軟件管理區(qū)域50內(nèi)的印象度定義區(qū)域53內(nèi)。
[0178]下面，對(duì)印象度Z1(I= Id^a)進(jìn)行說(shuō)明。各印象度Z1與一個(gè)或多個(gè)顏色條件相關(guān)聯(lián)，這些顏色條件中定義有權(quán)重。需要說(shuō)明的是，與相同的印象度Z1相關(guān)聯(lián)的一個(gè)或多個(gè)顏色條件的權(quán)重合計(jì)為I。圖18示出了印象度Z1 “自然”的例子，印象度自然”與“綠色”、“棕色”以及“米色”三個(gè)顏色條件相關(guān)聯(lián)。此外，對(duì)“綠色”、“棕色”以及“米色”三個(gè)顏色條件分別賦予了 0.5、0.25、0.25的權(quán)重。如圖18所示，各顏色條件中定義有對(duì)于濃度(明度)、彩度以及色相的值的評(píng)價(jià)值。這里，在提供了某像素的情況下，在導(dǎo)出對(duì)應(yīng)該像素的濃度、彩度以及色相的值的評(píng)價(jià)值之后，將這些評(píng)價(jià)值相乘，從而算出各顏色條件的值。然后，該像素的印象度Zi的值作為對(duì)各顏色條件的值附加上述的權(quán)重并相加而得的值來(lái)算出。
[0179]在步驟S44中，計(jì)算部43算出比較幀F(xiàn)j的幀整體上的各印象度Zi(i= 1、2、…、I)的值。需要注意的是，當(dāng)在區(qū)域設(shè)定窗口 W3上進(jìn)行了區(qū)域的指定的情況下，這里所述的幀整體是指該區(qū)域整體，在未進(jìn)行指定的情況下，是指幀的整個(gè)畫面。具體而言，關(guān)于各i(i = l、2、…、I)，計(jì)算部43針對(duì)比較幀F(xiàn)j的整個(gè)幀中包含的各像素算出印象度?,的值，并算出這些值的平均值，將該平均值作為幀整體上的印象度?,的值。需要說(shuō)明的是，幀整體上的印象度冗工的值是與印象度&相關(guān)的表示幀整體上的色彩傾向的顏色指標(biāo)(下面，稱為印象指標(biāo))。
[0180]在接下來(lái)的步驟S45中，計(jì)算部43對(duì)現(xiàn)有的信道CH1、CH2、…、CHl的基準(zhǔn)幀6!、G2、…、Gl各自執(zhí)行和步驟S44相同的處理。即、關(guān)于各1(1 = 1、2、…、L)，計(jì)算部43針對(duì)各個(gè)印象度Z1、Z2、…、Z1，算出基準(zhǔn)幀Gi的印象指標(biāo)。需要注意的是，如圖13以及圖17所示，步驟S45被反復(fù)執(zhí)行，因此，關(guān)于已經(jīng)算出印象指標(biāo)的基準(zhǔn)幀G1,則參照該值而省略新的計(jì)算處理。
[0181]在接下來(lái)的步驟S46中，計(jì)算部43基于印象度Z^Zs、…、Z1，算出比較幀F(xiàn)j與各基準(zhǔn)幀61(1 = 1、2、...、。在幀整體上的類似度Bi1。具體而言，關(guān)于各1(1 = 1、2、...、υ以及各i(i=1、2、…、I)，計(jì)算部43算出比較幀F(xiàn)j在幀整體上的印象度Zi的值與基準(zhǔn)幀Gi在幀整體上的印象度Z1的值之差的平方值。然后，關(guān)于各1(1 = 1、2、…、L)，算出I減去這I個(gè)平方值的合計(jì)值的平方根(一維的印象度空間內(nèi)的比較幀F(xiàn)j和基準(zhǔn)幀61的距離)所得的值，將其作為類似度 Bii。
[0182]然后，在步驟S47中，計(jì)算部43基于已經(jīng)算出的類似度Β(1ι、Β8ι、Β1ηι、Β1ι2ι、Β?ι(1 =1、2、…、L)，算出比較幀F(xiàn)j和各基準(zhǔn)幀Gi(l = 1、2、...α)的類似度(下面，稱為綜合類似度)B1。需要注意的是，第一以及第三實(shí)施方式中的綜合類似度在均表示幀整體上的類似度這一點(diǎn)上是共同的，因此，采用相同的標(biāo)號(hào)B來(lái)表示。在本實(shí)施方式中，關(guān)于各1(1 = 1、2、…、1^)，計(jì)算部43在算出1減去8(11』81』1111』1121的合計(jì)值的平方根(關(guān)于四個(gè)指標(biāo)的四維空間內(nèi)的比較幀F(xiàn)j和基準(zhǔn)幀61的距離)所得的值(構(gòu)圖比較結(jié)果)之后，將該值和Bi1(印象比較結(jié)果)相乘后所得的值作為綜合類似度B1。需要注意的是，在其它實(shí)施方式中，也可以采用不同的方法，例如，也可以是，對(duì)構(gòu)圖比較結(jié)果及/或印象比較結(jié)果乘以適當(dāng)?shù)南禂?shù)、或者對(duì)其加上或減去適當(dāng)?shù)闹抵?，將兩值相乘?；蛘?，也可以是，在附加適當(dāng)系數(shù)的同時(shí)，將I 一 Bd1的平方根、1-Bsi的平方根、1-Bhn的平方根、1-Bh2I的平方根、Bii相加后所得的值作為綜合類似度Bi。
[0183]通過(guò)上述的步驟S47算出綜合類似度&32、…、Bl。之后的處理流程與第一實(shí)施方式相同。
[0184]〈4.用途〉
[0185]圖像處理程序2可以對(duì)多種多樣的活動(dòng)圖像進(jìn)行圖像處理，例如、在警察局等機(jī)構(gòu)為了案件偵查而解析監(jiān)控?cái)z像機(jī)的監(jiān)控視頻的情形下也可以被利用。例如、在同一個(gè)店鋪內(nèi)往往設(shè)置了多個(gè)監(jiān)控?cái)z像機(jī)，但是，這些監(jiān)控視頻通常是以混合延時(shí)活動(dòng)圖像的形式來(lái)記錄的。于是，在這樣的情況下，如果使用設(shè)置有監(jiān)控?cái)z像機(jī)的店鋪內(nèi)的專用設(shè)備，則可以分離混合延時(shí)活動(dòng)圖像中包含的各信道，但是，在警察局等處，由于不擁有對(duì)應(yīng)各廠家的各機(jī)型的專用設(shè)備，從而播放困難。因此，不管活動(dòng)圖像的方式如何均可以將混合延時(shí)活動(dòng)圖像分離為按照各個(gè)信道的活動(dòng)圖像的上述時(shí)間軸分離處理可以在這樣的情形下得以有效利用。
[0186]〈5.變形例〉
[0187]以上，對(duì)于本發(fā)明的一個(gè)實(shí)施方式進(jìn)行了說(shuō)明，但是，本發(fā)明并不限定于上述實(shí)施方式，在不脫離其宗旨的范圍內(nèi)，可以有各種變更。例如、可以進(jìn)行下面的變更。
[0188]〈5-1〉
[0189]上述實(shí)施方式中的再分類窗口W4也可以由多個(gè)窗口構(gòu)成。
[0190]〈5-2〉
[0191]在上述實(shí)施方式中，通過(guò)切換選擇信道，在幀一覽區(qū)域C2內(nèi)，幀組以信道或分類的單位進(jìn)行切換顯示。但是，也可以針對(duì)多個(gè)信道以及“未分類”的分類各自設(shè)置用于一覽顯示幀組的幀一覽區(qū)域。在該情況下，為了有效地使用畫面空間，優(yōu)選在各幀一覽區(qū)域內(nèi)縮略顯示幀組，進(jìn)而，優(yōu)選沿時(shí)間軸排列縮略圖像組。此外，在該情況下，可以省略圖標(biāo)形式的信道對(duì)象91以及未分類對(duì)象92，將各信道用的幀一覽區(qū)域作為用于相關(guān)聯(lián)操作的信道對(duì)象來(lái)使用，并且，將“未分類”的分類用的幀一覽區(qū)域作為用于相關(guān)聯(lián)操作的未分類對(duì)象來(lái)使用。即、也可以構(gòu)成為，從“未分類”的幀一覽區(qū)域中選擇任意的幀，將其拖放至信道用的任意的幀一覽區(qū)域(信道對(duì)象)，從而能夠?qū)⒃搸诸愔僚c該區(qū)域?qū)?yīng)的信道。使信道所包含的幀移動(dòng)至其它信道或分類時(shí)也是同樣。
[0192]或者，也可以是，設(shè)置用于一覽顯示“未分類”的幀組的幀一覽區(qū)域、和用于一覽顯示屬于信道的幀組的幀一覽區(qū)域，使“未分類”的幀組總是在前者的區(qū)域內(nèi)顯示。在該情況下，在后者的區(qū)域內(nèi)，可以僅一覽顯示屬于當(dāng)前選擇的信道的幀組。
[0193]〈5-3〉
[0194]在第三實(shí)施方式中，定義了各種顏色指標(biāo)，這些顏色指標(biāo)進(jìn)行各種組合而定義了綜合類似度B1，但是，既可以通過(guò)其它方式來(lái)定義顏色指標(biāo)，也可以通過(guò)其它方式來(lái)組合顏色指標(biāo)而定義綜合類似度Bu例如，在第三實(shí)施方式中，基于濃度相關(guān)的顏色指標(biāo)來(lái)確定構(gòu)圖，但是，例如也可以基于色相及/或彩度相關(guān)的顏色指標(biāo)來(lái)確定構(gòu)圖。此外，基于局部區(qū)域R^R2之間的相對(duì)彩度算出了類似度Bs1，但也可以將局部區(qū)域R^IT1之間的絕對(duì)彩度差、局部區(qū)域R2、R’2之間的絕對(duì)彩度差作為類似度Bsu此外，也可以算出局部區(qū)域RhRhi間的濃度差、局部區(qū)域R2、R’2之間的濃度差作為類似度，并采用于綜合類似度出中。
[0195]〈5-4〉
[0196]在上述實(shí)施方式中，構(gòu)成為:可以在剛開始信道分離處理之后，顯示區(qū)域設(shè)定窗口W3，進(jìn)行用于避免誤判斷的區(qū)域設(shè)定。但是，也可以不顯示這樣的區(qū)域設(shè)定窗口 W3而使得不能進(jìn)行這樣的區(qū)域設(shè)定?；蛘?，也可以是，雖然在剛開始信道分離處理之后不顯示區(qū)域設(shè)定窗口 W3，但在再分類窗口 W4上準(zhǔn)備用于在進(jìn)行了區(qū)域設(shè)定之后命令自動(dòng)分類處理的再運(yùn)行的按鈕。在該情況下，用戶僅在未設(shè)定區(qū)域而進(jìn)行的自動(dòng)分類處理的結(jié)果不恰當(dāng)(誤判斷多)的情況下，按下上述按鈕，使區(qū)域設(shè)定窗口 W3顯示。于是，可以在進(jìn)行了區(qū)域設(shè)定之后，再次執(zhí)行自動(dòng)分類處理?；蛘?，也可以在剛開始信道分離處理之后顯示區(qū)域設(shè)定窗口 W3，并在設(shè)定了區(qū)域的狀態(tài)下執(zhí)行自動(dòng)分類處理的同時(shí)，進(jìn)而還在再分類窗口 W4上準(zhǔn)備上述的按鈕。
[0197]〈5-5〉
[0198]在上述實(shí)施方式的步驟S9中，將通過(guò)加權(quán)平均對(duì)比較幀F(xiàn)j和現(xiàn)有的基準(zhǔn)幀Gmm進(jìn)行合成的結(jié)果作為新的基準(zhǔn)幀Gmm。但是，基準(zhǔn)幀Gmax的更新方法并不限定于此。例如，關(guān)于各像素，也可以創(chuàng)建信道CHmax所包含的所有幀(也包含該時(shí)間點(diǎn)的比較幀F(xiàn)j)的像素值的柱狀圖，將成為眾數(shù)(最頻)的像素值作為基準(zhǔn)幀Gmm的該像素的像素值?；蛘撸瑢⒊蔀橹鶢顖D中的中值的像素值作為基準(zhǔn)幀Gmax的該像素的像素值。
[0199]〈5-6〉
[0200]在上述實(shí)施方式中，也可以是，在緊接著步驟SlO之后等判斷信道數(shù)L是否達(dá)到了一定數(shù)量以上，在判斷為達(dá)到了一定數(shù)量以上的情況下，進(jìn)行和步驟Sll同樣的現(xiàn)有的信道的校正處理。這是因?yàn)椋绻诺罃?shù)L增加過(guò)多，則處理負(fù)荷會(huì)加重。不過(guò)，優(yōu)選即使存在幅數(shù)為I的信道，如果該一個(gè)幀距離當(dāng)前選擇的比較幀F(xiàn)j在時(shí)間上為一定值以內(nèi)的遠(yuǎn)近，則不進(jìn)行該信道的刪除。這是因?yàn)?，該信道是最近?chuàng)建的信道，此后出現(xiàn)分類至該信道的幀的可能性高。需要注意的是，在光進(jìn)行了上述那樣的信道的刪除，而信道數(shù)L超過(guò)了一定值的情況下，信道數(shù)為2以上的信道、3以上的信道也可以依次作為刪除的對(duì)象，使信道數(shù)保持在一定數(shù)以下。
[0201]附圖標(biāo)記說(shuō)明
[0202]I圖像處理裝置2圖像處理程序
[0203]41自動(dòng)分類部 42設(shè)定部
[0204]43計(jì)算部44判斷部
[0205]45再分類部 91信道對(duì)象
[0206]92未分類對(duì)象 C3播放區(qū)域
[0207]W4再分類窗口(再分類畫面)
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，用于在屬于不同的信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，按各個(gè)所述信道對(duì)所述幀進(jìn)行分類，所述圖像處理裝置包括: 自動(dòng)分類部，通過(guò)對(duì)包含在所述活動(dòng)圖像中的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，并根據(jù)所述類似度，將所述多個(gè)幀分類至多個(gè)信道。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述自動(dòng)分類部包括: 設(shè)定部，將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀，并將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀； 計(jì)算部，執(zhí)行計(jì)算處理，在所述計(jì)算處理中，將所述比較幀以及所述基準(zhǔn)幀分割為多個(gè)局部區(qū)域，按各個(gè)所述局部區(qū)域算出所述比較幀和所述基準(zhǔn)幀之間的局部類似度，并且，僅利用該局部類似度高的所述局部區(qū)域來(lái)算出綜合類似度，所述綜合類似度是所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的所述類似度；以及 判斷部，根據(jù)所述綜合類似度，執(zhí)行所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同的信道的判斷處理。3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述自動(dòng)分類部包括: 設(shè)定部，將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀，并將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀； 計(jì)算部，執(zhí)行計(jì)算處理，在所述計(jì)算處理中，從所述比較幀中檢測(cè)特征點(diǎn)，對(duì)應(yīng)每個(gè)所述特征點(diǎn)設(shè)定其附近區(qū)域，并且，僅利用所述附近區(qū)域來(lái)算出綜合類似度，所述綜合類似度是所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的所述類似度；以及 判斷部，根據(jù)所述綜合類似度，執(zhí)行所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同的信道的判斷處理。4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述計(jì)算部將所述比較幀分割為多個(gè)局部區(qū)域，并按各個(gè)所述局部區(qū)域從所述比較幀中檢測(cè)所述特征點(diǎn)。5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其中，所述計(jì)算部按各個(gè)所述附近區(qū)域算出所述比較幀和所述基準(zhǔn)幀之間的局部類似度，并且，僅利用該局部類似度高的所述附近區(qū)域來(lái)算出所述綜合類似度。6.根據(jù)權(quán)利要求2至5中任一項(xiàng)所述的圖像處理裝置，其中，所述設(shè)定部從用戶接收幀的畫面內(nèi)的區(qū)域的設(shè)定，并將包含在所述活動(dòng)圖像中的特定幀的所述區(qū)域內(nèi)的圖像、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀的所述區(qū)域內(nèi)的圖像而得的幀設(shè)定為基準(zhǔn)幀，而將包含在所述活動(dòng)圖像中的其它特定幀的所述區(qū)域內(nèi)的圖像設(shè)定為比較幀。7.根據(jù)權(quán)利要求2至6中任一項(xiàng)所述的圖像處理裝置，其中， 所述設(shè)定部能夠設(shè)定多個(gè)所述基準(zhǔn)幀， 在設(shè)定有多個(gè)所述基準(zhǔn)幀的情況下，所述計(jì)算部針對(duì)所述各基準(zhǔn)幀執(zhí)行所述計(jì)算處理， 所述判斷部在所述判斷處理中，判斷所述綜合類似度最高的所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀屬于相同的所述信道。8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中， 所述設(shè)定部邊從所述活動(dòng)圖像中依次選擇幀，邊將最開始選擇的幀設(shè)定為所述基準(zhǔn)幀，而將之后選擇的幀設(shè)定為所述比較幀， 每當(dāng)所述設(shè)定部新設(shè)定了所述比較幀時(shí)，所述計(jì)算部執(zhí)行所述計(jì)算處理，并且，所述判斷部執(zhí)行所述判斷處理， 所述設(shè)定部在通過(guò)所述判斷處理判斷為所述比較幀與任一個(gè)所述基準(zhǔn)幀、或任一個(gè)作為所述基準(zhǔn)幀的合成源的幀均不屬于相同的所述信道的情況下，將該比較幀重新設(shè)定為所述基準(zhǔn)幀。9.根據(jù)權(quán)利要求7或8所述的圖像處理裝置，其中， 所述設(shè)定部邊從所述活動(dòng)圖像中依次選擇幀，邊將最開始選擇的幀設(shè)定為所述基準(zhǔn)幀，而將之后選擇的幀設(shè)定為所述比較幀， 每當(dāng)所述設(shè)定部新設(shè)定了所述比較幀時(shí)，所述計(jì)算部執(zhí)行所述計(jì)算處理，并且，所述判斷部執(zhí)行所述判斷處理， 所述設(shè)定部在通過(guò)所述判斷處理判斷為所述比較幀與任一個(gè)所述基準(zhǔn)幀、或任一個(gè)作為所述基準(zhǔn)幀的合成源的幀屬于相同的所述信道的情況下，將該比較幀合成到該基準(zhǔn)幀中。10.根據(jù)權(quán)利要求8或9所述的圖像處理裝置，其中， 在從所述活動(dòng)圖像中選擇了最后的幀、并且所述計(jì)算處理以及所述判斷處理結(jié)束之后，若設(shè)定有多個(gè)所述基準(zhǔn)幀， 則所述計(jì)算部算出所述多個(gè)基準(zhǔn)幀之間的類似度， 并且，所述判斷部將所述多個(gè)基準(zhǔn)幀之間的類似度高的所述基準(zhǔn)幀所對(duì)應(yīng)的所述信道彼此合并為一個(gè)信道。11.根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的圖像處理裝置，其中，在從所述活動(dòng)圖像中選擇了最后的幀、并且所述計(jì)算處理以及所述判斷處理結(jié)束之后，所述判斷部消除僅規(guī)定幅數(shù)以下的幀所屬的所述信道。12.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的圖像處理裝置，其中，所述類似度是相關(guān)系數(shù)。13.—種圖像處理程序，用于在屬于不同的信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，按各個(gè)所述信道對(duì)所述幀進(jìn)行分類，所述圖像處理程序使計(jì)算機(jī)執(zhí)行分類步驟， 在所述分類步驟中，通過(guò)對(duì)包含在所述活動(dòng)圖像中的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，并根據(jù)所述類似度，將所述多個(gè)幀分類至多個(gè)信道。14.根據(jù)權(quán)利要求13所述的圖像處理程序，其中，所述分類步驟包括: 將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀的步驟； 將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀的步驟； 將所述比較幀以及所述基準(zhǔn)幀分割為多個(gè)局部區(qū)域的步驟； 按各個(gè)所述局部區(qū)域算出所述比較幀和所述基準(zhǔn)幀之間的局部類似度的步驟； 僅利用所述局部類似度高的所述局部區(qū)域來(lái)算出所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的綜合類似度的步驟;以及 根據(jù)所述綜合類似度執(zhí)行所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同的信道的判斷處理的步驟。15.根據(jù)權(quán)利要求13所述的圖像處理程序，其中，所述分類步驟包括: 將包含在所述活動(dòng)圖像中的特定幀、或合成包含在所述活動(dòng)圖像中的兩個(gè)以上的特定幀而得的幀設(shè)定為基準(zhǔn)幀的步驟； 將包含在所述活動(dòng)圖像中的其它特定幀設(shè)定為比較幀的步驟； 從所述比較幀中檢測(cè)特征點(diǎn)的步驟； 對(duì)應(yīng)每個(gè)所述特征點(diǎn)設(shè)定其附近區(qū)域的步驟； 僅利用所述附近區(qū)域來(lái)算出所述比較幀和所述基準(zhǔn)幀之間的在幀整體上的綜合類似度的步驟;以及 根據(jù)所述綜合類似度判斷所述比較幀與所述基準(zhǔn)幀或作為其合成源的幀是否屬于相同的信道的步驟。16.—種圖像處理方法，用于在屬于不同的信道的幀混在一個(gè)活動(dòng)圖像內(nèi)的情況下，按各個(gè)所述信道對(duì)所述幀進(jìn)行分類，所述圖像處理方法包括: 分類步驟，在所述分類步驟中，通過(guò)對(duì)包含在所述活動(dòng)圖像中的多個(gè)幀實(shí)施圖像處理，從而算出幀間的類似度，并根據(jù)所述類似度，將所述多個(gè)幀分類至多個(gè)信道。
【文檔編號(hào)】H04N5/92GK105981372SQ201580007339
【公開日】2016年9月28日
【申請(qǐng)日】2015年1月20日
【發(fā)明人】村田由紀(jì)子, 中野智生
【申請(qǐng)人】諾日士精密株式會(huì)社