專利名稱：幀頻轉(zhuǎn)換設(shè)備及方法、運(yùn)動(dòng)矢量檢測和預(yù)測系數(shù)產(chǎn)生設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于轉(zhuǎn)換運(yùn)動(dòng)圖像的幀(或場)頻率的幀頻轉(zhuǎn)換設(shè)備等。尤其是，
在本發(fā)明中，從通過候選矢量確定的像素產(chǎn)生與現(xiàn)有幀對應(yīng)的預(yù)測幀的預(yù)測像素。另外，獲 得所產(chǎn)生的預(yù)測幀的各個(gè)預(yù)測像素與現(xiàn)有幀中的相同位置的像素之間的相關(guān)，并且選擇具 有高相關(guān)的預(yù)測像素的候選矢量。以這種方式，基于本發(fā)明可以從多個(gè)候選矢量之中選擇 最佳候選矢量，并且可以正確檢測圖像中的對象的邊界上的運(yùn)動(dòng)矢量。
背景技術(shù)：
迄今為止，作為轉(zhuǎn)換運(yùn)動(dòng)圖像的幀(或場)頻率的方法，估計(jì)幀之間的運(yùn)動(dòng)，并且 利用估計(jì)出的運(yùn)動(dòng)量產(chǎn)生新幀。例如，在日本未審專利申請公開No. 2005-175872 (第14頁) 中公開了一種運(yùn)動(dòng)矢量檢測設(shè)備。在這種運(yùn)動(dòng)矢量檢測設(shè)備中，通過典型點(diǎn)匹配和塊匹配 的組合獲得運(yùn)動(dòng)矢量。例如，通過典型點(diǎn)匹配提取多個(gè)候選矢量。另外，通過塊匹配確定包 括各個(gè)候選矢量的起始點(diǎn)的像素的塊與包括結(jié)束點(diǎn)的像素的塊之間的相關(guān)。具有最高相關(guān) 的塊的候選矢量被確定為運(yùn)動(dòng)矢量。

發(fā)明內(nèi)容
在日本未審專利申請公開No. 2005-175872 (第14頁)中公開的運(yùn)動(dòng)矢量檢測設(shè) 備中，通過塊匹配從多個(gè)候選矢量確定運(yùn)動(dòng)矢量。在塊匹配中，針對包括多個(gè)像素的每個(gè)塊 確定相關(guān)。相應(yīng)地，可能會(huì)錯(cuò)誤地檢測圖像中的對象的邊界，由此可能不正確地檢測運(yùn)動(dòng)矢 本發(fā)明解決上述和其它的問題。期望提供一種幀頻轉(zhuǎn)換設(shè)備、幀頻轉(zhuǎn)換方法、實(shí)現(xiàn) 該方法的程序、記錄該程序的計(jì)算機(jī)可讀記錄介質(zhì)、運(yùn)動(dòng)矢量檢測設(shè)備和預(yù)測系數(shù)產(chǎn)生設(shè) 備，從而可以從多個(gè)候選矢量選擇最佳候選矢量，并且正確檢測圖像中的對象的邊界上的 運(yùn)動(dòng)矢量。 根據(jù)本發(fā)明的實(shí)施例，提供了一種幀頻轉(zhuǎn)換設(shè)備，包括運(yùn)動(dòng)估計(jì)部分，輸入低頻 的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的多個(gè)候選矢量； 第一像素產(chǎn)生部分，從通過由運(yùn)動(dòng)估計(jì)部分估計(jì)的候選矢量確定的像素，為每個(gè)候選矢量 產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素；運(yùn)動(dòng)分配部分，獲得預(yù)測幀的各個(gè)預(yù)測像素與第 二幀的像素之間的相關(guān)，選擇具有高相關(guān)值的預(yù)測像素的候選矢量，并且將選擇的候選矢 量分配給內(nèi)插在第一幀與第二幀之間的內(nèi)插幀的各個(gè)像素以確定該矢量為一個(gè)分配矢量； 運(yùn)動(dòng)補(bǔ)償部分，將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還未分配一個(gè)分配矢量的內(nèi)插幀的 像素；以及第二像素產(chǎn)生部分，從所述分配矢量所確定的像素產(chǎn)生所述內(nèi)插幀的像素并且 輸出具有高頻的圖像信號。 根據(jù)本發(fā)明的幀頻轉(zhuǎn)換設(shè)備中，運(yùn)動(dòng)估計(jì)部分估計(jì)指示第一幀與第二幀之間的運(yùn) 動(dòng)的多個(gè)候選矢量。例如，運(yùn)動(dòng)估計(jì)部分的典型點(diǎn)匹配處理部分確定第一幀和第二幀之一 中的典型點(diǎn)，在第一幀和第二幀的另一個(gè)中設(shè)置與典型點(diǎn)對應(yīng)的搜索區(qū)域。另外，獲得包括在搜索區(qū)域中的各個(gè)像素的像素值與典型點(diǎn)的像素值之間的相關(guān)，并且評估值被設(shè)置在評 估值表中。評估值表形成部分累積所述典型點(diǎn)匹配處理部分為所有典型點(diǎn)設(shè)置的評估值， 并且形成評估值表。候選矢量提取部分從評估值表提取具有高相關(guān)值的運(yùn)動(dòng)量作為候選矢 第一像素產(chǎn)生部分從通過由運(yùn)動(dòng)估計(jì)部分估計(jì)的候選矢量所確定的像素，為每個(gè) 候選矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素。例如，第一像素產(chǎn)生部分的第一運(yùn)動(dòng)類 確定部分從候選矢量優(yōu)選地確定包括預(yù)測像素的運(yùn)動(dòng)類。第一預(yù)測系數(shù)選擇部分優(yōu)選地選 擇為第一運(yùn)動(dòng)類確定部分所確定的每個(gè)運(yùn)動(dòng)類預(yù)先獲得的預(yù)測系數(shù)并且將對應(yīng)于預(yù)測幀 的學(xué)生圖像與對應(yīng)于第二幀的老師圖像之間的誤差最小化。第一預(yù)測抽頭選擇部分優(yōu)選地 至少從第一幀選擇位于預(yù)測幀的預(yù)測像素的周圍的多個(gè)像素。第一計(jì)算部分優(yōu)選地計(jì)算第 一預(yù)測系數(shù)選擇部分選擇的預(yù)測系數(shù)以及第一預(yù)測抽頭選擇部分選擇的多個(gè)像素以產(chǎn)生 預(yù)測幀的預(yù)測像素。 運(yùn)動(dòng)分配部分優(yōu)選地獲得預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)，并 且優(yōu)選地選擇具有高相關(guān)值的預(yù)測像素的候選矢量。因此，可以從多個(gè)候選矢量選擇最佳 候選矢量。運(yùn)動(dòng)分配部分優(yōu)選地將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi) 插幀的各個(gè)像素以確定該矢量為分配矢量。 運(yùn)動(dòng)補(bǔ)償部分優(yōu)選地將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還未分配所述分配 矢量的內(nèi)插幀的像素。第二像素產(chǎn)生部分優(yōu)選地從通過所述分配矢量確定的像素產(chǎn)生內(nèi)插 幀的像素并且輸出具有高頻的圖像信號。 根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種轉(zhuǎn)換幀頻的方法，所述方法包括步驟輸 入具有低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的多 個(gè)候選矢量；從估計(jì)的候選矢量所確定的像素，為每個(gè)候選矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測 幀的預(yù)測像素；獲得預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)，并且選擇具有高 相關(guān)值的預(yù)測像素的候選矢量；將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi) 插幀的各個(gè)像素以確定該矢量為分配矢量；將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還未分 配所述分配矢量的內(nèi)插幀的像素；以及從所述分配矢量確定的像素產(chǎn)生內(nèi)插幀的像素并且 輸出具有高頻的圖像信號。 根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種使得計(jì)算機(jī)執(zhí)行轉(zhuǎn)換幀頻的方法的程 序。另外，根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種記錄上述程序的計(jì)算機(jī)可讀記錄介質(zhì)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種運(yùn)動(dòng)矢量檢測設(shè)備，包括運(yùn)動(dòng)估計(jì)部 分，輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的多 個(gè)候選矢量，第一運(yùn)動(dòng)類確定部分，從候選矢量確定包括與第二幀對應(yīng)的預(yù)測幀的預(yù)測像 素的運(yùn)動(dòng)類；第一預(yù)測系數(shù)選擇部分，選擇為第一運(yùn)動(dòng)類確定部分確定的每個(gè)運(yùn)動(dòng)類預(yù)先 獲得的預(yù)測系數(shù)并且將對應(yīng)于預(yù)測幀的學(xué)生圖像與對應(yīng)于第二幀的老師圖像之間的誤差 最小化；第一預(yù)測抽頭選擇部分，至少從第一幀選擇位于預(yù)測幀的預(yù)測像素的周圍的多個(gè) 像素；第一計(jì)算部分，計(jì)算第一預(yù)測系數(shù)選擇部分選擇的預(yù)測系數(shù)以及第一預(yù)測抽頭選擇 部分選擇的多個(gè)像素以產(chǎn)生預(yù)測幀的預(yù)測像素；以及運(yùn)動(dòng)分配部分，獲得預(yù)測幀的各個(gè)預(yù) 測像素與第二幀的像素之間的相關(guān)，并且檢測具有高相關(guān)的預(yù)測像素的候選矢量為運(yùn)動(dòng)矢
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種預(yù)測系數(shù)產(chǎn)生設(shè)備，包括運(yùn)動(dòng)估計(jì)部
分，輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的多
個(gè)候選矢量；運(yùn)動(dòng)類確定部分，從候選矢量確定包括與作為老師圖像的第二幀對應(yīng)的預(yù)測
幀的預(yù)測像素的運(yùn)動(dòng)類；預(yù)測抽頭選擇部分，至少從作為學(xué)生圖像的第一幀選擇位于預(yù)測
幀的預(yù)測像素的周圍的多個(gè)像素；以及預(yù)測系數(shù)產(chǎn)生部分，從運(yùn)動(dòng)類確定部分檢測的運(yùn)動(dòng)
類、預(yù)測抽頭選擇部分選擇的學(xué)生圖像的多個(gè)像素、以及老師圖像的像素，為每個(gè)運(yùn)動(dòng)類獲
得將學(xué)生圖像的多個(gè)像素與老師圖像的像素之間的誤差最小化的預(yù)測系數(shù)。 根據(jù)本發(fā)明，從候選矢量確定的像素產(chǎn)生與現(xiàn)有幀對應(yīng)的預(yù)測幀的預(yù)測像素。另
外，獲得所產(chǎn)生的預(yù)測幀的各個(gè)預(yù)測像素與現(xiàn)有幀中的位置相同的像素之間的相關(guān)，并且
選擇具有高相關(guān)的預(yù)測像素的候選矢量。 通過這個(gè)設(shè)計(jì)，可以在多個(gè)候選矢量之中選擇最佳候選矢量。另外，為每個(gè)像素獲 得相關(guān)，由此與為每個(gè)塊獲得相關(guān)的方法相比較而言，可以更加正確地檢測圖像中的對象 的邊界上的運(yùn)動(dòng)矢量。


圖1是示出根據(jù)本發(fā)明實(shí)施例的幀頻轉(zhuǎn)換設(shè)備100的結(jié)構(gòu)例子的框圖； 圖2是示出運(yùn)動(dòng)估計(jì)部分3的結(jié)構(gòu)例子的框圖； 圖3A和3B是示出典型點(diǎn)匹配方法的例子的示意圖； 圖4是示出像素產(chǎn)生部分4的結(jié)構(gòu)例子的框圖； 圖5是示出預(yù)測幀F(xiàn)中的預(yù)測像素P4的產(chǎn)生例子的示意圖； 圖6是示出候選矢量的選擇例子的示意圖； 圖7是示出分配矢量的產(chǎn)生例子的示意圖； 圖8是示出像素產(chǎn)生部分7的結(jié)構(gòu)例子的框圖； 圖9是示出幀頻轉(zhuǎn)換設(shè)備100的操作例子的流程圖； 圖10是示出預(yù)測幀F(xiàn)的產(chǎn)生處理的流程圖； 圖11是示出運(yùn)動(dòng)補(bǔ)償處理的流程圖； 圖12是示出預(yù)測系數(shù)產(chǎn)生設(shè)備50的結(jié)構(gòu)例子的框圖； 圖13是示出預(yù)測系數(shù)產(chǎn)生設(shè)備51的結(jié)構(gòu)例子的框圖；以及 圖14是示出應(yīng)用本發(fā)明的計(jì)算機(jī)70的結(jié)構(gòu)例子的框圖。
具體實(shí)施例方式
接下來，將參照附圖描述本發(fā)明的實(shí)施例。關(guān)于此，將按照下面順序進(jìn)行描述。
1.第一實(shí)施例(利用類分組自適應(yīng)處理的幀內(nèi)插)
2.第二實(shí)施例(預(yù)測系數(shù)的產(chǎn)生)
第一實(shí)施例 利用類分組自適應(yīng)處理的幀內(nèi)插 圖1是示出根據(jù)本發(fā)明實(shí)施例的幀頻轉(zhuǎn)換設(shè)備100的結(jié)構(gòu)例子的框圖。這個(gè)例子 中，對于逐行信號的幀與隔行信號的場，獲得運(yùn)動(dòng)矢量的方法是相同的，因此使用幀。
圖1所示的幀頻轉(zhuǎn)換設(shè)備100包括幀存儲器1和2、運(yùn)動(dòng)估計(jì)部分3、像素產(chǎn)生部
7分4、運(yùn)動(dòng)分配部分5、運(yùn)動(dòng)補(bǔ)償部分6、像素產(chǎn)生部分7、輸入端子8和輸出端子9。
輸入到輸入端子8的輸入圖像信號Din提供給幀存儲器1和像素產(chǎn)生部分4和7。 幀存儲器1存儲每幀的輸入圖像信號Din。例如，幀存儲器1存儲t時(shí)刻的幀。存儲在幀存 儲器1中的t時(shí)刻的幀被提供給幀存儲器2、運(yùn)動(dòng)估計(jì)部分3、運(yùn)動(dòng)分配部分5和像素產(chǎn)生 部分7。幀存儲器2存儲t時(shí)刻的幀之后的t+l時(shí)刻的幀。關(guān)于此，在下文中，存儲在幀存 儲器1中的t時(shí)刻的幀稱作幀T，存儲在幀存儲器2中的t+l時(shí)刻的輸入圖像的幀稱作幀 T+l。 運(yùn)動(dòng)估計(jì)部分3例如通過典型點(diǎn)匹配方法或塊匹配方法估計(jì)幀(從幀存儲器1和 2輸入的運(yùn)動(dòng)圖像幀T和T+l)之間的運(yùn)動(dòng)矢量。這個(gè)例子中，運(yùn)動(dòng)估計(jì)部分3獲得要成為 候選的多個(gè)運(yùn)動(dòng)矢量，并且將這些運(yùn)動(dòng)矢量作為候選矢量輸出到像素產(chǎn)生部分4。關(guān)于此， 將參照圖2和圖3詳細(xì)描述運(yùn)動(dòng)估計(jì)部分3的操作。 像素產(chǎn)生部分4從多個(gè)候選矢量以及幀T-l和T+l產(chǎn)生與現(xiàn)有幀F(xiàn)對應(yīng)的預(yù)測幀 F。例如，像素產(chǎn)生部分4對候選矢量確定的幀T-1和T+1的抽頭以及預(yù)先存儲的預(yù)測系數(shù) 執(zhí)行乘積和計(jì)算，以產(chǎn)生預(yù)測幀F(xiàn)的預(yù)測像素。通過學(xué)習(xí)表示預(yù)測幀F(xiàn)的學(xué)生圖像與表示 輸入圖像信號Din的幀T的老師圖像之間的關(guān)系，為每個(gè)類預(yù)先產(chǎn)生用于產(chǎn)生預(yù)測幀F(xiàn)的 預(yù)測系數(shù)，并且該預(yù)測系數(shù)存儲在圖中未示出的存儲器中。 像素產(chǎn)生部分4為所有候選矢量產(chǎn)生預(yù)測幀F(xiàn)的預(yù)測像素，并且將各個(gè)預(yù)測像素 和與這些像素對應(yīng)的候選矢量輸出到運(yùn)動(dòng)分配部分5。關(guān)于此，將參照圖4和圖5詳細(xì)描述 像素產(chǎn)生部分4的操作。 運(yùn)動(dòng)分配部分5分別獲得從像素產(chǎn)生部分4輸入的預(yù)測幀F(xiàn)的各個(gè)預(yù)測像素與現(xiàn) 有幀T的像素之間的絕對差值。運(yùn)動(dòng)分配部分5選擇具有最小絕對差的預(yù)測像素中的候選 矢量。另外，運(yùn)動(dòng)分配部分5為位于幀T與T+1的中點(diǎn)的新產(chǎn)生的內(nèi)插幀的每個(gè)像素分配 候選矢量以作為分配矢量。關(guān)于此，將參照圖6和圖7詳細(xì)描述運(yùn)動(dòng)分配部分5的操作。
運(yùn)動(dòng)補(bǔ)償部分6搜索并分配相鄰的分配矢量到運(yùn)動(dòng)分配部分5還未分配一個(gè)分配 矢量的內(nèi)插幀的像素。因此，內(nèi)插幀中的所有像素具有分配矢量。 像素產(chǎn)生部分7從幀T、T+1和分配矢量產(chǎn)生內(nèi)插幀的像素值。像素產(chǎn)生部分7對 分配矢量所確定的幀T和T+l的抽頭以及預(yù)先存儲的預(yù)測系數(shù)執(zhí)行乘積和計(jì)算，以產(chǎn)生內(nèi) 插幀的像素的像素值，并將該像素值輸出到輸出端子9作為輸出圖像信號Dout。通過學(xué)習(xí) 表示低頻的輸入圖像信號Din的學(xué)生圖像與表示高頻圖像信號的老師圖像之間的關(guān)系，為 每個(gè)類預(yù)先產(chǎn)生用于產(chǎn)生內(nèi)插幀的預(yù)測系數(shù)，并且該預(yù)測系數(shù)存儲在圖中未示出的存儲器 中。關(guān)于此，將參照圖8詳細(xì)描述像素產(chǎn)生部分7的操作。 接下來，將參照圖2和圖3描述運(yùn)動(dòng)估計(jì)部分3的操作。圖2是示出運(yùn)動(dòng)估計(jì)部 分3的結(jié)構(gòu)例子的框圖。圖2所示的運(yùn)動(dòng)估計(jì)部分3包括典型點(diǎn)匹配處理部分3a、評估值 表形成部分3b和候選矢量提取部分3c。 典型點(diǎn)匹配處理部分3a輸入來自幀存儲器1的幀T，并且輸入來自幀存儲器2的 幀T+l。典型點(diǎn)匹配處理部分3a確定幀T的典型點(diǎn)，其被預(yù)先確定，或者為被選擇的典型點(diǎn)。 例如，如圖3A所示，幀T劃分成多個(gè)塊，并且設(shè)置表示各個(gè)塊的典型點(diǎn)。各個(gè)塊的典型點(diǎn)P 對應(yīng)于表示塊的像素值，例如，塊的中心點(diǎn)的像素值、塊中所有像素的像素值的均值等。
典型點(diǎn)匹配處理部分3a在幀T+l內(nèi)設(shè)置預(yù)定的搜索區(qū)域W，對應(yīng)于幀T內(nèi)設(shè)置的
8塊的典型點(diǎn)P，并且比較被包括在設(shè)置的搜索區(qū)域W中的各個(gè)像素的像素值與典型點(diǎn)P的像素值。例如，典型點(diǎn)匹配處理部分3a獲得典型點(diǎn)P的像素值與搜索區(qū)域W中的每個(gè)像素的像素值之間的絕對差值，并且絕對差越小，即，相關(guān)越高，設(shè)置的評估值越高。例如，"+l"加入評估值表IO。為搜索區(qū)域W中的每個(gè)像素計(jì)算這個(gè)評估值。以相同方式，在幀T+1內(nèi)設(shè)置搜索區(qū)域W，對應(yīng)于幀T內(nèi)設(shè)置的塊的各個(gè)典型點(diǎn)。另外，獲得典型點(diǎn)P的像素值以及對應(yīng)的搜索區(qū)域W中的各個(gè)像素的像素值的評估值，以輸出到評估值表形成部分3b。關(guān)于此，如圖3A所示，與每個(gè)典型點(diǎn)P對應(yīng)的搜索區(qū)域W可以設(shè)置為與相鄰搜索區(qū)域W部分重 如圖3B所示，評估值表形成部分3b對一個(gè)屏幕內(nèi)的所有的典型點(diǎn)P累積評估值，以形成尺寸與搜索區(qū)域W相同的評估值表IO。當(dāng)搜索區(qū)域W中的每個(gè)像素位置的像素值與典型點(diǎn)P的像素值之間的相關(guān)較高時(shí)，在圖3B所示的評估值表10中出現(xiàn)峰值(極大值)。該峰值對應(yīng)于運(yùn)動(dòng)圖像數(shù)據(jù)的屏幕中的顯示對象的運(yùn)動(dòng)。 例如，如果整個(gè)幀以相同方式進(jìn)行運(yùn)動(dòng)，在評估值表10中出現(xiàn)的一個(gè)峰值對應(yīng)于
具有相同方向和距離的運(yùn)動(dòng)矢量。另外，如果在一幀內(nèi)存在兩個(gè)進(jìn)行不同運(yùn)動(dòng)的對象，在評
估值表10中出現(xiàn)的兩個(gè)峰值對應(yīng)于具有不同運(yùn)動(dòng)方向和距離的兩個(gè)矢量。 基于在評估值表10中出現(xiàn)的這些峰值，獲得幀T和T+l中的運(yùn)動(dòng)矢量的候選(候
選矢量)。這個(gè)例子中，候選矢量提取部分3c從圖3B所示的評估值表10提取具有高評估
值的四個(gè)運(yùn)動(dòng)矢量(Vxl，Vyl)到(V^到Vy》作為候選矢量，并且輸出這些運(yùn)動(dòng)矢量到像素產(chǎn)
生部分4。 接下來，將參照圖4和圖5描述像素產(chǎn)生部分4的操作例子。圖4是示出像素產(chǎn)生部分4的結(jié)構(gòu)例子的框圖。圖4所示的像素產(chǎn)生部分包括運(yùn)動(dòng)類確定部分4a、類抽頭選擇部分4b、空間類確定部分4c、類確定部分4d、預(yù)測系數(shù)選擇部分4e、預(yù)測抽頭選擇部分4f和乘積和計(jì)算部分4g。 運(yùn)動(dòng)類確定部分4a輸入運(yùn)動(dòng)估計(jì)部分3獲得的候選矢量(Vxl，Vyl)到(Vx4到Vy4)。運(yùn)動(dòng)類確定部分4a從候選矢量(Vxl，Vyl)到(V^到Vy》的方向和大小確定包括預(yù)測像素的運(yùn)動(dòng)類。另外，運(yùn)動(dòng)類確定部分4a將指示所確定的運(yùn)動(dòng)類的信息輸出到類抽頭選擇部分4b、預(yù)測抽頭選擇部分4f和類確定部分4d。 類抽頭選擇部分4b通過參照運(yùn)動(dòng)類，從幀T-l和T+l ，選擇性地提取預(yù)定位置的像素(稱作類抽頭)，以用于對空間類進(jìn)行分組，并且將提取的類抽頭數(shù)據(jù)輸出到空間類確定部分4c。 空間類確定部分4c基于類抽頭，執(zhí)行包括ADRC(自適應(yīng)動(dòng)態(tài)范圍編碼)等的處理來確定空間類，并且將指示所確定的空間類的信息輸出到類確定部分4d。
類確定部分4d基于從空間類確定部分4c提供的指示空間類的信息和從上述運(yùn)動(dòng)類確定部分4a提供的指示運(yùn)動(dòng)類的信息，確定最后的類。類確定部分4d將指示所確定的最后的類的信息輸出到預(yù)測系數(shù)選擇部分4e。 預(yù)測系數(shù)選擇部分4e選擇與來自類確定部分4d的最后類對應(yīng)的預(yù)測幀的預(yù)測系數(shù)，并且將預(yù)測系數(shù)輸出到乘積和計(jì)算部分4g。關(guān)于此，預(yù)測系數(shù)選擇部分4e參照附圖中未示出的系數(shù)存儲器(其存儲對應(yīng)于預(yù)先確定的類的預(yù)測系數(shù)，以后描述)，選擇預(yù)測系數(shù)。
同時(shí)，預(yù)測抽頭選擇部分4f參照從運(yùn)動(dòng)類確定部分4a提供的運(yùn)動(dòng)類，選擇性地從 幀T-l和T+l提取預(yù)定的像素區(qū)域(稱作預(yù)測抽頭)。例如，如圖5所示，預(yù)測抽頭選擇部 分4f從幀T+l提取包括13個(gè)像素的預(yù)測抽頭Pl，從幀T-l提取包括13個(gè)像素的預(yù)測抽頭 P2，并且將提取的預(yù)測抽頭Pl和P2輸出到乘積和計(jì)算部分4g。關(guān)于此，圖5是示出像素的 產(chǎn)生例子的示意圖。在圖5中，示出通過預(yù)測像素P4的候選矢量(Vxl， Vyl)到(Vx4到Vy4)。
乘積和計(jì)算部分4g基于預(yù)測抽頭Pl和P2的像素值xi和從預(yù)測系數(shù)選擇部分4e 提供的預(yù)測系數(shù)wi，根據(jù)下面表達(dá)式(1)執(zhí)行乘積和計(jì)算以產(chǎn)生預(yù)測幀F(xiàn)的預(yù)測像素P4的
像素值y。 y = wlXxl+w2Xx2+. . .+wnXxn (1) 其中，xl.....xn是各個(gè)預(yù)測抽頭的像素值，并且wl.....wn是各個(gè)預(yù)測系數(shù)。 乘積和計(jì)算部分4g為所有的候選矢量(Vxl， Vyl)到(Vx4到Vy4)產(chǎn)生預(yù)測幀F(xiàn)的預(yù) 測像素的像素值yi到y(tǒng)4。另外，乘積和計(jì)算部分4g將各個(gè)像素值yi到y(tǒng)4以及對應(yīng)的候選 矢量(Vxl， Vyl)到(Vx4到Vy4)輸出到運(yùn)動(dòng)分配部分5。 運(yùn)動(dòng)分配部分5獲得從像素產(chǎn)生部分4輸入的預(yù)測幀F(xiàn)的預(yù)測像素的像素值yi到 y4與現(xiàn)有幀T的像素的像素值之間的絕對差值。例如，如圖6所示，運(yùn)動(dòng)分配部分5獲得預(yù) 測幀F(xiàn)的預(yù)測像素P4的像素值yi與位置與預(yù)測像素P4相同的幀T的像素P3的像素值之 間的絕對差值。以這種方式，運(yùn)動(dòng)分配部分5獲得預(yù)測幀F(xiàn)的預(yù)測像素P4的像素值y2到 y4與位置與預(yù)測像素P4相同的像素P3的像素值之間的絕對差值。運(yùn)動(dòng)分配部分5選擇關(guān) 于具有最小絕對差的預(yù)測像素P4的像素值的候選矢量。也就是說，運(yùn)動(dòng)分配部分5執(zhí)行匹 配。 例如，如果像素值y2的絕對差值最小，如圖7所示，運(yùn)動(dòng)分配部分5選擇關(guān)于像素 值^的候選矢量(Vx2，Vy2)。運(yùn)動(dòng)分配部分5分配所選擇的候選矢量(Vx2，Vy2)給內(nèi)插幀f的 像素P5。例如，如果內(nèi)插幀f位于幀T與T+1的中間點(diǎn)，如圖7所示，所述分配矢量(Vx2/2， Vy2/2)和(_Vx2/2， -Vy2/2)被分配給內(nèi)插幀f的像素P5。 運(yùn)動(dòng)補(bǔ)償部分6搜索并分配相鄰的分配矢量給與上述像素P5不同的、還未被分配 一個(gè)分配矢量的內(nèi)插幀的像素。 例如，像素產(chǎn)生部分7從幀T和T+1以及分配矢量(Vx2/2，Vy2/2)和(_Vx2/2，_Vy2/2) 產(chǎn)生內(nèi)插幀f的像素P5的像素值。像素產(chǎn)生部分7對分配矢量(Vx2/2， Vy2/2)和 (_Vx2/2， -Vy2/2)所確定的幀T和T+l的抽頭以及預(yù)先存儲的預(yù)測系數(shù)執(zhí)行乘積和計(jì)算，以 產(chǎn)生內(nèi)插幀f的像素P5的像素值。 例如，圖8是示出像素產(chǎn)生部分7的結(jié)構(gòu)例子的框圖。圖8所示的像素產(chǎn)生部分7 的結(jié)構(gòu)基本與圖4所示的像素產(chǎn)生部分4的結(jié)構(gòu)相同，由此省去詳細(xì)描述。圖8所示的像 素產(chǎn)生部分7包括運(yùn)動(dòng)類確定部分7a、類抽頭選擇部分7b、空間類確定部分7c、類確定部分 7d、預(yù)測系數(shù)選擇部分7e、預(yù)測抽頭選擇部分7f以及乘積和計(jì)算部分7g。
運(yùn)動(dòng)類確定部分7a通過運(yùn)動(dòng)分配部分5和運(yùn)動(dòng)補(bǔ)償部分6輸入分配矢量。運(yùn)動(dòng) 類確定部分7a從分配矢量的方向和大小確定包括內(nèi)插幀f的像素的運(yùn)動(dòng)類。另外，運(yùn)動(dòng)類 確定部分7a將指示所確定的運(yùn)動(dòng)類的信息輸出到類抽頭選擇部分7b、預(yù)測抽頭選擇部分 7f和類確定部分7d。 類抽頭選擇部分7b通過參照運(yùn)動(dòng)類，選擇性地從幀T和T+l提取類抽頭以用于對空間類進(jìn)行分組，并且將提取的類抽頭數(shù)據(jù)輸出到空間類確定部分7c。 空間類確定部分7c基于類抽頭，通過執(zhí)行包括ADRC等的處理，確定空間類，并且
將指示所確定的空間類的信息輸出到類確定部分7d。 類確定部分7d基于從空間類確定部分7c提供的指示空間類的信息和從上述運(yùn)動(dòng) 類確定部分7a提供的指示運(yùn)動(dòng)類的信息，確定最后的類。類確定部分7d將指示所確定的 最后類的信息輸出到預(yù)測系數(shù)選擇部分7e。 預(yù)測系數(shù)選擇部分7e選擇對應(yīng)于來自類確定部分的最后類的內(nèi)插幀的預(yù)測系 數(shù)，并且將該預(yù)測系數(shù)輸出到乘積和計(jì)算部分7g。關(guān)于此，預(yù)測系數(shù)選擇部分7e通過參照 系數(shù)存儲器(圖中未示出，其存儲對應(yīng)于類的預(yù)先確定的預(yù)測系數(shù)，以后描述)，選擇預(yù)測 系數(shù)。 同時(shí)，預(yù)測抽頭選擇部分7f參照從運(yùn)動(dòng)類確定部分7a提供的運(yùn)動(dòng)類，并選擇性地 從幀T和T+l提取預(yù)測抽頭。 乘積和計(jì)算部分7g基于預(yù)測抽頭選擇部分7f提取的預(yù)測抽頭和從預(yù)測系數(shù)選擇 部分7e提供的預(yù)測系數(shù)，根據(jù)上述表達(dá)式(1)執(zhí)行乘積和計(jì)算，以產(chǎn)生內(nèi)插幀f的像素值 y。乘積和計(jì)算部分7g基于分配矢量，產(chǎn)生內(nèi)插幀f中的所有像素的像素值。
接下來，將參照圖9和圖10描述幀頻轉(zhuǎn)換設(shè)備100的操作例子。圖9是示出幀頻 轉(zhuǎn)換設(shè)備100的操作例子的流程圖。在圖9所示的步驟ST1，圖1所示的幀頻轉(zhuǎn)換設(shè)備100 將t時(shí)刻的輸入圖像信號Din的幀T存儲在幀存儲器1中，并將下一時(shí)刻t+l的幀T+l存 儲到幀存儲器2中。分別存儲在幀存儲器1和2中的幀T和T+l被輸出到運(yùn)動(dòng)估計(jì)部分3。 接下來，處理進(jìn)入步驟ST2。 在步驟ST2，運(yùn)動(dòng)估計(jì)部分3基于從幀存儲器1和2輸入的幀T和T+l，通過典型 點(diǎn)匹配方法獲得所述幀之間的要成為候選的運(yùn)動(dòng)矢量。例如，如圖2、3A和3B所示，運(yùn)動(dòng)估 計(jì)部分3獲得典型點(diǎn)P的像素值以及搜索區(qū)域W中的對應(yīng)的各個(gè)像素的像素值的評估值。 另外，運(yùn)動(dòng)估計(jì)部分3為一個(gè)屏幕內(nèi)的所有典型點(diǎn)P累積評估值，并且形成大小與搜索區(qū)域 W相同的評估值表10。運(yùn)動(dòng)估計(jì)部分3基于在評估值表10中出現(xiàn)的峰值，獲得幀T和T+l 中的候選矢量。接下來，處理進(jìn)入步驟ST3。 在步驟ST3，像素產(chǎn)生部分4產(chǎn)生預(yù)測幀F(xiàn)。圖10是示出預(yù)測幀F(xiàn)的產(chǎn)生處理的 流程圖。在圖10的步驟ST30，像素產(chǎn)生部分4獲得圖3B所示的多個(gè)候選矢量(Vxl，Vyl)到 (Vx4到Vy4)，并且處理進(jìn)入步驟ST31。 在步驟ST31 ，像素產(chǎn)生部分4初始化最小絕對差值。例如，像素產(chǎn)生部分4臨時(shí)設(shè) 置最小絕對差值及其像素的像素值。另外，對候選矢量的數(shù)目進(jìn)行計(jì)數(shù)的計(jì)數(shù)器[i]被設(shè) 置為零。接下來，處理進(jìn)入步驟ST32。 在步驟ST32，如圖5所示，像素產(chǎn)生部分4從候選矢量確定的幀T+l、 T_l獲得預(yù) 測抽頭Pl和P2，并且處理進(jìn)入步驟ST33。 在步驟ST33，像素產(chǎn)生部分4獲得預(yù)測系數(shù)。例如，如圖4所示，像素產(chǎn)生部分4 從預(yù)先存儲在系數(shù)存儲器(注圖中未示出該系數(shù)存儲器)中的預(yù)測系數(shù)獲得與類對應(yīng)的 預(yù)測系數(shù)，用于類分組自適應(yīng)處理，并且處理進(jìn)入步驟ST34。 在步驟ST34，像素產(chǎn)生部分4通過上述表達(dá)式(1)對預(yù)測系數(shù)和預(yù)測抽頭Pl和 P2執(zhí)行乘積和計(jì)算，以產(chǎn)生預(yù)測幀F(xiàn)的預(yù)測像素的像素值，并且處理進(jìn)入步驟ST35。
在步驟ST35，運(yùn)動(dòng)分配部分5計(jì)算從像素產(chǎn)生部分4輸入的預(yù)測幀F(xiàn)的預(yù)測像素 的像素值與現(xiàn)有幀T的像素的像素值之間的絕對差值。例如，如圖6所示，運(yùn)動(dòng)分配部分5 獲得預(yù)測幀F(xiàn)的預(yù)測像素P4的像素值yi與位置與預(yù)測像素P4相同的像素P3的像素值之 間的絕對差值，并且處理進(jìn)入步驟ST36。 在步驟ST36，運(yùn)動(dòng)分配部分5將上述步驟ST35獲得的絕對差與步驟ST31設(shè)置的 最小絕對差進(jìn)行比較。如果在步驟ST35獲得的絕對差小于所述最小絕對差值，則處理進(jìn)入 步驟ST37。另外，如果在步驟ST35中獲得的絕對差不小于所述最小絕對差值，則處理進(jìn)入 步驟ST38。 在步驟ST37，運(yùn)動(dòng)分配部分5將最小絕對差值更新為在步驟ST35獲得的絕對差 值，還將預(yù)測像素P4的像素值更新為像素值yi，并且處理進(jìn)入步驟ST38。
在步驟ST38，運(yùn)動(dòng)分配部分5遞增對候選矢量的數(shù)目計(jì)數(shù)的計(jì)數(shù)器"i "，并且處理 進(jìn)入步驟ST39。在步驟ST39，運(yùn)動(dòng)分配部分5通過將計(jì)數(shù)器"i"與候選矢量"N"的數(shù)目比 較，確定候選矢量的數(shù)目是否達(dá)到上限。如果候選矢量的數(shù)目還沒有達(dá)到上限，處理返回步 驟ST32。如果候選矢量的數(shù)目達(dá)到上限，則處理進(jìn)入圖9的流程圖中的步驟ST4。以這種 方式，預(yù)測幀F(xiàn)的預(yù)測像素的像素值及其候選矢量被選擇。 在圖9的步驟ST4，運(yùn)動(dòng)分配部分5為位于幀T與T+1的中間點(diǎn)的內(nèi)插幀f的每個(gè) 像素分配候選矢量以作為分配矢量。例如，如圖7所示，如果像素值y2的絕對差值最小，運(yùn) 動(dòng)分配部分5分配其候選矢量(Vx2，Vy2)給內(nèi)插幀f的像素P5。這個(gè)例子中，如果內(nèi)插幀f 位于幀T與T+1的中間點(diǎn)，如圖7所示，分配矢量(Vx2/2， V2)和(-V乂2， -V2)分配到 內(nèi)插幀f的像素P5。接下來，處理進(jìn)入步驟ST5。 在步驟ST5，運(yùn)動(dòng)補(bǔ)償部分6搜索分配矢量，并且分配給運(yùn)動(dòng)分配部分5還未分配 一個(gè)分配矢量的內(nèi)插幀f的像素。圖ll是示出運(yùn)動(dòng)補(bǔ)償處理的流程圖。在圖ll所示的步 驟ST50，運(yùn)動(dòng)補(bǔ)償部分6按照光柵掃描順序，為每個(gè)像素從內(nèi)插幀f的左上像素選擇內(nèi)插幀 f中的像素。接下來，處理進(jìn)入步驟ST51。 在步驟ST51，運(yùn)動(dòng)補(bǔ)償部分6確定是否為選擇的像素分配了矢量。如果存在分配
矢量，則處理進(jìn)入步驟ST54。如果沒有分配矢量，則處理進(jìn)入步驟ST52和ST53。 在步驟ST52和ST53，運(yùn)動(dòng)補(bǔ)償部分6搜索到相鄰像素的分配矢量。運(yùn)動(dòng)補(bǔ)償部
分6將搜索到的分配矢量分配給還沒有分配矢量的像素。這種情況下，可以直接分配一個(gè)
分配矢量，或者可以分配多個(gè)分配矢量的均值。接下來，處理進(jìn)入步驟ST54。 在步驟ST54，運(yùn)動(dòng)補(bǔ)償部分6確定內(nèi)插幀f中的所有像素的處理是否結(jié)束。如果
內(nèi)插幀f中的所有像素的處理還沒有結(jié)束，則處理返回步驟ST50。如果內(nèi)插幀f中的所有
像素的處理已經(jīng)結(jié)束，則處理進(jìn)入圖9的流程圖的步驟ST6。 在圖9的流程圖的步驟ST6，像素產(chǎn)生部分7產(chǎn)生內(nèi)插幀f。例如，如圖7所示，像 素產(chǎn)生部分7從幀T和T+l，以及分配矢量(Vx2/2， V2)和(-U2， _Vy2/2)，產(chǎn)生內(nèi)插幀f 的像素P5的像素值。像素產(chǎn)生部分7對分配矢量(Vx2/2，Vy2/2)和(_Vx2/2，-Vy2/2)所確定 的幀T和T+l的抽頭以及預(yù)先存儲的預(yù)測系數(shù)執(zhí)行乘積和計(jì)算，以產(chǎn)生內(nèi)插幀f的像素P5 的像素值。以相同方式，像素產(chǎn)生部分7產(chǎn)生內(nèi)插幀f中的所有像素的像素值，并且處理進(jìn) 入步驟ST7。 在步驟ST7，幀頻轉(zhuǎn)換設(shè)備100確定對整個(gè)輸入圖像信號Din的處理是否已經(jīng)完成。如果對整個(gè)輸入圖像信號Din還沒有完成處理，則處理返回到步驟STl。如果對整個(gè)輸 入圖像信號Din處理已經(jīng)完成，則幀率轉(zhuǎn)換處理終止。 以這種方式，根據(jù)本發(fā)明，從候選矢量確定的像素，產(chǎn)生與現(xiàn)有幀對應(yīng)的預(yù)測幀F(xiàn) 的預(yù)測像素。然后，獲得所產(chǎn)生的預(yù)測幀F(xiàn)的各個(gè)預(yù)測像素與現(xiàn)有幀T的像素之間的相關(guān)， 并且選擇具有高相關(guān)的預(yù)測像素的候選矢量。 相應(yīng)地，可以從多個(gè)候選矢量選擇最佳候選矢量。另外，為每個(gè)像素獲得相關(guān)，由 此與獲得每個(gè)塊的相關(guān)的方法相比較，可以正確地檢測圖像中的對象的邊界上的運(yùn)動(dòng)矢 關(guān)于此，像素產(chǎn)生部分4和7利用類分組自適應(yīng)處理產(chǎn)生像素。然而，產(chǎn)生像素的 方法不限于此。例如，可以直接利用矢量的端點(diǎn)指示的像素。替換地，可以通過對矢量及其 反矢量指示的各個(gè)像素進(jìn)行平均而產(chǎn)生像素。
第二實(shí)施例
預(yù)測系數(shù)的產(chǎn)生 接下來，將描述計(jì)算產(chǎn)生預(yù)測幀F(xiàn)的預(yù)測系數(shù)的方法。圖12是示出預(yù)測系數(shù)產(chǎn)生 設(shè)備50的結(jié)構(gòu)例子的框圖。圖12所示的預(yù)測系數(shù)產(chǎn)生設(shè)備50包括運(yùn)動(dòng)估計(jì)部分50h、運(yùn) 動(dòng)類確定部分50a、類抽頭選擇部分50b、空間類確定部分50c、類確定部分50d、正規(guī)方程計(jì) 算部分50e、預(yù)測系數(shù)產(chǎn)生部分50g和預(yù)測抽頭選擇部分50f 。 運(yùn)動(dòng)估計(jì)部分50h獲得運(yùn)動(dòng)矢量，例如基于與幀T和T+l對應(yīng)的學(xué)生圖像，通過典 型點(diǎn)匹配方法，并且將該運(yùn)動(dòng)矢量輸出到運(yùn)動(dòng)類確定部分50a。 運(yùn)動(dòng)類確定部分50a輸入運(yùn)動(dòng)估計(jì)部分50h獲得的運(yùn)動(dòng)矢量。運(yùn)動(dòng)類確定部分50a 從運(yùn)動(dòng)矢量的方向和大小確定包括預(yù)測幀F(xiàn)的預(yù)測像素的運(yùn)動(dòng)類。另外，運(yùn)動(dòng)類確定部分 50a將指示所確定的運(yùn)動(dòng)類的信息輸出到類抽頭選擇部分50b、預(yù)測抽頭選擇部分50f和類 確定部分50d。 類抽頭選擇部分50b參照運(yùn)動(dòng)類，從幀T-l和T+l選擇性地提取類抽頭以用于分 組為空間類，并且將提取的類抽頭數(shù)據(jù)輸出到空間類確定部分50c。 空間類確定部分50c基于類抽頭，通過執(zhí)行包括ADRC等的處理，確定空間類，并且 將指示所確定的空間類的信息輸出到類確定部分50d。 類確定部分50d基于從空間類確定部分50c提供的指示空間類的信息和從上述運(yùn) 動(dòng)類確定部分50a提供的指示運(yùn)動(dòng)類的信息，確定最后的類。類確定部分50d將指示所確 定的最后類的信息輸出到正規(guī)方程計(jì)算部分50e。 預(yù)測抽頭選擇部分50f參照從運(yùn)動(dòng)類確定部分50a提供的運(yùn)動(dòng)類，從幀T-1和T+l 選擇性地提取預(yù)測抽頭，并且將預(yù)測抽頭輸出到正規(guī)方程計(jì)算部分50e。
正規(guī)方程計(jì)算部分50e產(chǎn)生正規(guī)方程數(shù)據(jù)，并且將該數(shù)據(jù)輸出到預(yù)測系數(shù)產(chǎn)生部 分50g。預(yù)測系數(shù)產(chǎn)生部分50g利用正規(guī)方程數(shù)據(jù)，執(zhí)行計(jì)算處理以產(chǎn)生預(yù)測系數(shù)。
在下文中，將描述更一般的n個(gè)像素的預(yù)測的情況下，預(yù)測系數(shù)的計(jì)算。假定預(yù)測
抽頭選擇的輸入像素的亮度水平是xl 、 x2.....xn，并且輸出亮度水平是E | y | ，為每個(gè)類設(shè)
置具有n個(gè)抽頭的線性估計(jì)方程為預(yù)測系數(shù)巧、^.....wn。這由下面的表達(dá)式(2)表達(dá)。[公式l] <formula>formula see original document page 13</formula> (2)
至于獲得表達(dá)式(2)中的預(yù)測系數(shù)巧、^..... 的方法，考慮利用最小方差方法
的方案。這個(gè)方案中，假定X是輸入像素的亮度水平，W是預(yù)測系數(shù)，Y'是輸出像素的亮度水平，收集數(shù)據(jù)以形成表達(dá)式(3)的觀測方程。在表達(dá)式(3)中，如上所述，m表示學(xué)習(xí)數(shù)據(jù)的數(shù)目，n表示預(yù)測抽頭的數(shù)目。<formula>formula see original document page 14</formula>根據(jù)表達(dá)式(4)，在滿足將表達(dá)式(5)最小化條件的情況下，獲得每個(gè)預(yù)測系數(shù)Wi 也就是說，應(yīng)該考慮表達(dá)式(6)的條件。[公式5]<formula>formula see original document page 14</formula> ( 6 〉 考慮到基于表達(dá)式(6)中的i的n個(gè)條件，應(yīng)該計(jì)算滿足這些條件的Wl、 w2、…wn。因此，假定從表達(dá)式(4)獲得下面表達(dá)式(7)，并且從表達(dá)式(6)和(7)獲得表達(dá)式(8)<formula>formula see original document page 15</formula>… (9) 表達(dá)式(9)的正規(guī)方程是具有n個(gè)未知量的聯(lián)立方程，由此可以通過這些方程獲 得各個(gè)Wi的最可能值。實(shí)際中，利用掃除方法(Gauss-Jordan消除)解這些聯(lián)立方程。解
表達(dá)式(9)的正規(guī)方程以確定預(yù)測系數(shù)巧、W2、、 。 作為上述學(xué)習(xí)的結(jié)果，允許統(tǒng)計(jì)上到真值的最近估計(jì)的預(yù)測幀F(xiàn)的預(yù)測系數(shù)被計(jì) 算，以為每個(gè)類估計(jì)關(guān)注像素的亮度水平。 接下來，將描述計(jì)算產(chǎn)生內(nèi)插幀f的預(yù)測系數(shù)的方法。圖13是示出預(yù)測系數(shù)產(chǎn)生 設(shè)備51的結(jié)構(gòu)例子的框圖。圖13所示的預(yù)測系數(shù)產(chǎn)生設(shè)備51的結(jié)構(gòu)基本與圖12所示的 預(yù)測系數(shù)產(chǎn)生設(shè)備50的結(jié)構(gòu)相同，由此省去對它的詳細(xì)描述。 圖13所示的預(yù)測系數(shù)產(chǎn)生設(shè)備51包括運(yùn)動(dòng)檢測部分51h、運(yùn)動(dòng)類確定部分51a、 類抽頭選擇部分51b、空間類確定部分51c、類確定部分51d、正規(guī)方程計(jì)算部分51e、預(yù)測抽 頭選擇部分51f和預(yù)測系數(shù)產(chǎn)生部分51g。 運(yùn)動(dòng)檢測部分51h基于與幀T和T+l對應(yīng)的學(xué)生圖像，獲得內(nèi)插幀f的每個(gè)像素 的運(yùn)動(dòng)矢量，并且將該運(yùn)動(dòng)矢量輸出到運(yùn)動(dòng)類確定部分51a。關(guān)于此，運(yùn)動(dòng)檢測部分51h例 如包括，圖1所示的運(yùn)動(dòng)估計(jì)部分3、像素產(chǎn)生部分4、運(yùn)動(dòng)分配部分5和運(yùn)動(dòng)補(bǔ)償部分6。
運(yùn)動(dòng)類確定部分51a從運(yùn)動(dòng)估計(jì)部分51h獲得的運(yùn)動(dòng)矢量的方向和大小，確定包 括內(nèi)插幀f的像素的運(yùn)動(dòng)類。另外，運(yùn)動(dòng)類確定部分51a將指示所確定的運(yùn)動(dòng)類的信息輸 出到類抽頭選擇部分51b、預(yù)測抽頭選擇部分51f和類確定部分51d。 類抽頭選擇部分51b參照運(yùn)動(dòng)類，從幀T和T+l選擇性地提取類抽頭以用于分組
<formula>formula see original document page 15</formula> <formula>formula see original document page 15</formula>

根據(jù)表達(dá)式(4)和(8)，可以獲得下面的表達(dá)式(9)的正規(guī)方程。<formula>formula see original document page 15</formula>為空間類，并且將提取的類抽頭數(shù)據(jù)輸出到空間類確定部分51c。 空間類確定部分51c基于類抽頭，執(zhí)行包括ADRC等的處理，確定空間類，并將指示 所確定的空間類的信息輸出到類確定部分51d。 類確定部分51d基于從空間類確定部分51c提供的指示空間類的信息和從上述運(yùn) 動(dòng)類確定部分51a提供的指示運(yùn)動(dòng)類的信息，確定最后的類。類確定部分51d將指示所確 定的最后類的信息輸出到正規(guī)方程計(jì)算部分51e。 預(yù)測抽頭選擇部分51f參照從運(yùn)動(dòng)類確定部分51a提供的運(yùn)動(dòng)類，從幀T和T+l 選擇性地提取預(yù)測抽頭，并且將這些預(yù)測抽頭輸出到正規(guī)方程計(jì)算部分51e。
正規(guī)方程計(jì)算部分51e產(chǎn)生正規(guī)方程數(shù)據(jù)，并且將該數(shù)據(jù)輸出到預(yù)測系數(shù)產(chǎn)生部 分51g。預(yù)測系數(shù)產(chǎn)生部分51g利用正規(guī)方程數(shù)據(jù)執(zhí)行計(jì)算處理以產(chǎn)生內(nèi)插幀f的預(yù)測系 數(shù)。關(guān)于此，在更一般的n個(gè)像素的預(yù)測的情況下，按照與上述表達(dá)式(2)到(9)的方式相 同的方式，計(jì)算預(yù)測系數(shù)，由此將省去對它的描述。 另外，上述一系列處理可以由硬件或軟件執(zhí)行。當(dāng)通過軟件執(zhí)行這一系列處理時(shí)，
構(gòu)成軟件的程序可以安裝在內(nèi)置在專用硬件中的計(jì)算機(jī)中。替換地，可以安裝各種程序。例
如，這些程序可以安裝在可以從程序記錄介質(zhì)執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)中。 例如，圖14是示出應(yīng)用本發(fā)明的計(jì)算機(jī)70的結(jié)構(gòu)例子的框圖。計(jì)算機(jī)70的
CPU(中央處理單元)71根據(jù)存儲在ROM(只讀存儲器)72或存儲部分78中的程序執(zhí)行各
種處理。RAM(隨機(jī)訪問存儲器)73適于存儲CPU 71執(zhí)行的程序、數(shù)據(jù)等。CPU 71、R0M 72
和RAM 73經(jīng)由總線74彼此連接。 CPU 71經(jīng)由總線74連接到輸入/輸出接口 75。包括鍵盤、鼠標(biāo)、麥克風(fēng)等的輸入 部分76以及包括顯示器、揚(yáng)聲器等的輸出部分77連接到輸入/輸出接口75。 CPU 71根據(jù) 從輸入部分76輸入的指令執(zhí)行各種處理。CPU 71將作為處理結(jié)果獲得的圖像和聲音等輸 出到輸出部分77。 連接到輸入/輸出接口 75的存儲部分78例如包括硬盤等，并且存儲CPU 71執(zhí)行 的程序和各種數(shù)據(jù)。通信部分79經(jīng)由諸如互聯(lián)網(wǎng)和其它網(wǎng)絡(luò)的網(wǎng)絡(luò)與外部設(shè)備通信。另 外，可以經(jīng)由通信部分79獲得所述程序并存儲在存儲部分78中。 當(dāng)磁盤81、光盤82、磁光盤83或半導(dǎo)體存儲器84等附連到連接到輸入/輸出接 口 75的驅(qū)動(dòng)器80時(shí)，驅(qū)動(dòng)器80驅(qū)動(dòng)上述介質(zhì)并且獲得記錄在該介質(zhì)上的程序、數(shù)據(jù)等。如 果需要，這些獲得的程序和數(shù)據(jù)被傳輸給存儲部分78并且存儲在那里。以這種方式，可以 通過計(jì)算機(jī)70上的軟件執(zhí)行這一系列處理。 本申請包含2008年9月30日提交到日本專利局的日本優(yōu)先權(quán)專利申請JP 2008-255108中公開的主題相關(guān)的主題，該日本專利申請通過引用而全部包含于此。
本領(lǐng)域技術(shù)人員應(yīng)該明白，可以根據(jù)設(shè)計(jì)需求和其它因素想到各種變型、組合、子 組合和替代，只要它們位于權(quán)利要求及其等同物的范圍內(nèi)即可。
權(quán)利要求
一種幀頻轉(zhuǎn)換設(shè)備，包括運(yùn)動(dòng)估計(jì)部分，輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的多個(gè)候選矢量；第一像素產(chǎn)生部分，從運(yùn)動(dòng)估計(jì)部分估計(jì)的所述候選矢量所確定的像素，為每個(gè)候選矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素；運(yùn)動(dòng)分配部分，獲得所述預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)，選擇具有高相關(guān)值的預(yù)測像素的候選矢量，并且將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi)插幀的各個(gè)像素以確定該矢量為分配矢量；運(yùn)動(dòng)補(bǔ)償部分，將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還沒有分配所述分配矢量的所述內(nèi)插幀的像素；以及第二像素產(chǎn)生部分，從所述分配矢量確定的像素產(chǎn)生所述內(nèi)插幀的像素并且輸出高頻的圖像信號。
2. 權(quán)利要求l所述的幀頻轉(zhuǎn)換設(shè)備， 其中第一像素產(chǎn)生部分包括第一運(yùn)動(dòng)類確定部分，從候選矢量確定包括預(yù)測像素的運(yùn)動(dòng)類；第一預(yù)測系數(shù)選擇部分，選擇為第一運(yùn)動(dòng)類確定部分所確定的每個(gè)運(yùn)動(dòng)類預(yù)先獲得、 并且將對應(yīng)于預(yù)測幀的學(xué)生圖像與對應(yīng)于第二幀的老師圖像之間的誤差最小化的預(yù)測系 數(shù)；第一預(yù)測抽頭選擇部分，至少從第一幀選擇位于所述預(yù)測幀的預(yù)測像素的周圍的多個(gè) 像素；以及第一計(jì)算部分，計(jì)算第一預(yù)測系數(shù)選擇部分選擇的預(yù)測系數(shù)以及第一預(yù)測抽頭選擇部 分選擇的多個(gè)像素，以生成所述預(yù)測幀的預(yù)測像素。
3. 權(quán)利要求2所述的幀頻轉(zhuǎn)換設(shè)備， 其中運(yùn)動(dòng)估計(jì)部分包括典型點(diǎn)匹配處理部分，確定第一幀和第二幀之一中的典型點(diǎn)，在第一幀和第二幀的另 一個(gè)中設(shè)置與所述典型點(diǎn)對應(yīng)的搜索區(qū)域，獲得被包括在搜索區(qū)域中的各個(gè)像素的像素值 與典型點(diǎn)的像素值之間的相關(guān)，并且將評估值設(shè)置在評估值表中；評估值表形成部分，為所有典型點(diǎn)累積由典型點(diǎn)匹配處理部分設(shè)置的評估值以形成評 估值表；以及候選矢量提取部分，從評估值表提取具有高評估值的運(yùn)動(dòng)量作為候選矢量。
4. 權(quán)利要求3所述的幀頻轉(zhuǎn)換設(shè)備， 其中第二像素產(chǎn)生部分包括第二運(yùn)動(dòng)類確定部分，從所述分配矢量確定包括所述內(nèi)插幀的像素的運(yùn)動(dòng)類； 第二預(yù)測系數(shù)選擇部分，選擇為第二運(yùn)動(dòng)類確定部分所確定的每個(gè)運(yùn)動(dòng)類預(yù)先獲得、并且將對應(yīng)于低頻的圖像信號的學(xué)生圖像與對應(yīng)于高頻的圖像信號的老師圖像之間的誤差最小化的預(yù)測系數(shù)；第二預(yù)測抽頭選擇部分，至少從學(xué)生圖像選擇位于所述內(nèi)插幀的像素的周圍的多個(gè)像素；以及第二計(jì)算部分，計(jì)算第二預(yù)測系數(shù)選擇部分選擇的預(yù)測系數(shù)和第二預(yù)測抽頭選擇部分選擇的多個(gè)像素，以產(chǎn)生所述內(nèi)插幀的像素。
5. —種幀頻轉(zhuǎn)換方法，所述方法包括步驟輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的 多個(gè)候選矢量；從估計(jì)的候選矢量確定的像素，為每個(gè)候選矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素；獲得預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)，并且選擇具有高相關(guān)值的預(yù) 測像素的候選矢量；將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi)插幀的各個(gè)像素以確定該 矢量為分配矢量；將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還沒有分配所述分配矢量的所述內(nèi)插幀的像 素；以及從所述分配矢量確定的像素產(chǎn)生所述內(nèi)插幀的像素并且輸出高頻的圖像信號。
6. —種使計(jì)算機(jī)執(zhí)行幀頻轉(zhuǎn)換方法的程序，所述方法包括步驟輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的 多個(gè)候選矢量；從估計(jì)的候選矢量確定的像素，為每個(gè)候選矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素；獲得預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)并且選擇具有高相關(guān)值的預(yù) 測像素的候選矢量；將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi)插幀的各個(gè)像素以確定該 矢量為分配矢量；將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還沒有分配所述分配矢量的所述內(nèi)插幀的像 素；以及從所述分配矢量確定的像素產(chǎn)生所述內(nèi)插幀的像素并且輸出高頻的圖像信號。
7. —種計(jì)算機(jī)可讀記錄介質(zhì)，記錄使計(jì)算機(jī)執(zhí)行幀頻轉(zhuǎn)換方法的程序，所述方法包括 步驟輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的 多個(gè)候選矢量；從估計(jì)的候選矢量確定的像素，為每個(gè)候選矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素；獲得預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)并且選擇具有高相關(guān)值的預(yù) 測像素的候選矢量；將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi)插幀的各個(gè)像素以確定該 矢量為分配矢量；將相鄰的分配矢量分配給運(yùn)動(dòng)分配部分還沒有分配所述分配矢量的所述內(nèi)插幀的像 素；以及從所述分配矢量確定的像素產(chǎn)生所述內(nèi)插幀的像素并且輸出高頻的圖像信號。
8. —種運(yùn)動(dòng)矢量檢測設(shè)備，包括運(yùn)動(dòng)估計(jì)部分，輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀 之間的運(yùn)動(dòng)的多個(gè)候選矢量；第一運(yùn)動(dòng)類確定部分，從所述候選矢量確定包括與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素的 運(yùn)動(dòng)類；第一預(yù)測系數(shù)選擇部分，選擇為第一運(yùn)動(dòng)類確定部分確定的每個(gè)運(yùn)動(dòng)類預(yù)先獲得、 并且將對應(yīng)于預(yù)測幀的學(xué)生圖像與對應(yīng)于第二幀的老師圖像之間的誤差最小化的預(yù)測系 數(shù)；第一預(yù)測抽頭選擇部分，至少從第一幀選擇位于所述預(yù)測幀的預(yù)測像素的周圍的多個(gè) 像素；第一計(jì)算部分，計(jì)算第一預(yù)測系數(shù)選擇部分選擇的預(yù)測系數(shù)以及第一預(yù)測抽頭選擇部 分選擇的多個(gè)像素以產(chǎn)生所述預(yù)測幀的預(yù)測像素；以及運(yùn)動(dòng)分配部分，獲得所述預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)，并且檢 測具有高相關(guān)的預(yù)測像素的候選矢量為運(yùn)動(dòng)矢量。
9. 一種預(yù)測系數(shù)產(chǎn)生設(shè)備，包括運(yùn)動(dòng)估計(jì)部分，輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀 之間的運(yùn)動(dòng)的多個(gè)候選矢量，運(yùn)動(dòng)類確定部分，從所述候選矢量確定包括與作為老師圖像的第二幀對應(yīng)的預(yù)測幀的 預(yù)測像素的運(yùn)動(dòng)類；預(yù)測抽頭選擇部分，至少從作為學(xué)生圖像的第一幀選擇位于所述預(yù)測幀的預(yù)測像素的 周圍的多個(gè)像素；以及預(yù)測系數(shù)產(chǎn)生部分，從運(yùn)動(dòng)類確定部分確定的所述運(yùn)動(dòng)類、預(yù)測抽頭選擇部分選擇的 學(xué)生圖像的所述多個(gè)像素、以及老師圖像的所述像素，為每個(gè)運(yùn)動(dòng)類獲得將學(xué)生圖像的多 個(gè)像素與老師圖像的像素之間的誤差最小化的預(yù)測系數(shù)。
全文摘要
本發(fā)明提供了一種幀頻轉(zhuǎn)換設(shè)備，包括運(yùn)動(dòng)估計(jì)部分，輸入低頻的圖像信號的第一幀和第二幀并且估計(jì)指示第一幀與第二幀之間的運(yùn)動(dòng)的多個(gè)候選矢量，第一像素產(chǎn)生部分，為每個(gè)矢量產(chǎn)生與第二幀對應(yīng)的預(yù)測幀的預(yù)測像素；運(yùn)動(dòng)分配部分，獲得預(yù)測幀的各個(gè)預(yù)測像素與第二幀的像素之間的相關(guān)，選擇高相關(guān)值的預(yù)測像素的候選矢量，并將選擇的候選矢量分配給內(nèi)插在第一幀與第二幀之間的內(nèi)插幀的像素，以確定該矢量為分配矢量；運(yùn)動(dòng)補(bǔ)償部分，將相鄰的分配矢量分配給內(nèi)插幀的未分配分配矢量的像素；以及第二像素產(chǎn)生部分，產(chǎn)生內(nèi)插幀的像素并且輸出高頻的圖像信號。
文檔編號H04N7/24GK101715114SQ20091020444
公開日2010年5月26日 申請日期2009年9月29日 優(yōu)先權(quán)日2008年9月30日
發(fā)明者武田直己, 近藤哲二郎 申請人:索尼株式會(huì)社