滾動快門的校正方法與圖像處理裝置制造方法
【專利摘要】本發(fā)明提供一種滾動快門效應(yīng)的校正方法與圖像處理裝置。此方法包括：取得圖像的多個(gè)特征點(diǎn)配對，每一個(gè)特征點(diǎn)配對是對應(yīng)于一運(yùn)動向量；從兩張時(shí)間上相鄰的圖像之間取得多個(gè)取樣點(diǎn)；將圖像獲取單元在每一個(gè)取樣點(diǎn)上的移動速度與角速度設(shè)定為多個(gè)變量；根據(jù)所述的變量、圖像獲取單元的焦距以及特征點(diǎn)配對所在的列位置，取得多個(gè)估測運(yùn)動向量；根據(jù)運(yùn)動向量與估測運(yùn)動向量之間的差距執(zhí)行最佳化演算法，以計(jì)算出變量所對應(yīng)的移動速度與所述角速度；根據(jù)移動速度與角速度改變一個(gè)圖像中多個(gè)像素的位置，藉此產(chǎn)生第一校正圖像。藉此，可以去除圖像中的滾動快門效應(yīng)。
【專利說明】滾動快門的校正方法與圖像處理裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明是有關(guān)于一種滾動快門的校正方法與圖像處理裝置。
【背景技術(shù)】
[0002]—般來說，一個(gè)照相機(jī)的感光元件可以用互補(bǔ)金氧半導(dǎo)體(ComplementaryMetal-Oxide Semiconductor,CMOS)或是電荷I禹合兀件(Charge Coupled Device,CCD)來制作。然而，當(dāng)使用互補(bǔ)金氧半導(dǎo)體時(shí)，每一個(gè)時(shí)間點(diǎn)僅會曝光一個(gè)列上的感光元件。因此，當(dāng)在拍攝時(shí)若照相機(jī)或是被拍攝的物體在移動，會產(chǎn)生所謂的滾動快門效應(yīng)。
[0003]圖1是示出滾動快門效應(yīng)的示意圖。
[0004]如圖1所示，照相機(jī)110是要拍攝物體120。理想上在所拍攝的圖像中，物體120應(yīng)該為直立(如物體130)。在此假設(shè)照相機(jī)110拍攝一張圖像的時(shí)間為S。而在拍攝物體120的過程中，照相機(jī)110于時(shí)間點(diǎn)nS所在的位置和時(shí)間點(diǎn)(n+1) S所在的位置并不相同。因此，在實(shí)際上所拍攝的圖像140中，物體150會是傾斜的。這是因?yàn)樵跁r(shí)間點(diǎn)nS時(shí)，照相機(jī)110獲取到了物體120的上半部，當(dāng)照相機(jī)110要獲取物體120的下半部時(shí)，照相機(jī)110的位置已經(jīng)改變。換句話說，如果被拍攝的物體快速的移動，則每一個(gè)列上的感光元件所取得的像素值都會有一個(gè)水平的位移。因此，要如何校正拍攝時(shí)產(chǎn)生的滾動快門效應(yīng)，為此領(lǐng)域技術(shù)人員所關(guān)心的議題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例提供一種滾動快門效應(yīng)的校正方法與使用此方法的圖像處理裝置，可以校正拍攝時(shí)所產(chǎn)生的滾動快門效應(yīng)。
[0006]本發(fā)明一實(shí)施例提供一種滾動快門效應(yīng)的校正方法，適用于一圖像處理裝置。此方法包括:取得一視頻中多個(gè)圖像的多個(gè)特征點(diǎn)配對，其中每一個(gè)特征點(diǎn)配對是對應(yīng)于一運(yùn)動向量，并且此視頻是由一圖像獲取單元所獲??；從兩張時(shí)間上相鄰的圖像之間，取得多個(gè)取樣點(diǎn)，其中每一個(gè)取樣點(diǎn)是對應(yīng)于一列位置；將圖像獲取單元在每一個(gè)取樣點(diǎn)上的至少一個(gè)移動速度與至少一個(gè)角速度設(shè)定為多個(gè)變量；根據(jù)所述的變量、圖像獲取單元的焦距以及特征點(diǎn)配對所在的列位置，取得特征點(diǎn)配對的多個(gè)估測運(yùn)動向量；根據(jù)運(yùn)動向量與估測運(yùn)動向量之間的差距執(zhí)行最佳化演算法，以計(jì)算出變量所對應(yīng)的移動速度與所述角速度；根據(jù)所述的移動速度與角速度改變一個(gè)圖像中多個(gè)像素的位置，藉此產(chǎn)生第一校正圖像。
[0007]在一實(shí)施例中，上述的特征點(diǎn)配對包括一第二特征點(diǎn)配對。第二特征點(diǎn)配對包括一第二特征點(diǎn)與一第三特征點(diǎn)。第二特征點(diǎn)的位置為(xl，yl)，而第三特征點(diǎn)的位置為(x2，y2)。第二特征點(diǎn)配對所對應(yīng)的運(yùn)動向量為(x2-xl，y2-yl)。上述根據(jù)變量、圖像獲取單元的焦距以及特征點(diǎn)配對所在的列位置，取得特征點(diǎn)配對的估測運(yùn)動向量的步驟包括:根據(jù)以下方程式(I)計(jì)算第二特征點(diǎn)配對所對應(yīng)的估測運(yùn)動向量的X分量，并且根據(jù)以下方程式(2)計(jì)算對應(yīng)第二特征點(diǎn)配對所對應(yīng)的估測運(yùn)動向量的y分量。
【權(quán)利要求】
1.一種滾動快門效應(yīng)的校正方法，適用于一圖像處理裝置，其特征在于，包括: 取得一視頻中多個(gè)圖像的多個(gè)特征點(diǎn)配對，其中每一該些特征點(diǎn)配對是對應(yīng)于一運(yùn)動向量，并且該視頻是由一圖像獲取單元所獲??； 從該些圖像中兩張時(shí)間上相鄰的圖像之間，取得多個(gè)取樣點(diǎn)，其中每一該些取樣點(diǎn)是對應(yīng)于一列位置； 將該圖像獲取單元在每一該些取樣點(diǎn)上的至少一移動速度與至少一角速度設(shè)定為多個(gè)變量； 根據(jù)該些變量、該圖像獲取單元的一焦距以及該些特征點(diǎn)配對所在的該些列位置，取得該些特征點(diǎn)配對的多個(gè)估測運(yùn)動向量； 根據(jù)該些運(yùn)動向量與該些估測運(yùn)動向量之間的一差距執(zhí)行一最佳化演算法，以計(jì)算出該些變量所對應(yīng)的該至少一移動速度與該至少一角速度； 根據(jù)該些變量所對應(yīng)的該至少一移動速度與該至少一角速度改變該些圖像的其中之一的多個(gè)像素的位置，藉此產(chǎn)生一第一校正圖像。
2.根據(jù)權(quán)利要求1所述的校正方法，其特征在于，該些特征點(diǎn)配對包括一第二特征點(diǎn)配對，該第二特征點(diǎn)配對包括一第二特征點(diǎn)與一第三特征點(diǎn)，該第二特征點(diǎn)的位置為(xl，yl)，該第三特征點(diǎn)的位置為(x2，y2)，該第二特征點(diǎn)配對所對應(yīng)的該運(yùn)動向量為(x2_xl，y2-yl)，其中根據(jù)該些變量、該圖像獲取單元的該焦距以及該些特征點(diǎn)配對所在的該些列位置，取得該些特征點(diǎn)配對的該些估測運(yùn)動向量的步驟包括: 根據(jù)以下方程式(I)計(jì)算該第二特征點(diǎn)配對所對應(yīng)的該估測運(yùn)動向量的一 X分量，并且根據(jù)以下方程式(2)計(jì)算對應(yīng)該第二特征點(diǎn)配對所對應(yīng)的該估測運(yùn)動向量的一 y分量:
3.根據(jù)權(quán)利要求1所述的校正方法，其特征在于，根據(jù)該些運(yùn)動向量與該些估測運(yùn)動向量之間的該差距執(zhí)行該最佳化演算法的步驟包括； 根據(jù)該些運(yùn)動向量的一 X分量與一I分量產(chǎn)生多個(gè)限制； 根據(jù)該些估測運(yùn)動向量產(chǎn)生一第一矩陣，其中該第一矩陣中列的數(shù)目大于該第一矩陣中行的數(shù)目；以及根據(jù)該些限制減去該第一矩陣與該些變量相乘的一結(jié)果產(chǎn)生一成本函數(shù)，并且根據(jù)該成本函數(shù)執(zhí)行該最佳化演算法以取得該些變量所對應(yīng)的該至少一移動速度與該至少一角速度。
4.根據(jù)權(quán)利要求3所述的校正方法，其特征在于，該成本函數(shù)還包括該些變量與一微分矩陣相乘的結(jié)果，其中該微分矩陣中第j行第j列的值為-1，該微分矩陣中第j列第j+1行的值為1，并且j為正整數(shù)。
5.根據(jù)權(quán)利要求3所述的校正方法，其特征在于，一第二矩陣與一第三矩陣的相乘為該第一矩陣， 該第二矩陣的第i個(gè)列中，僅有從第5(1-l)+l行至第5i行的值不為O，并且該第二矩陣的該第i個(gè)行是對應(yīng)到該些限制中的第i個(gè)限制，其中i為正整數(shù)， 該第i個(gè)限制是對應(yīng)于第三矩陣的第(5(1-l)+l)列至第5i列，并且該第(5(1-l)+l)列至該第5i列中非對應(yīng)至該第i個(gè)限制的一取樣區(qū)間的值為O。
6.根據(jù)權(quán)利要求1所述的校正方法，其特征在于，該些圖像包括一第二圖像，該第二圖像中一第一像素的位置為(xrs，yrs)，其中根據(jù)該些變量所對應(yīng)的該至少一移動速度與該至少一角速度改變該些圖像的其中之一的該些像素的位置，藉此產(chǎn)生該第一校正圖像的步驟包括: 根據(jù)方程式(3)計(jì)算該第一像素在一 X方向上的位移px，并且根據(jù)方程式(4)計(jì)算該第一像素在一 I方向上的位移py，其中ρχ與py為實(shí)數(shù)，
7.根據(jù)權(quán)利要求1所述的校正方法，其特征在于，還包括: 根據(jù)該至少一移動速度與該至少一角速度產(chǎn)生一獲取軌跡； 對該獲取軌跡執(zhí)行一濾波器運(yùn)算； 將一平滑獲取軌跡設(shè)定為一第二變量，根據(jù)該第二變量與經(jīng)過該濾波器運(yùn)算的該獲取軌跡之間的一第二差距產(chǎn)生一成本函數(shù)；以及 根據(jù)該成本函數(shù)執(zhí)行一第二最佳化演算法，藉此取得該平滑獲取軌跡。
8.根據(jù)權(quán)利要求7所述的校正方法，還包括: 根據(jù)該平滑獲取軌跡與該獲取軌跡之間的差距改變該第一校正圖像中像素的位置，藉此產(chǎn)生一第二校正圖像。
9.一種圖像處理裝置，其特征在于，包括:一存儲器，存儲有多個(gè)指令；以及 一處理器，耦接至該存儲器，用以執(zhí)行該些指令以執(zhí)行多個(gè)步驟: 取得一視頻中多個(gè)圖像的多個(gè)特征點(diǎn)配對，其中每一該些特征點(diǎn)配對是對應(yīng)于一運(yùn)動向量，并且該視頻是由一圖像獲取單元所獲?。? 從該些圖像中兩張時(shí)間上相鄰的圖像之間，取得多個(gè)取樣點(diǎn)，其中每一該些取樣點(diǎn)是對應(yīng)于一列位置； 將該圖像獲取單元在每一該些取樣點(diǎn)上的至少一移動速度與至少一角速度設(shè)定為多個(gè)變量； 根據(jù)該些變量、該圖像獲取單元的一焦距以及該些特征點(diǎn)配對所在的該些列位置，取得該些特征點(diǎn)配對的多個(gè)估測運(yùn)動向量； 根據(jù)該些運(yùn)動向量與該些估測運(yùn)動向量之間的一差距執(zhí)行一最佳化演算法，以計(jì)算出該些變量所對應(yīng)的該至少一移動速度與該至少一角速度； 根據(jù)該些變量所對應(yīng)的該至少一移動速度與該至少一角速度改變該些圖像的其中之一的多個(gè)像素的位置，藉此產(chǎn)生一第一校正圖像。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，該些特征點(diǎn)配對包括一第二特征點(diǎn)配對，該第二特征點(diǎn)配對包括一第二特征點(diǎn)與一第三特征點(diǎn)，該第二特征點(diǎn)的位置為(xl，yl)，該第三特征點(diǎn)的位置為(x2，y2)，該第二特征點(diǎn)配對所對應(yīng)的該運(yùn)動向量為(x2-xl, y2-yl)，其中根據(jù)該些變量、該圖像獲取單元的該焦距以及該些特征點(diǎn)配對所在的該些列位置，取得該些特征點(diǎn)配對的該些估測運(yùn)動向量的步驟包括: 根據(jù)以下方程式(I)計(jì)算該·第二特征點(diǎn)配對所對應(yīng)的該估測運(yùn)動向量的一 X分量，并且根據(jù)以下方程式(2)計(jì)算對應(yīng)該第二特征點(diǎn)配對所對應(yīng)的該估測運(yùn)動向量的一 y分量:
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，根據(jù)該些運(yùn)動向量與該些估測運(yùn)動向量之間的該差距執(zhí)行該最佳化演算法的步驟包括； 根據(jù)該些運(yùn)動向量的一 X分量與一I分量產(chǎn)生多個(gè)限制； 根據(jù)該些估測運(yùn)動向量產(chǎn)生一第一矩陣，其中該第一矩陣中列的數(shù)目大于該第一矩陣中行的數(shù)目；以及 根據(jù)該些限制減去該第一矩陣與該些變量相乘的一結(jié)果產(chǎn)生一成本函數(shù)，并且根據(jù)該成本函數(shù)執(zhí)行該最佳化演算法以取得該些變量所對應(yīng)的該至少一移動速度與該至少一角速度。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在于，該成本函數(shù)還包括該些變量與一微分矩陣相乘的結(jié)果，其中該微分矩陣中第j行第j列的值為-1，該微分矩陣中第j列第j+Ι行的值為1，并且j為正整數(shù)。
13.根據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在于，一第二矩陣與一第三矩陣的相乘為該第一矩陣， 該第二矩陣的第i個(gè)列中，僅有從第5(1-l)+l行至第5i行的值不為O，并且該第二矩陣的該第i個(gè)行是對應(yīng)到該些限制中的第i個(gè)限制，其中i為正整數(shù)， 該第i個(gè)限制是對應(yīng)于第三矩陣的第(5(1-l)+l)列至第5i列，并且該第(5(1-l)+l)列至該第5i列中非對應(yīng)至該第i個(gè)限制的一取樣區(qū)間的值為O。
14.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，該些圖像包括一第二圖像，該第二圖像中一第一像素的位置為(xrs，yrs)，其中根據(jù)該些變量所對應(yīng)的該至少一移動速度與該至少一角速度改變該些圖像的其中之一的該些像素的位置，藉此產(chǎn)生該第一校正圖像的步驟包括: 根據(jù)方程式(3)計(jì)算該第一像素在一 X方向上的位移px，并且根據(jù)方程式(4)計(jì)算該第一像素在一 I方向上的位移py，其中ρχ與py為實(shí)數(shù)，
15.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，該些步驟還包括: 根據(jù)該至少一移動速度與該至少一角速度產(chǎn)生一獲取軌跡； 對該獲取軌跡執(zhí)行一濾波器運(yùn)算； 將一平滑獲取軌跡設(shè)定為一第二變量，根據(jù)該第二變量與經(jīng)過該濾波器運(yùn)算的該獲取軌跡之間的一第二差距產(chǎn)生一成本函數(shù)；以及 根據(jù)該成本函數(shù)執(zhí)行一第二最佳化演算法，藉此取得該平滑獲取軌跡。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置，其特征在于，該些步驟還包括: 根據(jù)該平滑獲取軌跡與該獲取軌跡之間的差距改變該第一校正圖像中像素的位置，藉此產(chǎn)生一第二校正圖像。
【文檔編號】H04N5/235GK103856711SQ201210514616
【公開日】2014年6月11日 申請日期:2012年12月5日 優(yōu)先權(quán)日:2012年12月5日
【發(fā)明者】喬彥豪, 賴尚宏, 江銘峰 申請人:聯(lián)詠科技股份有限公司, 清華大學(xué)