圖像處理設(shè)備和攝像設(shè)備的制造方法
【專利摘要】本發(fā)明涉及一種圖像處理設(shè)備和攝像設(shè)備。該圖像處理設(shè)備包括:圖像獲取器,用于獲取由攝像設(shè)備生成的輸入圖像,所述攝像設(shè)備用于使用快門來控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)圖像傳感器的曝光;以及處理器,用于使用基于曝光中的從所述攝像光學(xué)系統(tǒng)到所述圖像傳感器的光學(xué)傳遞函數(shù)所生成的圖像恢復(fù)濾波器,來針對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處理。在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況下,所述處理器針對(duì)所述圖像恢復(fù)濾波器,使用基于在所述機(jī)械簾對(duì)從所述攝像光學(xué)系統(tǒng)到所述圖像傳感器的光束進(jìn)行部分遮擋的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第一圖像恢復(fù)濾波器。
【專利說明】
圖像處理設(shè)備和攝像設(shè)備
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及用于將圖像恢復(fù)處理應(yīng)用于由攝像設(shè)備生成的劣化圖像的圖像處理 技術(shù)。
【背景技術(shù)】
[0002] 卷簾快門是在具有圖像傳感器(諸如CMOS傳感器等)的攝像設(shè)備(諸如數(shù)字照相機(jī) 等)中使用的電子快門系統(tǒng)。卷簾快門從圖像傳感器上的一端的像素行(開頭的像素行)到 另一端的像素行(最后的像素行),順次地控制針對(duì)各像素行的曝光的開始和結(jié)束。在針對(duì) 一幀完成了信號(hào)讀取的像素行中,立即開始針對(duì)下一幀進(jìn)行充電(曝光)。因此,在連續(xù)地重 復(fù)針對(duì)各像素行的信號(hào)讀取和接下來的充電的情況下,開頭的像素行和最后的像素行之間 的曝光開始時(shí)間和曝光結(jié)束時(shí)間發(fā)生偏移。換言之,曝光定時(shí)發(fā)生偏移。這種偏移在拍攝運(yùn) 動(dòng)被攝體時(shí)的拍攝圖像中引起失真(卷簾快門失真)。
[0003] 日本特開2012-175621公開了用于針對(duì)提供卷簾快門操作的圖像傳感器抑制拍攝 圖像中由卷簾快門的操作引起的卷簾快門失真的圖像處理方法。
[0004] 焦平面快門是機(jī)械快門。焦平面快門通過與圖像傳感器的攝像面平行地移動(dòng)前一 遮光件(前簾)和后一遮光件(后簾)來控制圖像傳感器的曝光。另外,代替焦平面快門的機(jī) 械前簾,可以使用電子前簾針對(duì)各像素行來順次地復(fù)位圖像傳感器中所存儲(chǔ)的電荷。在使 用了電子前簾的情況下,實(shí)際上僅驅(qū)動(dòng)機(jī)械后簾,并且通過根據(jù)機(jī)械后簾的驅(qū)動(dòng)特性來控 制針對(duì)圖像傳感器的各像素行的電荷的復(fù)位定時(shí),可以使得針對(duì)所有像素行的曝光時(shí)間段 保持恒定。不過,圖像傳感器上的電子前簾與機(jī)械后簾在光軸方向上彼此遠(yuǎn)離,因此,由于 攝像光學(xué)系統(tǒng)的焦距和出射光瞳距離等的影響,機(jī)械后簾的在圖像傳感器上的遮光位置發(fā) 生改變。因此,通過簡單地將電子前簾的電荷的復(fù)位定時(shí)與機(jī)械后簾的驅(qū)動(dòng)特性進(jìn)行同步, 不能避免拍攝圖像的亮度不均勻或者圖像傳感器的曝光量不均勻。
[0005] 日本特開2011-217368公開了用于減少可能由電子前簾引起的拍攝圖像中的亮度 不均勻的攝像方法。除了亮度不均勻以外,上述的電子前簾和機(jī)械后簾之間在光軸方向上 的位置差還引起其它問題。在正在驅(qū)動(dòng)電子前簾和機(jī)械后簾時(shí),發(fā)生F值光束未被電子前簾 遮擋但被機(jī)械后簾遮擋的部分(不均勻)遮光。由此,利用F值光束中的電子前簾側(cè)的光線的 圖像傳感器的曝光時(shí)間段變得比機(jī)械后簾側(cè)的光線的曝光時(shí)間長。這意味著從攝像光學(xué)系 統(tǒng)到圖像傳感器的光學(xué)傳遞函數(shù)(OTF)(或者光學(xué)像差)在一個(gè)拍攝圖像所需的攝像(曝光) 中發(fā)生改變。然后,由于攝像時(shí)的OTF的變化使得圖像劣化狀態(tài)也發(fā)生改變。
[0006] 日本特開2012-175621和日本特開2011-217368中公開的這些方法可以限制卷簾 快門失真或者減少由電子前簾引起的拍攝圖像中的亮度不均勻。然而,在使用電子前簾和 機(jī)械后簾的情況下,這些方法不能合適地校正由機(jī)械后簾的部分遮光引起的圖像劣化。
【發(fā)明內(nèi)容】
[0007] 本發(fā)明提供一種圖像處理設(shè)備,其在使用電子前簾和機(jī)械后簾的情況下,能夠通 過良好地校正由機(jī)械后簾的部分遮光引起的圖像劣化來提供輸出圖像。
[0008] 根據(jù)本發(fā)明一個(gè)方面的一種圖像處理設(shè)備,包括:圖像獲取器,用于獲取攝像設(shè)備 所生成的輸入圖像,其中所述攝像設(shè)備用于使用快門來控制利用來自攝像光學(xué)系統(tǒng)的光束 對(duì)圖像傳感器的曝光;以及處理器,用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖 像傳感器的光學(xué)傳遞函數(shù)所生成的圖像恢復(fù)濾波器,來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處 理,其特征在于,在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況下, 所述處理器針對(duì)所述圖像恢復(fù)濾波器,使用基于所述機(jī)械簾對(duì)從所述攝像光學(xué)系統(tǒng)至所述 圖像傳感器的光束進(jìn)行部分遮擋的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第一圖像恢復(fù)濾 波器。
[0009] 根據(jù)本發(fā)明另一方面的一種圖像處理設(shè)備,包括:圖像獲取器,用于獲取攝像設(shè)備 所生成的輸入圖像,其中所述攝像設(shè)備用于使用快門來控制利用來自攝像光學(xué)系統(tǒng)的光束 對(duì)圖像傳感器的曝光;以及處理器,用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖 像傳感器的光學(xué)傳遞函數(shù)所生成的圖像恢復(fù)濾波器,來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處 理,其特征在于,在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況下, 所述處理器根據(jù)曝光時(shí)的所述攝像光學(xué)系統(tǒng)的F值和所述快門的快門速度中的至少一個(gè)來 改變所述圖像恢復(fù)處理中的圖像恢復(fù)強(qiáng)度。
[0010] 根據(jù)本發(fā)明又一方面的一種攝像設(shè)備,包括:圖像傳感器;快門,用于控制利用來 自攝像光學(xué)系統(tǒng)的光束對(duì)所述圖像傳感器的曝光;以及根據(jù)所述的圖像處理設(shè)備。
[0011] 通過以下參考附圖對(duì)典型實(shí)施例的說明,本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0012] 圖1是示出根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的圖。
[0013] 圖2是用于說明在根據(jù)第一實(shí)施例的攝像設(shè)備中使用電子前簾和機(jī)械后簾的情況 下的快門操作的圖。
[0014] 圖3是示出根據(jù)第一實(shí)施例的電子前簾和機(jī)械后簾的曝光量和速度之間的關(guān)系的 圖。
[0015] 圖4A至4C是用于說明在快門操作中的遮光變化的圖。
[0016] 圖5是示出根據(jù)第一實(shí)施例的圖像恢復(fù)處理的流程圖。
[0017] 圖6是示出根據(jù)本發(fā)明第二實(shí)施例的圖像恢復(fù)處理的流程圖。
[0018] 圖7A和7B是正常的點(diǎn)擴(kuò)散函數(shù)("PSF")和部分遮擋PSF。
【具體實(shí)施方式】
[0019]現(xiàn)在參考附圖,將給出對(duì)本發(fā)明的實(shí)施例的說明。
[0020] 第一實(shí)施例
[0021] 圖1是作為根據(jù)本發(fā)明第一實(shí)施例的攝像光學(xué)系統(tǒng)的數(shù)字單鏡頭反光照相機(jī)(以 下稱作"照相機(jī)")1以及可拆卸地安裝在照相機(jī)1上的可更換鏡頭單元15。
[0022] 設(shè)置在照相機(jī)1中的照相機(jī)微計(jì)算機(jī)9向照相機(jī)1中的各電子部件指示各種操作和 處理,以控制照相機(jī)1中的所有操作。照相機(jī)微計(jì)算機(jī)9具有內(nèi)置存儲(chǔ)器9a。存儲(chǔ)器9a存儲(chǔ)與 從將在后面說明的攝像透鏡(攝像光學(xué)系統(tǒng))15a到圖像傳感器26的光學(xué)傳遞函數(shù)("0TF") 有關(guān)的信息或者基于與OTF有關(guān)的信息所生成的圖像校正信息。存儲(chǔ)器9a還存儲(chǔ)與攝像有 關(guān)的各種設(shè)置值、以及照相機(jī)1的操作所需的參數(shù)。
[0023]照相機(jī)微計(jì)算機(jī)9連接至鏡驅(qū)動(dòng)器10、快門控制器11、圖像校正電路12和切換檢測 電路13,各部件與照相機(jī)微計(jì)算機(jī)9進(jìn)行通信,并且接收和發(fā)送操作所用的信息。
[0024] 照相機(jī)微計(jì)算機(jī)9經(jīng)由安裝觸點(diǎn)14與可更換鏡頭單元15中的鏡頭微計(jì)算機(jī)16進(jìn)行 通信。鏡頭微計(jì)算機(jī)16根據(jù)來自照相機(jī)微計(jì)算機(jī)9的調(diào)焦驅(qū)動(dòng)命令和光圈驅(qū)動(dòng)命令,經(jīng)由AF 驅(qū)動(dòng)器18和光圈驅(qū)動(dòng)器19來控制攝像透鏡15a的調(diào)焦驅(qū)動(dòng)和光圈17的驅(qū)動(dòng)。除了攝像透鏡 15a,圖1還示出了光圈17,但是,光圈17是攝像透鏡15a的一部分。
[0025] 照相機(jī)1具有能夠相對(duì)于攝像透鏡15a的光學(xué)路徑(以下將被稱作"攝像光學(xué)路 徑")插入或者退出的主鏡20和副鏡21。根據(jù)來自照相機(jī)微計(jì)算機(jī)9的鏡控制信號(hào)而由包括 致動(dòng)器的鏡驅(qū)動(dòng)器10來驅(qū)動(dòng)主鏡20和副鏡21。
[0026]在主鏡20位于攝像光學(xué)路徑(以下被稱作"光學(xué)取景器狀態(tài)")的情況下,主鏡20反 射來自攝像透鏡15a的光束或來自被攝體的光束的一部分,并在聚焦板22上形成被攝體圖 像。觀看目鏡24的拍攝者經(jīng)由五棱鏡23和目鏡24來觀察聚焦板22上的被攝體圖像。副鏡21 將光學(xué)取景器中透過主鏡20的光束進(jìn)行反射,并將光束引導(dǎo)至焦點(diǎn)檢測單元25。在攝像中, 主鏡20和副鏡21從攝像光學(xué)路徑退出,并且使得來自攝像透鏡15a的光束到達(dá)焦平面快門 27和圖像傳感器26。
[0027]焦平面快門27具有諸如相對(duì)于攝像光學(xué)路徑向圖像傳感器26來回移動(dòng)的機(jī)械前 簾和機(jī)械后簾等的遮光件。機(jī)械前簾在光學(xué)取景器狀態(tài)中關(guān)閉,并遮擋來自攝像光學(xué)路徑 的入射光束。在攝像中根據(jù)來自照相機(jī)微計(jì)算機(jī)9的釋放控制信號(hào)來使機(jī)械前簾移動(dòng)以從 攝像光學(xué)路徑退出,并開始曝光圖像傳感器26。隨后使機(jī)械后簾移動(dòng)以與機(jī)械前簾形成狹 縫。由此,控制了圖像傳感器26的曝光。圖像傳感器26可以用作為電子前簾,在這種情況下, 電子前簾和機(jī)械后簾形成用于控制圖像傳感器26的曝光的快門(以下稱作"電子前簾/機(jī)械 后簾快門")。
[0028]圖像傳感器26可以使用諸如CMOS傳感器等的二維攝像裝置。
[0029] 圖像校正電路12將作為從圖像傳感器26讀取的模擬信號(hào)的拍攝信號(hào)經(jīng)由未示出 的A/D轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字拍攝信號(hào)。通過進(jìn)行伽馬/拐點(diǎn)處理、濾波處理、監(jiān)視器顯示信息合 成處理和將在后面說明的圖像恢復(fù)處理,來生成輸出圖像(監(jiān)視器顯示圖像和記錄圖像)。 圖像校正電路12與圖像處理設(shè)備相對(duì)應(yīng)。圖像校正電路12可以與照相機(jī)微計(jì)算機(jī)9設(shè)置在 同一基板上。照相機(jī)微計(jì)算機(jī)9可以讀取存儲(chǔ)在存儲(chǔ)器9a中的程序代碼、根據(jù)程序代碼來進(jìn) 行計(jì)算處理、以及執(zhí)行圖像校正電路12的全部或部分功能。
[0030] 切換檢測電路13根據(jù)設(shè)置在照相機(jī)1上的各開關(guān)的操作狀態(tài)來輸出操作信號(hào)。開 關(guān)SW l(30a)根據(jù)快門按鈕30的第一行程(半按下)來輸出SWl信號(hào)。開關(guān)SW 2(30b)根據(jù)快 門按鈕30的第二行程(全按下)來輸出SW2信號(hào)。照相機(jī)微計(jì)算機(jī)9根據(jù)SWl信號(hào)開始諸如AF 和測光等的攝像準(zhǔn)備處理,并且根據(jù)SW2信號(hào)開始攝像處理(或者記錄圖像的生成)。
[0031] 現(xiàn)在將給出對(duì)通過圖像校正電路12進(jìn)行的圖像恢復(fù)處理的基本結(jié)構(gòu)的說明。通過 利用諸如數(shù)字照相機(jī)等的攝像設(shè)備來拍攝被攝體而獲得的圖像包含作為由攝像光學(xué)系統(tǒng) 的諸如球面像差、彗星像差、像場彎曲和像散等的光學(xué)像差引起的圖像劣化成分的模糊成 分。在不存在像差以及沒有衍射影響的情況下,盡管從被攝體上一個(gè)點(diǎn)發(fā)出的光束再次會(huì) 聚在攝像面上的一個(gè)點(diǎn)處,但是該光束形成具有一定擴(kuò)散的圖像,從而產(chǎn)生該模糊成分。
[0032]這里使用的模糊成分由點(diǎn)擴(kuò)散函數(shù)("PSF")來光學(xué)地表示,并且該模糊成分與由 散焦引起的模糊不同。在由光學(xué)系統(tǒng)的軸上色像差、顏色球面像差和顏色彗星像差引起彩 色圖像中的彩色邊紋(color fringing)的情況下,可以將該彩色邊紋認(rèn)為是針對(duì)光的各波 長的模糊差。在由光學(xué)系統(tǒng)的倍率色像差引起經(jīng)向(橫向)上的顏色偏移的情況下,可以將 該顏色偏移認(rèn)為是針對(duì)光的各波長的攝像倍率差所引起的位置偏移或者相位偏移。
[0033]通過對(duì)PSF進(jìn)行傅里葉變換而獲得的光學(xué)傳遞函數(shù)("0TF")表示像差的頻率成分 信息,并且由復(fù)數(shù)來表示該光學(xué)傳遞函數(shù)。將OTF的絕對(duì)值或者振幅成分稱作為調(diào)制傳遞函 數(shù)("MTF"),并且將相位成分稱作為相位傳遞函數(shù)("PTF")ITF和PTF是由像差引起的圖像 劣化的振幅成分和相位成分的頻率特性。這里,通過以下表達(dá)式來表達(dá)相位成分的相位角, 其中,Re(OTF)和Im(OTF)是OTF的實(shí)部和虛部。
[0034] PTF = tan-1 (Im (OTF) /Re (OTF)) (11)
[0035] 光學(xué)系統(tǒng)的OTF使得圖像的振幅成分和相位成分劣化,并且劣化圖像中的被攝體 的各個(gè)點(diǎn)如彗星像差那樣不對(duì)稱模糊。
[0036] 在由針對(duì)光的各波長的成像倍率差引起成像位置偏移的情況下產(chǎn)生倍率色像差, 并且根據(jù)攝像設(shè)備的光譜特性針對(duì)諸如RGB等的各顏色成分來獲得該倍率色像差。因此,成 像位置在RGB中發(fā)生偏移,并且相同顏色成分的成像位置在波長或者相位中發(fā)生偏移。結(jié) 果,圖像發(fā)生擴(kuò)散。嚴(yán)格地說,倍率色像差不是簡單的平行顏色偏移,但是這里將倍率色像 差分類為顏色偏移。
[0037]作為用于校正劣化圖像(輸入圖像)中的振幅成分(MTF)和相位成分(PTF)的劣化 的方法,已知使用光學(xué)系統(tǒng)的OTF的信息的方法。將該方法稱作圖像恢復(fù)或者圖像復(fù)原,并 且本實(shí)施例是指用于使用光學(xué)系統(tǒng)的OTF的信息來校正劣化圖像(用于使得劣化圖像接近 原始圖像)的處理作為圖像恢復(fù)處理。圖像恢復(fù)處理的一個(gè)公知方法是用于將具有OTF的反 向特性的實(shí)空間中的圖像恢復(fù)濾波器與輸入圖像進(jìn)行卷積的方法。
[0038] 建立以下表達(dá)式,其中,g(x,y)是通過攝像而生成的輸入圖像(劣化圖像),f(x,y) 是原始圖像(未劣化圖像),h(x,y)是作為OTF的傅里葉對(duì)的PSF,*表示卷積,(x,y)是輸入圖 像上的坐標(biāo)(位置)。
[0039] g(x,y)=h(x,y)*f(x,y) (12)
[0040] 在將這個(gè)表達(dá)式轉(zhuǎn)換成頻率面上的顯示形式的情況下,如下表達(dá)式那樣建立針對(duì) 各頻率的積的形式。H是(PSF)h的傅里葉變換,并且與OTF相對(duì)應(yīng)。G和F分別是g和f的傅里葉 變換。(u,V)表示二維頻率面上的坐標(biāo)或者頻率。
[0041] G(u,v)=H(u,v) · F(u,v) (13)
[0042] 為了根據(jù)由攝像設(shè)備生成的劣化圖像來獲得原始圖像,可以如下將上述表達(dá)式中 的兩側(cè)都除以H。
[0043] G(u, v)/H(u, v) =F(u, v) (14)
[0044] 通過F(u,v)或者G(u,v)/H(u,v)的逆傅里葉變換以返回到實(shí)平面,可以獲得作為 原始圖像f(x,y)的恢復(fù)圖像。
[0045] 在假設(shè)!T1表示R的逆傅里葉變換的情況下,通過對(duì)在實(shí)平面中的圖像的卷積處理 可以獲得作為原始圖像f(x,y)的恢復(fù)圖像。
[0046] g(x,y)*R(x,y)=f(x,y) (15)
[0047] R(x,y)是圖像恢復(fù)濾波器。在輸入圖像是二維的情況下,圖像恢復(fù)濾波器通常變 成具有與二維圖像中的各像素相對(duì)應(yīng)的抽頭(單元)的二維濾波器。
[0048]實(shí)際圖像具有噪聲成分。在使用由OTF的完全倒數(shù)產(chǎn)生的圖像恢復(fù)濾波器的情況 下,噪聲成分與劣化圖像一起被放大,通常不能獲得良好的圖像。這里,例如,已知存在用于 根據(jù)如Weiner濾波器那樣的圖像信號(hào)和噪聲信號(hào)之間的強(qiáng)度比來抑制圖像的高頻帶上的 恢復(fù)比的方法。例如,在模糊量在圖像的顏色成分中變得均勻的情況下,上述模糊成分的校 正可以用作用于校正圖像中的彩色邊紋成分的劣化的方法。
[0049]由于OTF根據(jù)諸如光學(xué)系統(tǒng)(鏡頭)的變焦?fàn)顟B(tài)、光圈值(F值)和攝像距離等的攝像 光學(xué)系統(tǒng)的條件(以下也稱作"鏡頭條件")而改變,因此需要相應(yīng)地改變圖像恢復(fù)處理所用 的圖像恢復(fù)濾波器。
[0050] 在電子前簾/機(jī)械后簾快門用在根據(jù)本實(shí)施例的照相機(jī)1中的情況下,如后面所 述,通過不規(guī)則遮擋向圖像傳感器的光束或者改變PSF使得圖像劣化。然而,日本特開2012-175621和日本特開2011-217368中公開的用于校正卷簾式快門失真和不均勻亮度的圖像處 理不能校正這種圖像劣化。
[0051] 圖2示出根據(jù)本實(shí)施例的電子前簾/機(jī)械后簾快門的結(jié)構(gòu)和F值光束。更具體地,圖 2示出包括電子前簾1113和機(jī)械后簾1114的快門、圖像傳感器1115(與圖1中的附圖標(biāo)記26 相對(duì)應(yīng))、以及F值光束的上光線1111和下光線1112。在下述說明中,將圖1中示出的攝像透 鏡15a的光軸稱作攝像光軸,并且將攝像光軸延伸的方向稱作攝像光軸方向。
[0052] 這里,S表示電子前簾1113和機(jī)械后簾1114的簾速度,Tv表示快門速度,H是圖像傳 感器1115在簾移動(dòng)方向上的長度。然后,如下表示電子前簾1113和機(jī)械后簾1114之間形成 的狹縫寬度L:
[0053] 表達(dá)式1
[0054]
( 1 )
[0055] 假設(shè)R是圖像傳感器1115和機(jī)械后簾1114之間在攝像光軸方向上的距離,F(xiàn)是攝像 透鏡15a的F值。然后,可以如下表示在攝像光軸方向上的機(jī)械后簾1114的位置處F值光束的 軸上光線(攝像光軸上的光線)與F值光束的下光線1112之間的高度Δ L:
[0056] 表達(dá)式2
[0057]
(2):
[0058] 如下表示利用F值光束的上光線1111的圖像傳感器1115的曝光時(shí)間段Tu:
[0059] 表達(dá)式3
[0060]
(3)
[0061] 如下表示利用F值光束的下光線1112的圖像傳感器1115的曝光時(shí)間段Td:
[0062] 表達(dá)式4
[0063]
(4)
[0064] 將給出對(duì)上光線1111和下光線1112之間的曝光時(shí)間段的Td/Tu比的說明?;诒?達(dá)式(3)和(4)來計(jì)算上光線1111和下光線1112的曝光時(shí)間段。圖3示出在快門速度Tv是1/ 4000秒、F值F是1.2的情況下Tu和Td之間的比Td/Tu。該圖中的縱軸是Td/Tu,橫軸表示簾速 度S。根據(jù)該圖可以理解,隨著簾速度S變得較低,Td/Tu比減小。換言之,隨著簾速度S變得較 低,上光線111的曝光時(shí)間段Tu與下光線1112的曝光時(shí)間段Td之間的差增大,并且機(jī)械后簾 1114部分地遮擋F值光束而對(duì)拍攝圖像產(chǎn)生的影響增大。
[0065] 現(xiàn)在將給出對(duì)通過上光線1111和下光線1112來改變曝光時(shí)間段Tu和Td的說明。圖 4A至4C示出電子前簾/機(jī)械后簾快門的操作與F值光束之間的關(guān)系。圖4A示出在電子前簾 1113停止遮擋F值光束并開始曝光圖像傳感器1115的時(shí)刻的上述關(guān)系。在該時(shí)刻,在電子前 簾1113和機(jī)械后簾1114之間形成使用于曝光圖像傳感器1115的光穿過的狹縫。不遮擋F值 光束的上光線1111和下光線1112中的任何一個(gè)。圖7A示出攝像透鏡15a的示例性的PSF。 [0066]圖4B示出在從圖4A起經(jīng)過了一定時(shí)間段、并且機(jī)械后簾1114開始遮擋F值光束的 時(shí)刻的上述關(guān)系。與圖4A的時(shí)刻同樣地,在電子前簾1113和機(jī)械后簾1114之間形成使用于 曝光圖像傳感器1115的光穿過的狹縫。狹縫的寬度(高度)與圖4A的狹縫的寬度(高度)相 同。由于在圖4B的時(shí)刻機(jī)械后簾1114開始遮擋F值光束的下光線1112,因而F值光束中的PSF 形狀與在圖4A中的時(shí)刻的PSF形狀不同。
[0067]圖4C示出從圖4B起經(jīng)過了一定時(shí)間段之后、正好在機(jī)械后簾1114完全遮擋F值光 束之前的時(shí)刻的上述關(guān)系。與圖4A和4B同樣地,在電子前簾1113和機(jī)械后簾1114之間形成 使用于曝光圖像傳感器1115的光穿過的狹縫。狹縫的寬度(高度)與圖4A和4B的狹縫的寬度 (高度)相同。由于在圖4C示出的狀態(tài)中機(jī)械后簾1114幾乎遮擋了F值光束的下光線1112,因 此F值光束中的PSF形狀與圖4A的PSF形狀或者圖4B的狀態(tài)中的PSF形狀顯著不同。圖7B示出 以一定快門速度和F值的、圖4C的狀態(tài)中的示例性的PSF。圖7B中示出的PSF相對(duì)于圖7A中示 出的PSF顯著變形。
[0068]結(jié)果,即使在將根據(jù)F值光束沒有被遮擋的圖4A的狀態(tài)中的PSF所準(zhǔn)備的圖像恢復(fù) 濾波器應(yīng)用到F值光束幾乎都被遮擋的圖4C的狀態(tài)中所獲得的劣化圖像的情況下,也不能 獲得圖像恢復(fù)處理的良好結(jié)果。
[0069] 現(xiàn)在參考圖5,將給出對(duì)根據(jù)本實(shí)施例的通過圖像校正電路12進(jìn)行的圖像恢復(fù)處 理的說明,在使用了電子前簾/機(jī)械后簾快門的情況下該圖像恢復(fù)處理可以應(yīng)對(duì)PSF的變 化。作為計(jì)算機(jī)的圖像校正電路12根據(jù)作為計(jì)算機(jī)程序的圖像恢復(fù)程序來執(zhí)行該處理。圖 像校正電路12用作圖像獲取單元、濾波器獲取單元和處理單元。
[0070] 在步驟Sll中,圖像校正電路12基于釋放控制信號(hào)來檢測攝像(曝光)。在步驟S12 中,圖像校正電路12獲得作為輸入圖像的拍攝圖像。另外,圖像校正電路12從照相機(jī)微計(jì)算 機(jī)9獲得攝像所用的快門的信息(以下稱作"實(shí)際快門信息")。實(shí)際快門信息表示使用機(jī)械 前簾和機(jī)械后簾的焦平面快門或者表示電子前簾/機(jī)械后簾快門。另外,圖像校正電路12從 照相機(jī)微計(jì)算機(jī)9獲得諸如攝像所用的攝像透鏡15a的變焦?fàn)顟B(tài)、F值和攝像距離等的鏡頭 條件的信息。
[0071] 接著,在步驟S13中,圖像校正電路12判斷實(shí)際快門信息是否表示電子前簾/機(jī)械 后簾快門。在"是"的情況下,流程移動(dòng)至步驟S14,在"否"的情況下,流程移動(dòng)至步驟S22。
[0072] 在步驟S14中,圖像校正電路12從照相機(jī)微計(jì)算機(jī)9獲得在攝像中設(shè)置的快門速度 和F值。
[0073]在步驟S15中,圖像校正電路12判斷步驟S14中獲得的快門速度是否高于諸如1/ 2000秒等的預(yù)定快門速度。在快門速度高于預(yù)定快門速度的情況下,流程移動(dòng)至步驟S17, 在快門速度等于或低于預(yù)定快門速度的情況下,流程移動(dòng)至步驟S16。
[0074] 在步驟S17中,圖像校正電路12判斷步驟S14中獲得的F值是否比諸如F2.8等的預(yù) 定F值更亮。在F值比預(yù)定F值亮的情況下,流程移動(dòng)至步驟S19,在F值等于或暗于預(yù)定F值的 情況下,流程移動(dòng)至步驟S18。
[0075] 圖1示出的照相機(jī)微計(jì)算機(jī)9中的存儲(chǔ)器9a存儲(chǔ)兩種類型的PSF的信息,作為與上 述OTF相關(guān)的信息。第一種類型的PSF是可以與是否使用了電子前簾/機(jī)械后簾快門無關(guān)地 選擇的PSF,其包括根據(jù)諸如變焦?fàn)顟B(tài)、F值和攝像距離等的多個(gè)鏡頭條件而改變的多個(gè) PSF。第一類型的PSF是在圖4A的狀態(tài)中的PSF,以下將稱作"正常PSF"。
[0076] 第二類型的PSF包括使用了電子前簾/機(jī)械后簾快門的情況下與多個(gè)快門速度和 多個(gè)F值的組合相對(duì)應(yīng)的多個(gè)PSF。換言之,第二類型的PSF包括與從攝像透鏡15a經(jīng)由電子 前簾/機(jī)械后簾快門到圖像傳感器26的OTF相對(duì)應(yīng)的、并且根據(jù)快門速度和F值而改變的 PSF。第二類型的PSF還包括根據(jù)除F值之外的上述多個(gè)鏡頭條件而改變的多個(gè)PSF。第二類 型的PSF是與如圖4C示出的由機(jī)械后簾將部分F值光束遮擋的狀態(tài)相對(duì)應(yīng)的PSF,以下將稱 作"部分遮擋PSF"。
[0077] 在步驟S19中,圖像校正電路12在存儲(chǔ)在存儲(chǔ)器9a中的多個(gè)部分遮擋PSF中選擇出 與步驟S14中獲得的快門速度和F值相對(duì)應(yīng)的PSF,并基于所選擇的PSF產(chǎn)生將被稱作部分遮 擋圖像恢復(fù)濾波器的(第一)圖像恢復(fù)濾波器。
[0078]在步驟S20中,獲得(生成)了部分遮擋圖像恢復(fù)濾波器的圖像校正電路12使用所 獲得的部分遮擋圖像恢復(fù)濾波器來向拍攝圖像(劣化圖像)提供圖像恢復(fù)處理,并生成恢復(fù) 圖像。
[0079]在步驟S21中,圖像校正電路12將所生成的恢復(fù)圖像顯示在彩色液晶顯示單元29 上,或者將該恢復(fù)圖像記錄在未示出的記錄介質(zhì)中。
[0080]在步驟S22、S16和S18的各個(gè)步驟中,圖像校正電路12在存儲(chǔ)器9a中存儲(chǔ)的多個(gè)正 常PSF中選擇出與攝像時(shí)的鏡頭條件相對(duì)應(yīng)的正常PSF,并基于所選擇的正常PSF產(chǎn)生將被 稱作正常圖像恢復(fù)濾波器的(第二)圖像恢復(fù)濾波器。另外,圖像校正電路12通過使用該正 常圖像恢復(fù)濾波器而向拍攝圖像(劣化圖像)進(jìn)行正常圖像恢復(fù)處理來生成恢復(fù)圖像,并將 恢復(fù)圖像顯示在彩色液晶顯示單元29上或者將該恢復(fù)圖像記錄在記錄介質(zhì)中。
[0081 ]存儲(chǔ)器9a可以存儲(chǔ)基于多個(gè)正常PSF而預(yù)先準(zhǔn)備的多個(gè)正常圖像恢復(fù)濾波器以及 基于多個(gè)部分遮擋PSF而預(yù)先準(zhǔn)備的多個(gè)部分遮擋圖像恢復(fù)濾波器,作為上述圖像校正信 息。在該情況下,在步驟S19中,圖像校正電路12選擇存儲(chǔ)器9a中的與步驟S14中獲得的快門 速度和F值相對(duì)應(yīng)的部分遮擋圖像恢復(fù)濾波器。另外,在步驟S16和S18中,圖像校正電路12 從存儲(chǔ)器9a中選擇與攝像中的鏡頭條件相對(duì)應(yīng)的正常圖像恢復(fù)濾波器。
[0082] 如所說明的,在使用了電子前簾和機(jī)械后簾的情況下,通過針對(duì)由于光束被機(jī)械 后簾部分遮擋而劣化的圖像應(yīng)用使用了合適的圖像恢復(fù)濾波器的圖像恢復(fù)處理,本實(shí)施例 可以獲得良好的恢復(fù)圖像。
[0083] 將1/2000秒作為預(yù)定快門速度以及將F2.8作為預(yù)定F值僅是示例性的,預(yù)定快門 速度可以等于或高于1/4000秒,并且預(yù)定F值可以等于或低于FI. 4。在滿足該條件的情況 下,通過機(jī)械后簾進(jìn)行的部分遮擋而對(duì)拍攝圖像產(chǎn)生的影響增大,因此,圖像恢復(fù)處理所需 的圖像恢復(fù)濾波器與應(yīng)用于沒有進(jìn)行部分遮擋的拍攝圖像的正常圖像恢復(fù)濾波器顯著不 同。因此,本實(shí)施例中說明的圖像恢復(fù)處理變得較有效。另外,在滿足上述的預(yù)定條件的情 況下,根據(jù)是否使用了電子前簾和機(jī)械后簾或者前簾和后簾兩者是否都是電子的或者機(jī)械 的來選擇圖像恢復(fù)濾波器。
[0084]盡管本實(shí)施例說明了基于快門速度和F值來判斷是使用正常圖像恢復(fù)濾波器還是 使用部分遮擋圖像恢復(fù)濾波器來進(jìn)行圖像恢復(fù)處理,然而還可以根據(jù)快門速度和F值中的 一個(gè)來選擇是使用正常圖像恢復(fù)濾波器還是使用部分遮擋圖像恢復(fù)濾波器。
[0085] 第二實(shí)施例
[0086] 圖6中的流程圖示出根據(jù)本發(fā)明第二實(shí)施例的圖像恢復(fù)處理。第一實(shí)施例說明了 在攝像(曝光)中快門速度高并且F值亮的情況下使用與正常圖像恢復(fù)濾波器不同的部分遮 擋圖像恢復(fù)濾波器的圖像恢復(fù)處理。另一方面,本實(shí)施例根據(jù)攝像中的快門速度(和F值)來 改變用于正?;謴?fù)濾波器的圖像恢復(fù)處理的圖像恢復(fù)強(qiáng)度。
[0087] 本實(shí)施例在圖1示出的存儲(chǔ)器9a中存儲(chǔ)與第一實(shí)施例說明的多個(gè)鏡頭條件相對(duì)應(yīng) 的正常PSF的信息作為與OTF有關(guān)的信息。
[0088] 從SI 11至Sl 18和S122的處理與第一實(shí)施例(圖5)中從Sll至S18和S22的處理相對(duì) 應(yīng),將省略對(duì)其的說明。
[0089] 在判斷為攝像中的快門速度高于預(yù)定快門速度(SI 15)并且F值亮于預(yù)定F值 (S117)的情況下,在步驟S119中,圖像校正電路12從存儲(chǔ)器9a選擇出與攝像中的鏡頭條件 相對(duì)應(yīng)的正常PSF。然后,圖像校正電路12根據(jù)所選擇的正常PSF來準(zhǔn)備正常圖像恢復(fù)濾波 器。
[0090] 接著,在步驟Sl20中,圖像校正電路12通過使用步驟SI 19中所產(chǎn)生的正常圖像恢 復(fù)濾波器而向拍攝圖像(劣化圖像)應(yīng)用圖像恢復(fù)處理,來生成恢復(fù)圖像。與步驟S116和 S118中進(jìn)行的正常圖像恢復(fù)處理相比,圖像校正電路12使得圖像恢復(fù)處理中的圖像恢復(fù)強(qiáng) 度減弱。更具體地,計(jì)算將PSF進(jìn)行傅里葉變換后得到的OTF的倒數(shù)的最大值,并將OTF的倒 數(shù)與增益相乘以減小該OTF的倒數(shù)的最大值。然后,將通過與增益相乘后的OTF的倒數(shù)進(jìn)行 逆傅里葉變換到實(shí)平面,可以得到使得圖像恢復(fù)強(qiáng)度減弱的圖像恢復(fù)濾波器。
[0091] 在步驟S121中,圖像校正電路12將生成的恢復(fù)圖像顯示在彩色液晶顯示單元29 上,或者將該恢復(fù)圖像記錄在記錄介質(zhì)中。
[0092]存儲(chǔ)器9a可以存儲(chǔ)基于多個(gè)正常PSF而預(yù)先準(zhǔn)備的多個(gè)正常圖像恢復(fù)濾波器,作 為圖像校正信息。在這種情況下,在步驟S119中,圖像校正電路12從存儲(chǔ)器9a中選擇與步驟 S114中獲得的快門速度和F值相對(duì)應(yīng)的正常圖像恢復(fù)濾波器。
[0093]如上所述,本實(shí)施例通過與正常圖像恢復(fù)處理相比使得圖像恢復(fù)強(qiáng)度減弱,來向 在使用了電子前簾和機(jī)械后簾的情況下光束被機(jī)械后簾部分遮擋而影響的劣化圖像提供 圖像恢復(fù)處理。因此,本實(shí)施例可以避免通過使用正常圖像恢復(fù)處理的強(qiáng)圖像恢復(fù)來生成 不好的恢復(fù)圖像,并且可以獲得一定程度的圖像恢復(fù)效果。
[0094]盡管本實(shí)施例說明了根據(jù)快門速度和F值這兩者來改變圖像恢復(fù)強(qiáng)度,但是還可 以根據(jù)快門速度和F值中的一個(gè)來改變圖像恢復(fù)強(qiáng)度。
[0095]盡管第一實(shí)施例和第二實(shí)施例說明了在使用了電子前簾和機(jī)械后簾的情況下的 圖像恢復(fù)處理,但是還可以使用機(jī)械前簾和電子后簾的組合。即使在這種情況下,也發(fā)生與 使用電子前簾和機(jī)械后簾的情況同樣的問題,并且通過應(yīng)用同樣的圖像恢復(fù)處理可以獲得 良好的恢復(fù)圖像。換言之,前簾或者后簾中的一個(gè)可以是電子簾,另一個(gè)可以是機(jī)械簾。 [0096]盡管第一實(shí)施例和第二實(shí)施例說明了照相機(jī)1中的圖像校正電路12用作圖像處理 設(shè)備,但是除照相機(jī)1之外的個(gè)人計(jì)算機(jī)也可以被配置為圖像處理設(shè)備。在這種情況下,個(gè) 人計(jì)算機(jī)可以根據(jù)圖像處理程序來針對(duì)從照相機(jī)1獲得的拍攝圖像(輸入圖像)進(jìn)行圖5和 圖6示出的圖像恢復(fù)處理。
[0097] 其它實(shí)施例
[0098] 本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn),即,通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì) 將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置,該系統(tǒng)或裝置的計(jì)算機(jī)或是中 央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0099]盡管已經(jīng)參考典型實(shí)施例描述了本發(fā)明,但是應(yīng)該理解,本發(fā)明不局限于所公開 的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬泛的解釋,以包含所有這類修改、等同結(jié)構(gòu) 和功能。
【主權(quán)項(xiàng)】
1. 一種圖像處理設(shè)備,包括: 圖像獲取器,用于獲取攝像設(shè)備所生成的輸入圖像,其中所述攝像設(shè)備用于使用快門 來控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)圖像傳感器的曝光;以及 處理器,用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖像傳感器的光學(xué)傳遞函 數(shù)所生成的圖像恢復(fù)濾波器,來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處理, 其特征在于,在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況 下,所述處理器針對(duì)所述圖像恢復(fù)濾波器,使用基于所述機(jī)械簾對(duì)從所述攝像光學(xué)系統(tǒng)至 所述圖像傳感器的光束進(jìn)行部分遮擋的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第一圖像恢 復(fù)濾波器。2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備,其特征在于,根據(jù)曝光時(shí)的所述快門的快門速 度,所述處理器針對(duì)所述圖像恢復(fù)濾波器來選擇所述第一圖像恢復(fù)濾波器或者基于所述機(jī) 械簾未遮擋所述光束的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第二圖像恢復(fù)濾波器。3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備,其特征在于,在所述快門速度高于預(yù)定快門速 度的情況下,所述處理器使用所述第一圖像恢復(fù)濾波器,以及 在所述快門速度等于或低于所述預(yù)定快門速度的情況下,所述處理器使用所述第二圖 像恢復(fù)濾波器。4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備,其特征在于,根據(jù)曝光時(shí)的所述攝像光學(xué)系統(tǒng) 的F值,所述處理器針對(duì)所述圖像恢復(fù)濾波器來選擇所述第一圖像恢復(fù)濾波器或者基于所 述機(jī)械簾未遮擋所述光束的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第二圖像恢復(fù)濾波器。5. 根據(jù)權(quán)利要求4所述的圖像處理設(shè)備,其特征在于,在所述F值小于預(yù)定F值的情況 下,所述處理器使用所述第一圖像恢復(fù)濾波器,以及 在所述F值等于或大于所述預(yù)定F值的情況下,所述處理器使用所述第二圖像恢復(fù)濾波 器。6. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備,其特征在于,根據(jù)曝光時(shí)的所述快門的快門速 度以及所述攝像光學(xué)系統(tǒng)的F值,所述處理器針對(duì)所述圖像恢復(fù)濾波器來選擇所述第一圖 像恢復(fù)濾波器或者基于所述機(jī)械簾未遮擋所述光束的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成 的第二圖像恢復(fù)濾波器。7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備,其特征在于,在所述快門速度高于預(yù)定快門速 度并且所述F值小于預(yù)定F值的情況下,所述處理器使用所述第一圖像恢復(fù)濾波器,以及 在所述快門速度等于或低于所述預(yù)定快門速度的情況下或者在所述F值等于或大于所 述預(yù)定F值的情況下,所述處理器使用所述第二圖像恢復(fù)濾波器。8. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備,其特征在于,除非所述快門的前簾和后簾中的 一個(gè)是電子簾且另一個(gè)是機(jī)械簾,否則所述處理器使用基于所述機(jī)械簾未遮擋所述光束的 狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第二圖像恢復(fù)濾波器。9. 一種圖像處理設(shè)備,包括: 圖像獲取器,用于獲取攝像設(shè)備所生成的輸入圖像,其中所述攝像設(shè)備用于使用快門 來控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)圖像傳感器的曝光;以及 處理器,用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖像傳感器的光學(xué)傳遞函 數(shù)所生成的圖像恢復(fù)濾波器,來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處理, 其特征在于,在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況 下,所述處理器根據(jù)曝光時(shí)的所述攝像光學(xué)系統(tǒng)的F值和所述快門的快門速度中的至少一 個(gè)來改變所述圖像恢復(fù)處理中的圖像恢復(fù)強(qiáng)度。10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備,其特征在于,所述處理器將在所述快門速度 高于預(yù)定快門速度的情況下的圖像恢復(fù)強(qiáng)度設(shè)置得低于在所述快門速度等于或低于所述 預(yù)定快門速度的情況下的圖像恢復(fù)強(qiáng)度。11. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備,其特征在于, 所述處理器將在所述F值小于預(yù)定F值的情況下的圖像恢復(fù)強(qiáng)度設(shè)置得低于在所述F值 等于或大于所述預(yù)定F值的情況下的圖像恢復(fù)強(qiáng)度。12. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備,其特征在于, 所述處理器將在所述快門速度高于預(yù)定快門速度并且所述F值小于預(yù)定F值的情況下 的圖像恢復(fù)強(qiáng)度設(shè)置得低于在所述快門速度等于或低于所述預(yù)定快門速度的情況下或者 在所述F值等于或大于所述預(yù)定F值的情況下的圖像恢復(fù)強(qiáng)度。13. -種攝像設(shè)備,包括: 圖像傳感器; 快門,用于控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)所述圖像傳感器的曝光;以及 根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的圖像處理設(shè)備。
【文檔編號(hào)】H04N5/235GK106067945SQ201610258488
【公開日】2016年11月2日
【申請日】2016年4月22日 公開號(hào)201610258488.7, CN 106067945 A, CN 106067945A, CN 201610258488, CN-A-106067945, CN106067945 A, CN106067945A, CN201610258488, CN201610258488.7
【發(fā)明人】和智史仁
【申請人】佳能株式會(huì)社