專利名稱：成像設(shè)備和成像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像設(shè)備、成像方法和程序，更具體地講，涉及一種允許用減少的計(jì)算量生成聚焦圖像的成像設(shè)備、成像方法和程序。
背景技術(shù)：
當(dāng)使用數(shù)字靜態(tài)相機(jī)或任何其他類似的成像設(shè)備來拍攝圖像時(shí)，使用者通常執(zhí)行預(yù)定操作以對(duì)所需對(duì)象聚焦。具體地講，使用者將數(shù)字靜態(tài)相機(jī)對(duì)準(zhǔn)所需對(duì)象使得對(duì)象落在取景器的中心，然后半按快門按鈕以聚焦對(duì)象。通常，數(shù)字靜態(tài)相機(jī)的聚焦操作這樣執(zhí)行利用對(duì)比度方法確定使對(duì)象圖像的對(duì)比度最大的透鏡位置并將透鏡移動(dòng)到如此確定的透鏡位置。上述聚焦操作就是所謂的自動(dòng)聚焦?；蛘?，利用基于光學(xué)測距計(jì)的測距儀來疊加利用沿兩條不同光路傳播的光通量生成的圖像，從而使對(duì)象圖像聚焦。另外有一種技術(shù)，其中使用者在具有觸摸面板功能的電子取景器(EVF)所顯示的實(shí)時(shí)圖像(稱作直通圖像)中選擇預(yù)定對(duì)象，相機(jī)(自動(dòng)地)測量距包含所選對(duì)象的區(qū)域的距離并對(duì)該對(duì)象聚焦(例如，參見JP-A-8-122847)。

發(fā)明內(nèi)容
然而，在拍攝已如上所述自動(dòng)聚焦的對(duì)象的圖像之前，距對(duì)象的距離可能突然改變或者自動(dòng)聚焦可能沒有非常精確地執(zhí)行。在這種情況下，所得的拍攝圖像不是聚焦圖像， 而是散焦圖像。為了解決這一問題，可以想到對(duì)這樣的散焦圖像執(zhí)行預(yù)定信號(hào)處理，以校正模糊并生成聚焦圖像。具體地講，估計(jì)表示散焦圖像中的模糊量的模糊函數(shù)，并且基于與距對(duì)象的距離(對(duì)象距離)對(duì)應(yīng)的透鏡成像特性，利用估計(jì)出的模糊函數(shù)的反函數(shù)對(duì)散焦圖像執(zhí)行逆計(jì)算。這樣，無需自動(dòng)聚焦操作就可生成聚焦圖像。然而，由于距散焦圖像中所包含的對(duì)象的距離是未知的，所以需要基于與每一可能的對(duì)象距離對(duì)應(yīng)的透鏡成像特性對(duì)散焦圖像執(zhí)行信號(hào)處理。在這種情況下，計(jì)算量是巨大的。因此，期望以減少的計(jì)算量生成聚焦圖像。根據(jù)本發(fā)明一個(gè)實(shí)施例的成像設(shè)備包括光學(xué)系統(tǒng)，其形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像；成像裝置，其生成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像；獲取裝置，用于獲取距對(duì)象的距離；校正裝置，用于基于與獲取裝置所獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正從成像裝置輸出的拍攝圖像中的模糊。所述成像設(shè)備還可包括顯示裝置，其用于顯示拍攝圖像；選擇裝置，用于基于使用者的操作選擇在顯示裝置上顯示的拍攝圖像中的對(duì)象。校正裝置可根據(jù)與獲取裝置獲取的對(duì)象距離中的、距選擇裝置所選的對(duì)象的距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正拍攝圖像中的模糊。
顯示裝置可顯示直通圖像(through image)，所述直通圖像是實(shí)時(shí)拍攝的圖像，并且是通過命令成像裝置執(zhí)行像素值加法或抽選讀取而生成的。選擇裝置可基于使用者的操作選擇直通圖像之一中的對(duì)象。獲取裝置可獲取在選擇裝置選擇直通圖像中的對(duì)象時(shí)的距該對(duì)象的距離。校正裝置可根據(jù)與獲取裝置所獲取的對(duì)象距離中的、距選擇裝置在直通圖像中選擇的對(duì)象的距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正拍攝圖像中的模糊。成像設(shè)備還可包括生成裝置，其用于從直通圖像生成聚焦直通圖像，所述聚焦直通圖像被生成為使得選擇裝置在直通圖像中選擇的對(duì)象被聚焦。顯示裝置可顯示由生成裝置生成的聚焦直通圖像。成像裝置可輸出與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)的一部分，該信號(hào)部分用作表示距對(duì)象的距離的距離信息。獲取裝置可基于從成像裝置輸出的距離信息獲取距對(duì)象的距離。所述透鏡可以是對(duì)無窮遠(yuǎn)處或遠(yuǎn)距離處的物體聚焦的單焦距透鏡。所述透鏡可以是變焦透鏡，校正裝置可基于光學(xué)系統(tǒng)的成像特性校正拍攝圖像中的模糊，所述成像特性是預(yù)先獲得的，并且不僅與獲取裝置所獲取的對(duì)象距離對(duì)應(yīng)，而且與變焦透鏡的變焦?fàn)顟B(tài)對(duì)應(yīng)。校正裝置可基于與獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的點(diǎn)像強(qiáng)度分布來校正拍攝圖像中的模糊。校正裝置可基于與獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的線像強(qiáng)度分布來校正拍攝圖像中的模糊。校正裝置可基于與獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)來校正拍攝圖像中的模糊。根據(jù)本發(fā)明一個(gè)實(shí)施例的成像方法用于成像設(shè)備，所述成像設(shè)備包括光學(xué)系統(tǒng)， 其形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像；成像裝置，其生成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像；獲取裝置，用于獲取距對(duì)象的距離；校正裝置，用于基于與獲取裝置所獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正從成像裝置輸出的拍攝圖像中的模糊。所述方法包括利用獲取裝置獲取距對(duì)象的距離；利用校正裝置基于與在獲取步驟中獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正從成像裝置輸出的拍攝圖像中的模糊。根據(jù)本發(fā)明一個(gè)實(shí)施例的程序命令計(jì)算機(jī)執(zhí)行成像設(shè)備中的成像處理，所述成像設(shè)備包括光學(xué)系統(tǒng)和成像裝置，所述光學(xué)系統(tǒng)形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像，所述成像裝置生成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像。所述程序命令計(jì)算機(jī)執(zhí)行以下步驟控制距對(duì)象的距離的獲取的獲取控制步驟；基于與在獲取控制步驟中獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正從成像裝置輸出的拍攝圖像中的模糊的校正步驟。在本發(fā)明的另一實(shí)施例中，獲取距對(duì)象的距離，并且基于與獲取的距對(duì)象的距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性來校正從成像裝置輸出的拍攝圖像中的模糊。在本發(fā)明的任一實(shí)施例中，可在計(jì)算量減小的情況下生成聚焦圖像。


圖1是示出本發(fā)明所應(yīng)用于的成像設(shè)備的實(shí)施例的構(gòu)造的框圖；圖2示出形成測距圖像傳感器的像素的排列方式；圖3是示出成像設(shè)備的示例性功能構(gòu)造的框圖；圖4是示出成像處理的流程圖；圖5是示出模糊校正處理的流程圖；圖6是示出成像處理的另一例子的流程圖；圖7是示出成像設(shè)備的另一示例性功能構(gòu)造的框圖；圖8是示出圖7所示的成像設(shè)備所執(zhí)行的成像處理的流程圖；圖9是示出成像設(shè)備的另一示例性功能構(gòu)造的框圖；圖10是示出圖9所示的成像設(shè)備所執(zhí)行的成像處理的流程圖；圖11是示出計(jì)算機(jī)的硬件的示例性構(gòu)造的框圖。
具體實(shí)施例方式下面將參照附圖描述本發(fā)明的實(shí)施例。將按照下列順序進(jìn)行描述。1.第一實(shí)施例(設(shè)置有單焦距透鏡并且響應(yīng)于快門操作拍攝圖像的構(gòu)造)2.第二實(shí)施例(設(shè)置有單焦距透鏡并且響應(yīng)于觸摸操作拍攝圖像的構(gòu)造)3.第三實(shí)施例(設(shè)置有變焦透鏡并且響應(yīng)于快門操作拍攝圖像的構(gòu)造)<1.第一實(shí)施例>[成像設(shè)備的構(gòu)造]圖1示出本發(fā)明所應(yīng)用于的成像設(shè)備的實(shí)施例的構(gòu)造。圖1所示的成像設(shè)備11被構(gòu)造為例如數(shù)字靜態(tài)相機(jī)，并且根據(jù)使用者的操作拍攝對(duì)象的圖像、存儲(chǔ)拍攝的對(duì)象圖像(靜止圖像)并將拍攝的圖像呈現(xiàn)給使用者。例如，成像設(shè)備11至少在下列操作模式下操作成像模式，在成像模式下拍攝對(duì)象的圖像并記錄拍攝的圖像；圖像觀看模式，在圖像觀看模式下使用者可觀看記錄的拍攝圖像。當(dāng)使用者操作成像設(shè)備11并選擇成像模式時(shí)，成像設(shè)備11響應(yīng)于使用者的快門操作拍攝對(duì)象的圖像并記錄拍攝的圖像。當(dāng)使用者操作成像設(shè)備11并選擇圖像觀看模式時(shí)，成像設(shè)備11允許使用者從記錄的拍攝圖像中選擇所需的拍攝圖像，并顯示選定的拍攝圖像。圖1所示的成像設(shè)備11包括光學(xué)系統(tǒng)31、測距圖像傳感器32、A/D (模擬至數(shù)字) 轉(zhuǎn)換器33、時(shí)序發(fā)生器34、圖像處理器35、相機(jī)信號(hào)處理器36、存儲(chǔ)器37、監(jiān)視器38、操作單元39、控制器40和測距輔助光發(fā)射器41。光學(xué)系統(tǒng)31將對(duì)象的像送至測距圖像傳感器32，在測距圖像傳感器32處拍攝圖像。包括透鏡31a和光圈31b的光學(xué)系統(tǒng)31調(diào)節(jié)穿過透鏡31a入射的來自對(duì)象的光量，并使所得到的光入射在測距圖像傳感器32。光學(xué)系統(tǒng)31不需要調(diào)節(jié)與穿過透鏡31a入射的來自對(duì)象的光相對(duì)應(yīng)的像的形成位置。也就是說，透鏡31a是單目透鏡，其被設(shè)計(jì)為具有單個(gè)焦距并對(duì)距透鏡31a 2米、4米或其他距離處的遠(yuǎn)點(diǎn)(遠(yuǎn)處物體)、甚至無窮遠(yuǎn)點(diǎn)進(jìn)行聚焦。光圈31b調(diào)節(jié)穿過透鏡31a入射在測距圖像傳感器32上的光量。測距圖像傳感器32是CXD (電荷耦合器件)傳感器、CMOS (互補(bǔ)金屬氧化物半導(dǎo)
6體)傳感器或者任何其他合適的傳感器，其拍攝對(duì)象的圖像并輸出所得到的圖像信號(hào)。即，測距圖像傳感器32接收穿過光學(xué)系統(tǒng)31入射的光，在光電轉(zhuǎn)換處理中根據(jù)接收的光量將所述光轉(zhuǎn)換為電信號(hào)形式的圖像信號(hào)(模擬信號(hào))，并將該圖像信號(hào)送至A/D轉(zhuǎn)換器33。測距圖像傳感器32還向A/D轉(zhuǎn)換器33提供與穿過透鏡31a入射的來自對(duì)象的光相對(duì)應(yīng)的信號(hào)的一部分作為距離信息(模擬信號(hào))，所述距離信息表示成像設(shè)備11與對(duì)象之間的距離。現(xiàn)在將參照?qǐng)D2描述形成測距圖像傳感器32的像素的排列形式。典型的圖像傳感器采用所謂的Bayer布局，其中顏色R(紅色)、G(綠色)和B (藍(lán)色)被分配給像素，使得G像素排列成棋盤圖案，R和B像素設(shè)置在G像素之間。圖2所示的測距圖像傳感器32被構(gòu)造為使得像典型圖像傳感器中一樣排列成棋盤圖案的G像素(每一組2X2( = 4)相鄰的RGBG像素中的G像素)的一半被用作用于測距的像素(圖2中被涂黑)。測距圖像傳感器32接收從測距輔助光發(fā)射器41 (將稍后描述)投射至對(duì)象、被對(duì)象反射、并入射在用于測距的像素上的光。測距圖像傳感器32利用所謂的TOF(飛行時(shí)間) 方法基于從光投射到接收到光的時(shí)間段來確定距對(duì)象的距離，并輸出表示距對(duì)象的距離的足巨1 fn息。S卩，測距圖像傳感器32不僅可輸出由用于成像的RGB像素生成的圖像信號(hào)，而且可輸出由用于測距的像素生成的距離信息。在圖2所示的測距圖像傳感器32中，四個(gè)像素中的一個(gè)像素被用作測距像素，測距像素與全部RGB像素之比被任意設(shè)定，例如1比16像素。另外，盡管測距圖像傳感器32 是由RGB像素和測距像素形成的單個(gè)(單面板)傳感器(即，像素被集成到一個(gè)芯片中)， 但是作為另外一種選擇，其還可由兩個(gè)傳感器——圖像傳感器和測距傳感器形成，其中圖像傳感器采用上述Bayer布局，而測距傳感器的所有像素均用于測距。在這種情況下，測距傳感器中的一個(gè)像素僅需要對(duì)應(yīng)于圖像傳感器中的一個(gè)像素、四個(gè)像素或任意其他數(shù)目像素。換言之，測距傳感器中的像素?cái)?shù)目(像素排列)沒有必要等于圖像傳感器中的像素?cái)?shù)目(像素排列)。作為另外一種選擇，測距圖像傳感器32可以是三面板傳感器。具體地講， 在至少一個(gè)RGB圖像傳感器中，例如，2X2( = 4)相鄰像素中的一個(gè)像素可用作測距像素。再返回參照?qǐng)D1描述成像設(shè)備11的構(gòu)造。A/D轉(zhuǎn)換器33將測距圖像傳感器32送來的模擬信號(hào)(圖像信號(hào)和距離信息)轉(zhuǎn)換為數(shù)字信號(hào)，并將所述數(shù)字信號(hào)輸出給圖像處理器35。例如，當(dāng)測距圖像傳感器32為CXD傳感器時(shí)，時(shí)序發(fā)生器34在控制器40的控制下生成用于驅(qū)動(dòng)CCD的時(shí)序信號(hào)，并將所述時(shí)序信號(hào)提供給測距圖像傳感器32和A/D轉(zhuǎn)換
33 ο圖像處理器35在控制器40的控制下對(duì)來自A/D轉(zhuǎn)換器33的數(shù)字信號(hào)(圖像信號(hào))執(zhí)行預(yù)定的圖像處理，并將處理過的信號(hào)送至相機(jī)信號(hào)處理器36。相機(jī)信號(hào)處理器36對(duì)來自圖像處理器35的圖像信號(hào)執(zhí)行多種處理(例如，顏色校正、白平衡調(diào)節(jié)、灰階轉(zhuǎn)換、伽馬校正、YC轉(zhuǎn)換和壓縮)，并將處理過的信號(hào)記錄在存儲(chǔ)器中，并將其顯示在監(jiān)視器38上。
操作單元39由層疊在監(jiān)視器38上的按鈕、撥盤、操縱桿、觸摸面板以及其他部件形成，并接收使用者的操作輸入?？刂破?0基于表示使用者的操作輸入的信號(hào)來控制成像設(shè)備11中的部件。測距輔助光發(fā)射器41朝對(duì)象發(fā)射光，對(duì)象反射所述光，反射的光被測距圖像傳感器32中的測距像素接收(已參照?qǐng)D2進(jìn)行了描述)。[成像設(shè)備的示例性功能構(gòu)造]接下來將參照?qǐng)D3描述圖1所示的成像設(shè)備11的示例性功能構(gòu)造。圖3所示的成像設(shè)備11包括成像部51、輸入部52、輸入控制部53、成像控制部M、 距離信息獲取部55、顯示控制部56、顯示部57、記錄控制部58、記錄部59和模糊校正部60。成像部51包括透鏡51a和測距圖像傳感器51b。透鏡51a和測距圖像傳感器51b 與圖1所示的透鏡31a和測距圖像傳感器32相同，因此將不再對(duì)透鏡51a和測距圖像傳感器51b進(jìn)行詳細(xì)描述。進(jìn)入透鏡51a的對(duì)象光被聚焦在測距圖像傳感器51b上，成像部51 不僅將攜帶所形成的對(duì)象圖像的圖像信號(hào)提供給成像控制部討，而且將表示距成像的對(duì)象的距離的距離信息提供給距離信息獲取部55。輸入部52對(duì)應(yīng)于圖1所示的操作單元39，當(dāng)使用者對(duì)操作單元39進(jìn)行操作時(shí)，輸入部52接收來自操作單元39的輸入，并將表示與使用者的操作對(duì)應(yīng)的輸入的信號(hào)(操作信號(hào))送至輸入控制部53。輸入控制部53將與來自輸入部52的操作信號(hào)對(duì)應(yīng)的指令提供給成像控制部M 和距離信息獲取部陽。成像控制部M基于來自成像部51的圖像信號(hào)生成攜帶要在顯示部57上顯示的顯示圖像的圖像信號(hào)，并將生成的圖像信號(hào)提供給顯示控制部56。成像控制部M還根據(jù)來自輸入控制部53的指令從成像部51獲取圖像信號(hào)，并將獲取的圖像信號(hào)送至記錄控制部 58。距離信息獲取部55根據(jù)來自輸入控制部53的指令從成像部51獲取距離信息，并將該距離信息送至記錄控制部58。 顯示控制部56基于來自成像控制部M的攜帶顯示圖像的圖像信號(hào)將所述顯示圖像顯示在顯示部57上。作為另外一種選擇，顯示控制部56將經(jīng)由記錄控制部58從記錄部 59送來(讀取)的圖像信號(hào)所攜帶的圖像顯示在顯示部57上。顯示部57對(duì)應(yīng)于圖1所示的監(jiān)視器38，其在顯示控制部56的控制下顯示圖像。記錄控制部58基于測距圖像傳感器51b中的像素(例如，基于四個(gè)相鄰像素)使來自成像控制部M的圖像信號(hào)與來自距離信息獲取部陽的距離信息關(guān)聯(lián)，并將彼此關(guān)聯(lián)的圖像信號(hào)和距離信息記錄在記錄部59中。作為另外一種選擇，記錄控制部58根據(jù)需要讀取記錄在記錄部59中的圖像信號(hào)和距離信息，并將它們提供給顯示控制部56和模糊校正部60。記錄部59對(duì)應(yīng)于圖1所示的存儲(chǔ)器37，其記錄來自記錄控制部58的圖像信號(hào)和距離信息。記錄控制部58根據(jù)需要讀取記錄在記錄部59中的圖像信號(hào)和距離信息。模糊校正部60根據(jù)來自輸入控制部53的指令校正來自記錄控制部58的圖像信號(hào)所攜帶的拍攝圖像中所包含的模糊，并將校正過的拍攝圖像提供給記錄控制部58。提供給記錄控制部58的模糊校正過的拍攝圖像被記錄在記錄部59中。
[成像設(shè)備所執(zhí)行的成像處理]接下來將參照?qǐng)D4的流程圖描述成像設(shè)備11所執(zhí)行的成像處理。例如，當(dāng)使用者打開成像設(shè)備11并對(duì)其進(jìn)行操作以選擇成像模式時(shí)，成像設(shè)備11 工作在允許使用者拍攝圖像的成像模式下。在步驟Sll中，成像控制部M控制成像部51 在顯示部57上顯示直通圖像，所述直通圖像是實(shí)時(shí)拍攝的圖像。具體地講，成像控制部M命令測距圖像傳感器51b執(zhí)行像素值加法或抽選讀取， 以生成攜帶例如具有VGA(視頻圖形陣列)大小的顯示圖像(以下簡稱為顯示圖像)的圖像信號(hào)，并將該圖像信號(hào)送至顯示控制部56。顯示控制部56將來自成像控制部M的顯示圖像作為直通圖像顯示在顯示部57上。這樣，使用者可查看實(shí)時(shí)顯示在顯示部57上的直通圖像，并確定將拍攝的圖像的構(gòu)成。在步驟S12中，輸入控制部53判斷使用者是否執(zhí)行了快門操作，S卩，使用者是否按下用作快門按鈕的輸入部52。當(dāng)步驟S12中的判斷表明沒有執(zhí)行快門操作時(shí)，控制返回到步驟S11，并且重復(fù)地執(zhí)行步驟Sll和S12中的處理，直到快門操作被執(zhí)行。另一方面，步驟S12中的判斷表明執(zhí)行了快門操作，輸入控制部53發(fā)出與表示通過輸入部52執(zhí)行的快門操作的操作信號(hào)對(duì)應(yīng)的指令給成像控制部M和距離信息獲取部陽，控制進(jìn)行到步驟S13。在步驟S13中，成像控制部M根據(jù)來自輸入控制部53的指令執(zhí)行成像處理。具體地講，當(dāng)輸入控制部53發(fā)出指令給成像控制部M時(shí)，成像控制部M從測距圖像傳感器 51b讀取所有像素值，以生成攜帶例如具有全HD (全高清)大小的拍攝圖像(以下簡稱為拍攝圖像)的圖像信號(hào)，并將所述拍攝圖像提供給記錄控制部58。在步驟S14中，當(dāng)輸入控制部53發(fā)出指令給距離信息獲取部55時(shí)，距離信息獲取部55從測距圖像傳感器51b獲取距離信息，并將該距離信息提供給記錄控制部58。步驟S13和S14中的處理可同時(shí)進(jìn)行。在步驟S15中，記錄控制部58基于測距圖像傳感器51b中的像素使來自成像控制部M的拍攝圖像與來自距離信息獲取部陽的距離信息關(guān)聯(lián)，并將彼此關(guān)聯(lián)的拍攝圖像與距離信息記錄在記錄部59中。如參照?qǐng)D2描述的，測距圖像傳感器51b (測距圖像傳感器32)中的四個(gè)相鄰像素由三個(gè)RGB像素和一個(gè)測距像素形成，所述三個(gè)RGB像素作為整體輸出圖像信號(hào)?，F(xiàn)在，四個(gè)相鄰像素被當(dāng)作一個(gè)塊。每一塊生成攜帶拍攝圖像的圖像信號(hào)(以下稱為圖像信息)和距離信息。換言之，拍攝圖像中的每一塊的圖像信息和距離信息利用表示該塊在拍攝圖像中的位置的坐標(biāo)來彼此關(guān)聯(lián)。在前一部分中，每一塊的圖像信息和距離信息彼此分離，并利用塊的坐標(biāo)來彼此關(guān)聯(lián)。作為另外一種選擇，對(duì)于每一塊，距離信息可被包含在圖像信息中。另外，在前一部分中，四個(gè)相鄰像素形成單個(gè)塊。一個(gè)塊僅需要包含至少一個(gè)測距像素，例如，4X4 = 16個(gè)相鄰像素可形成單個(gè)塊。在步驟S16中，輸入控制部53判斷使用者是否對(duì)用作模式切換按鈕、電源開/關(guān)按鈕或其他按鈕(未示出)的輸入部52執(zhí)行了按壓操作，以發(fā)出終止成像模式的指令。當(dāng)步驟S16中的判斷表明沒有發(fā)出終止成像模式的指令時(shí)，控制返回到步驟S11，并且重復(fù)地執(zhí)行步驟Sll至S16中的處理。另一方面，當(dāng)步驟S16中的判斷表明已發(fā)出了終止成像模式的指令時(shí)，成像處理終止。通過執(zhí)行上述處理，成像設(shè)備11可響應(yīng)于使用者的快門操作記錄具有使用者期望的構(gòu)圖的拍攝圖像。由于透鏡51a(透鏡31a)是對(duì)遙遠(yuǎn)位置處或無窮遠(yuǎn)處的對(duì)象進(jìn)行聚焦的單焦距透鏡，所以得到的拍攝圖像包含聚焦的遠(yuǎn)處對(duì)象。拍攝的圖像可以是包含遠(yuǎn)處風(fēng)景或任何其他遠(yuǎn)處對(duì)象的優(yōu)異的自然風(fēng)景圖像。然而，上述處理通常不會(huì)生成成像設(shè)備11近處對(duì)象的聚焦圖像，或者成像設(shè)備11 近處對(duì)象在拍攝的圖像中全部是模糊的。接下來將描述校正記錄部59中記錄的拍攝圖像中由使用者選定的模糊對(duì)象的模糊校正處理。[成像設(shè)備所執(zhí)行的模糊校正]圖5是示出成像設(shè)備11所執(zhí)行的模糊校正的流程圖。例如，當(dāng)使用者對(duì)操作單元進(jìn)行操作以選擇圖像觀看模式時(shí)，成像設(shè)備11工作在允許使用者觀看記錄的拍攝圖像的圖像觀看模式下，并且顯示部57顯示與記錄部59中記錄的拍攝圖像對(duì)應(yīng)的縮略圖列表?？s略圖伴隨有表示其是否經(jīng)受模糊校正的圖標(biāo)。當(dāng)使用者對(duì)操作單元進(jìn)行操作以從縮略圖列表中選擇未受過模糊校正的縮略圖時(shí)，模糊校正開始。在步驟S31中，在記錄部59中記錄的拍攝圖像中，記錄控制部58從記錄部59讀取與使用者選定的縮略圖對(duì)應(yīng)的拍攝圖像以及與該拍攝圖像關(guān)聯(lián)的距離信息。在如此讀取的拍攝圖像和距離信息中，記錄控制部58將拍攝圖像提供給顯示控制部56，并將拍攝圖像和距離信息二者提供給模糊校正部60。在步驟S32中，顯示控制部56將來自記錄控制部58的拍攝圖像顯示在顯示部57 上。由于來自記錄控制部58的拍攝圖像如上所述具有全HD大小，所以顯示控制部56將來自記錄控制部58的拍攝圖像的分辨率轉(zhuǎn)換為可以顯示在顯示部57上的VGA大小的圖像， 并將轉(zhuǎn)換后的圖像顯示在顯示部57上。在步驟S33中，輸入控制部53基于來自層疊在監(jiān)視器38上的用作觸摸面板的輸入部52的操作信號(hào)，判斷使用者是否在顯示部57上所顯示的分辨率轉(zhuǎn)換后的拍攝圖像 (以下稱為“顯示拍攝圖像”)中選擇了預(yù)定對(duì)象。步驟S33中的判斷表明沒有選擇顯示拍攝圖像中的對(duì)象，重復(fù)執(zhí)行步驟S33中的處理，直到輸入控制部53判斷顯示拍攝圖像中的預(yù)定對(duì)象被選擇。另一方面，當(dāng)步驟S33中的判斷表明顯示拍攝圖像中的對(duì)象已被選擇時(shí)，輸入控制部53將關(guān)于拍攝圖像上的坐標(biāo)的坐標(biāo)信息提供給模糊校正部60。坐標(biāo)信息被包含在來自用作觸摸面板的輸入部52的操作信號(hào)中，并且所述坐標(biāo)表示與使用者在顯示拍攝圖像中所選定的對(duì)象部分相對(duì)應(yīng)的區(qū)域(塊)。在步驟S34中，模糊校正部60基于與來自記錄控制部58的距離信息相對(duì)應(yīng)的透鏡51a的成像特性，校正來自記錄控制部58的拍攝圖像中的模糊，所述距離信息對(duì)應(yīng)于來自輸入控制部53的坐標(biāo)信息所表示的坐標(biāo)，即，所述距離信息與使用者所選定的對(duì)象部分相關(guān)聯(lián)。
10
通常，利用依賴于透鏡51a的特性和對(duì)象距離的點(diǎn)強(qiáng)度分布(點(diǎn)像強(qiáng)度分布PSF) 來對(duì)包含在拍攝圖像中并具有預(yù)定對(duì)象距離的對(duì)象的模糊分布進(jìn)行建模。模糊校正部60通過對(duì)拍攝圖像執(zhí)行去卷積來執(zhí)行模糊校正。根據(jù)與拍攝圖像中的與顯示拍攝圖像中由使用者在顯示部57上觸摸(選擇)的區(qū)域?qū)?yīng)的區(qū)域(拍攝圖像中的該區(qū)域以下稱為選定區(qū)域)相關(guān)聯(lián)的距離信息(對(duì)象距離)，利用PSF來執(zhí)行去卷積。 模糊校正部60將模糊校正后的拍攝圖像送至記錄控制部58。在全HD大小的拍攝圖像中，例如，選定區(qū)域可對(duì)應(yīng)于前面描述的一個(gè)塊，或者可以是由若干塊形成的區(qū)域。當(dāng)選定區(qū)域由若干塊形成時(shí)，PSF所依賴于的距離信息可與所述若干塊中大致中心的一個(gè)塊相關(guān)聯(lián)，或者可以是與所述若干塊相關(guān)聯(lián)的距離信息的平均值。由于距拍攝圖像中被選定的對(duì)象(使用者想要聚焦的對(duì)象)的距離以如上所述距離信息的形式預(yù)先已知，所以模糊校正部60可執(zhí)行模糊校正，而無需利用與每一可能的對(duì)象距離對(duì)應(yīng)的PSF來對(duì)拍攝圖像執(zhí)行去卷積。在步驟S35中，記錄控制部58將來自模糊校正部60的模糊校正后的拍攝圖像記錄在記錄部59中。在上述處理中，在與表示對(duì)象距離的距離信息相關(guān)聯(lián)的拍攝圖像中選擇預(yù)定對(duì)象，并且基于與選定的對(duì)象部分所關(guān)聯(lián)的距離信息相對(duì)應(yīng)的透鏡成像特性對(duì)拍攝圖像執(zhí)行模糊校正。即，由于距拍攝圖像中被選定的對(duì)象(使用者想要聚焦的對(duì)象)的距離以距離信息的形式預(yù)先已知，所以成像設(shè)備可執(zhí)行模糊校正，而無需利用與每一可能的對(duì)象距離對(duì)應(yīng)的PSF來對(duì)拍攝圖像執(zhí)行去卷積。結(jié)果，成像設(shè)備可在不執(zhí)行自動(dòng)聚焦、也不以其他方式使對(duì)象聚焦的情況下，以減小的計(jì)算量生成聚焦圖像。在上面的描述中，在對(duì)拍攝圖像執(zhí)行模糊校正時(shí)，模糊校正部60使用PSF (點(diǎn)像強(qiáng)度分布)作為與距離信息對(duì)應(yīng)的透鏡51a的成像特性。作為另外一種選擇，透鏡51a的成像特性可以是通過對(duì)點(diǎn)像強(qiáng)度分布執(zhí)行二維傅里葉變換而獲得的線像強(qiáng)度分布(LSF)或光學(xué)傳遞函數(shù)(OTF)。OTF是表示圖像在空間頻域中的劣化程度的函數(shù)。作為另外一種選擇，通過執(zhí)行參照?qǐng)D4的流程圖描述的成像處理而提供的拍攝圖像可經(jīng)由記錄介質(zhì)或任何其他合適的介質(zhì)(未示出)提供給圖像處理設(shè)備，例如個(gè)人計(jì)算機(jī)，并且可在該圖像處理設(shè)備中執(zhí)行上述模糊校正。在這種情況下，圖像處理設(shè)備不包括圖 1所示成像設(shè)備11中的成像部51、成像控制部M和距離信息獲取部55。在如此構(gòu)造的圖像處理設(shè)備所執(zhí)行的模糊校正中，顯示在顯示部57上的顯示拍攝圖像可仍是全HD大小的圖像，可例如通過使用者的鼠標(biāo)點(diǎn)擊操作而非觸摸面板上的觸摸操作來執(zhí)行對(duì)象選擇。另外，在上面的描述中，當(dāng)在成像設(shè)備11中成像模式被切換為圖像觀看模式時(shí)， 在使用者從縮略圖拍攝圖像列表中選擇未受過模糊校正的拍攝圖像時(shí)執(zhí)行模糊校正。作為另外一種選擇，可在成像模式被切換為包括圖像觀看模式在內(nèi)的其他模式時(shí)自動(dòng)執(zhí)行模糊校正。[成像設(shè)備所執(zhí)行的成像處理的另一例子]接下來將參照?qǐng)D6描述在成像模式終止后自動(dòng)執(zhí)行模糊校正的成像處理。圖6的流程圖中步驟S71至S76中的處理與圖4的流程圖中步驟Sll至S16中的那些處理基本上相同，圖6的流程圖中步驟S78至S81中的處理與圖5的流程圖中步驟S32
11至S35中的那些處理基本上相同。因此將不再對(duì)圖6中的上述步驟進(jìn)行描述。S卩，在步驟S71至S75中的處理中，拍攝圖像和距離信息彼此關(guān)聯(lián)并被記錄，在步驟S76中，判斷使用者是否對(duì)用作模式切換按鈕(未示出)的輸入部52執(zhí)行了按壓操作并且發(fā)出了終止成像模式的指令。當(dāng)步驟S76中的判斷表明終止成像模式的指令已經(jīng)發(fā)出，則控制進(jìn)行到步驟S77。在步驟S77中，在步驟S71至S75的處理中被拍攝并記錄在記錄部59中的拍攝圖像中，記錄控制部58從記錄部59讀取沿著時(shí)間軸最早記錄(拍攝)的拍攝圖像以及與該拍攝圖像關(guān)聯(lián)的距離信息。在如此讀取的拍攝圖像和距離信息中，記錄控制部58將拍攝圖像提供給顯示控制部56，將拍攝圖像和距離信息二者提供給模糊校正部60。在步驟S78至S81的處理中將模糊校正后的拍攝圖像記錄在記錄部59中之后，記錄控制部58在步驟S82中判斷是否對(duì)步驟S71至S75的處理中所拍攝并記錄的所有拍攝圖像執(zhí)行了模糊校正。當(dāng)步驟S82中的判斷表明并非所有拍攝圖像均被處理時(shí)，控制返回步驟S77，并對(duì)剩余拍攝圖像按照拍攝時(shí)間的降序重復(fù)地執(zhí)行步驟S77以及后續(xù)步驟中的處理。另一方面，當(dāng)步驟S82中的判斷表明所有拍攝圖像均已被處理時(shí)，成像處理終止。在上述處理中，在與表示對(duì)象距離的距離信息相關(guān)聯(lián)的拍攝圖像中選擇預(yù)定對(duì)象，并且基于與選定的對(duì)象部分所關(guān)聯(lián)的距離信息相對(duì)應(yīng)的透鏡成像特性來校正拍攝圖像中的模糊。即，由于距拍攝圖像中被選定的對(duì)象(使用者想要聚焦的對(duì)象)的距離以距離信息的形式預(yù)先已知，所以成像設(shè)備可執(zhí)行模糊校正，而無需利用與每一可能的對(duì)象距離對(duì)應(yīng)的PSF來對(duì)拍攝圖像執(zhí)行去卷積。結(jié)果，成像設(shè)備可在不執(zhí)行自動(dòng)聚焦、也不以其它方式使對(duì)象聚焦的情況下，以減小的計(jì)算量生成聚焦圖像。上面的描述是參照使用者在已經(jīng)獲得的拍攝圖像中選擇使用者想要聚焦的對(duì)象的配置進(jìn)行的。作為另外一種選擇，使用者可在拍攝圖像之前選擇直通圖像中的使用者想要聚焦的對(duì)象。<2.第二實(shí)施例〉[成像設(shè)備的示例性功能構(gòu)造]圖7示出成像設(shè)備的示例性功能構(gòu)造，該成像設(shè)備被構(gòu)造為使得使用者在拍攝圖像之前在直通圖像中選擇使用者想要聚焦的對(duì)象。成像設(shè)備111包括成像部51、輸入部52、輸入控制部53、成像控制部M、距離信息獲取部55、顯示控制部56、顯示部57、記錄部59、模糊校正部60、聚焦圖像生成部151和記錄控制部152。在圖7所示的成像設(shè)備111中，與圖3所示的成像設(shè)備11中所提供的部件具有相同功能的部件具有相同的名稱和標(biāo)號(hào)，將視情況不再對(duì)這些部件進(jìn)行描述。S卩，圖7所示的成像設(shè)備111與圖3所示的成像設(shè)備11的不同之處在于新設(shè)置了聚焦圖像生成部151，記錄控制部58被記錄控制部152代替。聚焦圖像生成部151根據(jù)來自輸入控制部53的指令，基于來自成像控制部M的顯示圖像和來自距離信息獲取部陽的距離信息生成顯示聚焦圖像。顯示聚焦圖像被生成為使得使用者在顯示圖像中選定的對(duì)象被聚焦。然后，聚焦圖像生成部151將顯示聚焦圖像送至顯示控制部56和記錄控制部152。
記錄控制部152不僅基于測距圖像傳感器51b中的像素使來自成像控制部M的圖像信號(hào)與來自距離信息獲取部55的距離信息關(guān)聯(lián)，而且使顯示聚焦圖像與圖像信號(hào)及距離信息關(guān)聯(lián)，并將彼此關(guān)聯(lián)的圖像信號(hào)、距離信息和顯示聚焦圖像記錄在記錄部59中。 記錄控制部152根據(jù)需要讀取記錄在記錄部59中的圖像信號(hào)、距離信息和顯示聚焦圖像， 并將它們提供給顯示控制部56和模糊校正部60。[成像設(shè)備所執(zhí)行的成像處理]接下來將參照?qǐng)D8中的流程圖描述成像設(shè)備111所執(zhí)行的成像處理。例如，當(dāng)使用者打開成像設(shè)備111并對(duì)其進(jìn)行操作以選擇成像模式時(shí)，成像設(shè)備 111工作在允許使用者拍攝圖像的成像模式下。在步驟Slll中，成像控制部M控制成像部 51在顯示部57上顯示直通圖像，這些直通圖像是實(shí)時(shí)拍攝的圖像。具體地講，成像控制部M命令測距圖像傳感器51b執(zhí)行像素值加法或抽選讀取， 以生成例如具有VGA大小的顯示圖像，并將該顯示圖像送至顯示控制部56。顯示控制部56 將來自成像控制部討的顯示圖像作為直通圖像顯示在顯示部57上。在步驟Sl 12中，輸入控制部53基于來自層疊在監(jiān)視器38上的用作觸摸面板的輸入部52的操作信號(hào)，判斷使用者是否在顯示部57上所顯示的顯示圖像中選擇了預(yù)定對(duì)象。當(dāng)步驟S112中的判斷表明沒有選擇顯示圖像中的對(duì)象時(shí)，重復(fù)執(zhí)行步驟Slll和 S112中的處理，直到輸入控制部53判斷顯示圖像中的預(yù)定對(duì)象被選擇。另一方面，當(dāng)步驟S112中的判斷表明顯示圖像中的對(duì)象已被選擇時(shí)，輸入控制部 53發(fā)出與來自用作觸摸面板的輸入部52的表示對(duì)象選擇操作的操作信號(hào)相對(duì)應(yīng)的指令給成像控制部M和距離信息獲取部55。輸入控制部53還向聚焦圖像生成部151提供包含在操作信號(hào)中并表示使用者在顯示圖像上選定的對(duì)象部分的坐標(biāo)的坐標(biāo)信息。在步驟S113中，成像控制部M根據(jù)來自輸入控制部53的指令執(zhí)行成像處理。具體地講，成像控制部M不僅生成如上所述的顯示圖像，而且在輸入控制部53發(fā)出指令給成像控制部M時(shí)，從測距圖像傳感器51b讀取所有像素值，以生成例如具有全HD大小的拍攝圖像，并將該拍攝圖像送至記錄控制部152。在步驟S114中，距離信息獲取部55在輸入控制部53發(fā)出指令給距離信息獲取部 55時(shí)從測距圖像傳感器51b獲取距離信息，并將該距離信息提供給聚焦圖像生成部151和記錄控制部152。在步驟S115中，聚焦圖像生成部151在輸入控制部53將坐標(biāo)信息提供給聚焦圖像生成部151時(shí)獲取成像控制部M所生成的顯示圖像。在步驟Sl 16中，基于來自輸入控制部53的坐標(biāo)信息和來自距離信息獲取部55的距離信息，聚焦圖像生成部151使用從成像控制部M獲取的顯示圖像來生成顯示聚焦圖像，在該顯示聚焦圖像中使用者在顯示圖像中選定的對(duì)象部分被聚焦。具體地講，聚焦圖像生成部151通過對(duì)顯示圖像執(zhí)行去卷積來執(zhí)行模糊校正。根據(jù)與拍攝圖像中的與顯示圖像中由使用者在顯示部57上觸摸(選擇)的區(qū)域?qū)?yīng)的選定區(qū)域相關(guān)聯(lián)的距離信息(對(duì)象距離)，利用PSF來執(zhí)行去卷積。聚焦圖像生成部151將顯示聚焦圖像(它是模糊校正后的顯示圖像)提供給顯示控制部56和記錄控制部152。需要注意的是，表示使用者所觸摸的區(qū)域(對(duì)象部分)的坐標(biāo)信息被添加到顯示聚焦圖像。在步驟S117中，顯示控制部56將來自聚焦圖像生成部151的顯示聚焦圖像顯示在顯示部57上。步驟Sl 13和Sl 14中的處理以及步驟Sl 15至Sl 17中的處理可同時(shí)進(jìn)行。在步驟S118中，記錄控制部152基于測距圖像傳感器51b中的像素使來自成像控制部M的拍攝圖像、來自距離信息獲取部陽的距離信息以及來自聚焦圖像生成部151的顯示聚焦圖像彼此關(guān)聯(lián)，并將彼此關(guān)聯(lián)的拍攝圖像、距離信息和顯示聚焦圖像記錄在記錄部59中。需要注意的是，由于通過命令測距圖像傳感器51b (測距圖像傳感器3 執(zhí)行像素值加法或抽選讀取來生成顯示聚焦圖像，所以顯示聚焦圖像中的單個(gè)像素與通過從測距圖像傳感器51b (測距圖像傳感器3 讀取所有像素值而生成的拍攝圖像中的預(yù)定數(shù)量的塊 (預(yù)定數(shù)量的像素)關(guān)聯(lián)。在步驟S119中，輸入控制部53判斷使用者是否對(duì)用作模式切換按鈕(未示出) 的輸入部52執(zhí)行了按壓操作以發(fā)出終止成像模式的指令。當(dāng)步驟S119中的判斷表明沒有發(fā)出終止成像模式的指令時(shí)，控制返回步驟S111， 并且重復(fù)地執(zhí)行步驟Slll至S119中的處理。另一方面，當(dāng)步驟S119中的判斷表明終止成像模式的指令已經(jīng)發(fā)出時(shí)，控制進(jìn)行到步驟S120。在步驟S120中，在步驟Slll至S118的處理中被拍攝并記錄在記錄部59中的拍攝圖像中，記錄控制部152從記錄部59讀取沿著時(shí)間軸最早記錄(拍攝)的拍攝圖像以及與該拍攝圖像關(guān)聯(lián)的距離信息和顯示聚焦圖像。記錄控制部152將如此讀取的拍攝圖像、 距離信息和顯示聚焦圖像提供給模糊校正部60。在步驟S121中，模糊校正部60基于與來自記錄控制部152的距離信息相對(duì)應(yīng)的透鏡51a的成像特性，校正來自記錄控制部152的拍攝圖像中的模糊，所述距離信息對(duì)應(yīng)于來自輸入控制部152的添加到顯示聚焦圖像的坐標(biāo)信息所表示的坐標(biāo)，即，所述距離信息與使用者所選定的對(duì)象部分相關(guān)聯(lián)。具體地講，模糊校正部60通過對(duì)拍攝圖像執(zhí)行去卷積來執(zhí)行模糊校正。根據(jù)與拍攝圖像中的與顯示聚焦圖像中由添加到顯示聚焦圖像的坐標(biāo)信息表示的區(qū)域?qū)?yīng)的選定區(qū)域相關(guān)聯(lián)的距離信息(對(duì)象距離)，利用PSF來執(zhí)行去卷積。模糊校正部60將模糊校正后的拍攝圖像送至記錄控制部152。由于距顯示圖像中被選定的對(duì)象(使用者想要聚焦的對(duì)象)的距離以如上所述距離信息的形式預(yù)先已知，所以模糊校正部60可執(zhí)行模糊校正，而無需利用與每一可能的對(duì)象距離對(duì)應(yīng)的PSF來對(duì)拍攝圖像執(zhí)行去卷積。在步驟S122中，記錄控制部152將來自模糊校正部60的模糊校正后的拍攝圖像記錄在記錄部59中。在步驟S123中，記錄控制部152判斷是否對(duì)步驟Slll至S118的處理中所拍攝并記錄的所有拍攝圖像執(zhí)行了模糊校正。當(dāng)步驟S123中的判斷表明并非所有拍攝圖像均被處理時(shí)，控制返回步驟S120，并對(duì)剩余拍攝圖像按照拍攝時(shí)間的降序重復(fù)地執(zhí)行步驟S210以及后續(xù)步驟中的處理。另一方面，當(dāng)步驟S123中的判斷表明所有拍攝圖像均已被處理時(shí)，成像處理終止。CN 102387301 A
在上述處理中，當(dāng)選擇顯示圖像(直通圖像)中的預(yù)定對(duì)象時(shí)，獲取(拍攝)與表示距對(duì)象的距離的距離信息相關(guān)聯(lián)的拍攝圖像，并且基于與距離信息對(duì)應(yīng)的透鏡成像特性來校正拍攝圖像中的模糊，所述距離信息與拍攝圖像中的對(duì)應(yīng)于顯示圖像中選定的對(duì)象部分的區(qū)域相關(guān)聯(lián)。即，由于距顯示圖像中被選定的對(duì)象(使用者想要聚焦的對(duì)象)的距離以距離信息的形式預(yù)先已知，所以成像設(shè)備可執(zhí)行模糊校正，而無需利用與每一可能的對(duì)象距離對(duì)應(yīng)的PSF來對(duì)拍攝圖像執(zhí)行去卷積。結(jié)果，成像設(shè)備可在不執(zhí)行自動(dòng)聚焦、也不以其它方式使對(duì)象聚焦的情況下，以減小的計(jì)算量生成聚焦圖像。另外，當(dāng)在顯示圖像中選定對(duì)象時(shí)，對(duì)通過執(zhí)行像素值加法或抽選讀取而生成的顯示圖像執(zhí)行模糊校正，并且顯示得到的顯示聚焦圖像。然而，該處理中的計(jì)算量小于對(duì)通過讀取所有像素值而生成的拍攝圖像執(zhí)行模糊校正的情況下通常所需的計(jì)算量。此外，在成像模式期間(步驟Slll至S118)，不對(duì)拍攝圖像執(zhí)行模糊校正，而是僅將拍攝圖像和距離信息記錄在記錄部59中，由此實(shí)時(shí)地進(jìn)行成像處理，并且使用者因此可在查看直通圖像的同時(shí)連續(xù)拍攝圖像。需要注意的是，當(dāng)成像設(shè)備在成像模式期間不執(zhí)行高負(fù)載處理時(shí)，可與成像模式中的處理同時(shí)地對(duì)拍攝圖像執(zhí)行模糊校正。上面的描述是參照使用者選擇顯示圖像中的對(duì)象并生成包含被聚焦的對(duì)象的拍攝圖像的配置進(jìn)行的。作為另外一種選擇，成像控制部M設(shè)置有臉部識(shí)別、人識(shí)別或任何其他對(duì)象識(shí)別功能，以使顯示圖像中的對(duì)象可經(jīng)受臉部識(shí)別或人識(shí)別，并且可生成包含被聚焦的對(duì)象的拍攝圖像。此外，上面的描述是參照單焦距透鏡用作成像部51中的透鏡51a的構(gòu)造進(jìn)行的。 下面將參照變焦透鏡用作成像部51中的透鏡的構(gòu)造進(jìn)行描述。<3.第三實(shí)施例〉[成像設(shè)備的示例性功能構(gòu)造]圖9示出使用變焦透鏡作為成像部51中的透鏡的成像設(shè)備的示例性功能構(gòu)造。成像設(shè)備211包括成像部51、輸入部52、輸入控制部53、成像控制部M、距離信息獲取部55、顯示控制部56、顯示部57、記錄控制部58、記錄部59、變焦信息獲取部231、模糊校正部232和模糊校正數(shù)據(jù)存儲(chǔ)部233。成像部51包括測距圖像傳感器51b和變焦透鏡 234。在圖9所示的成像設(shè)備211中，與圖3所示的成像設(shè)備11中所提供的部件具有相同功能的部件具有相同的名稱和標(biāo)號(hào)，將視情況不再對(duì)這些部件進(jìn)行描述。S卩，圖9所示的成像設(shè)備211與圖3所示的成像設(shè)備11的不同之處在于新設(shè)置了變焦信息獲取部231和模糊校正數(shù)據(jù)存儲(chǔ)部233，并且透鏡51a和模糊校正部60被變焦透鏡234和模糊校正部232取代。變焦信息獲取部231根據(jù)來自輸入控制部53的指令從成像部51獲取關(guān)于成像部 51中的變焦透鏡234的變焦倍率的變焦信息，并將該變焦信息提供給模糊校正部232。模糊校正部232根據(jù)來自輸入控制部53的指令從模糊校正數(shù)據(jù)存儲(chǔ)部233讀取模糊校正數(shù)據(jù)，所述模糊校正數(shù)據(jù)對(duì)應(yīng)于來自變焦信息獲取部231的變焦信息。模糊校正部232使用如此讀取的模糊校正數(shù)據(jù)來校正包含在來自記錄控制部58的拍攝圖像中的模糊，并將模糊校正后的拍攝圖像送至記錄控制部58。送至記錄控制部58的模糊校正后的拍攝圖像被記錄在記錄部59中。
15
模糊校正數(shù)據(jù)存儲(chǔ)部233由例如閃存形成，并存儲(chǔ)預(yù)先準(zhǔn)備的對(duì)應(yīng)于變焦信息的模糊校正數(shù)據(jù)。模糊校正部232根據(jù)需要讀取存儲(chǔ)在模糊校正數(shù)據(jù)存儲(chǔ)部233中的模糊校正數(shù)據(jù)?；趤碜暂斎肟刂撇?3的指令來驅(qū)動(dòng)變焦透鏡234，并基于變焦透鏡234的位置來確定變焦倍率。即，由變焦信息獲取部231獲取的變焦信息對(duì)應(yīng)于變焦透鏡234的位置。[成像設(shè)備所執(zhí)行的成像處理]接下來將參照?qǐng)D10的流程圖描述成像設(shè)備211所執(zhí)行的成像處理。圖10的流程圖中步驟S211至S214中的處理與圖6的流程圖中步驟S71至S74 中的那些處理基本上相同，將不再對(duì)圖10中的上述處理進(jìn)行描述。當(dāng)圖10的步驟S212中的判斷表明執(zhí)行了快門操作時(shí)，輸入控制部53發(fā)出與表示通過輸入部52執(zhí)行的快門操作的操作信號(hào)對(duì)應(yīng)的指令給成像控制部M、距離信息獲取部 55和變焦信息獲取部231。在步驟S215中，變焦信息獲取部231在輸入控制部53發(fā)出指令給變焦信息獲取部231時(shí)獲取與成像部51中的變焦透鏡234相關(guān)聯(lián)的變焦信息，并且變焦信息獲取部231 將該變焦信息送至記錄控制部58。在步驟S216中，記錄控制部58不僅基于測距圖像傳感器51b中的像素使來自成像控制部M的拍攝圖像與來自距離信息獲取部55的距離信息關(guān)聯(lián)，而且使變焦信息與拍攝圖像及距離信息關(guān)聯(lián)，然后將彼此關(guān)聯(lián)的拍攝圖像、距離信息和變焦信息記錄在記錄部 59中。在步驟S217中，輸入控制部53判斷使用者是否對(duì)用作模式切換按鈕(未示出) 的輸入部52執(zhí)行了按壓操作以發(fā)出終止成像模式的指令。當(dāng)步驟S217中的判斷表明沒有發(fā)出終止成像模式的指令時(shí)，控制返回到步驟 S211，并且重復(fù)地執(zhí)行步驟S211至S217中的處理。另一方面，當(dāng)步驟S217中的判斷表明已發(fā)出了終止成像模式的指令時(shí)，控制進(jìn)行到步驟S218。在步驟S218中，在步驟S211至S216的處理中被拍攝并記錄在記錄部59中的多幅拍攝圖像當(dāng)中，記錄控制部58從記錄部59讀取沿著時(shí)間軸最早記錄的拍攝圖像以及與該拍攝圖像關(guān)聯(lián)的距離信息和變焦信息。在如此讀取的拍攝圖像、距離信息和變焦信息中， 記錄控制部58將拍攝圖像提供給顯示控制部56，并將拍攝圖像、距離信息和變焦信息提供給模糊校正部232。在步驟S219中，顯示控制部56將來自記錄控制部58的拍攝圖像顯示在顯示部57 上。由于來自記錄控制部58的拍攝圖像如上所述具有全HD大小，所以顯示控制部56將來自記錄控制部58的拍攝圖像的分辨率轉(zhuǎn)換為可以顯示在顯示部57上的VGA大小的圖像， 并將轉(zhuǎn)換后的圖像顯示在顯示部57上。在步驟S220中，輸入控制部53基于來自層疊在監(jiān)視器38上的用作觸摸面板的輸入部52的操作信號(hào)，判斷使用者是否在顯示部57上所顯示的分辨率轉(zhuǎn)換后的顯示拍攝圖像中選擇了預(yù)定對(duì)象。步驟S220中的判斷表明沒有選擇顯示拍攝圖像中的對(duì)象，重復(fù)執(zhí)行步驟S220中的處理，直到輸入控制部53判斷顯示拍攝圖像中的預(yù)定對(duì)象被選擇。
16
另一方面，當(dāng)步驟S220中的判斷表明顯示拍攝圖像中的對(duì)象已被選擇時(shí)，輸入控制部53將關(guān)于拍攝圖像上的坐標(biāo)的坐標(biāo)信息提供給模糊校正部232。該坐標(biāo)信息被包含在來自用作觸摸面板的輸入部52的操作信號(hào)中，并且所述坐標(biāo)表示與使用者在顯示拍攝圖像中選定的對(duì)象部分對(duì)應(yīng)的區(qū)域(塊)在步驟S221中，模糊校正部232基于不僅與來自記錄控制部58的距離信息對(duì)應(yīng)， 而且與來自記錄控制部58的變焦信息對(duì)應(yīng)的透鏡51a的成像特性，校正來自記錄控制部58 的拍攝圖像中的模糊，所述距離信息對(duì)應(yīng)于來自輸入控制部53的坐標(biāo)信息所表示的坐標(biāo)， 即，所述距離信息與使用者所選定的對(duì)象部分相關(guān)聯(lián)。具體地講，模糊校正部232首先從模糊校正數(shù)據(jù)存儲(chǔ)部233讀取與來自記錄控制部58的變焦信息對(duì)應(yīng)的模糊校正數(shù)據(jù)。具體地講，存儲(chǔ)在模糊校正數(shù)據(jù)存儲(chǔ)部233中的模糊校正數(shù)據(jù)的例子是針對(duì)每一預(yù)定透鏡位置預(yù)先準(zhǔn)備的有關(guān)變焦透鏡234的PSF的數(shù)據(jù) (PSF數(shù)據(jù))。即，在該處理中讀取與這樣的變焦透鏡234位置對(duì)應(yīng)的PSF數(shù)據(jù)，在該位置處實(shí)現(xiàn)了變焦信息所表示的變焦倍率。沒有必要為連續(xù)的透鏡位置(變焦倍率)準(zhǔn)備PSF數(shù)據(jù)，而是可以針對(duì)離散的變焦倍率準(zhǔn)備PSF數(shù)據(jù)。如果沒有以模糊校正數(shù)據(jù)的形式準(zhǔn)備與特定變焦信息所表示的變焦倍率對(duì)應(yīng)的PSF數(shù)據(jù)，則可通過對(duì)準(zhǔn)備的PSF數(shù)據(jù)進(jìn)行線性插值或者其他處理來確定對(duì)應(yīng)的PSF數(shù)據(jù)。然后，模糊校正部232通過對(duì)拍攝圖像執(zhí)行去卷積來執(zhí)行模糊校正。利用由從模糊校正數(shù)據(jù)存儲(chǔ)部233讀取的PSF數(shù)據(jù)表示并與距離信息(對(duì)象距離)一致的PSF來執(zhí)行去卷積，所述距離信息與拍攝圖像中的與顯示拍攝圖像中由使用者在顯示部57上觸摸(選擇)的區(qū)域?qū)?yīng)的選定區(qū)域相關(guān)聯(lián)。模糊校正部232將模糊校正后的拍攝圖像提供給記錄控制部58。在步驟S222中，記錄控制部58將來自模糊校正部232的模糊校正后的拍攝圖像記錄在記錄部59中。在步驟S223中，記錄控制部58判斷是否對(duì)步驟S211至S216的處理中所拍攝并記錄的所有拍攝圖像執(zhí)行了模糊校正。當(dāng)步驟S223中的判斷表明并非所有拍攝圖像均被處理時(shí)，控制返回步驟S218，并對(duì)剩余拍攝圖像按照拍攝時(shí)間的降序重復(fù)地執(zhí)行步驟S218以及后續(xù)步驟中的處理。另一方面，當(dāng)步驟S223中的判斷表明所有拍攝圖像均已被處理時(shí)，成像處理終止。在上述處理中，在與關(guān)于對(duì)象距離的距離信息相關(guān)聯(lián)的拍攝圖像中選擇預(yù)定對(duì)象，并且基于不僅與選定對(duì)象部分所關(guān)聯(lián)的距離信息對(duì)應(yīng)、而且與變焦透鏡所關(guān)聯(lián)的變焦信息對(duì)應(yīng)的變焦透鏡成像特性來校正拍攝圖像中的模糊。即，由于距拍攝圖像中被選定的對(duì)象(使用者想要聚焦的對(duì)象)的距離以距離信息的形式預(yù)先已知，并且預(yù)先準(zhǔn)備與變焦透鏡所關(guān)聯(lián)的變焦信息(變焦倍率)對(duì)應(yīng)的PSF，所以成像設(shè)備可執(zhí)行模糊校正，而無需利用與每一可能的對(duì)象距離對(duì)應(yīng)的PSF來在每一對(duì)象距離下對(duì)拍攝圖像執(zhí)行去卷積。結(jié)果， 包括變焦透鏡的成像設(shè)備也可在不執(zhí)行自動(dòng)聚焦，也不以其它方式使對(duì)象聚焦的情況下， 以減小的計(jì)算量生成聚焦圖像。在上面的描述中，在包括單目透鏡的成像設(shè)備中利用TOF(飛行時(shí)間)方法及測距圖像傳感器51b (測距圖像傳感器32)來確定距對(duì)象的距離。并非必須使用上述構(gòu)造，上述構(gòu)造可用任何其他合適的構(gòu)造代替來確定距對(duì)象的距離。例如，在包括光軸彼此平行的右透鏡和左透鏡(雙目透鏡)的成像設(shè)備中，對(duì)象被設(shè)置在成像設(shè)備的中心線上(兩個(gè)光軸之間的中心線上)，并且可基于穿過兩個(gè)透鏡形成的對(duì)象圖像的位置差來確定距對(duì)象的距離。另外，上面的描述是參照成像設(shè)備為拍攝靜態(tài)圖像的數(shù)字靜態(tài)相機(jī)的構(gòu)造進(jìn)行的。作為另外一種選擇，例如，成像設(shè)備可為拍攝視頻圖像的數(shù)字視頻攝像機(jī)。在這種情況下，對(duì)在對(duì)象被選定時(shí)所拍攝的圖像執(zhí)行模糊校正。此外，上面的描述是參照設(shè)置在成像設(shè)備中的光學(xué)系統(tǒng)31無需調(diào)節(jié)與穿過透鏡 31a入射的對(duì)象光對(duì)應(yīng)的像的形成位置的情況進(jìn)行的。作為另外一種選擇，成像設(shè)備可具有以下兩種操作模式?jīng)]有必要調(diào)節(jié)焦點(diǎn)位置的第一模式以及執(zhí)行所謂的自動(dòng)聚焦的第二模式，并且操作模式可在第一和第二模式之間切換。在這種情況下，當(dāng)成像設(shè)備在第一模式下操作時(shí)執(zhí)行上述成像處理。上述一系列處理可利用硬件或軟件來實(shí)現(xiàn)。當(dāng)這一系列處理利用軟件來實(shí)現(xiàn)時(shí)， 形成所述軟件的程序從程序記錄介質(zhì)被安裝到含在專用硬件中的計(jì)算機(jī)或例如安裝有各種程序以提供各種功能的通用個(gè)人計(jì)算機(jī)。圖11是示出以程序形式執(zhí)行上述一系列處理的計(jì)算機(jī)硬件的示例性構(gòu)造的框圖。所述計(jì)算機(jī)包括經(jīng)由總線904彼此連接的CPU(中央處理單元)901、R0M(只讀存儲(chǔ)器)902以及RAM (隨機(jī)訪問存儲(chǔ)器)903。輸入/輸出接口 905也連接到總線904。下列部件連接到輸入/輸出接口 905 由鍵盤、鼠標(biāo)、麥克風(fēng)和其他裝置形成的輸入部906、由顯示器、揚(yáng)聲器和其他裝置形成的輸出部907、由硬盤驅(qū)動(dòng)器、非易失性存儲(chǔ)器和其他裝置形成的存儲(chǔ)部908、由網(wǎng)絡(luò)接口和其他裝置形成的通信部909、以及驅(qū)動(dòng)可移動(dòng)介質(zhì)911(例如，磁盤、光盤、磁光盤和半導(dǎo)體存儲(chǔ)器)的驅(qū)動(dòng)器910。在如此構(gòu)造的計(jì)算機(jī)中，CPU 901經(jīng)由輸入/輸出接口 905和總線904將存儲(chǔ)在例如存儲(chǔ)部908中的程序載入RAM 903中，并運(yùn)行所述程序以執(zhí)行上述一系列處理。將由計(jì)算機(jī)(CPU 901)運(yùn)行的程序可被例如記錄在可移動(dòng)介質(zhì)911上，所述可移動(dòng)介質(zhì)911是由例如磁盤(包括軟盤)、光盤(例如，CD-ROM(緊湊盤-只讀存儲(chǔ)器)和 DVD (數(shù)字多功能盤))、磁光盤和半導(dǎo)體存儲(chǔ)器形成的封裝介質(zhì)。所述程序還可經(jīng)由有線或無線傳輸介質(zhì)提供，例如局域網(wǎng)、互聯(lián)網(wǎng)和數(shù)字衛(wèi)星廣播?？赏ㄟ^將可移動(dòng)介質(zhì)911載入驅(qū)動(dòng)器910中經(jīng)由輸入/輸出接口 905將以上述任何形式提供的程序安裝在存儲(chǔ)部908中。作為另外一種選擇，可經(jīng)由有線或無線傳輸介質(zhì)通過通信部909接收所述程序來將其安裝到存儲(chǔ)部908中。作為另外一種選擇，可預(yù)先將所述程序安裝在ROM 902或存儲(chǔ)部908中。將由計(jì)算機(jī)運(yùn)行的程序可以是按照本文所述的時(shí)間次序連續(xù)執(zhí)行處理的程序，或者是同時(shí)執(zhí)行處理或按照必要的時(shí)序(當(dāng)處理被調(diào)用時(shí))執(zhí)行每一處理的程序。本發(fā)明的實(shí)施例不限于上述那些實(shí)施例，在不脫離本發(fā)明主旨的情況下，可進(jìn)行各種修改。
本申請(qǐng)包含的主題涉及2010年8月沈日提交到日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP2010-189302中公開的主題，所述申請(qǐng)的全部內(nèi)容通過引用合并于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，在不脫離所附權(quán)利要求或其等同物的范圍的情況下，根據(jù)設(shè)計(jì)要求和其他因素可進(jìn)行各種修改、組合、子組合和替代。
權(quán)利要求
1.一種成像設(shè)備，包括光學(xué)系統(tǒng)，該光學(xué)系統(tǒng)形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像； 成像裝置，該成像裝置生成與穿過所述透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像；獲取裝置，用于獲取距對(duì)象的距離；校正裝置，用于基于與所述獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的成像特性，校正從所述成像裝置輸出的拍攝圖像中的模糊。
2.根據(jù)權(quán)利要求1所述的成像設(shè)備，還包括 顯示裝置，用于顯示所述拍攝圖像；和選擇裝置，用于基于使用者的操作選擇在所述顯示裝置上顯示的拍攝圖像中的對(duì)象， 其中所述校正裝置根據(jù)與所述獲取裝置獲取的對(duì)象距離中的、距所述選擇裝置所選的對(duì)象的距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的成像特性，校正所述拍攝圖像中的模糊。
3.根據(jù)權(quán)利要求2所述的成像設(shè)備，其中所述顯示裝置顯示直通圖像，所述直通圖像是實(shí)時(shí)拍攝的圖像，并且是通過命令所述成像裝置執(zhí)行像素值加法或抽選讀取而生成的，所述選擇裝置基于使用者的操作選擇一個(gè)直通圖像中的對(duì)象， 所述獲取裝置獲取在所述選擇裝置選擇直通圖像中的對(duì)象時(shí)的距該對(duì)象的距離， 所述校正裝置根據(jù)與所述獲取裝置獲取的對(duì)象距離中的、距所述選擇裝置在直通圖像中選擇的對(duì)象的距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的成像特性，校正所述拍攝圖像中的模糊。
4.根據(jù)權(quán)利要求3所述的成像設(shè)備，還包括生成裝置，用于從直通圖像生成聚焦直通圖像，所述聚焦直通圖像被生成為使得由所述選擇裝置在直通圖像中選擇的對(duì)象被聚焦，其中所述顯示裝置顯示由所述生成裝置生成的聚焦直通圖像。
5.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中所述成像裝置輸出與穿過所述透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)的一部分，所述信號(hào)的該部分用作表示距對(duì)象的距離的距離信息，所述獲取裝置基于從所述成像裝置輸出的距離信息獲取距對(duì)象的距離。
6.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中所述透鏡是對(duì)無窮遠(yuǎn)處或遠(yuǎn)距離處的物體聚焦的單焦距透鏡。
7.根據(jù)權(quán)利要求1所述的成像設(shè)備， 其中所述透鏡是變焦透鏡，所述校正裝置基于所述光學(xué)系統(tǒng)的成像特性校正所述拍攝圖像中的模糊，所述成像特性已被預(yù)先獲得，并且不僅與所述獲取裝置獲取的對(duì)象距離對(duì)應(yīng)，而且與變焦透鏡的變焦?fàn)顟B(tài)對(duì)應(yīng)。
8.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中所述校正裝置基于與所述獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的點(diǎn)像強(qiáng)度分布來校正所述拍攝圖像中的模糊。
9.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中所述校正裝置基于與所述獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的線像強(qiáng)度分布來校正所述拍攝圖像中的模糊。
10.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中所述校正裝置基于與所述獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)來校正所述拍攝圖像中的模糊。
11.一種用于成像設(shè)備的成像方法，所述成像設(shè)備包括光學(xué)系統(tǒng)，該光學(xué)系統(tǒng)形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像，成像裝置，該成像裝置生成與穿過所述透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像，獲取裝置，用于獲取距對(duì)象的距離，校正裝置，用于基于與所述獲取裝置獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的成像特性，校正從所述成像裝置輸出的拍攝圖像中的模糊，所述方法包括利用所述獲取裝置獲取距對(duì)象的距離；利用所述校正裝置基于與在所述獲取步驟中獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的成像特性，校正從所述成像裝置輸出的拍攝圖像中的模糊。
12.—種命令計(jì)算機(jī)執(zhí)行成像設(shè)備中的成像處理的程序，所述成像設(shè)備包括光學(xué)系統(tǒng)和成像裝置，所述光學(xué)系統(tǒng)形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像，所述成像裝置生成與穿過所述透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像，所述程序命令計(jì)算機(jī)執(zhí)行以下步驟控制距對(duì)象的距離的獲取的獲取控制步驟；基于與在所述獲取控制步驟中獲取的對(duì)象距離對(duì)應(yīng)的所述光學(xué)系統(tǒng)的成像特性，校正從所述成像裝置輸出的拍攝圖像中的模糊的校正步驟。
全文摘要
本發(fā)明公開了一種成像設(shè)備和成像方法，該成像設(shè)備包括光學(xué)系統(tǒng)，其形成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的像；成像裝置，其生成與穿過透鏡入射的對(duì)象光對(duì)應(yīng)的信號(hào)，并輸出該信號(hào)作為拍攝圖像；獲取裝置，用于獲取距對(duì)象的距離；校正裝置，用于基于與獲取裝置所獲取的對(duì)象距離對(duì)應(yīng)的光學(xué)系統(tǒng)的成像特性，校正從成像裝置輸出的拍攝圖像中的模糊。
文檔編號(hào)H04N5/232GK102387301SQ201110236738
公開日2012年3月21日 申請(qǐng)日期2011年8月18日 優(yōu)先權(quán)日2010年8月26日
發(fā)明者巖崎正則 申請(qǐng)人:索尼公司