專利名稱：使用數(shù)字成像系統(tǒng)再現(xiàn)來自物體的可供選擇形式的光的制作方法
專利說明使用數(shù)字成像系統(tǒng)再現(xiàn)來自物體的可供選擇形式的光 發(fā)明領(lǐng)域 本發(fā)明一般涉及數(shù)字成像，更具體地說，涉及使用數(shù)字成像再現(xiàn)來自物體的可供選擇形式的光。
版權(quán)通告/允許
本專利文件的部分公開內(nèi)容含有受版權(quán)保護的材料。在其出現(xiàn)在專利商標局的專利文檔或記錄中時，版權(quán)所有人不反對由任何人對所述專利文件或所述專利公開內(nèi)容作傳真復(fù)制，但版權(quán)所有人保留所有的版權(quán)權(quán)益，無論是什么權(quán)益。以下通告適用于下述和附圖中的軟件和數(shù)據(jù)Copyright
2003，Sony Electronics，Inc.，AllRights Reserved。
背景 傳統(tǒng)的數(shù)字彩色成像系統(tǒng)，例如數(shù)字式攝像機或數(shù)字式攝錄一體機使用一個或三個圖像傳感器(例如，電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體(CMOS))，這是本專業(yè)的技術(shù)人員所熟知的。例如，典型的消費數(shù)字式攝像機包括一個CCD，而典型的數(shù)字式攝錄一體機包括三個CCD。具有一個CCD的數(shù)字式攝像機可具有單個三色濾光器。三色濾光器由紅、綠和藍濾光器組成，使用本專業(yè)的技術(shù)人員所熟知的過程再現(xiàn)場景中的彩色光譜。具有一個CCD的數(shù)字式攝像機的彩色分辨率不如具有三個CCD的數(shù)字式攝錄一體機那樣高。具有三個CCD的數(shù)字式攝錄一體機通常在每個CCD上包括一個濾光器。第一CCD上的第一濾光器僅僅讓紅色光譜透過，第二CCD上的第二濾光器僅僅讓綠色光譜透過，而第三CCD上的第三濾光器僅僅讓藍色光譜透過。
雖然消費者享受這些攝像機的三色再現(xiàn)能力的優(yōu)點，但這些攝像機總是伴有一些嚴重的缺點，例如由對施照體的無限選擇引起的施照體估算和彩色校正。而且，傳統(tǒng)的數(shù)字成像系統(tǒng)缺乏在多種照明條件下(諸如物體的表面反射系數(shù))捕獲可供選擇形式的光的能力。反射系數(shù)是在可見光譜范圍內(nèi)表面上的入射光通量被重新輻射的比率。有許多圖像裝置可以捕獲和再現(xiàn)物體的表面反射，但這些成像裝置由于成本和捕獲圖像的速度等原因不適于包括在市售消費數(shù)字式攝像機或攝錄一體機中。例如，傳統(tǒng)的分光輻射譜儀可以再現(xiàn)物體的表面反射，但捕獲場景的完整光譜圖像通常要用比幾分鐘要長得多的時間。這對大多數(shù)數(shù)字市售成像系統(tǒng)來說是不可行的，因為場景中的物體會要移動。物體的任何移動都會引起像素不重合，而使最終圖像模糊不清。
發(fā)明實施例概述 根據(jù)本發(fā)明的一個實施例，描述一種數(shù)字成像系統(tǒng)，它具有用于捕獲第一和第二組波長可見光的色度信息的濾光器。對捕獲的色度信息進行處理以便再現(xiàn)場景中物體的表面反射。
附圖簡要說明

圖1圖解說明根據(jù)本發(fā)明實施例的數(shù)字成像裝置。
圖2圖解說明根據(jù)本發(fā)明一個實施例的三色濾光器。
圖3圖解說明可見光波長圖的一個實施例。
圖4圖解說明用于再現(xiàn)物體表面反射的過程流程的一個實施例。
詳細說明 在對本發(fā)明實施例的以下詳細說明中，要參閱附圖，圖中相同的參考編號表示類似的元件，且圖中以圖示方式示出可以實現(xiàn)本發(fā)明的具體實施例。對這些實施例都作了足夠詳細的說明，以使本專業(yè)的技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明，且應(yīng)理解在不背離本發(fā)明范圍的前提下，其它實施例也可以使用且可作邏輯的、機械的、電的、功能的以及其它更改。所以，不應(yīng)認為以下的詳細說明有限制意義，且本發(fā)明的范圍僅由所附權(quán)利要求書定義。
現(xiàn)說明使用數(shù)字成像系統(tǒng)再現(xiàn)物體的表面反射。根據(jù)一個實施例，數(shù)字成像系統(tǒng)包括(但不限于)兩個成像傳感器和兩個三色濾光器，以便提供6個成像通道。兩個三色濾光器設(shè)計成捕獲各種波長的色度信息以便再現(xiàn)可供選擇形式的光，如場景中物體的表面反射。雖然以下將說明包括三色濾光器的數(shù)字成像系統(tǒng)的實施例，但是本專業(yè)的技術(shù)人員會理解，濾光器可用來提供不同數(shù)量的到成像傳感器的成像通道，如以下將詳細描述的。
圖1圖解說明根據(jù)本發(fā)明實施例的數(shù)字成像裝置100。數(shù)字成像裝置100包括三色濾光器110、三色濾光器120、分光器115、電荷耦合器件(CCD)130、CCD 140、模擬-數(shù)字變換器(ADC)150、以及處理器160。數(shù)字成像裝置100還包括本專業(yè)的技術(shù)人員已熟知的附加部件和電路，但為不使本詳細說明模糊不清而未于示出。以下對圖1所示的裝置100作簡要概述。
三色濾光器110和三色濾光器120分別對射向CCD 130和CCD 140的可見光濾光，以便捕獲用于再現(xiàn)場景的數(shù)字表示的色度信息，以下將詳述。如圖所示，用分光器115將光分成兩個分量。
CCD 130和CCD 140是成像傳感器，它們包括稱為攝影站點(photosites)的光敏二極管的集合，這些攝影站點將光(光子)轉(zhuǎn)換為電子(電荷)。每個攝影站點的主要功能是吸收光，產(chǎn)生與射到其上的光強度成正比的電荷。這樣，當光穿過三色濾光器110和三色濾光器120時攝影站點就跟蹤打到其表面上的光的總強度。
ADC 150將在CCD 130和CCD 140中建立的電荷轉(zhuǎn)換成數(shù)字信號。
處理器160將數(shù)字信號處理成場景的數(shù)字圖像表示。處理器160可以例如是眾所周知的數(shù)字信號處理器(DSP)。在一個實施例中，處理器160為每個攝影站點處理每個數(shù)字信號，以便確定數(shù)字圖像中像素的顏色。處理器160還可以校正和增強數(shù)字圖像的白平衡、對比度、彩色、以及其它眾所周知的視覺特性。處理器160還可以將數(shù)字圖像引導(dǎo)到連接到數(shù)字成像裝置100的本機顯示器(如LCD顯示器)上，或?qū)?shù)字圖像通過有線或無線網(wǎng)絡(luò)連接(未示出)引導(dǎo)到遠程顯示器上。而且，處理器160還可壓縮數(shù)字圖像，如本專業(yè)的技術(shù)人員所熟知的。
對數(shù)字成像裝置100提供了簡要概述后，現(xiàn)說明三色濾光器110和三色濾光器120的實施例。圖2圖解說明根據(jù)本發(fā)明一個實施例的三色濾光器110。三色濾光器110包括紅色(210)和綠色(215)濾光器行205與綠色(215)和藍色(220)濾光器行206交替的圖案。這樣，三色濾光器110向CCD 130提供一組三個光成像通道(如RGB)。三色濾光器110的一個實例是本專業(yè)的技術(shù)人員熟知的Bayer濾光器，但是顯然，本發(fā)明不限于使用Bayer濾光器。
眾所周知，可見光是波長在大約400毫微米(nm)和800nm之間的那部分彩色光譜。不同的波長被人腦解釋為各種顏色，從最長波長的紅色到最短波長的紫色。圖3圖解說明用于可見光的波長圖300的一個實施例。波長310圖解說明紅色的范圍和靈敏度曲線。波長320圖解說明綠色的范圍和靈敏度曲線。波長330圖解說明藍色的范圍和靈敏度曲線。光靈敏度曲線是在每個波長下濾光器透射率、透鏡透射率、紅外截止透射率、以及電子傳感器響應(yīng)度的乘積，這是本專業(yè)的技術(shù)人員所熟知的。
在一個實施例中，把三色濾光器110設(shè)計成紅色濾光器210對大約570到620nm的那些波長最敏感，如圖3所示；綠色濾光器215對大約520到560nm的那些波長最敏感，如圖3所示；而藍色濾光器230對大約420到470nm的那些波長最敏感，如圖3所示。
在一個實施例中，將三色濾光器120設(shè)計成捕獲除三色濾光器110所捕獲的那些波長之外的一組波長的可見光。例如，圖3中的波長340圖解說明對于小于藍色濾光器波長330的偏移色W的大致波長范圍和靈敏度曲線；圖3中的波長350圖解說明對于在綠色和藍色濾光器波長之間的偏移色X的大致波長范圍和靈敏度曲線；圖3中的波長360圖解說明對于在綠色和紅色濾光器波長之間的偏移色Y的大致波長范圍和靈敏度曲線；以及圖3中的波長370圖解說明對于大于紅色濾光器波長的偏移色Z的大致波長范圍和靈敏度曲線。
現(xiàn)有技術(shù)的數(shù)字式攝像機和攝錄一體機僅提供三個成像通道(如RGB)，不論所使用的CCD數(shù)量如何。數(shù)字成像裝置100中的三色濾光器120提供對于CCD 140的三個附加成像通道，每個通道具有的波長都與三色濾光器110捕獲到CCD 130的波長分隔開。附加的三個通道和最初的三個通道一起工作，以便計算可供選擇形式的光的光譜再現(xiàn)，見下述。在一個實施例中，數(shù)字成像裝置100可以用來提取物體的光譜輻射或反射的信息。一旦獲取到反射光譜信息，就可實現(xiàn)在任何觀看施照體下的色度信息轉(zhuǎn)換。
一般來說，自然物體的反射光譜可以用根據(jù)主成分分析(PCA)或獨立分量分析(ICA)的有限數(shù)量的基本函數(shù)來表示。使用寬帶技術(shù)的典型光譜成像應(yīng)用三個到九個基本函數(shù)來再現(xiàn)自然物體的反射光譜。寬帶方法基于對待捕獲物體的光譜分析。已表明三個基本函數(shù)通常不足以表示物體的反射光譜，但六個基本函數(shù)在大多數(shù)情況下就能精確地表示物體的反射光譜。
例如，圖4圖解說明用處理器，如處理器160再現(xiàn)物體表面反射的過程流程400的一個實施例。在框430，處理器160接收來自ADC150的數(shù)字信號。
在框435，處理器160基于六個成像通道計算物體的光譜信息。在這種方式中，使用兩個CCD和兩個濾光器的數(shù)字成像裝置既提供高速又提供光譜再現(xiàn)能力。光譜復(fù)原方法可以是主成分分析(PCA)、獨立分量分析(ICA)、或Wiener估算。對于光譜再現(xiàn)，其直接簡單的度量標準就是所述測量和復(fù)原的物體表面反射的均方光譜差。在一個實施例中，首先定義度量標準以便確定用于光譜再現(xiàn)的光譜靈敏度的最佳設(shè)計。定義光譜差的候選度量標準為 候選1反射光譜的均方誤差 式中R為測量的基準光譜反射，

為復(fù)原的光譜反射；以及 候選2反射光譜的加權(quán)均方誤差 式中ωλ是以對角矩陣出現(xiàn)的加權(quán)函數(shù)，其對角元素來自有關(guān)人體視覺系統(tǒng)的加權(quán)函數(shù)的抽樣，例如q系數(shù)曲線強調(diào)人體視覺系統(tǒng)的主要波長。
如上述，有數(shù)種方法可以復(fù)原物體的表面反射光譜和歸一化度量標準。例如，用主成分分析時，一個已知的事實是大多數(shù)自然發(fā)生的光譜反射可以從對代表性反射樣本的主成分分析中獲得的有限數(shù)量的主本征矢量來代表。數(shù)字成像系統(tǒng)100的輸出可以寫為 tc＝STLcR＝STLcBα (3) 式中S表示攝像機光譜靈敏度，Lc表示拍攝施照體的對角形式，B表示從光譜反射樣本的訓(xùn)練組中通過PCA或ICA獲得的主成分矢量，以及α表示用于主成分的權(quán)重(R≌Bα)。α可以使用偽逆運算獲得 α＝(STLcB)-1tc (4) 所以，把復(fù)原的光譜反射表示為 光譜差的最小均方誤差為 MSE＝E‖R-(STLcB)-1tc‖2} (6) 當使用Weiner估算來復(fù)原物體的表面反射光譜和歸一化度量標準時，數(shù)字成像裝置100的輸出信號表示為 tc＝STLcR＝GTR+η (7) 式中η表示成像噪聲。R的估算由下式給出 式中F是未知的線性轉(zhuǎn)換矩陣。將方程(1)中的MSE最小化，F(xiàn)的顯式用下式給出 F＝KRG(GTKRG+Kη)-1 (9) 式中KR和Kη分別為表面反射光譜集合和噪聲的相關(guān)矩陣。
噪聲相關(guān)矩陣Kη可以從對實際使用的CCD攝像機的噪聲詳細測量中進行估算，且 Kη＝E[ηηT] (11) 式中nsample是光譜反射集合中的樣本數(shù)目。
所以，方程(1)中的最小均方誤差可以表示為 式中 α(R)＝trace[KR](14) τ(R，G，η)＝trace[KRG(GTKRG+Kη)-1GTKR] (15) α(·)和τ(·)的意義可解釋為物體的總光譜信息和物體的復(fù)原光譜信息。對應(yīng)于最小MSE的歸一化度量標準 將稱為光譜質(zhì)量系數(shù)，或用于光譜再現(xiàn)的質(zhì)量系數(shù)。
除了作為主度量標準的光譜反射的均方誤差外，在具體施照體下的平均色差可以作為用于光譜再現(xiàn)的濾光器最佳設(shè)計的次級度量標準對待。用主度量標準產(chǎn)生的最佳候選的小集合可以利用次級度量標準改善。
在一個實施例中，可以通過將方程(2)的MSEW最小化來使用具有加權(quán)函數(shù)的Wiener估算，反射光譜被估算為 且光譜的最小均方誤差為 式中 τ(R，G，η，wλ)＝trace[wλKRG(GTKRG+Kη)-1GTKR] (21) 因此，歸一化度量標準可定義為 下面將指出，在不背離本發(fā)明范圍的前提下，可將多一些或少一些過程結(jié)合到圖4所示的方法中，且本文所示和所描述的過程框的安排并不意味有特定的順序。下面還將指出，結(jié)合圖4所述的方法可以在機器可執(zhí)行指令，如軟件中實施。指令可用于使有這些指令編程的通用或?qū)Ｓ锰幚砥鬟M行上述運算。或者，這些運算可以由含有用于進行這些運算的硬布線邏輯的特定硬件部件來實現(xiàn)，或由已編程的計算機部件和定制硬件部件的任何組合來實現(xiàn)。所述方法可以作為計算機編程產(chǎn)品提供，所述產(chǎn)品可包括機器可讀介質(zhì)，其上存儲可用來編程計算機(或其它電子裝置)以實現(xiàn)上述方法的指令。在本說明書中，術(shù)語”機器可讀介質(zhì)”應(yīng)認為包括能夠存儲或編碼供機器執(zhí)行且能使機器實現(xiàn)本發(fā)明任一種方法的指令序列的任何介質(zhì)。術(shù)語”機器可讀介質(zhì)”應(yīng)相應(yīng)地認為包括但不限于固態(tài)存儲器、光盤和磁盤、以及載波信號。而且，在本專業(yè)通常以一種或另一種形式說到軟件(如程序、步驟、過程、應(yīng)用、模塊等)就是指采取一個動作或產(chǎn)生一種結(jié)果。這種表達只不過是”由計算機執(zhí)行軟件導(dǎo)致計算機的處理器進行一個動作或產(chǎn)生一個結(jié)果”的一種簡化說法而已。
這樣，以上已對具有兩個成像傳感器和兩個濾光器、提供多成像通道的新型數(shù)字彩色成像系統(tǒng)作了說明。來自兩個CCD的圖像對準比來自三個CCD系統(tǒng)的圖像對準更快和更有效。數(shù)字成像裝置100的新配置基本上不增加單芯片數(shù)字式攝像機的尺寸，因為對于兩個成像傳感器來說只是濾光器圖案不同而已。不過，很顯然本發(fā)明不限于數(shù)字式攝像機和攝錄一體機，而是可用于本專業(yè)的技術(shù)人員熟知的任何成像裝置。
應(yīng)當指出，三色濾光器110和三色濾光器120不限于僅是三色濾光器。而是，在備選實施例中，三色濾光器110可以包括兩種波長的綠色，提供四個成像通道。而且，三色濾光器120可以提供除三個之外的任何數(shù)量的彩色成像通道(如，一個、兩個、或四個)，每個通道具有的波長都不同于三色濾光器110。這樣，數(shù)字成像系統(tǒng)100可以對每個波長產(chǎn)生多個彩色成像通道。
雖然已就數(shù)個實施例對本發(fā)明作了說明，但是，本專業(yè)的技術(shù)人員會理解，本發(fā)明不限于上述實施例?？梢岳迷诒景l(fā)明范圍內(nèi)的修改和變更來實踐本發(fā)明的方法和設(shè)備。因此所述說明應(yīng)被認為是說明性的而不是對本發(fā)明的限制。
權(quán)利要求
1.一種數(shù)字成像系統(tǒng)，它包括
第一成像傳感器；
第二成像傳感器，所述第二成像傳感器耦合到所述第一成像傳感器；
耦合到所述第一成像傳感器的第一濾光器，其中所述第一濾光器讓第一組波長的光透過；以及
耦合到所述第二成像傳感器的第二濾光器，其中所述第二濾光器讓第二組波長的光透過，所述第一組波長的光不同于所述第二組波長的光。
2.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中還包括
處理器，它計算物體的基于所述第一組波長和所述第二組波長的表面反射系數(shù)。
3.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第一成像傳感器是電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體。
4.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第二成像傳感器是電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體。
5.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第一濾光器是三色濾光器。
6.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第二濾光器是三色濾光器。
7.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第一濾光器提供三個成像通道。
8.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第一濾光器提供四個成像通道。
9.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第二濾光器提供三個成像通道。
10.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第二濾光器提供四個成像通道。
11.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第二濾光器提供兩個成像通道。
12.如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其中所述第二濾光器提供一個成像通道。
13.一種數(shù)字成像設(shè)備，它包括
用于捕獲色度信息的第一裝置；
用于捕獲色度信息的第二裝置，用于捕獲色度信息的所述第一裝置耦合到用于捕獲色度信息的所述第二裝置；
第一濾光裝置，它耦合到所述第一成像傳感器裝置，其中所述第一濾光裝置讓第一組波長的光透過；以及
第二濾光裝置，它耦合到所述第二成像傳感器裝置，其中所述第二濾光裝置讓第二組波長的光透過，所述第一組波長不同于所述第二組波長。
14.如權(quán)利要求13所述的數(shù)字成像設(shè)備，其中還包括
處理裝置，它計算物體的基于所述第一組波長和所述第二組波長的表面反射系數(shù)，所述處理裝置耦合到用于捕獲色度信息的所述第一裝置和用于捕獲色度信息的所述第二裝置。
15.一種具有使機器執(zhí)行一種方法的指令的機器可讀介質(zhì)，所述方法包括
接收第一組波長的光；
接收第二組波長的光；以及
處理所述第一組波長和所述第二組波長以便計算物體的表面反射系數(shù)。
16.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述第一組波長提供三個成像通道。
17.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述第一組波長提供四個成像通道。
18.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述第二組波長提供三個成像通道。
19.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述第二組波長提供四個成像通道。
20.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述第二組波長提供一個成像通道。
21.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述第二組波長提供兩個成像通道。
22.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述計算所述表面反射系數(shù)的步驟包括執(zhí)行主成分分析。
23.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述計算所述表面反射系數(shù)的步驟包括執(zhí)行獨立成分分析。
24.如權(quán)利要求15所述的機器可讀介質(zhì)，其中所述計算所述表面反射系數(shù)的步驟包括執(zhí)行Wiener估算。
25.一種方法包括
接收第一組波長的光；
接收第二組波長的光；以及
處理所述第一組波長和所述第二組波長以便計算物體的表面反射系數(shù)。
26.如權(quán)利要求25所述的方法，其中所述第一組波長提供三個成像通道。
27.如權(quán)利要求25所述的方法，其中所述第一組波長提供四個成像通道。
28.如權(quán)利要求25所述的方法，其中所述第二組波長提供三個成像通道。
29.如權(quán)利要求25所述的方法，其中所述第二組波長提供四個成像通道。
30.如權(quán)利要求25所述的方法，其中所述第二組波長提供一個成像通道。
31.如權(quán)利要求25所述的方法，其中所述第二組波長提供兩個成像通道。
32.如權(quán)利要求25所述的方法，其中所述計算所述表面反射系數(shù)的步驟包括執(zhí)行主成分分析。
33.如權(quán)利要求25所述的方法，其中所述計算所述表面反射系數(shù)的步驟包括執(zhí)行獨立成分分析。
34.如權(quán)利要求25所述的方法，其中所述計算所述表面反射系數(shù)的步驟包括執(zhí)行Wiener估算。
全文摘要
根據(jù)本發(fā)明的一個實施例，描述一種數(shù)字成像裝置，它具有用于捕獲第一組和第二組波長的可見光的色度信息的濾光器。對捕獲的色度信息進行處理，以便再現(xiàn)場景中物體的表面反射。
文檔編號H04N1/48GK101300854SQ200580009414
公開日2008年11月5日 申請日期2005年3月30日 優(yōu)先權(quán)日2004年3月31日
發(fā)明者S·全 申請人:索尼電子有限公司