全光成像系統(tǒng)的物空間校準(zhǔn)的制作方法
【專利摘要】準(zhǔn)直物體可調(diào)節(jié)來產(chǎn)生沿不同傳播方向傳播的準(zhǔn)直光。校準(zhǔn)下的全光成像系統(tǒng)捕捉被調(diào)節(jié)至不同傳播方向的物體的全光圖像。捕捉的全光圖像包括超像素，每個超像素包括子像素。每個子像素捕捉來自相應(yīng)的光場觀看方向的光?；诓蹲降娜鈭D像，校準(zhǔn)模塊計算哪些傳播方向映射至哪些子像素。該映射定義了子像素的光場觀看方向。這可用于改善由全光成像系統(tǒng)捕捉的全光圖像的處理。
【專利說明】
全光成像系統(tǒng)的物空間校準(zhǔn)
技術(shù)領(lǐng)域
[0001 ]本技術(shù)一般涉及校準(zhǔn)全光(plenoptic)成像系統(tǒng)。
【背景技術(shù)】
[0002]全光成像系統(tǒng)最近受到越來越多的關(guān)注。其可以用于基于對捕捉的全光圖像的數(shù)字處理重新計算不同的焦點或物體的觀察點(point of view)。該全光成像系統(tǒng)還在多模態(tài)(mult1-modal)成像中得到應(yīng)用，在主成像模塊的光瞳面中使用多模態(tài)濾波器陣列。每個濾波器在傳感器處被成像，對于濾波器陣列的每個成像模式(modality)有效地產(chǎn)生物體的復(fù)合圖像。全光成像系統(tǒng)的其它應(yīng)用包括變化景深成像和高動態(tài)范圍成像。
[0003]然而，全光成像系統(tǒng)的架構(gòu)與傳統(tǒng)的成像系統(tǒng)不同，因此其需要不同的校準(zhǔn)和處理過程。在全光圖像的處理中發(fā)現(xiàn)幾個挑戰(zhàn)。第一，微透鏡陣列的對準(zhǔn)從不完美，并且微透鏡陣列的旋轉(zhuǎn)的影響十分顯而易見。該旋轉(zhuǎn)對圖像重構(gòu)帶來了大量難度，因為數(shù)據(jù)點沒有落在規(guī)則采樣網(wǎng)格上。第二，對于模塊化系統(tǒng)結(jié)構(gòu)，基于不同的應(yīng)用可使用不同的檢測器陣列和微透鏡陣列。對諸如小透鏡(lens I et)的中心、每個小透鏡下的像素、小透鏡的間距等的參數(shù)的人工確定是困難和耗時的。第三，對于不同的應(yīng)用可以使用不同的物鏡。當(dāng)用不同的物鏡或以不同的焦距設(shè)置拍攝全光圖像數(shù)據(jù)時，圖像重構(gòu)所需的參數(shù)不同。
[0004]當(dāng)前的用于校準(zhǔn)全光成像系統(tǒng)的技術(shù)涉及對簡單的攝像機(jī)目標(biāo)成像。這些目標(biāo)可以是統(tǒng)一的白色目標(biāo)、網(wǎng)格、棋盤格等。目標(biāo)典型地用空間非相干光來照射。對于統(tǒng)一目標(biāo)的情況，從目標(biāo)散射的光一致地照射全光攝像機(jī)的主透鏡的光圈。主透鏡的出射光瞳然后被每個微透鏡成像在傳感器陣列上。傳感器陣列中的每個“超像素(superpixel)”是主透鏡光圈(出射光瞳)的圖像。當(dāng)前的圖像處理技術(shù)分析這些超像素的尺寸和位置來確定用于圖像重構(gòu)的校準(zhǔn)。
[0005]當(dāng)前技術(shù)的缺陷在于它們忽視了由傳感器收集的出射光瞳圖像中可能的像差。超像素可能失真、偏移、虛光(vignette)或被剪裁。像差可能是依賴于像場(field)的。這些像差可能導(dǎo)致產(chǎn)生不正確的校準(zhǔn)。其中出射光瞳圖像隨像場位置而改變的系統(tǒng)的示例包括在圖像空間中是非遠(yuǎn)心的系統(tǒng)(主光線不垂直于每個微透鏡，并且不平行于光軸)、具有失真的系統(tǒng)(出射光瞳的放大率隨著像場位置而改變)、具有像場彎曲的系統(tǒng)、具有虛光表面的系統(tǒng)等。
[0006]因此，需要用于全光成像系統(tǒng)的更好的校準(zhǔn)技術(shù)。

【發(fā)明內(nèi)容】

[0007]各種實施例通過控制物空間中的光的傳播方向而校準(zhǔn)全光成像系統(tǒng)克服了現(xiàn)有技術(shù)的局限。物體可調(diào)節(jié)以傳遞沿不同傳播方向傳播的、并且如果需要還可能來自物平面中不同的橫向位置的準(zhǔn)直光。校準(zhǔn)下的全光成像系統(tǒng)捕捉被調(diào)節(jié)至不同傳播方向的物體的全光圖像。捕捉的全光圖像包括超像素，每個超像素包括子像素。每個子像素捕捉來自相應(yīng)的光場觀看方向的光。基于捕捉的全光圖像，校準(zhǔn)模塊計算傳播哪些方向映射至哪些子像素。該映射定義了子像素的光場觀看方向。這可用于改善由全光成像系統(tǒng)捕捉的全光圖像的處理。
[0008]其它方面包括與上述相關(guān)的組件、裝置、系統(tǒng)、改進(jìn)、方法、處理、應(yīng)用、計算機(jī)程序產(chǎn)品和其它技術(shù)。
【附圖說明】
[0009]本專利或申請文件包含至少一個以彩色完成的附圖。具有彩色附圖的本專利或?qū)＠暾埞_的副本將在請求且在支付必要費(fèi)用后由官方提供。
[0010]在結(jié)合附圖考慮時，根據(jù)以下詳細(xì)描述和所附權(quán)利要求書，公開的技術(shù)具有將非常顯而易見的其他優(yōu)點和特征，附圖中:
[0011 ]圖1 (現(xiàn)有技術(shù))是例示全光成像系統(tǒng)的圖。
[0012]圖2是例示軸上響應(yīng)和離軸響應(yīng)之間的區(qū)別的照片。
[0013]圖3A是遠(yuǎn)心全光成像系統(tǒng)中從物體到超像素的光線跟蹤。
[0014]圖3B-3C是例示遠(yuǎn)心全光成像系統(tǒng)中哪些光線對哪些超像素有貢獻(xiàn)的光線跟蹤。
[0015]圖3D是遠(yuǎn)心全光成像系統(tǒng)中的物空間光場至子像素和超像素的映射。
[0016]圖4是非遠(yuǎn)心全光成像系統(tǒng)中從物體到超像素的光線跟蹤。
[0017]圖5是無限共軛全光成像系統(tǒng)中從物體到超像素的光線跟蹤。
[0018]圖6A是用于全光成像系統(tǒng)的物空間校準(zhǔn)的系統(tǒng)的圖。
[0019]圖6B是可以由圖6A所示的系統(tǒng)實現(xiàn)的示例校準(zhǔn)方法的流程圖。
[0020]圖7A-7B是光場觀看方向的天頂角和方位角分別至軸上超像素的映射。
[0021 ]圖8A-8B是光場觀看方向的天頂角和方位角分別至離軸超像素的映射。
[0022 ]圖9A是不使用物空間校準(zhǔn)的物體的三維重構(gòu)。圖9B是使用物空間校準(zhǔn)的同一物體的三維重構(gòu)。
[0023]附圖僅出于示意目的描繪實施例。本領(lǐng)域技術(shù)人員從接下來的討論中很容易意識到可以采用本文中例示的結(jié)構(gòu)和方法的其它可替換實施例而不脫離本文所述的原理。
【具體實施方式】
[0024]所述附圖和接下來的描述僅以示例的方式涉及優(yōu)選實施例。應(yīng)該注意，根據(jù)接下來的討論，將很容易認(rèn)識到本文公開的結(jié)構(gòu)和方法的可替換實施例是不脫離本發(fā)明所主張的原理而可以采用的可行的替換方式。
[0025]各個實施例通過控制物空間中的光的傳播方向來校準(zhǔn)全光成像系統(tǒng)而克服了現(xiàn)有技術(shù)的局限。物體可調(diào)節(jié)以傳遞沿不同傳播方向傳播的、并且如果需要還可能來自物平面中不同的橫向位置的準(zhǔn)直光。
[0026]—個實現(xiàn)方式使用從物平面中的反射鏡反射的準(zhǔn)直光。該光束足夠?qū)拋硖畛渲魍哥R的光圈?？赏ㄟ^傾斜反射鏡來控制光束的傳播方向。通過收集在物平面中沿不同方向傳播的光束的全光圖像，可建立四維映射，這內(nèi)在地解決了系統(tǒng)中的大多數(shù)透鏡像差。
[0027]另一實現(xiàn)方式使用從物平面中的反射鏡反射的準(zhǔn)直光，該光束足夠窄以僅填充光圈的一小部分。可通過平移(translate)和傾斜反射鏡來控制光束的橫向位置和角方向。通過收集在物平面中的不同橫向位置和角方向處的光束的全光圖像，可建立四維映射，這內(nèi)在地解決了系統(tǒng)中的透鏡像差，包括橫向失真?？梢酝ㄟ^同時使用幾個光束和/或反射鏡來復(fù)用這些過程。
[0028]另一實施方式在主透鏡的光圈中使用針孔。在這種情況下，非準(zhǔn)直光源被放置在物平面中。光源的橫向位置在物平面中變化，并且針孔的橫向位置在光圈平面中變化。如之前那樣，物空間位置和光瞳空間位置之間的對應(yīng)性可用來創(chuàng)建全光數(shù)據(jù)的四維映射。
[0029]圖1(現(xiàn)有技術(shù))是例示全光成像系統(tǒng)的圖。全光成像系統(tǒng)110包括主成像光學(xué)器件112(由圖1中的單個透鏡表示)、次級成像陣列114(圖像形成元件115的陣列)和傳感器陣列
180。次級成像陣列114可被稱為微成像陣列。次級成像陣列114和傳感器陣列180—起可被稱為全光傳感器模塊。這些組件形成兩個重疊的成像子系統(tǒng)，在圖1中示出為子系統(tǒng)I和子系統(tǒng)2。
[0030]為了方便起見，成像光學(xué)器件112在圖1中被描繪為單個物鏡，但是應(yīng)當(dāng)理解，其以可包括多個元件。物鏡112在圖像平面IP處形成物體150的光學(xué)圖像155。微成像陣列114位于圖像平面IP處，并且每個微透鏡將成像子系統(tǒng)I的光圈成像至傳感器陣列180上。也就是說，光圈和傳感器陣列位于共軛平面SP和SP’處。微成像陣列114的示例包括微透鏡陣列、針孔陣列、微反射鏡陣列、棋盤格和波導(dǎo)/通道陣列。微成像陣列114可以是矩形陣列、六邊形陣列或其它類型的陣列。圖1中還示出了傳感器陣列180。
[0031]圖1下部提供了更多細(xì)節(jié)。在這個例子中，微成像陣列115是方形微透鏡的3X3陣列。物體150被劃分為相應(yīng)的3 X 3陣列的區(qū)域，被標(biāo)記為1-9。區(qū)域1-9中的每個被主成像子系統(tǒng)112成像至微透鏡114中的一個上。圖1中的虛線示出了將區(qū)域5成像至對應(yīng)的中心微透鏡上。
[0032]每個微透鏡將這些光線成像至傳感器陣列180的相應(yīng)部分上。傳感器陣列180被示出為12X 12的矩形陣列。傳感器陣列180可被再分為超像素，標(biāo)記為A-1，每個超像素與微透鏡中的一個對應(yīng)，并因此也對應(yīng)于物體150的某個區(qū)域。在圖1中，超像素E對應(yīng)于中心微透鏡，該中心微透鏡對應(yīng)于物體的區(qū)域5 ο也就是說，超像素E內(nèi)的傳感器捕捉來自物體的區(qū)域5的光。
[0033]每個超像素被再分為子像素，子像素典型地為單獨的傳感器。在這個例子中，每個超像素具有4 X 4的子像素陣列。超像素內(nèi)的每個子像素捕捉來自物體的同一區(qū)域的、但是以不同傳播角度的光。例如，超像素E中的左上子像素EI捕捉來自區(qū)域5的光，超像素E中的右下子像素E16同樣捕捉來自區(qū)域5的光。然而，這兩個子像素捕捉來自該物體的在不同方向上傳播的光。這可從圖1中的實線看出。所有的三條實線起源于同一物體點，但是由同一超像素中的不同子像素捕捉。這是因為每條實線從物體沿著不同的方向傳播。
[0034]換言之，物體150生成了四維的光場L(x，y，u，v)，其中L是在方向(u，v)上傳播的源自于空間位置(x，y)的光線的幅度、強(qiáng)度或其它度量。傳感器陣列中的每個子像素捕捉來自該四維光場的一定體積的光。子像素對四維光場采樣。這樣的體積的形狀或邊界由全光系統(tǒng)的特性來確定。
[0035]在某些全光成像系統(tǒng)設(shè)計中，采樣體積是超矩形。也就是說，超像素中的每個傳感器捕捉來自與該超像素相關(guān)聯(lián)的同一矩形區(qū)域(X，y)的光，并且超像素中的每個子像素捕捉來自不同的矩形區(qū)域(U，V)的光。不過，情況并非總是如此。為了方便起見，超像素將被描述為捕捉來自物體的某個區(qū)域的光(盡管該超像素中的子像素捕捉來自稍微不同的區(qū)域的光)，并且子像素將被描述為捕捉來自一定范圍的傳播方向的光(盡管該范圍可能對于不同的子像素而不同，或者甚至對于由同一子像素捕捉的不同的點(x，y)而不同)。無論細(xì)節(jié)如何，全光成像系統(tǒng)創(chuàng)建全光圖像170，其將(X，y)空間位置和(u，V)傳播方向映射至陣列180中的傳感器。這與傳統(tǒng)圖像形成對比，傳統(tǒng)圖像將(x，y)空間位置映射至傳感器但是丟失有關(guān)(u，v)傳播方向的信息。
[0036]因為全光圖像170包含有關(guān)由物體產(chǎn)生的四維光場的信息，所以處理模塊190可用于進(jìn)行不同類型的分析，比如深度估計、三維重構(gòu)、綜合再聚焦、擴(kuò)展景深、光譜分析和其它類型的多視角(multiviews)分析。
[0037]然而，這些分析中的許多依賴于從光場坐標(biāo)(x，y，u，v)到子像素的映射，子像素典型地是單獨的傳感器。也就是說，每個單獨的傳感器捕捉四維光場的一定體積。具有哪個傳感器捕捉哪個體積的準(zhǔn)確知識對于捕捉的全光圖像的良好處理是重要的。為了方便起見，映射至子像素的(x，y)區(qū)域?qū)⒈环Q為該子像素的光場觀看(viewing)區(qū)域，并且映射至子像素的(u，V)區(qū)域?qū)⒈环Q為該子像素的光場觀看方向。
[0038]在許多情況下，這些量是基于有關(guān)近軸行為、遠(yuǎn)心光學(xué)、或不存在失真、虛光和像差的假設(shè)。然而，如圖2所示，這些并不總是良好的假設(shè)。圖2是例示軸上響應(yīng)和離軸響應(yīng)之間的區(qū)別的照片。圖2中的上部圖像示出了捕捉的全光圖像。左下的圖像是全光圖像的中心(軸上)部分的放大。右下的圖像是全光圖像的周邊(離軸)部分的放大。每個圖像中的十字形標(biāo)記了超像素的中心，并且圓圈標(biāo)記了超像素的邊界。可以看出軸上響應(yīng)與離軸響應(yīng)不同。在標(biāo)準(zhǔn)假設(shè)下，軸上響應(yīng)和離軸響應(yīng)應(yīng)該相同。
[0039]圖3-5進(jìn)一步例示該情況。圖3A是遠(yuǎn)心全光成像系統(tǒng)中從物體到超像素的光線跟蹤。為清楚起見，不同的光學(xué)元件通過線而不是通過透鏡形狀來表示。物體150被再分為區(qū)域151。主光學(xué)器件112由兩條長垂直線以及在這兩者之間的光圈來表示。次級成像陣列114由被短的水平散列(hash)再分的垂直線來表示。散列示出了微透鏡之間的邊界。傳感器陣列180被再分為超像素181。物體180的每個再分部分是對應(yīng)于微透鏡114中的一個的超像素
181。類似地，物體150的每個再分部分151也對應(yīng)于微透鏡114中的一個。例如，來源于中心物體區(qū)域151C的光被主光學(xué)器件112成像至中心微透鏡115C上。該光又被在中心超像素181C內(nèi)的子像素捕捉。在物體的邊緣，來源于物體區(qū)域151A的光被主光學(xué)器件112成像至微透鏡115A上。該光又被超像素181A內(nèi)的子像素捕捉。
[0040]現(xiàn)在考慮圖3A中示出的各種光線。對于不同的物體點(即不同的x，y坐標(biāo))使用不同的顏色。黑色光線來源于中心區(qū)域151C的中心，藍(lán)色光線來源于中心區(qū)域151C的上邊緣，并且綠色光線來源于中心區(qū)域151C的下邊緣。紅色光線來源于邊緣區(qū)域151A的中心。每種顏色有三條光線。對于不同的傳播方向(即不同的u，v坐標(biāo))使用不同的線條類型。實光線是每個光線束的主光線。短虛線是每個光線束的上邊緣(徑向(sagittal)或正切的)光線，并且長虛線是每個光線束的下邊緣光線。在這種情況下，由于主成像子系統(tǒng)是遠(yuǎn)心的，所以所有光線束的主光線總是在軸上，并且在物空間和圖像空間兩者中都相互平行。穿過每個微透鏡的主光線與光軸平行。上邊緣和下邊緣的光線也總是在物空間和圖像空間兩者中相互平行。
[0041]圖3A示出了光線如何從各個物體點傳播至傳感器陣列。圖3B-3C例示相反的情況。它們是例示在遠(yuǎn)心全光成像系統(tǒng)中哪些光線對哪些超像素做貢獻(xiàn)的光線跟蹤。圖3B僅示出了來自圖3A的實線(加上兩條未在圖3A中示出的另外的紅色實線)。首先考慮中心超像素181C。該超像素包含許多子像素182。中心超像素181C的中心子像素在圖3B中被標(biāo)記為182C-C。注意，子像素182C-C捕捉來源于中心物體區(qū)域151C中的任意位置的、但是僅平行于光軸而傳播的光。類似地，子像素182A-C捕捉來源于邊緣物體區(qū)域151A中的任何位置的、但是僅平行于光軸而傳播的光。
[0042]圖3C僅示出了來自圖3A的短虛線?？蛇M(jìn)行類似的觀察。子像素182C_a捕捉來源于中心物體區(qū)域151C中的任何位置的、但是僅以示出的角度傳播的光。類似地，子像素182A-a捕捉來源于邊緣物體區(qū)域151A的任何位置的、但是僅以示出的角度傳播的光。
[0043]這些觀察可以擴(kuò)展到其它的超像素和光線。結(jié)果是從四維光場(X，y，u，v)至傳感器陣列的超像素η的子像素i的映射。圖3D示出基于圖3A-C中的示例的該映射的二維版本。圖3D是在遠(yuǎn)心全光成像系統(tǒng)中的物空間光場至子像素和超像素的映射。圖3D中的坐標(biāo)是X即物空間中的空間坐標(biāo)和u即物空間中的傳播方向。參照圖3A-3C，令2 Δ為物體的大小并且2δ為物體內(nèi)的每個區(qū)域的大小。也就是說，物體從-Δ延伸至+ Δ，并且物體內(nèi)的每個區(qū)域具有從-δ至+δ的寬度。類似地，令2Θ為來自物體的光線束的角度范圍。也就是說，圖3中的短虛線沿著方向u =+Θ傳播，實光線沿著方向u = O傳播，長虛線沿著方向u = -Θ傳播。
[0044]圖3D中的高細(xì)矩形是與圖3不同的區(qū)域151。邊緣區(qū)域151Α和中心區(qū)域151C在圖3D中被標(biāo)記。每個區(qū)域被映射至一個對應(yīng)的超像素:邊緣區(qū)域151Α映射至邊緣超像素181Α，并且中心區(qū)域151C映射至中心超像素181C。區(qū)域151C進(jìn)一步示出了到超像素內(nèi)的子像素的映射。151C中的每個小矩形表示在超像素181C中的不同子像素182C-1。
[0045]在一個在物空間和圖像空間兩者中都是遠(yuǎn)心的并且沒有虛光的系統(tǒng)中，其它超像素181具有相似的子像素映射，并且整體的映射是對稱且規(guī)則的。每個超像素181具有相同的大小和形狀，并且每個超像素捕捉來源于物體的相應(yīng)區(qū)域151的所有光線(即對于由相應(yīng)區(qū)域151定義的X值范圍的所有u值)。對于所有的超像素，每個超像素內(nèi)的子像素結(jié)構(gòu)也相同。每個子像素捕捉對于由該子像素定義的u值范圍的、在超像素內(nèi)的所有X值的光線。換言之，在圖3D超像素181形狀為矩形，并超像素矩形181被再分為更小的子像素矩形182。如圖3D所示，將超像素151C劃分成子像素與將超像素151A劃分成子像素相同。因此，如果子像素182C-12捕捉來自區(qū)域151C的軸上光線，那么相同的子像素182A-12將捕捉來自區(qū)域151A的軸上光線。
[0046]然而，此常規(guī)結(jié)構(gòu)并不適用于所有的全光成像系統(tǒng)。圖4是非遠(yuǎn)心全光成像系統(tǒng)中從物體到超像素的光線跟蹤。對于光線使用與圖3中相同的命名法。在該示例中，子像素182C-C仍捕捉來自區(qū)域151C的所有中心實光線。但是，這些光線并不都是軸上光線。藍(lán)色和綠色光線具有稍微的傾斜，盡管如果微透鏡與物距相比小則該傾斜可以忽略。更重要的是，邊緣超像素的中心子像素182A-C也捕捉來自區(qū)域15IA的中心實光線。然而，所有的這些光線均明顯傾斜。將圖4中的紅色實線與圖3A中的紅色實線比較。因此，雖然圖4的全光成像系統(tǒng)確實具有光場坐標(biāo)(x，y，u，v)至超像素/子像素坐標(biāo)(n，i)的映射，該映射將不具有與圖3D中所示相同的常規(guī)結(jié)構(gòu)。
[0047]圖5是無限共軛全光成像系統(tǒng)中從物體到超像素的光線跟蹤。注意，由于物體在無限遠(yuǎn)處，所以(x，y)光場坐標(biāo)與光線的方向?qū)?yīng)，并且(u，v)光場坐標(biāo)與光線在光圈內(nèi)的位置對應(yīng)。因此，如圖3-4中所示，相同顏色的光線具有相同的(x，y)光場坐標(biāo)。每個超像素捕捉在物空間中沿一定方向傳播的光。該超像素中的每個子像素將捕捉物空間中沿相同方向傳播的光。但是，不同的子像素將捕捉穿過光圈的不同位置而傳播的光。
[0048]校準(zhǔn)可用來獲得對于哪些光場坐標(biāo)映射到哪些子像素的更準(zhǔn)確的估計?；貞浧鹱酉袼氐墓鈭鲇^看區(qū)域是映射至該子像素的物體的(X，y)區(qū)域，并且子像素的光場觀看方向是映射至該子像素的U，v)傳播方向。估計光場觀看區(qū)域不太復(fù)雜。但是，估計光場觀看方向可能更加困難。
[0049]圖6A是用于全光成像系統(tǒng)的物空間校準(zhǔn)的系統(tǒng)的圖。該系統(tǒng)可用于校準(zhǔn)全光成像系統(tǒng)的光場觀看方向。該系統(tǒng)包括可調(diào)節(jié)準(zhǔn)直物體610 ο物體610產(chǎn)生準(zhǔn)直光。該準(zhǔn)直光的傳播方向可以調(diào)節(jié)，例如通過使用可傾斜的反射鏡來調(diào)節(jié)。校準(zhǔn)下的全光成像系統(tǒng)110捕捉得到的全光圖像。隨著物體被調(diào)節(jié)至不同的傳播方向，捕捉不同的全光圖像。校準(zhǔn)模塊630基于捕捉的全光圖像計算傳播方向至子像素的映射。該映射還定義了子像素的光場觀看方向。
[0050]此方法是對映射的直接采樣。每個全光圖像對應(yīng)于一個物體，對于該物體，所有的光正沿已知的傳播方向而傳播。該全光圖像指示每個超像素中的子像素捕捉來自該光場觀看方向的光。在某些情況下，多于一個子像素可以捕捉該光。如果是這樣，在一個方法中，映射是基于計算在每個超像素內(nèi)捕捉的光的質(zhì)心(centroid)。
[0051]優(yōu)選地，控制器620自動地將物體調(diào)節(jié)至不同的傳播方向并協(xié)調(diào)相應(yīng)的全光圖像的捕捉。如果每個超像素有N個子像素，則控制器優(yōu)選地取至少N個樣本，盡管如果取少于N個樣本則可以對值進(jìn)行插值。如果全光成像系統(tǒng)具有對稱性，則控制器620能夠以利用該對稱性的方式來采樣。
[0052]一旦創(chuàng)建了映射，可以將其存儲，例如作為查找表(LUT)。然后將該映射用于對捕捉的全光圖像的處理，比如深度映射或其它類型的圖像重構(gòu)。對于沒有直接存儲在該LUT的值，可以對LUT插值。
[0053]圖6B是可以由圖6A所示的系統(tǒng)實現(xiàn)的示例校準(zhǔn)方法的流程圖。令I(lǐng)mn(j，k;u，v)為由超像素(m，η)的子像素(j，k)捕捉的、在物空間中沿方向(u，V)傳播的來自準(zhǔn)直物體的光。對于樣本1，控制器620將物體傳播方向設(shè)置660為(1^，“)。相應(yīng)的全光圖像111111(]_，1^11，￥)被捕捉670。這對于N個樣本重復(fù)。每個超像素(m，n)的子像素被單獨處理以確定680對應(yīng)于樣本i的(Jnk1)值。這可以通過不同的方式進(jìn)行。在一個方法中，這些值通過以下來確定:
[0054]對于每個超像素(!11，11):(上，1^)=&作11^」,1{1111取(」，1^;1^^)(I)
[0055]就是說，收集最多的光的傳感器確定(ji，ki)。在一個不同的方法中，
[0056]對于每個超像素(m，n):(ji，ki)= centroid{Imni(j，k;Ui，vi)} (2)
[0057]就是說，強(qiáng)度分布的質(zhì)心確定(ji，ki)。注意，盡管Imru(j，k;Ui，Vi)中的(j，k)是離散的，但是值(J^k1)可以是連續(xù)的。例如，該質(zhì)心方法可以預(yù)測超像素響應(yīng)在兩個相鄰的子像素之間的中心。
[0058]如果控制器620在N個不同觀看方向(m，Vi)對物體采樣，則多達(dá)N個相應(yīng)的(ji，ki)子像素坐標(biāo)也被識別。然后可以構(gòu)建690查找表，將傳播方向(m，Vl)映射至相應(yīng)的子像素坐標(biāo)(ji，ki)
[0059]LUT 1:對于每個超像素(m，n): (Ui，vi) — ( ji，ki) (3)
[0060]該查找表對于重構(gòu)與不同觀看方向?qū)?yīng)的多視角可能是有用的，因為每個視角應(yīng)該表示相同的觀看方向。就是說，為了從觀看方向(UO，VO)重構(gòu)視角，我們定位每個超像素中與(UO，VO)對應(yīng)的子像素位置(j，k)。
[0061]從LTUI，還可以構(gòu)建690反向查找表，將每個子像素(j，k)映射至相應(yīng)的傳播方向(也稱為觀看方向)(Ujk，Vjk )
[0062]LUT 2:對于每個超像素(m，n): (j，k) — (Ujk，vjk) (4)
[0063]該查找表對于例如估計表面屬性是有用的。
[0064]要注意的是，對于每個超像素(m，n)可以構(gòu)建一個不同的查找表，因為(u，v)和(j，k)之間的映射對于不同的超像素可以是不同的。在之前的方法中，假設(shè)(u，v)和(j，k)之間的映射對于所有的超像素是相同的，這導(dǎo)致了錯誤。
[0065]圖7-8示出了對于準(zhǔn)直物體使用72個不同位置的校準(zhǔn)的結(jié)果。在這個例子中，次級成像陣列組裝為六邊形。圖7A-7B分別是光場觀看方向的天頂角和方位角至軸上子像素的映射。它們示出了光場觀看方向至一組軸上超像素、即在傳感器陣列的中心附近的超像素的映射。該光場觀看方向是二維的量。這個示例使用極坐標(biāo)。圖7A以灰度級示出了從O至π/2的天頂角，并且圖7B以偽彩色示出了從-ji至+π的方位角。在圖7B中所有顏色相遇的點是捕捉來自物體的軸上光線的子像素。對于超像素中的一個，該點被標(biāo)記為710 ο要注意的是，該點近似在每個軸上超像素的中心處。
[0066]圖8A-8B分別是光場觀看方向的天頂角和方位角至離軸子像素的映射。它們示出了與圖7A-7B相同的量，但是是對于一組離軸超像素，即在傳感器陣列的邊緣附近的超像素。在遠(yuǎn)心情況下，圖7和圖8看起來將是相同的。但是，在此不是這樣的情況。例如，中心點810相對于超像素的中心而偏移。
[0067 ]圖9 A-9B示出了此校準(zhǔn)的效果。圖9A是不使用物空間校準(zhǔn)的物體的三維重構(gòu)。具體地，其示出了從捕捉的全光圖像對標(biāo)尺卡(ruler card)的三維清染(rendering)，但在此情況下全光成像系統(tǒng)沒有被校準(zhǔn)。該卡是平的，但是該重構(gòu)示出了由對子像素的光場觀看方向的不正確假設(shè)而引起的曲面。圖9B是對同一物體、但是使用物空間校準(zhǔn)的三維重構(gòu)。其示出了與圖9A相同的渲染，但是這次具有校準(zhǔn)。該曲面現(xiàn)象不再存在。
[0068]盡管詳細(xì)描述包含許多細(xì)節(jié)，但是這些細(xì)節(jié)不應(yīng)被解釋為對本發(fā)明范圍的限制，而僅僅是例示不同的示例和方面。應(yīng)當(dāng)認(rèn)識到，本發(fā)明的范圍包括未在以上詳細(xì)討論的其它實施例。不脫離所附權(quán)利要求定義的本發(fā)明的精神和范圍，可以在本文公開的本發(fā)明的方法和裝置的布置、操作和細(xì)節(jié)方面做出對于所屬領(lǐng)域的技術(shù)人員而言將顯而易見的各種其它的修改、改變和變型。因此，本發(fā)明的范圍應(yīng)當(dāng)由所附權(quán)利要求和它們的合法等同物來確定。
[0069]在可替換的實施例中，本發(fā)明的各面以計算機(jī)硬件、固件、軟件、和/或其結(jié)合來實現(xiàn)。裝置可以以切實包含在非暫時機(jī)器可讀存儲設(shè)備中的、由可編程處理器執(zhí)行的計算機(jī)程序產(chǎn)品來實現(xiàn);并且方法步驟可以通過可編程處理器執(zhí)行指令的程序以通過對輸入數(shù)據(jù)操作并生成輸出而執(zhí)行功能來進(jìn)行。實施例可以有利地以一個或多個計算機(jī)程序來實現(xiàn)，該計算機(jī)程序可在可編程系統(tǒng)上執(zhí)行，該可編程系統(tǒng)包括至少一個耦接來從數(shù)據(jù)存儲系統(tǒng)接收數(shù)據(jù)和指令以及向數(shù)據(jù)存儲系統(tǒng)發(fā)送數(shù)據(jù)和指令的可編程處理器、至少一個輸入設(shè)備、和至少一個輸出設(shè)備。每個計算機(jī)程序可以以高級程序或面向?qū)ο缶幊陶Z言來實現(xiàn)，或者在需要時以匯編語言或機(jī)器語言來實現(xiàn);并且在任何情況下，語言可以是編譯語言或解釋語言。通過示例，合適的處理器包括通用和專用微處理器。通常，處理器將從只讀存儲器和/或隨機(jī)存取存儲器接收指令和數(shù)據(jù)。通常，計算機(jī)將包括一個或多個用于存儲數(shù)據(jù)文件的大容量存儲設(shè)備;這樣的設(shè)備包括磁盤，比如內(nèi)部硬盤和可移除盤;磁光盤；以及光盤。適用于切實包含計算機(jī)程序指令和數(shù)據(jù)的存儲設(shè)備包括所有形式的非易失性存儲器，例如包括半導(dǎo)體存儲設(shè)備，比如EPROM、EEPROM和閃存設(shè)備;磁盤，比如內(nèi)部硬盤和可移除盤;磁光盤;和CD-ROM盤。上述任何者可以由ASIC(專用集成電路)和其它形式的硬件補(bǔ)充或者并入ASIC(專用集成電路)和其它形式的硬件中。
[0070]本申請是基于2015年I月9日提交的美國優(yōu)先權(quán)申請第14/594，019號，其全部內(nèi)容通過引用并入本文中。
【主權(quán)項】
1.一種用于校準(zhǔn)全光成像系統(tǒng)的方法，所述方法包括: 捕捉物體的全光圖像，所述物體產(chǎn)生沿不同傳播方向傳播的準(zhǔn)直光，每個全光圖像包含多個超像素，每個超像素包含多個子像素，每個子像素捕捉來自至少一個相應(yīng)的光場觀看方向的光；以及 基于捕捉的全光圖像，計算傳播方向至子像素的映射，所述映射定義所述子像素的光場觀看方向。2.如權(quán)利要求1所述的方法，其中計算傳播方向至子像素的映射包括對于每個準(zhǔn)直物體: 計算由每個超像素捕捉的光的質(zhì)心；以及 將來自所述準(zhǔn)直物體的光的傳播方向映射至與計算的質(zhì)心對應(yīng)的子像素。3.如權(quán)利要求1所述的方法，其中計算映射包括創(chuàng)建查找表，所述查找表將光場觀看方向映射至子像素。4.如權(quán)利要求1所述的方法，其中計算映射包括創(chuàng)建查找表，所述查找表將子像素映射至光場觀看方向。5.如權(quán)利要求1所述的方法，其中每個超像素包含N個子像素，并且所述物體產(chǎn)生沿著至少N個不同的傳播方向傳播的準(zhǔn)直光。6.如權(quán)利要求1所述的方法，進(jìn)一步包括: 自動調(diào)節(jié)所述物體以產(chǎn)生沿著不同的傳播方向傳播的準(zhǔn)直光；以及 對于每個不同的傳播方向自動捕捉全光圖像。7.如權(quán)利要求1所述的方法，其中所述全光成像系統(tǒng)不是物空間遠(yuǎn)心的。8.如權(quán)利要求1所述的方法，其中所述全光成像系統(tǒng)不是圖像空間遠(yuǎn)心的。9.如權(quán)利要求1所述的方法，其中所述全光成像系統(tǒng)具有有限共軛。10.如權(quán)利要求1所述的方法，進(jìn)一步包括: 存儲有關(guān)子像素的光場觀看方向的數(shù)據(jù)； 在存儲所述數(shù)據(jù)之后，捕捉另一個全光圖像；以及 處理所述全光圖像，使用存儲的數(shù)據(jù)來解決所述子像素的光場觀看方向。11.一種用于校準(zhǔn)全光成像系統(tǒng)的系統(tǒng)，所述系統(tǒng)包括: 可調(diào)節(jié)的準(zhǔn)直物體，該物體可調(diào)節(jié)以產(chǎn)生沿不同的傳播方向傳播的準(zhǔn)直光； 全光成像系統(tǒng)，該全光成像系統(tǒng)捕捉被調(diào)節(jié)至不同的傳播方向的物體的全光圖像，每個全光圖像包含多個超像素，每個超像素包含多個子像素，每個子像素捕捉來自相應(yīng)的光場觀看方向的光；以及 校準(zhǔn)模塊，該校準(zhǔn)模塊基于捕捉的全光圖像，計算傳播方向至子像素的映射，所述映射定義子像素的光場觀看方向。12.如權(quán)利要求11所述的系統(tǒng)，其中所述校準(zhǔn)模塊進(jìn)一步用于: 計算由每個超像素捕捉的光的質(zhì)心；以及 將來自所述準(zhǔn)直物體的光的傳播方向映射至與計算的質(zhì)心對應(yīng)的子像素。13.如權(quán)利要求11所述的系統(tǒng)，其中所述校準(zhǔn)模塊進(jìn)一步創(chuàng)建查找表，所述查找表將光場觀看方向映射至子像素。14.如權(quán)利要求11所述的系統(tǒng)，其中所述校準(zhǔn)模塊進(jìn)一步創(chuàng)建查找表，所述查找表將子像素映射至光場觀看方向。15.如權(quán)利要求11所述的系統(tǒng)，進(jìn)一步包括控制器，所述控制器: 自動調(diào)節(jié)所述物體以產(chǎn)生沿著不同的傳播方向傳播的準(zhǔn)直光；以及 自動致使所述全光成像系統(tǒng)捕捉與每個不同的傳播方向?qū)?yīng)的全光圖像。16.如權(quán)利要求11所述的系統(tǒng)，其中所述全光成像系統(tǒng)不是物空間遠(yuǎn)心的。17.如權(quán)利要求11所述的系統(tǒng)，其中所述全光成像系統(tǒng)不是圖像空間遠(yuǎn)心的。18.如權(quán)利要求11所述的系統(tǒng)，其中所述全光成像系統(tǒng)具有有限共軛。19.如權(quán)利要求11所述的系統(tǒng)，進(jìn)一步包括: 處理模塊，該處理模塊處理不同物體的全光圖像，所述處理考慮由所述校準(zhǔn)模塊確定的子像素的光場觀看方向。
【文檔編號】H04N5/225GK105841810SQ201610143154
【公開日】2016年8月10日
【申請日】2016年1月5日
【發(fā)明人】L·孟, L·陸, N·貝達(dá)德, K·伯克納
【申請人】株式會社理光