本發(fā)明涉及包含多相機陣列的成像系統(tǒng)及方法。特定來說,本發(fā)明涉及實現(xiàn)低輪廓成像系統(tǒng)及移動裝置同時維持或改進圖像質(zhì)量的系統(tǒng)及方法。
背景技術(shù):
許多移動裝置(例如移動電話和平板計算裝置)包含可由用戶操作以捕獲靜止和/或視頻圖像的相機。因為移動裝置通常被設(shè)計為相對較小,所以可能重要的是將相機或成像系統(tǒng)設(shè)計得盡可能薄以便保持低輪廓移動裝置。折疊式光學(xué)圖像傳感器陣列(“陣列相機”)允許形成低輪廓圖像捕獲裝置,而不縮短焦距或者降低圖像在傳感器陣列的視場上的分辨率。通過使用主要表面和次要表面將光朝向陣列中的每個傳感器重定向,并且通過定位用于將入射光聚焦在主要表面和次要表面之間的透鏡組合件,傳感器陣列可以被定位在垂直于透鏡組合件的平坦襯底上。較長的焦距使得可能實施例如光學(xué)變焦的特征并且結(jié)合需要比通常由傳統(tǒng)移動相機提供的更多空間的更復(fù)雜的光學(xué)器件,例如添加更多的光學(xué)元件。
一些陣列相機采用具有多個刻面的中心反射鏡或棱鏡來將包括目標(biāo)圖像的入射光分裂成多個部分,以由陣列中的傳感器捕獲,其中每個刻面將來自目標(biāo)圖像的光的一部分引導(dǎo)朝向陣列中的傳感器。分裂光的每一部分可以穿過透鏡組合件并從位于傳感器正上面或下面的表面反射開,使得每一傳感器捕獲圖像的部分。傳感器視場可以重疊以輔助于將所捕獲的部分縫合在一起成為完整的圖像。
技術(shù)實現(xiàn)要素:
本文中所描述的折疊式光學(xué)傳感器陣列及圖像捕獲技術(shù)允許形成低輪廓圖像捕獲裝置,而不縮短焦距或降低圖像在傳感器陣列的視場上的分辨率,其中所捕獲的圖像可無視差及傾斜偽影。現(xiàn)有陣列相機的挑戰(zhàn)為如從陣列的不同相機看到的相同對象的不同視圖之間的視差及/或傾斜所致的質(zhì)量降級。視差阻礙將由每一相機捕獲的圖像無縫拼接成完全無偽影的最終圖像。相機視圖可部分重疊(例如,達大約20%)。取決于深度(例如,從透鏡到對象的距離),來自一個相機的圖像可相對于來自另一相機的圖像移位。所得的視差及傾斜可在將圖像拼接或聚焦在一起時在對應(yīng)于重疊視場的圖像區(qū)域中造成“雙重圖像”重影。即使陣列經(jīng)結(jié)構(gòu)化使得在傳感器視場中無重疊,但當(dāng)圖像中的不連續(xù)特征(例如,線及邊緣)在傳感器視場之間的邊界上方交叉時在此些特征中造成視差。
除其它外,上文所描述的問題在一些實施例中通過無(或基本上無)如本文中所描述的視差及傾斜偽影的陣列相機得以解決。一些實施例可采用(例如,具有多個表面或刻面)的中央反射鏡或棱鏡來將包括目標(biāo)圖像的傳入光分裂成多個部分以供由陣列中的傳感器捕獲。反射鏡表面及周圍相機可經(jīng)配置以避免在所捕獲的圖像中造成視差及傾斜偽影。舉例來說,由反射鏡表面或棱鏡刻面形成的平面可全交叉于共點(稱作頂點),所述頂點在一些實施例中可沿著陣列的垂直對稱軸。相機可經(jīng)定位使得每一相機的光軸與頂點對準或與其交叉。相機的光軸可與其透鏡組合件的投射中心及頂點兩者交叉。因此,合成孔徑(陣列中的相機的所有視圖的和)可具有穿過頂點的虛擬光軸。另外,每一相機可經(jīng)定位使得相機光軸與虛擬光軸之間形成的角度為對應(yīng)反射鏡表面與虛擬光軸之間形成的角度的兩倍。然而,這些角度在陣列中的所有相機未必相同。因此,在一些實施例中,頂點可不沿著陣列的垂直對稱軸。此外,頂點與投射中心(位于對應(yīng)于傳感器的透鏡內(nèi))之間的距離可針對陣列中的所有相機相同。因此,陣列中的相機的視圖可無縫合并成無視差及傾斜偽影的單個圖像。
可使分裂光的每一部分穿過透鏡組合件且從直接定位于傳感器上面或下面的任選額外反射表面反射開,使得每一傳感器捕獲圖像的部分。在一些情況中,陣列中的每一傳感器可捕獲圖像的部分,所述部分與由陣列中的鄰近傳感器捕獲的部分稍微重疊,且這些部分可(例如)通過線性混合或其它圖像拼接技術(shù)匯編成目標(biāo)圖像。在一些實例中,傳感器可經(jīng)定位成從其透鏡組合件的光軸偏心以便捕獲較寬視場。
一個方面涉及一種成像系統(tǒng),其包括反射組件,所述反射組件包含多個主要光重定向表面,所述反射組件包括在由所述多個主要光重定向表面中的每一者形成的平面的交叉點的位置處的頂點;及多個相機,所述多個相機中的每一者具有光軸,所述多個相機經(jīng)布置以各自接收從所述反射組件的所述主要光重定向表面中的一者重定向的光且使得所述多個相機中的每一者的光軸經(jīng)對準以與反射組件的頂點交叉。
另一方面涉及制造基本上無視差及傾斜偽影的折疊式光學(xué)陣列相機的方法,所述方法包括:提供包含多個主要光重定向表面的反射組件,所述反射組件包括在由所述多個主要光重定向表面中的每一者形成的平面的交叉點的位置處的頂點;及針對圍繞所述反射組件定位的多個相機中的每一相機,定位透鏡組合件以接收表示來自多個主要光重定向表面中的一者的目標(biāo)圖像場景的光的部分,所述透鏡組合件具有光軸,及定位所述透鏡組合件使得所述光軸經(jīng)對準以與頂點交叉。
另一方面涉及一種圖像捕獲設(shè)備,其包括用于將表示目標(biāo)圖像場景的光分裂成多個部分且將沿不同方向重定向多個部分中的每一者的裝置;用于聚焦光的多個部分中的每一者的裝置;及用于在聚焦之后捕獲光的多個部分中的每一者的裝置;用于分裂光的裝置、用于聚焦的裝置及用于捕獲的裝置根據(jù)預(yù)定空間關(guān)系定位以便減少或消除基于光的多個部分產(chǎn)生的圖像之間的視差及傾斜偽影。
另一方面涉及一種形成基本上無視差及傾斜偽影的陣列相機的方法,所述方法包括:針對定位于具有垂直對稱軸的陣列中的多個相機中的每一相機,選擇用于圖像傳感器的第一位置;選擇用于主要光引導(dǎo)表面的第二位置使得由主要光引導(dǎo)表面形成的平面與頂點交叉,第二位置經(jīng)選擇使得主要光引導(dǎo)表面將表示目標(biāo)圖像場景的光的部分引導(dǎo)朝向圖像傳感器;及選擇用于定位于傳感器與主要光引導(dǎo)表面之間的透鏡組合件的投射中心的第三位置,第三位置經(jīng)選擇使得相機的光軸角與頂點交叉;所述方法由一或多個計算裝置以編程方式執(zhí)行。
附圖說明
所揭示方面將在下文結(jié)合附圖及附錄進行描述,經(jīng)提供以說明且并不限于所揭示方面,其中相同指定表示相同元件。
圖1A說明折疊式光學(xué)陣列相機的實施例的橫截面?zhèn)纫晥D。
圖1B說明折疊式光學(xué)陣列相機的另一實施例的橫截面?zhèn)纫晥D。
圖2說明圖像捕獲裝置的一個實施例的框圖。
圖3A到3C說明無視差及傾斜偽影的陣列相機的實施例。
圖4說明陣列相機的一個傳感器及反射鏡的設(shè)計參數(shù)的實例。
圖5A到5C說明無視差及傾斜偽影的陣列相機的實施例。
圖6A到6C說明無視差及傾斜偽影的陣列相機的實施例。
圖7A及7B說明陣列相機的一個傳感器及反射鏡的設(shè)計參數(shù)的實例。
圖7C說明圖7A及7B的陣列相機所捕獲的一組視圖。
圖8A說明有缺陷的中央反射鏡棱錐的實施例。
圖8B說明有缺陷的中央反射鏡棱錐的另一實施例。
圖9A說明用理想中央反射鏡棱錐捕獲的圖像與圖8A的中央反射鏡棱錐之間的差的絕對值的放大。
圖9B說明用理想中央反射鏡棱錐捕獲的圖像與圖8B的中央反射鏡棱錐之間的差的絕對值的放大。
圖10說明折疊式光學(xué)圖像捕獲過程的實施例。
具體實施方式
I.導(dǎo)論
本文中所揭示的實施方案提供用于使用具有折疊式光學(xué)器件的陣列相機產(chǎn)生基本上無視差及傾斜偽影的圖像的系統(tǒng)、方法及設(shè)備。本發(fā)明的方面涉及在所捕獲的圖像中展現(xiàn)幾乎沒有視差偽影的陣列相機。舉例來說,陣列相機的中央反射鏡棱錐或棱鏡的平面可交叉于共點(稱作“頂點”)處。頂點可用作陣列中的相機的光軸的交叉點,以及與虛擬光軸的交叉點。陣列中的每一相機使用中央反射棱鏡的對應(yīng)刻面“看見”圖像場景的部分,且因此每一個別相機/反射鏡對僅表示總陣列相機的子孔徑。完整的陣列相機具有基于所有個別孔徑光線的和(即,基于將由子孔徑產(chǎn)生的圖像拼接在一起)而產(chǎn)生的合成孔徑。每一相機可包含傳感器及透鏡組合件,所述透鏡組合件具有沿著相機光軸定位的投射中心,且可任選地包含在傳感器與透鏡組合件之間的次要光重定向表面。傳感器可經(jīng)定位從所述光軸偏心以從圖像場景捕獲更多光。
在以下描述中,給出具體細節(jié)以提供對實例的透徹理解。然而,可在無這些特定細節(jié)的情況下實踐實例。
II.折疊式光學(xué)陣列相機的概述
現(xiàn)在參考圖1A及1B,現(xiàn)在將更詳細地描述適于與本文中所描述自動聚焦系統(tǒng)及技術(shù)一起使用的折疊式光學(xué)多傳感器組合件100A、100B的實例。圖1A說明折疊式光學(xué)器件陣列100A的實例的橫截面?zhèn)纫晥D,所述折疊式光學(xué)器件陣列包含可全被安裝到襯底150的圖像傳感器105、125,反射次要光重定向表面110、135,透鏡組合件115、130及中央反射表面120。圖1B說明折疊式光學(xué)傳感器陣列的實施例的橫截面?zhèn)纫晥D,所述折疊式光學(xué)傳感器陣列包含用于主要光重定向表面122、124的中央棱鏡141、146及形成次要光重定向表面135、110的額外棱鏡。
參考圖1A,在某些實施例中,圖像傳感器105、125可包含電荷耦合裝置(CCD)、互補金屬氧化物半導(dǎo)體傳感器(CMOS),或接收光且響應(yīng)于所接收圖像產(chǎn)生圖像數(shù)據(jù)的任何其它圖像感測裝置。圖像傳感器105、125可能夠獲得靜態(tài)照片的圖像數(shù)據(jù)且也可提供關(guān)于所捕獲視頻流中的動作的信息。傳感器105及125可為個別傳感器或可表示傳感器陣列,例如,3×1陣列。然而,如由所屬領(lǐng)域的技術(shù)人員將理解,任何適合傳感器陣列可用于所揭示實施方案中。
傳感器105、125可被安裝在襯底150上,如圖1A中所展示。在一些實施例中,所有傳感器可通過經(jīng)安裝到平坦襯底150而位于一個平面上。襯底150可為任何適合基本上平坦材料。中央反射表面120及透鏡組合件115、130也可被安裝在襯底150上。多個配置可用于安裝一傳感器陣列或多個陣列,多個透鏡組合件及多個主要及次要反射或折射表面。
仍參考圖1A,在一些實施例中,可使用中央反射表面120來將光從目標(biāo)圖像場景重定向朝向傳感器105、125。中央反射表面120可為一反射鏡或多個反射鏡,且可為平坦的或視需要塑形以恰當(dāng)?shù)貙魅牍庵囟ㄏ虻綀D像傳感器105、125。舉例來說,在一些實施例中,中央反射表面120可為經(jīng)定大小且經(jīng)塑形以將傳入光線分別穿過透鏡組合件115、130反射到傳感器105、125的反射鏡。中央反射表面120可將包括目標(biāo)圖像的光分裂成多個部分且將每一部分引導(dǎo)于不同傳感器處。舉例來說,中央反射表面120(在其它實施例可實施折射棱鏡而非反射表面時,也被稱作主要光重定向表面)的第一側(cè)122可將對應(yīng)于第一視場140的光的部分發(fā)送到左傳感器105而第二側(cè)124將對應(yīng)于第二視場145的光的第二部分發(fā)送到右傳感器125。應(yīng)了解,圖像傳感器的視場140、145一起至少覆蓋目標(biāo)圖像。
在其中接收傳感器各自為多個傳感器的陣列的一些實施例中,中央反射表面可由相對于彼此成角度以便將目標(biāo)圖像場景的不同部分發(fā)送到傳感器中的每一者的多個反射表面制成。陣列中的每一傳感器可具有基本上不同視場,且在一些實施例中,視場可重疊。中央反射表面的某些實施例可具有復(fù)雜非平面表面以增加設(shè)計透鏡系統(tǒng)時的自由度。此外,盡管中央表面經(jīng)論述為反射表面,但在其它實施例中,中央表面可為折射的。舉例來說,中央表面可為配置有多個刻面的棱鏡,其中每一刻面將包括場景的光的部分引導(dǎo)到傳感器中的一者。
在從中央反射表面120反射開之后,光可傳播穿過透鏡組合件115、130,如圖1A中所說明。一或多個透鏡組合件115、130可被設(shè)置在中央反射表面120與傳感器105、125及反射表面110、135之間。透鏡組合件115、130可用于聚焦經(jīng)引導(dǎo)到每一傳感器的目標(biāo)圖像的部分。
在一些實施例中,每一透鏡組合件可包括一或多個透鏡及致動器,所述致動器用于通過殼體使透鏡在多個不同透鏡位置間移動。致動器可為音圈電機(VCM)、微電子機械系統(tǒng)(MEMS),或形狀記憶合金(SMA)。透鏡組合件可進一步包括用于控制致動器的透鏡驅(qū)動器。
傳統(tǒng)自動聚焦技術(shù)可通過改變透鏡115、130與每一相機的對應(yīng)傳感器105、125之間的焦距來實施。在一些實施例中,此可通過移動透鏡鏡筒來完成。其它實施例可通過將中央反射鏡向上或向下移動或通過調(diào)整反射鏡相對于透鏡組合件的角度來調(diào)整焦點。某些實施例可通過將側(cè)反射鏡移動越過每一傳感器來調(diào)整焦點。此些實施例可允許組合件個別地調(diào)整每一傳感器的焦點。此外,一些實施例可能(例如)通過將如同液態(tài)透鏡的透鏡放置在整個組合件上方來立刻改變整個組合件的焦點。在一些實施方案中,可使用計算攝影學(xué)來改變相機陣列的焦點。
如圖1A中所說明,可將多個側(cè)反射表面(例如,反射表面110及135)設(shè)置在中央反射鏡120周圍與傳感器相對。在穿過透鏡組合件之后,側(cè)反射表面110、135(在其它實施例可實施折射棱鏡而非反射表面時,也被稱作次要光重定向表面)可將光(如圖1A中所描繪,定向為“向下”)反射到平坦傳感器105、125上。如所描繪,傳感器105可經(jīng)定位在反射表面110下面且傳感器125可經(jīng)定位在反射表面135下方。然而,在其它實施例中,傳感器可位于側(cè)反射表面上面,且側(cè)反射表面可經(jīng)配置以向上反射光。側(cè)反射表面及傳感器的其它適合配置是可能的,其中來自每一透鏡組合件的光經(jīng)重定向朝向傳感器。某些實施例可使側(cè)反射表面110、135的移動能夠改變相關(guān)聯(lián)傳感器的焦點或視場。
可通過與所述傳感器相關(guān)聯(lián)的中央反射鏡120的表面將每一傳感器的視場140、145引導(dǎo)到對象空間中??刹捎脵C械方法來將反射鏡傾斜及/或?qū)⒗忡R在陣列中移動使得可將每一相機的視場操縱到對象場上的不同位置。舉例來說,上述情形可用于實施高動態(tài)范圍相機以增加相機系統(tǒng)的分辨率,或?qū)嵤┤庀鄼C系統(tǒng)。可將每一傳感器的(或每一3×1陣列的)視場投射到對象空間中,且每一傳感器可根據(jù)所述傳感器的視場捕獲包括目標(biāo)場景的部分圖像。在一些實施例中,相對傳感器陣列105、125的視場140、145可重疊特定量150。為減少重疊150且形成單個圖像,可使用如下文所描述的拼接過程來組合來自兩個相對傳感器陣列105、125圖像。拼接過程的某些實施例可采用重疊150來識別將部分圖像拼接在一起的共用特征。在將重疊圖像拼接在一起之后,可將經(jīng)拼接圖像裁剪到所要縱橫比(例如,4:3或1:1)以形成最終圖像。
圖1B說明折疊式光學(xué)陣列相機100B的另一實施例的橫截面?zhèn)纫晥D。如圖1B中所展示,傳感器組合件100B包含各自經(jīng)安裝到襯底150的一對圖像傳感器105、125、分別對應(yīng)于圖像傳感器105、125的透鏡組合件115、130,及分別定位于圖像傳感器105、125的蓋玻璃106、126上方的次要光重定向表面110、135。折射棱鏡141的主要光重定向表面122將來自目標(biāo)圖像場景的光的部分沿著光軸121引導(dǎo)穿過透鏡組合件115,從次要光重定向表面110重定向離開,穿過蓋玻璃106,入射于傳感器105上。折射棱鏡146的主要光重定向表面124將來自目標(biāo)圖像場景的光的部分沿著光軸123引導(dǎo)穿過透鏡組合件130,從次要光重定向表面135重定向離開,穿過蓋玻璃126,且入射于傳感器125上。折疊式光學(xué)陣列相機100B說明實施折射棱鏡而非圖1A的陣列相機100A的反射表面的一個陣列相機實施例。折射棱鏡141、146中的每一者經(jīng)設(shè)置于襯底150中的孔徑中使得主要光引導(dǎo)表面122、124在由襯底形成的平面下面且接收表示目標(biāo)圖像場景的光。
傳感器105、125可被安裝在襯底150上,如圖1B中所展示。在一些實施例中,所有傳感器可通過經(jīng)安裝到平坦襯底150而位于一個平面上。襯底150可為任何適合基本上平坦材料。襯底150可包含如上文所描述的孔隙以允許傳入光穿過襯底150到主要光重定向表面122、124。多個配置可用于將一傳感器陣列或多個陣列,以及所說明的其它相機組件安裝到襯底150。
仍參考圖1B,主要光重定向表面122、124可為如所說明的棱鏡表面,或可為一反射鏡或多個反射鏡,且可為平坦或經(jīng)視需要塑形以將傳入光恰當(dāng)?shù)刂囟ㄏ虻綀D像傳感器105、125。在一些實施例中,主要光重定向表面122、124可經(jīng)形成為中央反射鏡棱錐或棱鏡,如圖1A中所說明。中央反射鏡棱錐、棱鏡或其它光學(xué)組件可將表示目標(biāo)圖像的光分裂成多個部分且將每一部分引導(dǎo)于不同傳感器處。舉例來說,主要光重定向表面122可將對應(yīng)于第一視場的光的部分發(fā)送到左傳感器105,而主要光重定向表面124將對應(yīng)于第二視場的光的部分發(fā)送到右傳感器125。在其中接收傳感器各自為多個傳感器的陣列的一些實施例中,光重定向表面可由相對于彼此成角度以便將目標(biāo)圖像場景的不同部分發(fā)送到傳感器中的每一者的多個反射表面制成。應(yīng)了解,相機的視場一起至少覆蓋目標(biāo)圖像,且可在捕獲之后經(jīng)對準及拼接在一起以形成由陣列的合成孔徑所捕獲的最終圖像。
陣列中的每一傳感器可具有基本上不同視場,且在一些實施例中,視場可重疊。如下文更詳細描述,各種主要光重定向表面122、124,透鏡組合件115、130及傳感器105、125之間的空間關(guān)系可經(jīng)預(yù)定以減少或消除不同視場之間發(fā)生的視差及傾斜偽影。
如由圖1A及1B所說明,每一陣列相機具有總高度H。在一些實施例中,總高度H可為大約4.5mm或更少。在其它實施例中,總高度H可為大約4.0mm或更少。盡管為未說明,整個陣列相機100A、100B可經(jīng)提供于具有大約4.5mm或更少或大約4.0mm或更少的對應(yīng)內(nèi)部高度的殼體中。
此些陣列相機100A、100B的此些配置可基于傳感器及光重定向表面的相對位置而遭受視差及傾斜偽影,提出關(guān)于由于如從陣列的不同相機看到的相同對象的不同視圖間的視差及傾斜而造成的質(zhì)量降級的挑戰(zhàn)。視差及傾斜阻礙將由每一相機捕獲的圖像無縫拼接成完全無偽影的最終圖像。取決于深度(例如,從透鏡到對象的距離),來自一個相機的圖像可在相對于來自另一相機的重疊圖像的位置及角度移位。所得的視差及傾斜可在將圖像拼接或聚焦在一起時在對應(yīng)于重疊視場的圖像區(qū)域中造成“雙重圖像”重影。即使陣列經(jīng)結(jié)構(gòu)化使得在傳感器視場中無重疊,但當(dāng)圖像中的不連續(xù)特征(例如,線及邊緣)在傳感器視場之間的邊界上方交叉時在此些特征中造成視差。
如本文中所使用,術(shù)語“相機”是指圖像傳感器,透鏡系統(tǒng),及若干個對應(yīng)光重定向表面,例如,主要光重定向表面124、透鏡組合件130、次要光重定向表面135及傳感器125,如圖1中所說明。折疊式光學(xué)多個傳感器陣列(被稱作“陣列”或“陣列相機”)可在各種配置中包含多個此些相機。陣列配置的一些實施例經(jīng)揭示于在2013年3月15日提出申請的且標(biāo)題為“使用折疊式光學(xué)器件的多相機系統(tǒng)(MULTI-CAMERA SYSTEM USING FOLDED OPTICS)”的美國申請公開案第2014/0111650號,所述美國申請公開案的揭示內(nèi)容特此以引用的方式并入。將從用于減少或消除本文中所描述的視差偽影的幾何關(guān)系獲益的其它陣列相機配置是可能的。
圖2描繪裝置200的高級框圖,所述裝置具有包含鏈接到一或多個相機215a到215n的圖像處理器220的一組組件。圖像處理器220也與工作存儲器205、存儲器230及裝置處理器250通信,所述裝置處理器又與存儲器210及電子顯示器225通信。
裝置200可為蜂窩式電話、數(shù)字相機、平板計算機、個人數(shù)字助理或其類似者。存在許多便攜式計算裝置,其中例如本文中所描述的減少厚度成像系統(tǒng)將提供優(yōu)點。裝置200也可為靜止計算裝置或其中薄成像系統(tǒng)將為有利的任何裝置。多個應(yīng)用可由裝置200上的用戶使用。這些應(yīng)用可包含傳統(tǒng)攝影學(xué)及視頻應(yīng)用,高動態(tài)范圍成像、全景照片及視頻,或立體成像(例如3D圖像或3D視頻)。
圖像捕獲裝置200包含用于捕獲外部圖像的相機215a到215n。相機215a到215n可各自包括傳感器、透鏡組合件及用于將目標(biāo)圖像的部分重定向到每一傳感器的主要及次要反射或折射表面,如上文關(guān)于圖1所論述。一般來說,可使用N個相機215a到215n,其中N≥2。因此,可將目標(biāo)圖像分裂成N個部分,其中N個相機中的每一傳感器根據(jù)傳感器的視場捕獲目標(biāo)圖像的一個部分。應(yīng)理解,相機215a到215n可包括適于本文中所描述的折疊式光學(xué)成像裝置的實施方案的任何數(shù)目個相機??墒箓鞲衅鞯臄?shù)目增加以實現(xiàn)系統(tǒng)的較低z高度(如下文關(guān)于圖4更詳細所論述),或滿足其它用途的需要,例如具有類似于全光相機的視場的重疊視場,此可實現(xiàn)在后處理之后調(diào)整圖像的焦點的能力。其它實施例可具有適于高動態(tài)范圍相機的視場重疊配置,實現(xiàn)捕獲兩個同時圖像且接著將其合并在一起的能力。相機215a到215n可經(jīng)耦接到圖像處理器220以將所捕獲的圖像傳輸?shù)窖b置處理器250。
圖像處理器220可經(jīng)配置以對包括目標(biāo)圖像的N個部分的所接收圖像數(shù)據(jù)執(zhí)行各種處理操作以便輸出高質(zhì)量經(jīng)拼接圖像,如下文將更詳細描述。圖像處理器220可為通用處理單元或經(jīng)特殊設(shè)計用于成像應(yīng)用的處理器。圖像處理操作的實例包含裁剪、比例調(diào)整(例如,比例調(diào)整成不同分辨率)、圖像拼接、圖像格式轉(zhuǎn)換、顏色插值、顏色處理、圖像濾波(例如,空間圖像濾波)、透鏡偽影或缺陷校正等。在一些實施例中,圖像處理器220可包括多個處理器。某些實施例可具有專用于每一圖像傳感器的處理器。圖像處理器220可為一或多個專用圖像信號處理器(ISP)或處理器的軟件實施方案。
如所展示,圖像處理器220經(jīng)連接到存儲器230及工作存儲器205。在所說明實施例中,存儲器230存儲捕獲控制模塊235、圖像拼接模塊240及操作系統(tǒng)245。這些模塊包含配置裝置處理器250的圖像處理器220以執(zhí)行各種圖像處理及裝置管理任務(wù)的指令。工作存儲器205可由圖像處理器220用于存儲經(jīng)包含在存儲器230的模塊中的工作處理器指令集。替代地,工作存儲器205還可由圖像處理器220用于存儲在裝置200的操作期間形成的動態(tài)數(shù)據(jù)。
如上文所提及,圖像處理器220是由存儲在存儲器中的數(shù)個模塊配置。捕獲控制模塊235可包含配置圖像處理器220以調(diào)整相機215a到215n的焦點位置的指令。捕獲控制模塊235可進一步包含控制裝置200的整個圖像捕獲功能的指令。舉例來說,捕獲控制模塊235可包含調(diào)用子例程以配置圖像處理器220以使用相機215a到215n捕獲目標(biāo)圖像場景的原始圖像數(shù)據(jù)的指令。捕獲控制模塊235可接著調(diào)用圖像拼接模塊240來對由相機215a到215n捕獲的N個部分圖像執(zhí)行拼接技術(shù)并將經(jīng)拼接及經(jīng)裁剪目標(biāo)圖像輸出到成像處理器220。捕獲控制模塊235還可調(diào)用圖像拼接模塊240以對原始圖像數(shù)據(jù)執(zhí)行拼接操作以便輸出待捕獲的場景的預(yù)覽圖像,且將以特定時間間隔或在原始圖像數(shù)據(jù)中的場景改變時更新預(yù)覽圖像。
圖像拼接模塊240可包括配置圖像處理器220以對所捕獲的圖像數(shù)據(jù)執(zhí)行拼接及裁剪技術(shù)的指令。舉例來說,N個傳感器215a到215n中的每一者可根據(jù)每一傳感器的視場捕獲包括目標(biāo)對象的部分的部分圖像。視場可共享重疊區(qū)域,如上文及下文所描述。為了輸出單個目標(biāo)圖像,圖像拼接模塊240可配置圖像處理器220以組合多個N個部分圖像以產(chǎn)生高分辨率目標(biāo)圖像。目標(biāo)圖像產(chǎn)生可通過已知圖像拼接技術(shù)來發(fā)生。圖像拼接的實例可在美國專利申請案第11/623,050號中找到,所述美國專利申請案特此以全文引用的方式并入。
舉例來說,圖像拼接模塊240可包含用以針對匹配特征而比較沿著N個部分圖像的邊緣的重疊區(qū)域以便判定N個部分圖像相對于彼此的旋轉(zhuǎn)及對準的指令。由于部分圖像的旋轉(zhuǎn)及/或每一傳感器的視場的形狀,組合圖像可形成不規(guī)則形狀。因此,在對準及組合N個部分圖像之后,圖像拼接模塊240可調(diào)用子例程,所述子例程配置圖像處理器220以將組合圖像裁剪成所要形狀及縱橫比(例如,4:3矩形或1:1正方形)??蓪⒔?jīng)裁剪圖像發(fā)送到裝置處理器250以用于在顯示器225上顯示或用于保存在存儲器210中。
操作系統(tǒng)模塊245配置圖像處理器220以管理工作存儲器205及裝置200的處理資源。舉例來說,操作系統(tǒng)模塊245可包含裝置驅(qū)動器以管理硬件資源,例如相機215a到215n。因此,在一些實施例中,經(jīng)包含在上文所論述的圖像處理模塊中的指令可不與這些硬件資源直接交互,但替代地通過標(biāo)準子例程或位于操作系統(tǒng)組件270中的API交互。操作系統(tǒng)245內(nèi)的指令可接著與這些硬件組件直接交互。操作系統(tǒng)模塊245可進一步配置圖像處理器220以與裝置處理器250共享信息。
裝置處理器250可經(jīng)配置以控制顯示器225向用戶顯示所捕獲的圖像,或所捕獲的圖像的預(yù)覽。顯示器225可在成像裝置200外部或可為成像裝置200的部分。顯示器225還可經(jīng)配置以提供尋像器(view finder),所述尋像器在捕獲圖像之前向用戶顯示預(yù)覽圖像,或可經(jīng)配置以顯示存儲于存儲器中或最近由用戶捕獲的所捕獲的圖像。顯示器225可包括LCD或LED屏幕,且可實施觸敏技術(shù)。
裝置處理器250可將數(shù)據(jù)寫入到存儲模塊210,例如表示所捕獲的圖像的數(shù)據(jù)。雖然存儲模塊210以圖形方式表示為傳統(tǒng)磁盤裝置,但所屬領(lǐng)域的技術(shù)人員將理解存儲模塊210可經(jīng)配置為任何存儲媒體裝置。舉例來說,存儲模塊210可包含磁盤驅(qū)動,例如,軟盤磁盤驅(qū)動、硬磁盤驅(qū)動、光學(xué)磁盤驅(qū)動或磁光盤驅(qū)動,或固態(tài)存儲器,例如快閃(FLASH)存儲器、RAM、ROM及/或EEPROM。存儲模塊210還可包含多個存儲器單元,且存儲器單元中的任一者可經(jīng)配置以位于圖像捕獲裝置200內(nèi),或可在圖像捕獲裝置200外部。舉例來說,存儲模塊210可包含ROM存儲器,所述ROM存儲器含有存儲在圖像捕獲裝置200內(nèi)的系統(tǒng)程序指令。存儲模塊210還可包含經(jīng)配置以存儲可從相機移除的所捕獲的圖像的存儲卡或高速存儲器。
盡管圖2描繪具有單獨組件的裝置以包含處理器、成像傳感器及存儲器,但所屬領(lǐng)域的技術(shù)人員將認識到這些單獨組件可以各種方式組合以實現(xiàn)特定設(shè)計目的。舉例來說,在替代實施例中,存儲器組件可與處理器組件組合以節(jié)省成本且改進性能。在一些實施例中,裝置可包含單個處理器,所述單個處理器可執(zhí)行參考裝置處理器250及圖像處理器220所描述的功能性。
另外,盡管圖2說明兩個存儲器組件,包含包括數(shù)個模塊的存儲器組件230及包括工作存儲器的單獨存儲器205,所屬領(lǐng)域的技術(shù)人員將認識到利用不同存儲器架構(gòu)的數(shù)個實施例。舉例來說,設(shè)計可利用ROM或靜態(tài)RAM存儲器來存儲實施含于存儲器230中的模塊的處理器指令??蓪⑻幚砥髦噶罴虞d到RAM中以促進由圖像處理器220執(zhí)行。舉例來說,工作存儲器205可包括RAM存儲器,其中指令在由圖像處理器220執(zhí)行前經(jīng)加載到工作存儲器205。
III.無視差及傾斜偽影的折疊式光學(xué)陣列相機的概述
圖3A及3B說明根據(jù)下文所定義的預(yù)定空間關(guān)系的各種組件的布置所致的無視差及傾斜偽影的陣列相機的實施例。如由圖3A及3B所說明,兩個反射鏡表面330、335及兩個對應(yīng)傳感器311A、311B可為基于預(yù)定義的空間關(guān)系而經(jīng)配置以避免在所捕獲的圖像中造成視差及傾斜偽影。陣列的傳感器及其對應(yīng)透鏡稱作“相機”,且陣列中的所有相機的合作稱作“虛擬相機”。盡管為說明,但每一相機可具有如上文所描述的次要光重定向表面以便將光重定向朝向未經(jīng)定位成相對于相機的光軸成所說明角度的傳感器。舉例來說,在一些實施例中,所有傳感器可經(jīng)定位于共同平面中。在所說明實施例中,虛擬相機320包含虛擬傳感器321及與虛擬傳感器相關(guān)聯(lián)的虛擬透鏡322。如將理解,虛擬相機320經(jīng)描繪以展示對應(yīng)于通過拼接由物理傳感器311A、311B捕獲的圖像而產(chǎn)生的整個陣列300的合成孔徑(視場340)的虛擬傳感器321及虛擬透鏡322,且虛擬相機并非物理地存在于陣列的實際構(gòu)造中。
每一相機310A、310B察看中心反射棱鏡350的頂點A,每一相機310A、310B的光軸315A、315B穿過頂點A。與相機310A、310B中的每一者相關(guān)聯(lián)的透鏡312A、312B的透鏡中心位于距頂點相同距離處,且每一相機310A、310B看到虛擬相機320的視場340的一半。每一相機310A、310B的光軸315A、315B相對于垂直軸325的角度可為由其對應(yīng)反射鏡330、335相對于垂直軸325所形成的平面的角度的兩倍。在所說明實施例中,垂直軸325表示陣列300的垂直對稱軸且也為虛擬光軸(例如,虛擬相機320的光軸由虛擬傳感器321及虛擬透鏡322表示)。
如所說明,由反射鏡表面330、335形成的平面沿著陣列的虛擬光軸325交叉于共點(被稱作頂且在圖中標(biāo)記為A點)處。相機310A、310B可經(jīng)定位使得每一相機的光軸315A、315B與頂點A交叉。另外,每一相機310A、310B可經(jīng)定位使得相機的光軸315A、315B與虛擬光軸325之間形成的角度(標(biāo)記為角度2α)為對應(yīng)反射鏡表面330、335與虛擬光軸325之間形成的角度(經(jīng)標(biāo)記為角度α)的兩倍。然而,這些角度并非針對陣列中的所有相機必須為相同的。頂點A與投射中心313B(位于對應(yīng)于傳感器311B的透鏡312B內(nèi))的距離D可針對陣列中的所有相機為相同或基本上相同。陣列的所有相機310A、310B幾乎合并到(理解為“用作”)沿著陣列300的虛擬光軸325向上查找的單一虛擬相機320。以此方式,每一個別相機/透鏡/反射鏡組合僅表示總陣列300的子孔徑。虛擬相機320具有由所有個別孔徑光線的和制成的合成孔徑。
圖3C說明上文所描述的關(guān)于陣列300中的一個相機310B的設(shè)計約束的實例。通過拼接來自陣列300中的所有相機310A、310B的圖像所形成的虛擬相機320的視場340可基于系統(tǒng)的機械參數(shù)的最優(yōu)化。然而,可基于無限小(點尺寸)個別相機310B的假設(shè)而獲得粗略估計。虛擬相機320的最大可能視場(FOV)與圖3C中的角度相關(guān),其中:
FOV=2β
β=90-α
FOV=180-2α
超過角度β,虛擬相機320“看到”的光線可被真實相機310B的物理結(jié)構(gòu)阻擋。在陣列相機的一些實施例中,F(xiàn)OV可為更小的。
另外,在一些實施例中,陣列相機為合意地較薄(例如,高度為4mm或較少),此約束角度α小于45°且大于特定值。其它實際要求可使得α>30°。在各種實施例中,焦距及角度α并非必須針對所有相機為相同
圖4說明設(shè)計參數(shù)的實例及入射于對應(yīng)于圖3A到3C的陣列相機300的一個傳感器311B及反射鏡335的反射鏡335上的光的各種角度的實例性光線蹤跡,此可得出FOV=60°(大約)。然而,此為實例且并非限制,且較寬角度實際上是可行的。假定具有真實透鏡所期望的類似結(jié)果的理想透鏡312B,相機310B的焦距為大約5mm,孔徑為2.5mm,從A到透鏡312B投射中心313B的距離大約為10.9mm,A處于距基部400大約4mm高度H處(但高度H可基于陣列的總厚度或高度而變化),透鏡投射中心313B處于距基部400大約2mm高度處,且α=40°。FOV=60°可從計算相關(guān)照度判定,且可受反射鏡335大小及從透鏡投射中心313B到反射鏡335的距離約束。大約4mm的反射鏡高度H的約束可不會由于陣列相機的形狀因數(shù)限制而增加,而到反射鏡335的距離可減少,但代價為物理相機阻礙一些光線。如所說明,相較在傳感器311B常規(guī)經(jīng)定位以光軸315B為中心的情況,傳感器311B可經(jīng)定位從光軸315B偏心以便收集由反射鏡提供的視場的大部分的光。在其它實施例中,傳感器可經(jīng)定位于不同位置中且處于相對于光軸的不同角度處,且可包含次要光重定向表面以將光重定向到傳感器中。舉例來說,中央反射鏡棱錐的基部400可經(jīng)定位于襯底上(或插入到其中),且傳感器311B(及陣列300中的所有其它傳感器)可經(jīng)定位于襯底上(或插入到其中)。
圖5A到5C說明展現(xiàn)幾乎沒有視差及傾斜偽影的陣列相機500的實施例,陣列相機包含四個子相機510A、510B、510C、510D及中央反射鏡棱錐520。此處,相機用于指代傳感器、透鏡及對應(yīng)于中央反射鏡棱錐520的刻面的可能次要光重定向表面。四個相機510A、510B、510C、510D中的每一者具有與反射鏡棱錐的頂點A交叉的光軸,每一相機的投射的透鏡中心處于距頂點相同距離處,且每一相機看到虛擬相機的視場的大約1/4。在一些實施例中,每一相機510A、510B、510C、510D可具有與除頂點A外的共點交叉的光軸。在此些實施例中,所得圖像可展現(xiàn)幾乎沒有視差偽影但可能展現(xiàn)傾斜偽影。
中央反射鏡棱錐520可包含四個反射刻面或反射表面525A、525B、525C、525D,每一者將光引導(dǎo)朝向四個相機510A、510B、510C、510D中的一者且形成棱錐的頂點A。每一相機510A、510B、510C、510D可包含圖像傳感器及透鏡組合件,且在一些實施方案中,次要光重定向表面在圖中經(jīng)表示為兩個經(jīng)接合的矩形框。每一相機510A、510B、510C、510D可具有穿過反射鏡棱錐的頂點A的光軸515A、515B、515C、515D,且可使用對應(yīng)的反射刻面525A、525B、525C、525D看到虛擬相機的整個視場的部分。相機510A、510B、510C、510D中的每一者、頂點A與反射刻面525A、525B、525C、525D中的對應(yīng)者之間的空間關(guān)系可如上文定義以便減少或消除視差及傾斜偽影。盡管在本文中通常描述為反射鏡棱錐,但在一些實施例中,反射刻面可(例如)通過以下操作而形成具有不同形狀的反射組件:經(jīng)定位成間隔一距離且因此不形成一體化結(jié)構(gòu),或經(jīng)定位在一起以形成具有平坦上表面而非尖頂點的反射組件。如此,頂點A可并非物理點而是表示刻面的平面的交叉點的空間中的點。
其中光軸對準以實現(xiàn)視差減少的其它陣列相機設(shè)計也是可能的,例如,八相機設(shè)計除中央反射鏡棱錐(或其它形狀/結(jié)構(gòu)的中央反射組件)外還使用四個反射鏡或反射刻面。其它數(shù)目個相機及對應(yīng)反射表面是可能的。另外,如上文關(guān)于圖1所論述,在一些實施例中,第二反射表面可經(jīng)定位于圖像傳感器上面或下面以將光從中央反射鏡棱錐反射到傳感器。因此,傳感器可經(jīng)安裝在具有中央反射鏡棱錐520的襯底上,且陣列相機設(shè)計可適應(yīng)具有大于陣列相機的高度的長度的傳感器。
圖5C說明虛擬相機的在中央反射鏡棱錐520上方經(jīng)展示為圓形的視場530的實例。
圖6A到6C說明無視差及傾斜偽影的陣列相機600的實施例。如同上文所描述的四相機設(shè)計500,八相機陣列設(shè)計600包含由相機610A到610H的陣列環(huán)繞的中央反射鏡棱錐620。與上文所描述的四相機設(shè)計500相比,依據(jù)上文關(guān)于圖3A到3C關(guān)于交叉于頂點A的平面所描述的空間關(guān)系的相同原理,此八相機設(shè)計600具有四個額外反射鏡625E、625F、625G、625H及四個對應(yīng)額外相機610E、610F、610G、610H,但與主要反射鏡610A、610B、610C、610D的角度相比,額外反射鏡625E、625F、625G、625H可經(jīng)定位相對于陣列600的垂直軸成不同角度。四個額外反射表面625E、625F、625G、625H可通過將其可使用區(qū)域的切斷部分而經(jīng)塑形使得其不阻礙由原始四個相機捕獲的光線的圓錐體。與四相機設(shè)計相比,額外反射鏡及相機經(jīng)以灰線展示。從透鏡中心到頂點A的距離可針對所有八個相機610A到610H相同。此意欲說明陣列相機的一個實例,且具有不同數(shù)目個相機/反射鏡的其它相機以及其它修改方案是可能的。
圖6C說明虛擬相機的在中央反射鏡棱錐620上方經(jīng)展示為圓形的視場630的實例。與圖5C相比,所說明圓形630展示與四相機陣列500相比八相機陣列600的FOV的增加。多于八相機設(shè)計可用于將視場進一步擴展,但系統(tǒng)的復(fù)雜性成比例地增加。一些實施例可經(jīng)構(gòu)造以實現(xiàn)大約100°的FOV。
IV.實例性所捕獲的圖像的概述
圖7A說明四相機陣列相機的一個傳感器710及反射鏡720的設(shè)計參數(shù)的實例。假定具有真實透鏡所期望的類似結(jié)果的理想透鏡715,相機310B的焦距為大約5mm,孔徑為2.5mm,從A到透鏡715投射中心313B的距離大約為7mm,A處于距基部725大約4mm高度H處(但高度H可基于陣列的總厚度或高度而變化),且α=39.713°。在一些實施方案中,大約4mm的反射鏡高度H的約束可不會由于陣列相機的形狀因數(shù)限制而增加。如所說明,相較在傳感器710常規(guī)經(jīng)定位以光軸730為中心的情況,傳感器710可經(jīng)定位從光軸730偏心以便收集由反射鏡提供的視場的大部分的光。在其它實施例中,傳感器710可經(jīng)定位于不同位置中且處于相對于光軸的不同角度處,且可包含次要光重定向表面以將光重定向到傳感器中。舉例來說,中央反射鏡棱錐的基部725可經(jīng)定位于襯底上(或插入到其中),且傳感器710(及陣列中的所有其它傳感器)可經(jīng)定位于襯底上(或插入到其中)。
圖7B說明以各種角度入射于反射鏡720上的光的例示性光線蹤跡,其中線的數(shù)目對應(yīng)于到達傳感器710的每一角度下的光的相對量。如由各種角度的光線蹤跡中的若干線所說明,與來自內(nèi)角(例如,12度及24度)的光相比,較少來自外角(例如,-6度、0度、36度,及44度)的光到達傳感器710。
圖7C說明由具有圖7A及圖7B中所說明的設(shè)計參數(shù)的四相機陣列相機所捕獲的一組視圖。用四相機陣列捕獲的圖像的簡單線性混合可產(chǎn)生無偽影的高質(zhì)量結(jié)果。如果四相機視場之間的重疊最小化,那么總視場可達88°。在所說明的經(jīng)模擬視圖組中,對象距相機大約50mm,且相機經(jīng)準確地聚焦于對象上。視場之間的重疊區(qū)域中幾乎不存在視差,從而提供優(yōu)于先前陣列相機設(shè)計的圖像拼接的顯著改進。
當(dāng)所有圖像對焦時,對焦對象應(yīng)優(yōu)選地位于(例如)一個平面中的一個距離處。恰當(dāng)對準移除任何視差。當(dāng)?shù)讲煌瑢ο蟮纳疃炔煌瑫r,其可能既非全部對焦又非全部同時對準。即使一個對象在重疊視圖中經(jīng)對準,但不同深度處的某一其它對象可能未經(jīng)對準。
在一些實例中,對焦對象將經(jīng)恰當(dāng)對準,然而,相同場景中的離焦對象的圖像之間可存在不對準。Zemax中的廣泛模擬已展示在此些對象情況下,在來自不同反射鏡的重疊視圖之間存在可見視差。然而,兩個此些圖像的混合為來自較大孔徑的對象的真散焦視圖。來自個別相機的視圖展示部分(不完整)孔徑成像。混合此些個別視圖的結(jié)果為完整孔徑成像。陣列相機從所有部分視圖產(chǎn)生合成孔徑圖像。
在用四相機陣列進行的一個實驗中,在對焦對象在50mm處且相機經(jīng)聚焦在40mm處的情況下,實驗揭示個別視圖之間的重疊區(qū)中的輕微視差。然而,視圖的線性混合仍在最終圖像中產(chǎn)生清晰且不存在重影。
圖8A說明有缺陷的中央反射鏡棱錐800的實施例。陣列相機中所使用的真實反射鏡可能在尖銳邊緣處具有缺陷。圖8A的反射鏡表示用于調(diào)查將棱錐的邊緣805阻擋0.25mm且將頂部810切掉0.5mm的影響的有缺陷的反射鏡(被稱作具有切口的反射鏡棱錐)。關(guān)于圖9A的實例圖像論述經(jīng)阻擋邊緣805及經(jīng)切割頂部810的影響。
圖8B說明有缺陷的中央反射鏡棱錐820的另一實施例。圖8B的反射鏡表示用于調(diào)查經(jīng)阻擋邊緣805以及棱的頂部處的壁815的影響的有缺陷的反射鏡(被稱作具有壁的反射鏡棱錐),壁815具有大約0.5mm的高度,阻擋以一角度入射的某些光線。關(guān)于圖9B的實例圖像論述經(jīng)阻擋邊緣805及經(jīng)阻擋頂部815的影響。
圖9A說明在用理想中央反射鏡棱錐及圖8A的中央反射鏡棱錐所捕獲的圖像之間的差的絕對值的放大的情況下的圖像900。切口對使用如圖8A中所說明的中央反射鏡棱錐所捕獲的圖像的影響為使圖像沿45度對角線暗化且加重圖像的中心中的菱形區(qū)的暗化。
圖9B說明在用理想中央反射鏡棱錐及圖8B的中央反射鏡棱錐所捕獲的圖像之間的差的絕對值的放大的情況下的圖像905。如由差的經(jīng)放大絕對值所說明,壁對使用如圖8B中所說明的中央反射鏡棱錐所捕獲的圖像的影響為在圖像的中心中的黑十字。
盡管真實且有缺陷的反射鏡可在所捕獲的圖像中造成暗化,但此暗化將在由使用有缺陷的反射鏡的陣列所捕獲的所有圖像上不變。因此,在一些實施例中,可使用捕獲后處理技術(shù)來校正由于反射鏡所造成的圖像的已知暗化,例如通過用已知經(jīng)暗化區(qū)的蒙片(mask)來倍增所捕獲的圖像。結(jié)果將看起來似乎所述圖像是由具有尖銳邊緣及尖銳頂點的理想反射鏡捕獲。在其它實施例中,可對反射鏡構(gòu)造提出制造約束以避免暗化偽影,例如,要求反射鏡邊緣為精準且尖銳得比0.25mm更佳。
V.實例性圖像捕獲過程的概述
圖10說明折疊式光學(xué)圖像捕獲過程1000的實施例。過程1000在框1005處開始,其中提供多個成像傳感器。此框可包含:提供上文所論述的陣列配置中的任一者,包含傳感器的數(shù)目及定位。
過程1000接著移動框1010,其中將至少一個反射表面安裝靠近多個成像傳感器中的對應(yīng)者且與其成預(yù)定義的空間關(guān)系。舉例來說,此框可包括:將中央反射鏡棱錐安裝于兩個、四個或八個傳感器的環(huán)繞陣列的中間,其中所述中央反射鏡棱錐包括與陣列中的每一傳感器相關(guān)聯(lián)的表面。如上文所描述,例如通過以下規(guī)定,預(yù)定義的空間關(guān)系可提供基本上無視差及傾斜偽影的陣列相機:由中央反射鏡棱錐的刻面或反射鏡表面形成的所有平面交叉于共點(頂點),每一反射鏡經(jīng)定位相對于陣列的穿過頂點的垂直軸成角度α(但在各種實施例中,不同反射鏡可經(jīng)安裝成不同角度或全部成相同角度),每一反射鏡的對應(yīng)的傳感器經(jīng)定位相對于陣列的穿過頂點的垂直軸成角度2α,且與每一傳感器相關(guān)聯(lián)的透鏡組合件的投射中心經(jīng)定位于距頂點相同距離D處作為其它投射中心的每一者。在一些實施例中,過程1000的框1005及1010可經(jīng)實施為制造基本上無視差及傾斜偽影的陣列相機的方法。
過程1000接著過渡到框1015,其中使包括場景的目標(biāo)圖像的光從至少一個反射表面反射朝向由框1005及1010所制造的陣列相機的成像傳感器。舉例來說,可使光的一部分從多個表面中的每一者反射朝向多個傳感器中的每一者。此可進一步包括:使光穿過與每一傳感器相關(guān)聯(lián)的透鏡組合件,且還可包含將光從第二表面反射到傳感器上???015可進一步包括:使用透鏡組合件或通過反射表面中的任何者的移動來使光聚焦。
過程1000可接著移動到框1020,其中傳感器捕獲目標(biāo)圖像場景的多個圖像。舉例來說,每一傳感器可捕獲對應(yīng)于所述傳感器的視場的場景的部分的圖像。由于構(gòu)造陣列相機中所使用預(yù)定空間關(guān)系,視場可展現(xiàn)幾乎沒有視場及傾斜偽影。同時,多個傳感器的視場至少覆蓋對象空間中的目標(biāo)圖像。
過程1000接著可過渡到框1025,其中執(zhí)行圖像拼接方法以由多個圖像產(chǎn)生單個圖像。在一些實施例中,圖2的圖像拼接模塊240可執(zhí)行此框。此可包含已知圖像拼接技術(shù)。此外,視場中的任何重疊區(qū)域可在多個圖像中產(chǎn)生重疊,其可用于在拼接過程中對準圖像。舉例來說,框925可進一步包含:識別鄰近圖像的重疊區(qū)域中共用特征且使用所述共用特征來對準圖像。在一些實施例中,框1025可包含:補償由中央反射鏡棱錐中的缺陷所造成的已知偽影。
接下來,過程1000過渡到框1030,其中將所拼接圖像裁剪到規(guī)定縱橫比,例如,4:3或1:1。最后,過程在將經(jīng)裁剪圖像存儲(在框1035處)之后結(jié)束。舉例來說,圖像被存儲為圖2的存儲器210中的全分辨率最終圖像,或可被存儲在圖2的工作存儲器205中以顯示為目標(biāo)場景的預(yù)覽圖像。
VI.實施系統(tǒng)及術(shù)語
本文中所揭示的實施方案提供用于無視差及傾斜偽影的多孔徑陣列相機的系統(tǒng)、方法及設(shè)備。所屬領(lǐng)域的技術(shù)人員將認識到,這些實施例可以硬件、軟件、固件或其任何組合實施。
在一些實施例中,上文所論述的電路、進程及系統(tǒng)可用于無線通信裝置。無線通信裝置可為用于與其它電子裝置進行無線通信的一類電子裝置。無線通信裝置的實例包含蜂窩式電話、智能電話、個人數(shù)字助理(PDA)、電子閱讀器、游戲系統(tǒng)、音樂播放器、上網(wǎng)本、無線調(diào)制解調(diào)器、膝上型計算機、平板裝置,等。
無線通信裝置可包含一或多個圖像傳感器、兩個或多于兩個圖像信號處理器、包含用于實施上文所論述的過程的指令或模塊的存儲器。裝置還可具有數(shù)據(jù)、從存儲器加載指令及/或數(shù)據(jù)的處理器、一或多個通信接口、一或多個輸入裝置、一或多個輸出裝置(例如顯示裝置及電源/接口)。無線通信裝置另外可包含發(fā)射器及接收器。發(fā)射器及接收器可共同被稱作收發(fā)器。收發(fā)器可被耦接到一或多個天線用于傳輸及/或接收無線信號。
無線通信裝置可以無線方式連接到另一電子裝置(例如,基站)。無線通信裝置可替代地被稱作移動裝置、移動站、訂戶站、用戶設(shè)備(UE)、遠程站、接入終端、移動終端、終端、用戶終端、訂戶單元,等。無線通信裝置的實例包含膝上型或桌上型計算機、蜂窩式電話、智能電話、無線調(diào)制解調(diào)器、電子閱讀器、平板裝置、游戲系統(tǒng),等。無線通信裝置可根據(jù)一或多個行業(yè)標(biāo)準(例如,第3代合作伙伴計劃(3GPP))操作。因此,一般術(shù)語“無線通信裝置”可包含用根據(jù)行業(yè)標(biāo)準的不同專門語(例如,接入終端、用戶設(shè)備(UE)、遠程終端,等)所描述的無線通信裝置。
本文中所描述的功能可作為一或多個指令被存儲在處理器可讀或計算機可讀媒體上。術(shù)語“計算機可讀媒體”是指可由計算機或處理器存取的任何可用媒體。借由實例而非限制的方式,此媒體可包括RAM、ROM、EEPROM、快閃存儲器、CD-ROM或其它光盤存儲器、磁盤存儲器或其它磁性存儲裝置或者可用于存儲呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所期望程序代碼且可由計算機存取的任一其它媒體。如本文中所使用的磁盤及光盤包含:光盤(CD)、激光光盤、光學(xué)盤片、數(shù)字多功能光盤(DVD)、軟盤及藍光盤,其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù),而光盤借助激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。應(yīng)注意,計算機可讀媒體可為有形的且非易失性。術(shù)語“計算機程序產(chǎn)品”是指結(jié)合可由計算裝置或處理器執(zhí)行、處理或計算的代碼或指令(例如,“程序”)的計算裝置或處理器。如本文中所使用,術(shù)語“代碼”可是指可由計算裝置或處理器執(zhí)行的軟件、指令、代碼或數(shù)據(jù)。
軟件或指令還可經(jīng)由傳輸媒體來傳輸。舉例來說,如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)或例如紅外線、無線電及微波等無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠程源傳輸軟件,那么所述同軸電纜、光纖電纜、雙絞線、DSL或例如紅外線、無線電及微波等無線技術(shù)皆包含于媒體的定義中。
本文中所揭示的方法包括用于實現(xiàn)所描述方法的一或多個步驟或動作。方法步驟及/或動作可彼此互換而不背離權(quán)利要求書的范圍。換句話說,除非所描述的方法的恰當(dāng)操作需要特定次序的步驟或動作,否則具體步驟及/或動作的次序及/或使用可被修改而不脫離權(quán)利要求書的范圍。
應(yīng)注意,術(shù)語“耦接(couple)”、“耦接(coupling)”、“經(jīng)耦接(coupled)”或如本文中所使用的詞語耦接的其它變化形式可指示間接連接或直接連接。舉例來說,如果第一組件“經(jīng)耦接”到第二組件,那么第一組件可為間接連接到第二組件或直接連接到第二組件。如本文中所使用,術(shù)語“多個”指示兩個或多于兩個。舉例來說,多個組件指示兩個或多于兩個組件。
術(shù)語“確定”囊括廣泛各種動作,且因此“確定”可包含運算、計算、處理、導(dǎo)出、調(diào)查、查找(例如,在表、數(shù)據(jù)庫或另一數(shù)據(jù)結(jié)構(gòu)中查找),確定及其類似者。另外,“確定”可包含接收(例如,接收信息)、存取(例如,存取存儲器中的數(shù)據(jù))及其類似者。此外,“確定”可包含解析、選擇、挑選、建立及其類似者。
除非另有明確規(guī)定,否則短語“基于”并不意味著“僅基于”。換句話說,短語“基于”描述“僅基于”及“至少基于”兩者。
在前述描述中,給出具體細節(jié)以提供對實例的透徹理解。然而,所屬領(lǐng)域的技術(shù)人員將理解,可在無這些具體細節(jié)的情況下實踐實例。舉例來說,可以框圖展示電組件/裝置以便不會以不必要細節(jié)模糊實例。在其它例子中,此些組件、其它結(jié)構(gòu)及技術(shù)可經(jīng)詳細展示以進一步解釋實例。
本文中包含標(biāo)題以供參考且輔助定位各種章節(jié)。這些標(biāo)題并不意欲限制關(guān)于其所描述的概念的范圍。此些概念可貫穿整個說明書具有適應(yīng)性。
還應(yīng)注意,實例可經(jīng)描述為過程,其經(jīng)描述為流程表、流程圖、結(jié)構(gòu)圖或框圖。盡管流程表可將操作描述為序列過程,但操作中的許多者可并行或同時執(zhí)行,且可重復(fù)所述過程。另外,可重新布置操作的次序。當(dāng)過程的操作完成時,所述過程終止。過程可對應(yīng)于方法、功能、程序、子例程、子程序等。當(dāng)過程對應(yīng)于軟件功能時,其終止對應(yīng)于將功能返回到調(diào)用功能或主要功能。
所揭示實施方案的先前描述經(jīng)提供以使得所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā)明。對這些實施方案的各種修改對所屬領(lǐng)域的技術(shù)人員將顯而易見,且本文中所定義的一般原理可適用于其它實施方案而不脫離本發(fā)明的精神或范圍。因此,本發(fā)明并不意欲被限制于本文中所展示的實施方案,而意欲賦予其與本文中所揭示的原理及新穎特征一致的最廣泛范圍。