用于同步自動(dòng)白平衡的多相機(jī)裝置和方法
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)一般涉及諸如數(shù)碼相機(jī)的成像設(shè)備，并且更具體涉及用于成像設(shè)備的自動(dòng)白平衡的方法和裝置。
【背景技術(shù)】
[0002]諸如數(shù)碼相機(jī)的成像設(shè)備執(zhí)行自動(dòng)白平衡操作以識(shí)別場(chǎng)景處的光源、對(duì)中性灰對(duì)象的圖像區(qū)域進(jìn)行白平衡、以及校正彩色對(duì)象的圖像區(qū)域的色彩。對(duì)于給定成像設(shè)備，利用校準(zhǔn)來(lái)補(bǔ)償成像系統(tǒng)內(nèi)的部分之間的變化。對(duì)于色彩校準(zhǔn)或白平衡校準(zhǔn)，在已知光源下收集測(cè)量數(shù)據(jù)，使得由成像設(shè)備捕捉到的幀可以與參考點(diǎn)相比較。校準(zhǔn)數(shù)據(jù)可用于進(jìn)行白平衡調(diào)整、色彩渲染調(diào)整或二者。
【附圖說(shuō)明】
[0003]圖1是根據(jù)實(shí)施例的具有多個(gè)相機(jī)單元和自動(dòng)白平衡邏輯的裝置的框圖。
[0004]圖2是根據(jù)實(shí)施例的具有雙相機(jī)圖像信號(hào)處理流水線和自動(dòng)白平衡邏輯的裝置的框圖。
[0005]圖3是根據(jù)各種實(shí)施例的圖示說(shuō)明用于為相機(jī)單元白平衡結(jié)果確定靜態(tài)置信水平的處理的流程圖。
[0006]圖4是根據(jù)各種實(shí)施例的圖示說(shuō)明用于確定具有置信水平的相機(jī)單元白平衡結(jié)果的處理的流程圖。
[0007]圖5是根據(jù)各種實(shí)施例的圖示說(shuō)明用于為多個(gè)相機(jī)確定公共白平衡結(jié)果的處理的流程圖。
[0008]圖6是根據(jù)各種實(shí)施例的圖示說(shuō)明用于為具有更寬視場(chǎng)相機(jī)單元和更窄視場(chǎng)相機(jī)單元的雙相機(jī)裝置確定公共白平衡結(jié)果的處理的流程圖。
【具體實(shí)施方式】
[0009]簡(jiǎn)言之，公開(kāi)的實(shí)施例降低了對(duì)于使用多個(gè)相機(jī)單元而產(chǎn)生的圖像的色彩污點(diǎn)和其他色彩不一致。更具體地，本公開(kāi)提供了用于為由多個(gè)相機(jī)單元所捕捉的多個(gè)圖像幀執(zhí)行自動(dòng)白平衡的裝置和方法。公開(kāi)的裝置和方法實(shí)現(xiàn)在由各種相機(jī)單元所捕捉的每個(gè)幀的白平衡和色彩校正中的一致性，使得可以從這些幀創(chuàng)建合并的圖像。
[0010]—個(gè)公開(kāi)的實(shí)施例提供一種裝置，其包括多個(gè)相機(jī)單元。每個(gè)相機(jī)單元包括鏡頭、能夠檢測(cè)至少三個(gè)色彩的圖像傳感器。該裝置還包括被存儲(chǔ)在非易失、非瞬時(shí)存儲(chǔ)器中的用于每個(gè)相機(jī)單元的相機(jī)單元校準(zhǔn)數(shù)據(jù)。多相機(jī)自動(dòng)白平衡同步邏輯操作耦合到每個(gè)相機(jī)單元且操作用于基于每個(gè)相機(jī)單元的每幀相機(jī)單元白平衡結(jié)果和相機(jī)單元校準(zhǔn)數(shù)據(jù)，為多個(gè)相機(jī)單元確定公共白平衡結(jié)果。多相機(jī)自動(dòng)白平衡同步邏輯提供白平衡和色彩校正給一個(gè)或多個(gè)幀，使得能夠通過(guò)組合每個(gè)相機(jī)單元的幀而獲得合并的幀。
[0011]另一公開(kāi)的裝置包括多個(gè)相機(jī)單元，其中，每個(gè)相機(jī)單元包括鏡頭，操作用于檢測(cè)至少三個(gè)色彩的傳感器和存儲(chǔ)相機(jī)單元校準(zhǔn)數(shù)據(jù)的非易失、非瞬時(shí)存儲(chǔ)器。該裝置還包括至少一個(gè)處理器，其操作用于為所述多個(gè)相機(jī)單元的每個(gè)相機(jī)單元確定相機(jī)單元白平衡結(jié)果，以及多相機(jī)自動(dòng)白平衡同步邏輯，操作耦合到每個(gè)相機(jī)單元和所述至少一個(gè)處理器。多相機(jī)自動(dòng)白平衡同步邏輯操作用于:向每個(gè)相機(jī)單元的所述單元校準(zhǔn)數(shù)據(jù)應(yīng)用置信水平，向用于所述多個(gè)相機(jī)單元的每個(gè)相機(jī)單元的所述相機(jī)單元白平衡結(jié)果應(yīng)用置信水平，以及選擇一個(gè)相機(jī)單元的白平衡結(jié)果，排除任何相機(jī)單元特定的結(jié)果，作為公共白平衡結(jié)果以為所述多個(gè)相機(jī)單元調(diào)整白平衡增益和色彩校正矩陣。
[0012]該裝置可以進(jìn)一步包括用于存儲(chǔ)在非易失、非瞬時(shí)存儲(chǔ)器中的單元校準(zhǔn)數(shù)據(jù)的統(tǒng)計(jì)分布信息，以使得所述多相機(jī)自動(dòng)白平衡同步邏輯操作用于使用用于單元校準(zhǔn)數(shù)據(jù)的所述統(tǒng)計(jì)分布信息向每個(gè)相機(jī)單元的所述單元校準(zhǔn)數(shù)據(jù)應(yīng)用置信水平。所述多相機(jī)自動(dòng)白平衡同步邏輯可以為所述多個(gè)相機(jī)單元的每個(gè)相機(jī)單元選擇白平衡增益校正因子。該至少一個(gè)處理器可以使用用于所述多個(gè)相機(jī)單元的每個(gè)相機(jī)單元的所述白平衡增益校正因子來(lái)調(diào)整多個(gè)白平衡增益確定。
[0013]本公開(kāi)的另一方面是一種方法，包括兩個(gè)步驟:(I)相機(jī)單元自動(dòng)白平衡例程從多個(gè)相機(jī)單元的每個(gè)相機(jī)單元的幀獲得統(tǒng)計(jì)，其中，每個(gè)幀包括至少三個(gè)色彩，基于統(tǒng)計(jì)和用于多個(gè)相機(jī)單元的每個(gè)相機(jī)單元的相機(jī)單元校準(zhǔn)數(shù)據(jù)，確定相機(jī)單元白平衡結(jié)果；(2)多相機(jī)自動(dòng)白平衡同步邏輯從多個(gè)相機(jī)的相機(jī)單元白平衡結(jié)果確定公共白平衡結(jié)果，并且通過(guò)組合在使用所述公共白平衡結(jié)果對(duì)每個(gè)幀進(jìn)行白平衡和色彩校正之后的每個(gè)相機(jī)的幀來(lái)產(chǎn)生合并的幀。
[0014]該方法可以進(jìn)一步包括基于公共白平衡結(jié)果，由多個(gè)圖像處理流水線輸出白平衡后的和色彩校正后的幀。在一些實(shí)施例中，該方法可以包括向每個(gè)相機(jī)單元的相機(jī)單元白平衡結(jié)果分配第一置信水平并且為每個(gè)相機(jī)單元的相機(jī)單元白平衡結(jié)果計(jì)算加權(quán)置信水平。該方法可以進(jìn)一步包括基于由每個(gè)相機(jī)單元在捕捉幀時(shí)所接收的光，為由每個(gè)相機(jī)單元所捕捉的每個(gè)幀確定第二置信水平，并且使用統(tǒng)計(jì)來(lái)為每個(gè)相機(jī)單元的每個(gè)幀執(zhí)行白平衡和色彩校正，以為每個(gè)相機(jī)單元的每個(gè)幀生成具有第二置信水平的相機(jī)單元白平衡結(jié)果O
[0015]在一些實(shí)施例中，該方法可以包括選擇具有最高置信水平的相機(jī)單元白平衡結(jié)果，其中，所述相機(jī)單元白平衡結(jié)果用于多個(gè)相機(jī)單元的第一相機(jī)單元，并且提供公共白平衡結(jié)果給除第一相機(jī)單元以外的每個(gè)其他相機(jī)單元的圖像處理流水線。該方法可以進(jìn)一步包括為每個(gè)相機(jī)單元的相機(jī)單元白平衡結(jié)果計(jì)算加權(quán)置信水平，其中，基于視場(chǎng)或鏡頭光圈增加加權(quán)置信水平。
[0016]在一些實(shí)施例中，該方法可以包括為由每個(gè)相機(jī)單元所捕捉的每個(gè)幀確定圖像的重疊區(qū)域，并且只為每個(gè)幀的重疊區(qū)域收集統(tǒng)計(jì)。該方法可以使用相機(jī)單元的對(duì)準(zhǔn)校準(zhǔn)來(lái)確定用于為每個(gè)幀的重疊區(qū)域獲得統(tǒng)計(jì)的坐標(biāo)。
[0017]現(xiàn)在轉(zhuǎn)到附圖，圖1是根據(jù)實(shí)施例的具有多個(gè)相機(jī)單元和多相機(jī)AWB同步邏輯150的裝置100的框圖。裝置100包括相機(jī)單元的群組110(這里也被稱為“相機(jī)”)，具有相機(jī)單元
I到第η個(gè)相機(jī)單元“N”，每個(gè)都操作耦合到圖像信號(hào)處理流水線170的群組。圖像信號(hào)處理流水線170可以被實(shí)現(xiàn)為在一個(gè)或多個(gè)處理器120上執(zhí)行的軟件(即可執(zhí)行代碼)，或者可以實(shí)現(xiàn)為硬件，或者實(shí)現(xiàn)為硬件和軟件/固件的組合。相機(jī)單元操作用于捕捉和提供圖像幀118給圖像信號(hào)處理流水線170。相機(jī)單元I示出相機(jī)單元110的每個(gè)相機(jī)單元中存在的組件的示例細(xì)節(jié)。如為相機(jī)單元I所示，每個(gè)相機(jī)單元至少包括鏡頭111、能夠檢測(cè)至少三個(gè)色彩的圖像傳感器112以及存儲(chǔ)器115。存儲(chǔ)器115是非易失、非瞬時(shí)存儲(chǔ)器且包含相機(jī)單元校準(zhǔn)數(shù)據(jù)116和金參考校準(zhǔn)數(shù)據(jù)117(這里也被稱為“經(jīng)典”校準(zhǔn)數(shù)據(jù))。相機(jī)單元校準(zhǔn)數(shù)據(jù)116包括相對(duì)于諸如校準(zhǔn)白卡參考的參考而收集的用于相機(jī)單元的白平衡校準(zhǔn)數(shù)據(jù)。一些相機(jī)單元110可以具有相同規(guī)范，但每個(gè)相機(jī)單元可以是唯一的或可以具有一些不同特性。例如，在一些實(shí)施例中，不同相機(jī)單元鏡頭可能具有不同視場(chǎng)(FOV)。在一個(gè)示例實(shí)施例中，第一相機(jī)單元鏡頭可以具有寬FOV且第二相機(jī)鏡頭相對(duì)于第一相機(jī)FOV可以具有窄FOV。
[0018]這里使用的術(shù)語(yǔ)“寬”和“窄”是相對(duì)術(shù)語(yǔ)，其要被解釋為使得相機(jī)之一通過(guò)比較相對(duì)于一些其他相機(jī)呈現(xiàn)出“更寬”或“更窄”F0V。更具體地，這里被描述為具有“窄”FOV的相機(jī)這里被認(rèn)為比多相機(jī)裝置中的另一相機(jī)呈現(xiàn)“更窄” F0V。類似地，這里被描述為具有“寬”FOV的相機(jī)這里被認(rèn)為比多相機(jī)裝置中的另一相機(jī)呈現(xiàn)“更寬” F0V。
[0019]裝置100包括多相機(jī)AWB同步邏輯150，其操作耦合到圖像信號(hào)處理流水線170和相機(jī)單元自動(dòng)白平衡(AWB)例程140。如關(guān)于圖像信號(hào)處理流水線170所討論的，類似于一些實(shí)施例中，多相機(jī)AWB同步邏輯150和/或相機(jī)單元AWB例程140可以被實(shí)現(xiàn)為由一個(gè)或多個(gè)處理器120執(zhí)行的可執(zhí)行指令，或者可以被實(shí)現(xiàn)為硬件，或者作為硬件和軟件/固件的組合。在這些組件中的一個(gè)或多個(gè)被實(shí)現(xiàn)為軟件或者部分被實(shí)現(xiàn)在軟件/固件的實(shí)施例中，可執(zhí)行指令可以被存儲(chǔ)在操作耦合的、非易失、非瞬時(shí)存儲(chǔ)器190中，其可以由一個(gè)或多個(gè)處理器120按需要訪問(wèn)。存儲(chǔ)器190可以如所示操作耦合到一個(gè)或多個(gè)處理器120，可以與其集成，或者可以是操作耦合的存儲(chǔ)器和集成存儲(chǔ)器的某些組合。除了其他之外，存儲(chǔ)器190可以存儲(chǔ)用于運(yùn)行至少一個(gè)操作系統(tǒng)的操作系統(tǒng)可執(zhí)行代碼，以及用于圖像信號(hào)處理流水線170、多相機(jī)AWB同步邏輯150和/或相機(jī)單元AWB例程140的可執(zhí)行代碼。
[0020]相機(jī)單元AWB例程140操作用于從圖像信號(hào)處理流水線170獲得自動(dòng)白平衡統(tǒng)計(jì)171，以及提供單獨(dú)相機(jī)單元白平衡結(jié)果141作為輸出。單獨(dú)相機(jī)單元白平衡結(jié)果141作為輸入，連同每個(gè)相機(jī)的單元校準(zhǔn)數(shù)據(jù)119和為每個(gè)相機(jī)單元的每幀所接收的光113—起，被提供給多相機(jī)AWB同步邏輯150。每幀所接收的光由相機(jī)單元自動(dòng)曝光邏輯130來(lái)提供，該相機(jī)單元自動(dòng)曝光邏輯130操作用于確定由相機(jī)單元的群組110的每個(gè)相機(jī)單元每幀所接收的光。
[0021]多相機(jī)AWB同步邏輯150操作用于確定公共白平衡結(jié)果131，其可以包括，但不限于，場(chǎng)景中公共相關(guān)的色彩溫度、場(chǎng)景中的光源、場(chǎng)景是室內(nèi)還是室外的指示、場(chǎng)景中的低光或非低光的指示、如果相機(jī)單元被設(shè)置為閃光燈開(kāi)啟模式所使用的LED設(shè)置等等。公共白平衡結(jié)果131可以作為輸入被提供給圖像信號(hào)處理流水線170的一個(gè)或多個(gè)組件。
[0022]在一些實(shí)施例中，多相機(jī)AWB同步邏輯150可以與相機(jī)單元AWB例程140集成為單個(gè)集成邏輯組件。相機(jī)單元AWB例程140基于自動(dòng)白平衡統(tǒng)計(jì)171和每個(gè)相機(jī)單元的相機(jī)單元校準(zhǔn)數(shù)據(jù)119來(lái)為每個(gè)相機(jī)單元確定場(chǎng)景中的光源。相機(jī)單元自動(dòng)白平衡例程140輸出相機(jī)單元中的每一個(gè)的相機(jī)單元白平衡結(jié)果141并且將這些結(jié)果提供給操作耦合的多相機(jī)AWB同步邏輯150。除了相機(jī)單元白平衡結(jié)果141之外，多相機(jī)AWB同步邏輯150還從每個(gè)相機(jī)單元接收相機(jī)單元校準(zhǔn)數(shù)據(jù)119和每幀所接收的光數(shù)據(jù)113。每幀所接收的光可以從相機(jī)單元自動(dòng)曝光邏輯130獲得