專利名稱：用于構(gòu)建色彩和深度圖像的成像器的制作方法
用于構(gòu)建色彩和深度圖像的成像器背景相機可用于捕捉場景的靜止圖像。快速連續(xù)拍攝的若干靜止圖像可用于生成包括多個幀的電影，每一幀對應(yīng)于不同的靜止圖像。盡管這樣的圖像在各種不同的應(yīng)用中是非常有用的，但這樣的圖像并非很好地適于某些目的。具體而言，常規(guī)的靜止圖像和電影不提供足以準確地評估在場景中所捕捉的各種表面的相對深度的信息。概述公開了用于對可見光所照明的場景進行成像的雙模成像器。該雙模成像器包括被配置成投影可從中過濾可見光的結(jié)構(gòu)化照明的光源。該雙模成像器還包括被配置成捕捉來自場景的結(jié)構(gòu)化照明和可見光兩者的檢測器。時間或空間過濾器用于選擇性地阻塞可見光使其不到達檢測器的一個或多個部分，而使結(jié)構(gòu)化照明通過使其到達檢測器的該一個或多個部分?！ぬ峁┍靖攀鲆员阋院喕问浇榻B將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識出所要求保護的主題的關(guān)鍵或必要特征，也不旨在用于限定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中提及的任何或所有缺點的實現(xiàn)。附圖
簡述圖I示出了可被處理用于構(gòu)建色彩圖像和深度圖像的示例場景。圖2示意性地示出了根據(jù)本公開的一實施例的示例雙模成像器。圖3示意性地示出了根據(jù)本公開的一實施例的示例轉(zhuǎn)輪過濾器。圖4示意性地示出了其中圖3的轉(zhuǎn)輪過濾器正與檢測器協(xié)作以構(gòu)建色彩圖像和深度圖像的時間序列。圖5示意性地示出了與檢測器協(xié)作以構(gòu)建色彩圖像和深度圖像的示例空間過濾器。圖6示出了使用共享圖像傳感器來構(gòu)建色彩圖像和深度圖像的示例方法。圖7示意性地示出了能夠使用共享圖像傳感器來構(gòu)建色彩圖像和深度圖像的示例計算系統(tǒng)。詳細描述公開了能夠使用共享圖像傳感器來處理深度信息和色彩信息的雙模成像器。數(shù)字雙模成像器在時間和/或空間上過濾遞送給圖像傳感器(即，檢測器)的光，使得像素的子集在時間的子集被暴露于第一參數(shù)(例如，波長帶)所表征的光，且使得像素的相同或不同子集在時間的相同或不同子集被暴露于與第一參數(shù)不同的第二參數(shù)(例如，不同的波長帶)所表征的光。以此方式，第一參數(shù)所表征的光可用于構(gòu)建色彩圖像，而第二參數(shù)所表征的光可用于構(gòu)建深度圖像。這兩種圖像都可使用相同的圖像傳感器來構(gòu)建一例如，通過使用所有的像素來在讀取色彩信息與深度信息之間進行時間上的交替，或通過使用所選擇的像素來讀取色彩信息而使用其他像素來讀取深度信息。使用共享圖像傳感器對色彩圖像和深度圖像的創(chuàng)建在下文作為示例并參考某些所示實施例來描述。將注意到包括在本說明書中的附圖是示意性的。所示實施例的視圖一般不按比例繪制。縱橫比、特征大小以及特征數(shù)量可以有目的地失真，以使所選擇的特征或
關(guān)系更容易理解。圖I示出了可被處理用于構(gòu)建色彩圖像和深度圖像的示例場景10的簡化透視圖。場景包括以不同深度(即，自位于場景前面的觀察者的觀點的距離)來安排的各個對象和表面。表面12在場景中是最深的(距觀察者的觀點最遠)。表面14被安排在表面12的前面(距觀察者的觀點較近)，且表面16、18和20被安排在表面14的前面。由此，當前考慮的表面是宏表面，具有與場景維度相同數(shù)量級的維度。然而，將注意到，此處公開的系統(tǒng)和方法不限于這樣的表面，而是也將允許檢查結(jié)構(gòu)化宏表面的小得多的區(qū)域，例如，詢問粗糙或不規(guī)則的拓撲結(jié)構(gòu)等。此外，盡管圖I示出了靜止場景，但此處描述的概念可用于對動態(tài)場景(諸如包括一個或多個移動的人或?qū)ο蟮膱鼍?成像。除了被安排在場景內(nèi)的不同深度以外，圖I中示出的各個表面相對于彼此和觀察者被不同地定向。表面12和14被定向為與觀察者視線呈法向，而表面16對于觀察者視線 是傾斜的。此外，彎曲表面18和20呈現(xiàn)相對于觀察者視線的連續(xù)定向范圍。圖I中示出的表面也可呈現(xiàn)不同的紋理。例如，表面20相比于底層表面18可以是相對平滑的。光學(xué)上，場景的不同紋理可展示不同的光反射性質(zhì)。例如，表面20可以是很大程度上鏡面反射的，而表面18可以是很大程度上散射的。最終，場景中的各個對象可以是不同色彩。盡管黑線和白線繪圖被用于示意性地描繪場景10，但本領(lǐng)域中的技術(shù)人員將理解，各個表面的光吸收和光反射性質(zhì)可以彼此不同，且由此各個表面的色彩可以彼此不同。在某些應(yīng)用中，僅處理來自場景的色彩信息以形成該場景的色彩圖像(例如，數(shù)碼照片或數(shù)字電影)。在其他應(yīng)用中，僅處理來自場景的深度信息以形成深度圖像。如此處描述的，處理色彩信息和深度信息兩者，使得可形成色彩圖像和深度圖像。代替使用兩個分開的相機——一個相機用于生成色彩圖像而另一個相機用于生成深度圖像——本發(fā)明涉及生成兩種圖像的單個雙模成像器。圖2示出了場景10的橫截平面視圖。在一個示例實施例中，該圖還示出了雙模成像器22。該雙模成像器是用于對場景成像的光學(xué)系統(tǒng)；它包括控制器23、光源24、檢測器26和過濾器28?？刂破?3可以是被配置成控制光源24、檢測器26、和/或過濾器28的任何控制設(shè)備——例如，用于觸發(fā)、協(xié)調(diào)、和/或同步這些組件的運作?？刂破骺砂ㄈ缦挛拿枋龅倪壿嬜酉到y(tǒng)和/或數(shù)據(jù)保持子系統(tǒng)。在某些實施例中，控制器可包括深度分析器。在其他實施例中，深度分析器可在操作上與控制器通信，但本身可以是一分開的系統(tǒng)。控制器可協(xié)調(diào)過濾器和檢測器的定時，使得由檢測器捕捉的圖像在過濾器正阻塞來自檢測器的可見光時被排序以構(gòu)建深度圖像。控制器還可協(xié)調(diào)過濾器和檢測器的定時，使得由檢測器捕捉的圖像在過濾器正使可見光通過使其到達檢測器時被排序以構(gòu)建色彩圖像。深度分析器隨后可基于由檢測器捕捉的結(jié)構(gòu)化照明的一個或多個圖像(即，在過濾器正阻塞可見光不使其到達檢測器時，由檢測器捕捉的一個或多個圖像)，來構(gòu)建深度圖像。這在下面將更詳細地描述。光源24可以是被配置成將可過濾照明投影到場景10的各個表面上的任何合適的光源。具體而言，光源24被配置成投影具有與可見光的對應(yīng)特征不同的一個或多個特征的光，由此允許相對于投影光來過濾可見光(例如，可經(jīng)由波長和/或偏振狀態(tài)來過濾)。在圖2中示出的實施例中，光源包括激光器30和分散器32。激光器可提供具有已知偏振狀態(tài)并且密集、經(jīng)校準的、相干的且基本上單色的光束。如此處使用的術(shù)語‘偏振狀態(tài)’包含在光傳播時光振蕩的方向或指向或這一方向的旋轉(zhuǎn)的任何非尋常指示；指示可以是準確的或近似的、完全的或不完全的。完全偏振狀態(tài)的一個示例是包括Sd、S1^ S2和S3分量的完全Stokes矢量表示,這些分量被定義為S0 = I Ex 12+ I Ey 12S1 = I Ex 12_ I Ey 12S2 = IeJ2-IeJ2S1 = Ie1I2-IeJ2,其中，E1和E2是基(U)中電場的復(fù)雜振幅分量，(i,另是標準笛卡爾基，(式 )是旋轉(zhuǎn)45°的笛卡爾基，而( ,O是被定義成使得 = (x + iy)l4l的圓周基。不完全偏振狀態(tài)的示例是由下式定義的偏振度P :
權(quán)利要求
1.一種用于對由可見光照明的場景進行成像的雙模成像器，所述雙模成像器包括 光源，被配置成將從其中可過濾可見光的結(jié)構(gòu)化照明投影到所述場景上； 檢測器，被配置成捕捉來自所述場景的結(jié)構(gòu)化照明和可見光兩者；以及 過濾器，用于選擇性地阻塞可見光使其不到達所述檢測器的一個或多個部分而使所述結(jié)構(gòu)化照明通過使其到達所述檢測器的該一個或多個部分。
2.如權(quán)利要求I所述的雙模成像器，其特征在于，所述過濾器包括時間過濾器，所述時間過濾器被配置成在阻塞可見光使其不到達所述檢測器與使可見光通過使其到達所述檢測器之間進行時間上的交替。
3.如權(quán)利要求2所述的雙模成像器，其特征在于，所述過濾器包括轉(zhuǎn)輪過濾器，所述轉(zhuǎn)輪過濾器包括被配置成阻塞可見光的一個或多個部分以及被配置成使可見光通過的一個或多個部分。
4.如權(quán)利要求3所述的雙模成像器，其特征在于，所述轉(zhuǎn)輪過濾器被配置成對于近似一半的旋轉(zhuǎn)阻塞可見光，而對于近似一半的該旋轉(zhuǎn)使可見光通過。
5.如權(quán)利要求2所述的雙模成像器，其特征在于，還包括控制器，所述控制器用于協(xié)調(diào)所述時間過濾器和所述檢測器，使得在所述時間過濾器正阻塞可見光使其不到達所述檢測器時由所述檢測器捕捉到的圖像被排序以構(gòu)建深度圖像；并且使得在所述時間過濾器正使可見光通過使其到達所述檢測器時由所述檢測器捕捉到的圖像被排序以構(gòu)建色彩圖像。
6.如權(quán)利要求5所述的雙模成像器，其特征在于，所述時間過濾器包括偏振器和光彈性調(diào)制器，用于在阻塞可見光使其不到達所述檢測器與使可見光通過使其到達所述檢測器之間進行時間上的交替，而無需移動各部分。
7.如權(quán)利要求I所述的雙模成像器，其特征在于，所述過濾器包括空間過濾器，所述空間過濾器被配置成阻塞可見光使其不到達所述檢測器的某些部分而允許可見光通過使其到達所述檢測器的其他部分。
8.如權(quán)利要求7所述的雙模成像器，其特征在于，所述檢測器包括多個空間上交替的像素組，且所述空間過濾器被配置成阻塞可見光使其不到達所述多個空間上交替的像素組中每隔一個的像素組。
9.如權(quán)利要求8所述的雙模成像器，其特征在于，所述多個空間上交替的像素組是空間上交替的像素行。
10.如權(quán)利要求7所述的雙模成像器，其特征在于，所述空間過濾器包括偏振器、波長敏感的色彩旋轉(zhuǎn)器、以及具有空間變化的偏振方向的圖案化偏振器。
11.如權(quán)利要求I所述的雙模成像器，其特征在于，所述檢測器包括互補金屬氧化物半導(dǎo)體。
12.如權(quán)利要求I所述的雙模成像器，其特征在于，所述光源包括具有近紅外發(fā)射激光波長的激光器。
13.如權(quán)利要求12所述的雙模成像器，其特征在于，所述光源包括分散器，所述分散器被配置成將來自所述激光器的經(jīng)校準的束分散在投影角范圍中，以便用具有近紅外波長的多個空間上分開的光特征來照明所述場景。
14.如權(quán)利要求I所述的雙模成像器，其特征在于，還包括深度分析器，所述深度分析器被配置成基于由所述檢測器捕捉到的結(jié)構(gòu)化照明的一個或多個圖像來構(gòu)建深度圖像。
15.一種構(gòu)建色彩圖像和深度圖像的方法，所述方法包括 將具有近紅外波長的結(jié)構(gòu)化照明投影在場景上； 在阻塞來自所述場景的可見光使其不到達檢測器與使來自所述場景的可見光通過使其到達所述檢測器之間進行時間上的交替； 在阻塞來自所述場景的可見光時，用所述檢測器來捕捉所述結(jié)構(gòu)化照明； 在使來自所述場景的可見光通過時，用所述檢測器來捕捉可見光； 基于用所述檢測器捕捉到的結(jié)構(gòu)化照明來生成所述深度圖像；以及 基于用所述檢測器捕捉到的可見光來生成所述色彩圖像。
全文摘要
雙模包括被配置成投影可從中過濾出可見光的結(jié)構(gòu)化照明的光源。雙模成像器還包括被配置成捕捉來自場景的結(jié)構(gòu)化照明和可見光兩者的檢測器。時間或空間過濾器用于選擇性地阻塞可見光使其不到達檢測器的一個或多個部分，而使結(jié)構(gòu)化照明通過使其到達檢測器的該一個或多個部分。
文檔編號H04N5/225GK102812697SQ201080043779
公開日2012年12月5日 申請日期2010年9月1日 優(yōu)先權(quán)日2009年10月1日
發(fā)明者S·麥克爾道尼, E·吉埃默 申請人:微軟公司