邊緣保持深度濾波的制作方法
【專利說明】邊緣保持深度濾波
【背景技術(shù)】
[0001] 深度相機用于生成包括多個像素的深度圖像。每一個像素包括可用于估計從相機 到由該像素成像的表面的距離的信息。該距離可以稱為表面的深度。然而，像素信息可能 是有噪聲的或者包括最終導致不太精確的深度估計的缺陷。

【發(fā)明內(nèi)容】

[0002] 提供本
【發(fā)明內(nèi)容】
來以簡化的形式引入以下在【具體實施方式】中進一步描述的概念 的選擇。本
【發(fā)明內(nèi)容】
不意圖標識所要求保護的主題的關(guān)鍵特征或本質(zhì)特征，也不意圖用于 限制所要求保護的主題的范圍。另外，所要求保護的主題不限于解決在本公開的任何部分 中所指出的任何或全部缺點的實現(xiàn)。
[0003] 利用經(jīng)調(diào)制光照光來光照場景，經(jīng)調(diào)制光照光從場景中的表面反射為經(jīng)調(diào)制反射 光。深度相機的多個像素中的每一個接收經(jīng)調(diào)制反射光并且觀察經(jīng)調(diào)制光照光與經(jīng)調(diào)制反 射光之間的相位差。對于多個像素中的每一個，識別該像素的邊緣性，并且根據(jù)該像素的邊 緣性來平滑該像素。
【附圖說明】
[0004] 圖1示出依照本公開的實施例的對深度信息進行濾波的示例方法。
[0005] 圖2示意性地示出對場景進行成像的飛行時間深度相機。
[0006] 圖3示意性地示出飛行時間深度相機的經(jīng)調(diào)制光照與反射光之間的相位差。
[0007] 圖4A示意性地示出在平滑之前的像素組。
[0008] 圖4B示意性地示出在具有邊緣保持的平滑之后的圖4A的像素。
[0009] 圖4C示意性地示出在沒有邊緣保持的平滑之后的圖4A的像素。
[0010] 圖5A示出從飛行時間深度相機的角度來看的圖2的經(jīng)成像的場景。
[0011] 圖5B示出具有邊緣圖重疊的圖5A的場景。
[0012] 圖6A示意性地示出具有合理邊緣的像素的3x3網(wǎng)格。
[0013] 圖6B示意性地示出具有噪聲并且沒有合理邊緣的像素的3x3網(wǎng)格。
[0014] 圖7示意性地示出依照本公開的實施例的計算系統(tǒng)。
【具體實施方式】
[0015] 飛行時間深度相機利用經(jīng)調(diào)制光來光照場景并且然后捕獲經(jīng)反射的經(jīng)調(diào)制光。深 度相機的每一個像素用于查明光照光與經(jīng)反射光之間的相位差。這樣的相位差可以用于計 算從相機到反射經(jīng)調(diào)制光的表面的距離。然而，這樣的經(jīng)計算距離可能受噪聲和/或由深 度相機獲得的相位差中的其它所不期望的像素到像素的變化的不利影響。為了減少由這樣 的噪聲和/或其它變化所造成的潛在的不利效果，本公開描述了對相位差進行濾波。另外， 這樣的平滑被選擇性地應(yīng)用以便保持合理的深度邊緣。特別地，向被認為對具有不同深度 的表面之間的邊界進行成像的那些像素應(yīng)用極少的平滑或不應(yīng)用平滑。
[0016] 圖1示出對深度圖像進行濾波的方法100。在102處，方法100包括利用經(jīng)調(diào)制光 照光來光照場景。經(jīng)調(diào)制光照光可以包括具有多個不同調(diào)制頻率的光。作為一個非限制性 示例，經(jīng)調(diào)制光照光可以包括具有16兆赫茲分量、80兆赫茲分量和120兆赫茲分量的光。
[0017] 例如，圖2示意性地示出利用經(jīng)調(diào)制光照光206來光照場景204的深度相機202。 特別地，深度相機202包括將經(jīng)調(diào)制光照光206照耀在場景204上的光照器208。光照器可 以包括一個或多個發(fā)光二極管、激光器和/或其它光源。經(jīng)調(diào)制光照光206可以是任何合 適的單數(shù)或復數(shù)頻率或頻帶。例如，經(jīng)調(diào)制光照光可以完全處于紅外或近紅外光的一個或 多個帶內(nèi)。
[0018] 轉(zhuǎn)回到圖1，在104處，方法100包括接收經(jīng)調(diào)制反射光。例如，圖2示出接收經(jīng)調(diào) 制反射光210的深度相機202,該經(jīng)調(diào)制反射光210從場景204中的表面反射回到深度相機 202〇
[0019]深度相機202可以包括被配置成接收經(jīng)調(diào)制反射光210的多個像素212。多個像 素212中的每一個可以被配置成針對一個或多個不同的調(diào)制頻率檢測所接收到的反射光 的時變幅度。照此，每一個像素能夠查明到達該像素的反射光的特定調(diào)制。作為一個非限 制性示例，每一個像素可以被配置成在三個不同時間處對經(jīng)調(diào)制光的強度進行采樣，因而 允許確定周期性調(diào)制的相位。另外，每一個像素可以針對不同調(diào)制頻率中的每一個進行這 樣的米樣。
[0020] 轉(zhuǎn)回到圖1，在106處，方法100包括在多個像素中的每一個處觀察經(jīng)調(diào)制光照光 與經(jīng)調(diào)制反射光之間的相位差?？梢葬槍?jīng)調(diào)制光照光的每一個不同的調(diào)制頻率觀察相位 差。作為一個示例，針對每一個像素從深度相機捕獲的數(shù)據(jù)可以表示為：
其中A是經(jīng)調(diào)制幅度并且^1:是相位差。
[0021] 例如，圖3示意性地示出針對一個像素和一個調(diào)制頻率的經(jīng)調(diào)制光照光206'和經(jīng) 調(diào)制反射光210'的理想化圖線302。時間（t)在水平軸上表示，并且幅度（A)在豎直軸上 表示?？梢曰谄ヅ鋵?yīng)光照和反射光的調(diào)制參數(shù)而將輸出光照光206'的時間與檢測到 對應(yīng)反射光210'的時間比較。例如，如果光照光具有周期性的最大值、最小值和/或其它 可識別參數(shù)，這樣的參數(shù)可以在反射光中標識。圖3示出經(jīng)調(diào)制光照光206'的局部最大值 304與經(jīng)調(diào)制反射光210'的對應(yīng)局部最大值306之間的可觀察相位差。雖然圖3示出 相位差可以基于利用最大經(jīng)調(diào)制強度進行光照與觀察到在反射光中的對應(yīng)最大經(jīng)調(diào)制強 度之間的時滯來確定，但是要理解的是，任何合適的信號分析都可以用于確定相位差。類似 地，雖然圖3示出正弦波調(diào)制，但是要理解的是，可以使用任何合適的調(diào)制。
[0022] 所檢測到的相位差可以用于計算從相機到反射光的表面的距離，因為光的環(huán)程飛 行時間與反射表面的距離成比例。照此，可以將表面的深度表述為所檢測到的相位差的函 數(shù)。
[0023] 圖4Α示出對于一個調(diào)制頻率、針對多個像素402的相對相位差的視覺表示。在圖 4Α中，每一個像素的X和y坐標對應(yīng)于該像素相對于其它像素的位置。每一個像素的ζ坐 標對應(yīng)于針對該像素和該調(diào)制頻率所檢測到的相位差。具有較大z坐標的像素具有較大相 位差。在圖4A中未表示出幅度。另外，要理解的是，z坐標表示相位差，其可以用于計算實 際深度，但是其自身不等于深度。
[0024] 轉(zhuǎn)回到圖1，在108處，方法100包括針對多個像素中的每一個而識別該像素針對 該調(diào)制頻率的邊緣性。特定像素的邊緣性是該像素的相對相位差相比于一個或多個相鄰像 素的(多個)相對相位差的度量。與具有類似相位差的其它像素相鄰的像素將具有相對低的 邊緣性。另一方面，與具有明顯不同的相位差的像素相鄰的像素將具有相對高的邊緣性。
[0025]使用圖4A作為示例，像素404具有相對低的邊緣性，因為其具有與其所有相鄰像 素近似相同的相位差（即z坐標)。另一方面，像素406具有相對高的邊緣性，因為其三個相 鄰像素(像素408,像素410和像素412)具有明顯不同的相位差（即z坐標)。
[0026]數(shù)值可以用于表示特定像素的邊緣性。例如，像素相對于一個相鄰像素的押可 以計算如下：
其中#是具有等于針對特定調(diào)制頻率的像素的相位差的角度的矢量，并且是具有 等于針對該特定調(diào)制頻率的相鄰像素的相位差的角度的矢量。
[0027]Ed.gq可以取〇和1之間的任何值。當相鄰像素之間的相位差逼