本公開(kāi)涉及圖像處理裝置、圖像處理方法、記錄介質(zhì)以及程序。

背景技術(shù)：

生成表現(xiàn)到三維對(duì)象物為止的距離的距離圖像的技術(shù)已被提出。例如，存在使用tof(time-of-flight，飛行時(shí)間)方式的測(cè)距裝置來(lái)生成距離圖像的技術(shù)。tof方式的測(cè)距裝置使用紅外光等光源，利用光源發(fā)光時(shí)的相位與從對(duì)象物反射的反射光的相位之間的偏離，測(cè)定從光源到對(duì)象物的距離。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2012-225807號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的技術(shù)問(wèn)題

然而，在上述技術(shù)中，需要進(jìn)一步的改善。

用于解決問(wèn)題的技術(shù)方案

本公開(kāi)的一個(gè)技術(shù)方案所涉及的圖像處理裝置，圖像處理裝置，具備：

發(fā)光部，其對(duì)位于所述圖像處理裝置的拍攝視角內(nèi)的對(duì)象物，在不同的定時(shí)發(fā)出第1光和第2光，所述第1光被以第1發(fā)光量發(fā)出，所述第2光被以第2發(fā)光量發(fā)出；受光傳感器，其接受所述第1光被所述對(duì)象物反射后的第1反射光和所述第2光被所述對(duì)象物反射后的第2反射光，所述第1反射光被以第1曝光時(shí)間來(lái)接受，所述第2反射光被以第2曝光時(shí)間來(lái)接受，所述第1發(fā)光量與所述第2發(fā)光量和所述第1曝光時(shí)間與所述第2曝光時(shí)間的至少某一方不同；以及處理器，所述處理器，算出表示所述第1光與所述第1反射光的相位差的第1相位差，使用所述第1相位差來(lái)生成第1距離圖像，所述第1距離圖像表現(xiàn)從所述圖像處理裝置到所述對(duì)象物的距離，生成第1強(qiáng)度圖像，所述第1強(qiáng)度圖像按所述第1距離圖像的每個(gè)像素表現(xiàn)所述受光傳感器接受到所述第1反射光時(shí)的受光強(qiáng)度，算出表示所述第2光與所述第2反射光的相位差的第2相位差，使用所述第2相位差來(lái)生成第2距離圖像，所述第2距離圖像表現(xiàn)從所述圖像處理裝置到所述對(duì)象物的距離，生成第2強(qiáng)度圖像，所述第2強(qiáng)度圖像按所述第2距離圖像的每個(gè)像素表現(xiàn)所述受光傳感器接受到所述第2反射光時(shí)的受光強(qiáng)度，對(duì)與所述第1強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度和與所述第2強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度進(jìn)行比較，基于所述比較結(jié)果，選擇所述第1距離圖像的各像素和對(duì)應(yīng)的所述第2距離圖像的各像素的某一方，使用各選擇出的像素來(lái)生成合成距離圖像。

此外，這些總括性或具體的技術(shù)方案既可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的cd-rom等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序和記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。

發(fā)明的效果

根據(jù)本公開(kāi)的圖像處理裝置等，能夠?qū)崿F(xiàn)距離精度穩(wěn)定的距離圖像的生成。

附圖說(shuō)明

圖1是表示實(shí)施方式涉及的距離圖像生成裝置的構(gòu)成的框圖。

圖2是由實(shí)施方式涉及的距離圖像生成裝置進(jìn)行的距離圖像生成處理的流程圖。

圖3是表示圖2的距離圖像生成處理中的圖像取得處理的詳細(xì)情況的流程圖。

圖4是表示圖2的距離圖像生成處理中的距離值的有效判定處理的詳細(xì)情況的流程圖。

圖5是表示圖2的距離圖像生成處理中的距離值的選擇處理的詳細(xì)情況的流程圖。

圖6是表示由實(shí)施方式涉及的距離圖像生成裝置取得的距離圖像以及強(qiáng)度圖像的一例的概略圖。

圖7是表示按每個(gè)拍攝幀一邊使發(fā)光量或者曝光時(shí)間發(fā)生變化一邊拍攝到的距離圖像的距離值的有效區(qū)域的一例的概略圖。

圖8是表示由實(shí)施方式涉及的距離圖像生成裝置取得的距離圖像的數(shù)據(jù)構(gòu)造的一例的圖。

圖9是表示由實(shí)施方式涉及的距離圖像生成裝置取得的強(qiáng)度圖像的數(shù)據(jù)構(gòu)造的一例的圖。

圖10是表示由實(shí)施方式涉及的距離圖像生成裝置取得的距離圖像以及強(qiáng)度圖像的數(shù)據(jù)構(gòu)造的一例的圖。

圖11是表示由實(shí)施方式涉及的距離圖像生成裝置生成的合成距離圖像的數(shù)據(jù)構(gòu)造的一例的圖。

標(biāo)號(hào)說(shuō)明

100移動(dòng)體

101移動(dòng)體控制部

102驅(qū)動(dòng)部

110距離圖像生成裝置

111發(fā)光部

112受光傳感器

113運(yùn)算部

114存儲(chǔ)器

115控制部

具體實(shí)施方式

(成為本公開(kāi)的基礎(chǔ)的見(jiàn)解)

采用了tof方式的測(cè)距裝置，利用光源的投射光與投射光被對(duì)象物反射而接受到的反射光之間的相位偏離，測(cè)定從光源到對(duì)象物的距離。例如，在投射光的光量足夠大的情況下，能夠?qū)墓庠吹竭h(yuǎn)處的對(duì)象物的距離高精度地進(jìn)行測(cè)距，但對(duì)于距光源近處的對(duì)象物，反射光的受光量會(huì)飽和，難以準(zhǔn)確地測(cè)定距離。另一方面，如果減少投射光的光量，雖然能夠測(cè)定從光源到近處的對(duì)象物的距離，但對(duì)于遠(yuǎn)處的對(duì)象物卻從反射光得不到足夠測(cè)距的光量，會(huì)導(dǎo)致算出的距離值的精度差。另外，如果光源的光量減少到無(wú)法接受反射光的程度，則測(cè)距變得不可能。如此，由于由光源的光量限定了能夠測(cè)定從光源到對(duì)象物的距離的范圍，因此正在研究對(duì)從光源到遠(yuǎn)處的對(duì)象物的距離和從光源到近處的對(duì)象物的距離分別高精度地進(jìn)行測(cè)距。

例如，專利文獻(xiàn)1所公開(kāi)的距離圖像攝像頭一邊變更曝光設(shè)定，一邊投射紅外光并由圖像傳感器接受紅外光的反射光，由此拍攝距離圖像。距離圖像攝像頭對(duì)各曝光設(shè)定的距離圖像，保存距離圖像的每個(gè)像素的距離數(shù)據(jù)以及受光等級(jí)數(shù)據(jù)。在距離圖像攝像頭中，對(duì)各曝光設(shè)定的距離圖像的各像素，一邊使成為對(duì)象的像素位置依次移動(dòng)、一邊進(jìn)行掃描，算出加權(quán)系數(shù)。進(jìn)而，使用所算出的加權(quán)系數(shù)，對(duì)各像素的距離數(shù)據(jù)進(jìn)行加權(quán)相加。因此，可獲得對(duì)于所有的像素位置而將加權(quán)平均值作為各像素的距離數(shù)據(jù)的距離圖像。由此，距離圖像攝像頭獲得遍及距離圖像的大致整體的距離測(cè)定結(jié)果。

專利文獻(xiàn)1所公開(kāi)的技術(shù)中，對(duì)于在多個(gè)定時(shí)取得的距離圖像，通過(guò)對(duì)各像素進(jìn)行加權(quán)平均處理，實(shí)現(xiàn)到存在于拍攝視角內(nèi)的對(duì)象物為止的距離測(cè)定精度的穩(wěn)定化，由此，在拍攝視角內(nèi)的整個(gè)廣大范圍中取得距離值。然而，在多個(gè)定時(shí)之間圖像傳感器的位置發(fā)生了變化以及存在于拍攝視角內(nèi)的對(duì)象物發(fā)生移動(dòng)等情況下，專利文獻(xiàn)1所公開(kāi)的技術(shù)存在會(huì)輸出含有抖動(dòng)的距離圖像這一問(wèn)題。因此，本公開(kāi)的發(fā)明人為了提高距離圖像生成功能而研究了以下的改善措施。

(1)本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像處理裝置是如下圖像處理裝置，具備：發(fā)光部，其對(duì)位于所述圖像處理裝置的拍攝視角內(nèi)的對(duì)象物，在不同的定時(shí)發(fā)出第1光和第2光，所述第1光被以第1發(fā)光量發(fā)出，所述第2光被以第2發(fā)光量發(fā)出；受光傳感器，其接受所述第1光被所述對(duì)象物反射后的第1反射光和所述第2光被所述對(duì)象物反射后的第2反射光，所述第1反射光被以第1曝光時(shí)間來(lái)接受，所述第2反射光被以第2曝光時(shí)間來(lái)接受，所述第1發(fā)光量與所述第2發(fā)光量和所述第1曝光時(shí)間與所述第2曝光時(shí)間的至少某一方不同；以及處理器，所述處理器，算出表示所述第1光與所述第1反射光的相位差的第1相位差，使用所述第1相位差來(lái)生成第1距離圖像，所述第1距離圖像表現(xiàn)從所述圖像處理裝置到所述對(duì)象物的距離，生成第1強(qiáng)度圖像，所述第1強(qiáng)度圖像按所述第1距離圖像的每個(gè)像素表現(xiàn)所述受光傳感器接受到所述第1反射光時(shí)的受光強(qiáng)度，算出表示所述第2光與所述第2反射光的相位差的第2相位差，使用所述第2相位差來(lái)生成第2距離圖像，所述第2距離圖像表現(xiàn)從所述圖像處理裝置到所述對(duì)象物的距離，生成第2強(qiáng)度圖像，所述第2強(qiáng)度圖像按所述第2距離圖像的每個(gè)像素表現(xiàn)所述受光傳感器接受到所述第2反射光時(shí)的受光強(qiáng)度，對(duì)與所述第1強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度和與所述第2強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度進(jìn)行比較，基于所述比較結(jié)果，選擇所述第1距離圖像的各像素和對(duì)應(yīng)的所述第2距離圖像的各像素的某一方，使用各選擇出的像素來(lái)生成合成距離圖像。

根據(jù)上述技術(shù)方案，從發(fā)光量和曝光時(shí)間的至少一方不同的第1以及第2距離圖像中，基于距離圖像中的各像素的受光強(qiáng)度的值，提取受光強(qiáng)度較大的像素，使用所提取出的像素來(lái)生成合成距離圖像。例如，在距離圖像內(nèi)存在移動(dòng)物體的情況下、或者在距離圖像生成裝置自身一邊進(jìn)行移動(dòng)一邊取得距離圖像的情況下，對(duì)象物的位置在第1距離圖像和第2距離圖像之間發(fā)生移動(dòng)。然而，對(duì)于受光強(qiáng)度更大的像素，由于像素的距離值的精度變高，因此能夠抑制在使用第1距離圖像和第2距離圖像的對(duì)應(yīng)的像素中的受光強(qiáng)度較大的距離圖像的像素而合成的合成距離圖像中含有抖動(dòng)等不清晰的部分。由此，在合成距離圖像中，能得到穩(wěn)定的距離精度。

(2)在上述技術(shù)方案中，也可以：所述處理器，從所述第1距離圖像中提取與所述第1強(qiáng)度圖像中的表示預(yù)定范圍的受光強(qiáng)度的各像素對(duì)應(yīng)的各第1像素，從所述第2距離圖像中提取與所述第2強(qiáng)度圖像中的表示所述預(yù)定范圍的受光強(qiáng)度的各像素對(duì)應(yīng)的各第2像素，對(duì)與所述各第1像素對(duì)應(yīng)的受光強(qiáng)度和與所述各第2像素對(duì)應(yīng)的受光強(qiáng)度進(jìn)行比較，基于所述比較結(jié)果，在所述各第1像素和所述各第2像素都是有效像素的情況下，選擇所述各第1像素和所述各第2像素中的對(duì)應(yīng)的受光強(qiáng)度較大的一方，使用各選擇出的像素來(lái)生成所述合成距離圖像。

根據(jù)上述技術(shù)方案，能抑制使用反射光的受光強(qiáng)度對(duì)于距離圖像的距離值的算出而言不適當(dāng)?shù)南袼厣珊铣删嚯x圖像。

(3)在上述技術(shù)方案中，也可以：所述處理器，基于所述比較結(jié)果，在所述各第1像素和所述各第2像素中僅某一方是有效像素的情況下，使用作為有效像素的所述各第1像素和所述各第2像素的某一方來(lái)生成所述合成距離圖像。

根據(jù)上述技術(shù)方案，由于在第1距離圖像和第2距離圖像之間只有一個(gè)有效像素，因此無(wú)法進(jìn)行受光強(qiáng)度的比較。該情況下，如果不將有效像素適用于合成距離圖像，則有可能會(huì)導(dǎo)致合成距離圖像中的像素的缺損增多。通過(guò)將該一個(gè)有效像素用于合成距離圖像，能抑制因像素的缺損而導(dǎo)致合成距離圖像不清晰。

(4)在上述技術(shù)方案中，所述預(yù)定范圍也可以為第1閾值以上。

根據(jù)上述技術(shù)方案，有效像素與作為下限值的第1閾值以上的受光強(qiáng)度的像素對(duì)應(yīng)。通過(guò)將下限值設(shè)定為例如無(wú)法穩(wěn)定取得距離值那樣小的受光強(qiáng)度等，能抑制合成距離圖像的像素具有不準(zhǔn)確的距離。

(5)在上述技術(shù)方案中，所述預(yù)定范圍也可以為第2閾值以下。

根據(jù)上述技術(shù)方案，有效像素與作為上限值的第2閾值以下的受光強(qiáng)度的像素對(duì)應(yīng)。通過(guò)將上限值設(shè)定為例如反射光閃白那樣的飽和的受光強(qiáng)度等，能抑制合成距離圖像的像素具有不準(zhǔn)確的距離。

(6)在上述技術(shù)方案中，所述預(yù)定范圍也可以為第1閾值以上且第2閾值以下。

根據(jù)上述技術(shù)方案，有效像素與作為下限值的第1閾值以上且作為上限值的第2閾值以下的受光強(qiáng)度的像素對(duì)應(yīng)。由此，能抑制合成距離圖像的像素具有不準(zhǔn)確的距離。

(7)本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像處理方法，包括：對(duì)位于拍攝視角內(nèi)的對(duì)象物，在不同的定時(shí)發(fā)出第1光和第2光，所述第1光被以第1發(fā)光量發(fā)出，所述第2光被以第2發(fā)光量發(fā)出；接受所述第1光被所述對(duì)象物反射后的第1反射光和所述第2光被所述對(duì)象物反射后的第2反射光，所述第1反射光被以第1曝光時(shí)間來(lái)接受，所述第2反射光被以第2曝光時(shí)間來(lái)接受，所述第1發(fā)光量與所述第2發(fā)光量和所述第1曝光時(shí)間與所述第2曝光時(shí)間的至少某一方不同；算出表示所述第1光與所述第1反射光的相位差的第1相位差；使用所述第1相位差來(lái)生成第1距離圖像，所述第1距離圖像表現(xiàn)到所述對(duì)象物的距離；生成第1強(qiáng)度圖像，所述第1強(qiáng)度圖像按所述第1距離圖像的每個(gè)像素表現(xiàn)接受到所述第1反射光時(shí)的受光強(qiáng)度；算出表示所述第2光與所述第2反射光的相位差的第2相位差；使用所述第2相位差來(lái)生成第2距離圖像，所述第2距離圖像表現(xiàn)從所述圖像處理裝置到所述對(duì)象物的距離；生成第2強(qiáng)度圖像，所述第2強(qiáng)度圖像按所述第2距離圖像的每個(gè)像素表現(xiàn)接受到所述第2反射光時(shí)的受光強(qiáng)度；對(duì)與所述第1強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度和與所述第2強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度進(jìn)行比較；基于所述比較結(jié)果，選擇所述第1距離圖像的各像素和對(duì)應(yīng)的所述第2距離圖像的各像素的某一方；使用各選擇出的像素來(lái)生成合成距離圖像。

(8)一種記錄介質(zhì)，是存儲(chǔ)有處理圖像的程序的非瞬時(shí)性的記錄介質(zhì)，所述程序使處理器進(jìn)行如下處理：對(duì)位于拍攝視角內(nèi)的對(duì)象物，在不同的定時(shí)發(fā)出第1光和第2光，所述第1光被以第1發(fā)光量發(fā)出，所述第2光被以第2發(fā)光量發(fā)出；接受所述第1光被所述對(duì)象物反射后的第1反射光和所述第2光被所述對(duì)象物反射后的第2反射光，所述第1反射光被以第1曝光時(shí)間來(lái)接受，所述第2反射光被以第2曝光時(shí)間來(lái)接受，所述第1發(fā)光量與所述第2發(fā)光量和所述第1曝光時(shí)間與所述第2曝光時(shí)間的至少某一方不同；算出表示所述第1光與所述第1反射光的相位差的第1相位差；使用所述第1相位差來(lái)生成第1距離圖像，所述第1距離圖像表現(xiàn)到所述對(duì)象物的距離；生成第1強(qiáng)度圖像，所述第1強(qiáng)度圖像按所述第1距離圖像的每個(gè)像素表現(xiàn)接受到所述第1反射光時(shí)的受光強(qiáng)度；算出表示所述第2光與所述第2反射光的相位差的第2相位差；使用所述第2相位差來(lái)生成第2距離圖像，所述第2距離圖像表現(xiàn)從所述圖像處理裝置到所述對(duì)象物的距離；生成第2強(qiáng)度圖像，所述第2強(qiáng)度圖像按所述第2距離圖像的每個(gè)像素表現(xiàn)接受到所述第2反射光時(shí)的受光強(qiáng)度；對(duì)與所述第1強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度和與所述第2強(qiáng)度圖像的各像素對(duì)應(yīng)的各受光強(qiáng)度進(jìn)行比較；基于所述比較結(jié)果，選擇所述第1距離圖像的各像素和對(duì)應(yīng)的所述第2距離圖像的各像素的某一方；使用各選擇出的像素來(lái)生成合成距離圖像。

此外，這些總括性或具體的技術(shù)方案既可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的cd-rom等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序和記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。

以下，參照附圖對(duì)實(shí)施方式進(jìn)行說(shuō)明。此外，以下說(shuō)明的實(shí)施方式均表示一個(gè)具體例子。以下的實(shí)施方式中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置以及連接形式、步驟以及步驟的順序等是一例，并非限定權(quán)利要求的意思。另外，關(guān)于以下的實(shí)施方式中的構(gòu)成要素中的未記載在表示最上位概念的獨(dú)立權(quán)利要求中的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說(shuō)明。

(實(shí)施方式1)

參照?qǐng)D1，說(shuō)明本公開(kāi)的實(shí)施方式涉及的距離圖像生成裝置110的構(gòu)成。圖1是表示實(shí)施方式涉及的距離圖像生成裝置110的構(gòu)成的框圖。距離圖像生成裝置110對(duì)到拍攝視角內(nèi)的對(duì)象物為止的距離進(jìn)行計(jì)測(cè)，生成反映了該計(jì)測(cè)結(jié)果的距離圖像。在本實(shí)施方式中，距離圖像生成裝置110例如搭載于移動(dòng)體100。距離圖像生成裝置110既可以作為獨(dú)立的裝置搭載于移動(dòng)體100并經(jīng)由接口等連接于移動(dòng)體100，也可以構(gòu)成移動(dòng)體100的一部分。移動(dòng)體100既可以是機(jī)器人等自主進(jìn)行動(dòng)作的裝置，也可以是根據(jù)操作者的操縱、操作等進(jìn)行動(dòng)作的車輛等裝置。

移動(dòng)體100具備距離圖像生成裝置110、移動(dòng)體控制部101以及驅(qū)動(dòng)部102。距離圖像生成裝置110具備發(fā)光部111、受光傳感器112、運(yùn)算部113、存儲(chǔ)器114以及控制部115。在本實(shí)施方式中，距離圖像生成裝置110構(gòu)成被組裝在移動(dòng)體100中的tof攝像頭模塊。此外，tof攝像頭模塊既可以由發(fā)光部111、受光傳感器112、運(yùn)算部113、存儲(chǔ)器114以及控制部115的全部來(lái)構(gòu)成，也可以由發(fā)光部111、受光傳感器112、運(yùn)算部113、存儲(chǔ)器114和控制部115的一部分來(lái)構(gòu)成。

移動(dòng)體100的移動(dòng)體控制部101通過(guò)控制驅(qū)動(dòng)部102，控制移動(dòng)量、移動(dòng)速度以及移動(dòng)方向等移動(dòng)體100的移動(dòng)。移動(dòng)體控制部101將與移動(dòng)體100的移動(dòng)量、移動(dòng)速度以及移動(dòng)方向等有關(guān)的移動(dòng)信息發(fā)送給距離圖像生成裝置110的控制部115。移動(dòng)體控制部101構(gòu)成為從距離圖像生成裝置110接收距離圖像。移動(dòng)體控制部101既可以基于所接收到的距離圖像來(lái)控制移動(dòng)體100的移動(dòng)，例如也可以基于距離圖像和移動(dòng)體100的移動(dòng)信息來(lái)檢測(cè)移動(dòng)體100向周圍物體的接近，避免移動(dòng)體100與物體發(fā)生碰撞。移動(dòng)體100的移動(dòng)信息既可以是為了控制驅(qū)動(dòng)部102而由移動(dòng)體控制部101算出的信息，也可以是由配置于移動(dòng)體100的未圖示的檢測(cè)器檢測(cè)出的信息。

驅(qū)動(dòng)部102基于從移動(dòng)體控制部101接收到的移動(dòng)量、移動(dòng)速度以及移動(dòng)方向等的指示，使移動(dòng)體100進(jìn)行移動(dòng)。例如，在移動(dòng)體100具備車輪的情況下，驅(qū)動(dòng)部102按照所指示的移動(dòng)量、移動(dòng)速度以及移動(dòng)方向等對(duì)車輪進(jìn)行旋轉(zhuǎn)驅(qū)動(dòng)，使移動(dòng)體100進(jìn)行移動(dòng)。驅(qū)動(dòng)部102例如也可以具備電動(dòng)馬達(dá)或電動(dòng)致動(dòng)器等動(dòng)力裝置。

距離圖像生成裝置110的發(fā)光部111是通過(guò)自身的發(fā)光來(lái)向拍攝對(duì)象空間照射投射光的光源。發(fā)光部111例如投射脈沖光等帶有相位的光。作為發(fā)光部111，例如可以采用發(fā)出紅外線的發(fā)光二極管(led：lightemittingdiode)、激光二極管(ld：laserdiode)等，但不限于此，只要是發(fā)出可見(jiàn)光線、紫外線等光的器件，可以使用任何器件。為了確保距離圖像的拍攝范圍，發(fā)光部111所生成的光也可以具有漫射性。發(fā)光部111根據(jù)控制部115的控制進(jìn)行工作。

受光傳感器112與發(fā)光部111的發(fā)光定時(shí)相匹配地進(jìn)行受光。受光傳感器112在受光時(shí)，基于受光傳感器112具有的受光元件所檢測(cè)到的受光強(qiáng)度來(lái)生成強(qiáng)度圖像，一并以像素為單位算出強(qiáng)度圖像。受光傳感器112例如也可以是圖像傳感器。圖像傳感器的例子是cmos(complementarymetal-oxidesemiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器或者ccd(chargecoupleddevice，電荷耦合元件)圖像傳感器。受光傳感器112根據(jù)控制部115的控制進(jìn)行工作。

運(yùn)算部113根據(jù)發(fā)光部111的投射光的信息和受光傳感器112的受光結(jié)果，以像素為單位算出距離值，生成距離圖像。運(yùn)算部113根據(jù)受光傳感器112的受光結(jié)果，也生成強(qiáng)度圖像。運(yùn)算部113也可以從發(fā)光部111或者控制部115等取得投射光的信息，并從受光傳感器112取得受光結(jié)果。另外，運(yùn)算部113使用距離圖像與強(qiáng)度圖像的多個(gè)對(duì)，進(jìn)行合成距離圖像的合成處理。合成距離圖像將對(duì)多個(gè)距離圖像之間對(duì)應(yīng)的像素的多個(gè)距離值進(jìn)行合成而得到的距離值作為合成距離圖像的像素的距離。運(yùn)算部113也可以根據(jù)控制部115的控制進(jìn)行工作。

存儲(chǔ)器114存儲(chǔ)并保管與指定幀相當(dāng)?shù)牧康挠墒芄鈧鞲衅?12算出的距離圖像與強(qiáng)度圖像的多個(gè)對(duì)。保管在存儲(chǔ)器114內(nèi)的距離圖像與強(qiáng)度圖像的多個(gè)對(duì)，在運(yùn)算部113進(jìn)行的合成距離圖像的合成處理中被加以使用。存儲(chǔ)器114構(gòu)成為從發(fā)光部111、受光傳感器112、運(yùn)算部113、控制部115等接收信息并存儲(chǔ)，所存儲(chǔ)的信息被運(yùn)算部113、控制部115等取出。存儲(chǔ)器114例如可以通過(guò)半導(dǎo)體存儲(chǔ)器或者硬盤(pán)驅(qū)動(dòng)器等來(lái)實(shí)現(xiàn)。存儲(chǔ)器114既可以是易失性存儲(chǔ)器也可以是非易失性存儲(chǔ)器。

控制部115控制距離圖像生成裝置110整體的工作。控制部115除了進(jìn)行發(fā)光部111的發(fā)光量以及受光傳感器112的曝光時(shí)間的控制之外，還進(jìn)行發(fā)光部111及受光傳感器112的發(fā)光及受光的定時(shí)的控制。例如，控制部115也可以基于從移動(dòng)體控制部101接收的移動(dòng)體100的移動(dòng)信息，控制發(fā)光部111的發(fā)光量、受光傳感器112的曝光時(shí)間、和發(fā)光及受光的定時(shí)。控制部115也可以將運(yùn)算部113生成的合成距離圖像發(fā)送給移動(dòng)體控制部101。另外，控制部115也可以基于合成距離圖像和移動(dòng)體100的移動(dòng)信息，檢測(cè)移動(dòng)體100向周圍物體的接近，將檢測(cè)信息發(fā)送給移動(dòng)體控制部101。在本實(shí)施方式中，控制部115與移動(dòng)體控制部101分體地設(shè)置，但也可以是移動(dòng)體控制部101兼有控制部115的功能。

移動(dòng)體控制部101、運(yùn)算部113以及控制部115等構(gòu)成要素可以通過(guò)包括cpu(centralprocessingunit，中央處理單元)、ram(randomaccessmemory，隨機(jī)存取存儲(chǔ)器)、rom(read-onlymemory，只讀存儲(chǔ)器)等的計(jì)算機(jī)系統(tǒng)(未圖示)來(lái)構(gòu)成。各構(gòu)成要素的一部分或者全部的功能可以通過(guò)cpu將ram用作工作用存儲(chǔ)器并執(zhí)行rom所記錄的程序來(lái)實(shí)現(xiàn)。另外，各構(gòu)成要素的一部分或者全部的功能也可以通過(guò)專用的硬件電路來(lái)實(shí)現(xiàn)。此外，各構(gòu)成要素既可以由進(jìn)行集中控制的單個(gè)要素構(gòu)成，也可以由相互協(xié)作來(lái)進(jìn)行分散控制的多個(gè)要素構(gòu)成。程序可以作為應(yīng)用通過(guò)經(jīng)由互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)的通信、基于移動(dòng)通信標(biāo)準(zhǔn)的通信等來(lái)提供。

接著，參照?qǐng)D1以及圖2來(lái)說(shuō)明實(shí)施方式涉及的距離圖像生成裝置110的工作。圖2是表示由實(shí)施方式涉及的距離圖像生成裝置110進(jìn)行的距離圖像生成處理的流程的流程圖。

距離圖像生成裝置110的控制部115按照按每個(gè)拍攝幀而變化的拍攝條件，控制發(fā)光部111以及受光傳感器112，進(jìn)行圖像取得處理(s201)?？刂撇?15跨多個(gè)拍攝幀來(lái)進(jìn)行圖像取得處理。拍攝條件由發(fā)光部111的發(fā)光量、受光傳感器112的曝光時(shí)間和移動(dòng)體100的驅(qū)動(dòng)部102的移動(dòng)量、移動(dòng)速度以及移動(dòng)方向等移動(dòng)信息等構(gòu)成?？刂撇?15基于驅(qū)動(dòng)部102的移動(dòng)信息等，設(shè)定發(fā)光部111的發(fā)光量以及受光傳感器112的曝光時(shí)間。該情況下，控制部115按照拍攝條件，變更發(fā)光部111的發(fā)光量和受光傳感器112的曝光時(shí)間的至少一方。

距離圖像生成裝置110通過(guò)圖像取得處理，取得與多個(gè)拍攝幀相當(dāng)?shù)牧康木嚯x圖像與強(qiáng)度圖像的對(duì)。距離圖像與強(qiáng)度圖像的對(duì)的數(shù)量對(duì)應(yīng)于拍攝幀的數(shù)量。在此，距離圖像表示按每個(gè)像素記錄有從距離圖像生成裝置110到位于距離圖像生成裝置110的拍攝視角內(nèi)的對(duì)象物為止的距離的信息的圖像。拍攝視角例如是發(fā)光部111投射光的投射范圍。另外，強(qiáng)度圖像是與所述距離圖像的各像素對(duì)應(yīng)地按強(qiáng)度圖像的各像素記錄有所接受的反射光的強(qiáng)度信息的圖像。強(qiáng)度圖像在距離圖像算出時(shí)被使用。因此，強(qiáng)度圖像優(yōu)選具有與距離圖像相同的像素?cái)?shù)以及像素配置。后面敘述步驟s201中的處理的詳細(xì)情況。

距離圖像生成裝置110針對(duì)所取得的多個(gè)距離圖像的各距離圖像，選擇成為處理對(duì)象的一個(gè)對(duì)象像素(s202)。具體而言，選擇距離圖像上的對(duì)象像素的坐標(biāo)。從多個(gè)距離圖像中選擇的對(duì)象像素是在多個(gè)距離圖像之間對(duì)應(yīng)的像素。例如，多個(gè)距離圖像的對(duì)應(yīng)的對(duì)象像素可以具有相同的坐標(biāo)。或者，在移動(dòng)體100正在移動(dòng)的情況下，也可以考慮距離圖像之間的移動(dòng)體100的移動(dòng)量，為了使對(duì)應(yīng)的各對(duì)象像素在各距離圖像中表示同等的對(duì)象，選擇在距離圖像之間坐標(biāo)被挪動(dòng)了與該移動(dòng)量相當(dāng)?shù)牧亢蟮膶?duì)象像素。后面敘述步驟s202中的處理的詳細(xì)情況。此外，步驟s202以及后述的步驟s203～s207中的處理可以通過(guò)運(yùn)算部113來(lái)進(jìn)行。

距離圖像生成裝置110在與各距離圖像對(duì)應(yīng)的各強(qiáng)度圖像中，參照具有與對(duì)象像素的坐標(biāo)相同坐標(biāo)的像素所表示的光的強(qiáng)度值，判定各距離圖像的對(duì)象像素所表示的距離值是否有效。也就是說(shuō)，距離圖像生成裝置110進(jìn)行各對(duì)象像素的距離值的有效判定處理(s203)。

在距離值的有效判定處理中，基于反射光飽和的可能性的判斷、反射光的強(qiáng)度判斷、反射光的s/n的閾值判定等，判定對(duì)象像素的距離值的有效性。在距離值不是有效、即無(wú)效的情況下，對(duì)對(duì)象像素設(shè)定無(wú)效值。在距離值有效的情況下，該對(duì)象像素的距離值被決定為是有效距離值。此外，反射光的s/n表示反射光中的信號(hào)(s)與噪聲(n)的比例。例如，在對(duì)象像素中，在存在反射光飽和的可能性、反射光的強(qiáng)度為強(qiáng)度閾值以下而過(guò)弱、或者反射光的s/n為閾值以下而噪聲過(guò)多的情況下，判定為對(duì)象像素的距離值無(wú)效。

距離圖像生成裝置110通過(guò)針對(duì)多個(gè)對(duì)象像素的距離值的有效判定處理，判定是否獲得了多個(gè)有效距離值(s204)。在獲得了多個(gè)有效距離值的情況下(s204：是)，距離圖像生成裝置110進(jìn)行從多個(gè)有效距離值中選擇最佳的距離值的距離值選擇處理(s205)。然后，距離圖像生成裝置110將所選擇出的最佳的距離值適用于合成距離圖像的對(duì)象像素的距離值。后面敘述距離值選擇處理的詳細(xì)情況。

另一方面，在未獲得多個(gè)有效距離值的情況下(s204：否)，即，在僅從多個(gè)距離圖像中的一個(gè)距離圖像獲得了對(duì)象像素的有效距離值、或者多個(gè)距離圖像全部都是對(duì)象像素的距離值無(wú)效的情況下，距離圖像生成裝置110唯一地確定對(duì)象像素的距離值(s206)。具體而言，在僅從多個(gè)距離圖像中的一個(gè)距離圖像獲得了對(duì)象像素的有效距離值的情況下，距離圖像生成裝置110將該有效距離值決定為對(duì)象圖像的距離值。所決定的對(duì)象圖像的距離值被適用于后述的通過(guò)使用了距離圖像以及強(qiáng)度圖像的圖像合成而輸出的合成距離圖像中的對(duì)象像素的距離值。另外，在從多個(gè)距離圖像都未獲得對(duì)象像素的有效距離值、全部是無(wú)效值的情況下，距離圖像生成裝置110將對(duì)象像素的距離值決定為無(wú)效值。所決定的對(duì)象像素的無(wú)效值作為無(wú)效值而適用于合成距離圖像的對(duì)象像素的距離值。

從步驟s202到s205/s206為止的一系列處理，以多個(gè)距離圖像中的全部像素為對(duì)象來(lái)執(zhí)行。因此，在接著步驟s205以及s206的步驟s207中，距離圖像生成裝置110判定是否對(duì)多個(gè)距離圖像中的全部像素進(jìn)行了從步驟s202到s205/s206為止的處理。如果對(duì)全部像素都完成了上述處理(s207：是)，則距離圖像生成裝置110結(jié)束距離圖像生成處理。如果存在未進(jìn)行上述處理的像素(s207：否)，則距離圖像生成裝置110進(jìn)入步驟s202，對(duì)未處理的像素進(jìn)行從步驟s202到s205/s206為止的處理。如此，距離圖像生成裝置110依次變更對(duì)象像素并反復(fù)執(zhí)行上述的一系列處理，直到對(duì)多個(gè)距離圖像的全部像素完成一系列處理。然后，完成對(duì)多個(gè)距離圖像的全部像素的一系列處理而得到的各像素的距離值被適用于合成距離圖像的各像素的距離值，其結(jié)果是，形成了合成距離圖像的全部像素。

進(jìn)一步，參照?qǐng)D3，說(shuō)明圖2的距離圖像生成處理中的圖像取得處理(s201)的詳細(xì)內(nèi)容。圖3是表示圖2的距離圖像生成處理中的圖像取得處理的詳細(xì)流程的流程圖。首先，距離圖像生成裝置110的控制部115對(duì)已經(jīng)設(shè)定的距離圖像的拍攝條件進(jìn)行變更(s301)。在此，拍攝條件是指發(fā)光部111的發(fā)光量、受光傳感器112的曝光時(shí)間等。例如，控制部115可以基于移動(dòng)體100的驅(qū)動(dòng)部102的移動(dòng)信息、移動(dòng)體100周圍的亮度等來(lái)變更拍攝條件。

接著，距離圖像生成裝置110的運(yùn)算部113取得通過(guò)發(fā)光部111的發(fā)光而產(chǎn)生的投射光的相位的信息和投射光被對(duì)象物反射而由受光傳感器112接受的反射光的相位的信息，使用所取得的投射光與反射光的相位差來(lái)算出距離圖像(s302)。也就是說(shuō)，運(yùn)算部113通過(guò)tof方式來(lái)測(cè)定距離圖像。在本例中，運(yùn)算部113從發(fā)光部111接收投射光的相位的信息，從受光傳感器112接收反射光的相位的信息。

進(jìn)一步，運(yùn)算部113將所算出的距離圖像和與距離圖像同時(shí)取得的強(qiáng)度圖像保存于存儲(chǔ)器114(s303)。與距離圖像同時(shí)取得的強(qiáng)度圖像表示強(qiáng)度圖像的各像素的受光量的強(qiáng)度，各像素的受光量的強(qiáng)度是在距離圖像的計(jì)算中使用了相位的反射光的強(qiáng)度。

接著，控制部115判定是否取得了預(yù)先設(shè)定的幀數(shù)、即預(yù)先設(shè)定的張數(shù)的距離圖像(s304)?？刂撇?15如果未完成預(yù)先設(shè)定的張數(shù)的距離圖像的拍攝(s304：否)，則進(jìn)入步驟s301，將拍攝條件變更為下一拍攝條件，取得距離圖像以及強(qiáng)度圖像?？刂撇?15如果完成了預(yù)先設(shè)定的張數(shù)的距離圖像的拍攝(s304：是)，則進(jìn)入步驟s202。如此，控制部115反復(fù)測(cè)定距離圖像，直到距離圖像以及強(qiáng)度圖像的數(shù)量達(dá)到預(yù)先設(shè)定的張數(shù)。

接著，參照?qǐng)D4來(lái)說(shuō)明圖2的距離圖像生成處理中的距離值的有效判定處理(s203)的詳細(xì)內(nèi)容。圖4是表示圖2的距離圖像生成處理中的距離值的有效判定處理(s203)的詳細(xì)流程的流程圖。

距離圖像生成裝置110的運(yùn)算部113從保存在存儲(chǔ)器114中的距離圖像與強(qiáng)度圖像的對(duì)中選出一個(gè)對(duì)，讀取在步驟s202中選擇出的對(duì)象像素的距離值以及強(qiáng)度值(s401)。在此，在強(qiáng)度圖像的像素所表示的強(qiáng)度值比一定的值大的情況下，存在受光量飽和的可能性。即，與該像素對(duì)應(yīng)的距離圖像的像素所表示的距離值有可能是無(wú)法信賴的值。另外，在強(qiáng)度圖像的像素所表示的強(qiáng)度值比一定的值小的情況下，使用過(guò)低的受光量的光而取得的距離值有可能會(huì)不穩(wěn)定。

因此，運(yùn)算部113判定強(qiáng)度圖像的對(duì)象像素所表示的強(qiáng)度值是否為預(yù)定范圍內(nèi)的值(s402)。在對(duì)象像素的強(qiáng)度值不是預(yù)定范圍內(nèi)的值的情況下(s402：否)，運(yùn)算部113決定為在距離圖像中對(duì)應(yīng)的對(duì)象像素的距離值不是有效的，將該距離值替換成無(wú)效值(s404)，進(jìn)入步驟s405。在對(duì)象像素的強(qiáng)度值是預(yù)定范圍內(nèi)的值的情況下(s402：是)，運(yùn)算部113決定為對(duì)象像素的距離值有效(s403)，進(jìn)入步驟s405。然后，運(yùn)算部113對(duì)預(yù)先設(shè)定的張數(shù)的距離圖像以及強(qiáng)度圖像，判定是否完成了從步驟s401到s404的處理(s405)。運(yùn)算部113如果完成了對(duì)距離圖像以及強(qiáng)度圖像各自的處理(s405：是)，則進(jìn)入步驟s204，在未完成的情況下(s405：否)，進(jìn)入步驟s401。然后，運(yùn)算部113對(duì)未處理的距離圖像以及強(qiáng)度圖像進(jìn)行從步驟s401到s404的處理。如此，運(yùn)算部113反復(fù)進(jìn)行對(duì)對(duì)象像素的上述一系列處理，直到對(duì)拍攝的設(shè)定張數(shù)的距離圖像以及強(qiáng)度圖像執(zhí)行了上述一系列處理為止。

接著，參照?qǐng)D5來(lái)說(shuō)明圖2的距離圖像生成處理中的距離值的選擇處理(s205)的詳細(xì)內(nèi)容。圖5是表示圖2的距離圖像生成處理中的距離值的選擇處理(s205)的詳細(xì)流程的流程圖。距離圖像生成裝置110的運(yùn)算部113在對(duì)于通過(guò)步驟s202選擇出的對(duì)象像素通過(guò)前述的有效判定處理(s203)從多個(gè)距離圖像中獲得了有效距離值的情況下，執(zhí)行后述的處理。

首先，運(yùn)算部113從距離圖像與強(qiáng)度圖像的多個(gè)對(duì)中選擇第一個(gè)對(duì)(s501)。接著，運(yùn)算部113從所選擇出的距離圖像中讀取對(duì)象像素的距離值dn1，從所選擇出的強(qiáng)度圖像中讀取與對(duì)象像素對(duì)應(yīng)的像素的強(qiáng)度值in1(s502)。進(jìn)一步，運(yùn)算部113使用這些讀取的距離值dn1和強(qiáng)度值in1，判定距離值dn1是否為有效值(s503)。運(yùn)算部113在距離值是有效值的情況下(s503：是)，進(jìn)入步驟s504，在距離值不是有效值的情況下(s503：否)，進(jìn)入步驟s501，選擇其他的距離圖像與強(qiáng)度圖像的對(duì)。

接著，運(yùn)算部113使用距離值dn1和強(qiáng)度值in1，進(jìn)行輸出距離值d以及最大強(qiáng)度值imax的初始化(s504)。也就是說(shuō)，運(yùn)算部113將所讀取的距離值dn1以及強(qiáng)度值in1分別決定為輸出距離值d以及最大強(qiáng)度值imax的初始值。

接著，運(yùn)算部113選擇距離圖像與強(qiáng)度圖像的另一個(gè)對(duì)(s505)。進(jìn)一步，運(yùn)算部113從所選擇出的距離圖像中讀取對(duì)象像素的距離值dnk，從強(qiáng)度圖像中讀取對(duì)應(yīng)的像素的強(qiáng)度值ink(s506)。

進(jìn)一步，運(yùn)算部113判定所讀取的距離值dnk是否為有效值(s507)。運(yùn)算部113在距離值dnk是有效值的情況下(s507：是)，進(jìn)入步驟s508，在距離值dnk不是有效值的情況下(s507：否)，進(jìn)入步驟s510。

在步驟s508中，運(yùn)算部113對(duì)當(dāng)前設(shè)定的最大強(qiáng)度值imax與新取得的強(qiáng)度值ink進(jìn)行比較。在強(qiáng)度值ink比最大強(qiáng)度值imax大的情況下(s508：是)，運(yùn)算部113將輸出距離值d以及最大強(qiáng)度值imax分別更新為新取得的距離值dnk以及強(qiáng)度值ink(s509)。在強(qiáng)度值ink為最大強(qiáng)度值imax以下的情況下(s508：否)，運(yùn)算部113進(jìn)入步驟s510。

在步驟s510中，運(yùn)算部113對(duì)預(yù)先設(shè)定的張數(shù)的距離圖像以及強(qiáng)度圖像，判定是否完成了從步驟s505到s509的處理(s510)。運(yùn)算部113如果完成了對(duì)距離圖像以及強(qiáng)度圖像各自的處理(s510：是)，則進(jìn)入步驟s511，將當(dāng)前設(shè)定的輸出距離值d設(shè)定為對(duì)象像素的最佳的距離值(s511)。運(yùn)算部113在未完成對(duì)距離圖像以及強(qiáng)度圖像各自的處理的情況下(s510：否)，進(jìn)入步驟s505，對(duì)未處理的距離圖像以及強(qiáng)度圖像進(jìn)行從步驟s505到s509的處理。運(yùn)算部113反復(fù)進(jìn)行上述那樣的對(duì)對(duì)象像素的一系列處理，直到對(duì)設(shè)定張數(shù)的距離圖像以及強(qiáng)度圖像執(zhí)行了該一系列處理為止。然后，在完成了設(shè)定張數(shù)的處理之后，運(yùn)算部113如步驟s511那樣，輸出當(dāng)前設(shè)定的輸出距離值d來(lái)作為要輸出的距離圖像的對(duì)象像素的最佳距離值。

接著，說(shuō)明實(shí)施方式涉及的距離圖像生成裝置110取得的距離圖像、強(qiáng)度圖像及合成距離圖像的例子、和距離圖像生成裝置110根據(jù)距離圖像以及強(qiáng)度圖像取得合成距離圖像的例子。圖6是表示由實(shí)施方式涉及的距離圖像生成裝置110取得的距離圖像以及強(qiáng)度圖像的一例的概略圖。

圖6的(a-1)是在發(fā)光部的發(fā)光量或者受光傳感器的曝光時(shí)間比預(yù)定的值小的拍攝條件下測(cè)定到的距離圖像的一例。在本例中，對(duì)象物離受光傳感器越遠(yuǎn)，則以明亮度越低的顏色來(lái)表現(xiàn)。圖6的(a-2)是在發(fā)光部的發(fā)光量或者受光傳感器的曝光時(shí)間比預(yù)定的值小的拍攝條件下測(cè)定到的強(qiáng)度圖像的一例。在本例中，受光量即強(qiáng)度越大的地方，以明亮度越高的顏色來(lái)表現(xiàn)。圖6的(a-3)表示通過(guò)拍攝來(lái)取得圖6的(a-1)以及(a-2)的圖像時(shí)的拍攝環(huán)境的俯視圖。圖中的黑點(diǎn)表示受光傳感器的位置，從受光傳感器擴(kuò)展的扇形區(qū)域表示受光傳感器的拍攝視角，位于扇形區(qū)域內(nèi)的四邊形區(qū)域表示對(duì)象物。另外，表示拍攝視角的扇形區(qū)域內(nèi)的無(wú)色區(qū)域示出獲得成為有效值的距離值的有效區(qū)域，扇形區(qū)域內(nèi)的著色區(qū)域示出距離值為無(wú)效值的無(wú)效區(qū)域。

圖6的(b-1)是在發(fā)光部的發(fā)光量或者受光傳感器的曝光時(shí)間比預(yù)定的值大的拍攝條件下測(cè)定到的距離圖像的一例。在本例中，對(duì)象物離受光傳感器越遠(yuǎn)，則以明亮度越低的顏色來(lái)表現(xiàn)。圖6的(b-2)是在發(fā)光部的發(fā)光量或者受光傳感器的曝光時(shí)間比預(yù)定的值大的拍攝條件下測(cè)定到的強(qiáng)度圖像的一例。在本例中，受光量越大的地方，以明亮度越高的顏色來(lái)表現(xiàn)。圖6的(b-3)表示通過(guò)拍攝來(lái)取得圖6的(b-1)以及(b-2)的圖像時(shí)的拍攝環(huán)境的俯視圖。圖中的黑點(diǎn)表示受光傳感器的位置，從受光傳感器擴(kuò)展的扇形區(qū)域表示受光傳感器的拍攝視角，位于扇形區(qū)域內(nèi)的四邊形區(qū)域表示對(duì)象物。另外，表示拍攝視角的扇形區(qū)域內(nèi)的無(wú)色區(qū)域示出距離值的有效區(qū)域，著色區(qū)域示出距離值的無(wú)效區(qū)域。

如圖6所示，根據(jù)發(fā)光部的發(fā)光量的不同，在距離圖像中，能夠取得距離值的有效值的區(qū)域發(fā)生變化。

圖7是針對(duì)按每個(gè)拍攝幀一邊使發(fā)光部的發(fā)光量或者受光傳感器的曝光時(shí)間變化一邊拍攝到的距離圖像，以與圖6的(a-3)以及(b-3)同樣的方式來(lái)表現(xiàn)距離值的有效區(qū)域的變化的概略圖。

通過(guò)發(fā)光量或者曝光時(shí)間等拍攝條件按每個(gè)拍攝幀發(fā)生變化，從距離圖像獲得距離值的有效值的區(qū)域發(fā)生變化。本例以按每個(gè)拍攝幀使發(fā)光部的發(fā)光量和受光傳感器的曝光時(shí)間的某一方的拍攝條件改變來(lái)進(jìn)行拍攝作為前提。本例示出通過(guò)改變了拍攝條件的幀a和幀b的共2次拍攝來(lái)進(jìn)行距離測(cè)定的情形。此外，在本例中，為了簡(jiǎn)單起見(jiàn)，將拍攝幀數(shù)設(shè)為2個(gè)來(lái)進(jìn)行說(shuō)明，但拍攝幀數(shù)不限于2個(gè)，可以設(shè)定為任意的數(shù)量。另外，圖7所示的例子對(duì)于幀a和幀b的拍攝條件的組合，示出3種類型的組合(a)、(b)以及(c)。

圖7所示的各圖是與圖6的(a-3)以及(b-3)所示的圖同樣的圖，黑點(diǎn)、扇形區(qū)域以及扇形區(qū)域內(nèi)的四邊形區(qū)域分別表示受光傳感器、拍攝視角以及對(duì)象物。扇形區(qū)域內(nèi)部的無(wú)色區(qū)域表示距離值的有效區(qū)域，著色區(qū)域表示距離值的無(wú)效區(qū)域。另外，扇形區(qū)域內(nèi)部的無(wú)色區(qū)域與著色區(qū)域的邊界的虛線表示距離值的有效區(qū)域與無(wú)效區(qū)域的邊界。

圖7的(a)是表示距離值的有效區(qū)域與無(wú)效區(qū)域的邊界對(duì)于幀a和幀b而言一致的情況的圖。此時(shí)，在幀a和幀b的各像素中，具有有效值的像素只存在于一方的幀，因此合成距離值后的合成距離圖像的各像素的距離值由具有有效值的幀所表示的距離值來(lái)唯一決定。

圖7的(b)是表示在幀a和幀b之間沒(méi)有重疊的距離值的有效區(qū)域但卻存在重疊的距離值的無(wú)效區(qū)域的情況的圖。重疊的無(wú)效區(qū)域存在于幀a的有效區(qū)域與無(wú)效區(qū)域的邊界線和幀b的有效區(qū)域與無(wú)效區(qū)域的邊界線之間。某個(gè)幀中的具有距離值的有效值的像素，在合成距離圖像中也具有有效值，而無(wú)論在哪個(gè)幀中距離值都為無(wú)效值的像素在合成距離圖像中也具有無(wú)效值。

圖7的(c)是表示在幀a和幀b之間存在重疊的距離值的有效區(qū)域的情況的圖。關(guān)于某一方的幀中的距離值為無(wú)效值的像素，在合成距離圖像中適用具有有效值的幀的距離值。關(guān)于無(wú)論在哪個(gè)幀中都具有有效值的像素，在合成距離圖像中合成距離值。具體而言，選擇各幀的強(qiáng)度圖像中的對(duì)應(yīng)像素中的強(qiáng)度值高的一方的像素，適用與所選擇出的像素對(duì)應(yīng)的距離圖像的像素的距離值。

圖8是表示由實(shí)施方式涉及的距離圖像生成裝置110取得的距離圖像的數(shù)據(jù)構(gòu)造的一例的圖。本例以按每個(gè)拍攝幀使發(fā)光部的發(fā)光量和受光傳感器的曝光時(shí)間的某一方的拍攝條件改變來(lái)進(jìn)行拍攝作為前提。本例示出通過(guò)改變了拍攝條件的幀a和幀b的共2次拍攝來(lái)進(jìn)行距離測(cè)定的情形。對(duì)于幀a，在發(fā)光量比預(yù)定的值大的狀態(tài)下進(jìn)行拍攝，對(duì)于幀b，在發(fā)光量比預(yù)定的值小的狀態(tài)下進(jìn)行拍攝。

圖8的(a-1)表示幀a的距離圖像例，圖8的(b-1)表示幀b的距離圖像例。圖8的(a-2)和(b-2)分別是將在幀a和b的距離圖像中互相對(duì)應(yīng)的同像素區(qū)域從各距離圖像中切取并放大顯示的圖。所切取出的像素區(qū)域，在被設(shè)定為距離圖像的像素且基于像素?cái)?shù)的xy坐標(biāo)系中相當(dāng)于坐標(biāo)(x，y)從(m，n)到(m+4，n+3)的像素區(qū)域。此外，x坐標(biāo)以及y坐標(biāo)是整數(shù)。

圖8的(a-3)和(b-3)分別是表示圖8的(a-2)和(b-2)的像素區(qū)域內(nèi)的各像素所包含的距離值的表。此外，距離值的單位是米。進(jìn)而，表中的距離值“nan”表示像素的距離值為無(wú)效值。

圖8的(a-4)和(b-4)分別表示圖8的(a-3)和(b-3)的各像素所包含的距離值的存儲(chǔ)圖。如這些存儲(chǔ)圖所示，像素的坐標(biāo)值和各坐標(biāo)所保存的距離值以成對(duì)的方式進(jìn)行組合，例如保存于圖1所示的距離圖像生成裝置的存儲(chǔ)器。

圖9是表示由實(shí)施方式涉及的距離圖像生成裝置110取得的強(qiáng)度圖像的數(shù)據(jù)構(gòu)造的一例的圖。本例以按每個(gè)拍攝幀使發(fā)光部的發(fā)光量和受光傳感器的曝光時(shí)間的某一方的拍攝條件改變來(lái)進(jìn)行拍攝作為前提。本例示出通過(guò)改變了拍攝條件的幀a和幀b的共2次拍攝來(lái)進(jìn)行距離測(cè)定的情形。對(duì)于幀a，在發(fā)光量比預(yù)定的值大的狀態(tài)下進(jìn)行拍攝，對(duì)于幀b，在發(fā)光量比預(yù)定的值小的狀態(tài)下進(jìn)行拍攝。

圖9的(a-1)表示幀a的強(qiáng)度圖像例，圖9的(b-1)表示幀b的強(qiáng)度圖像例。另外，這些強(qiáng)度圖像可以在取得圖8的距離圖像時(shí)同時(shí)獲得。

圖9的(a-2)和(b-2)分別是將在幀a和b的強(qiáng)度圖像中互相對(duì)應(yīng)的同像素區(qū)域從各強(qiáng)度圖像中切取并放大顯示的圖。所切取出的像素區(qū)域，在被設(shè)定為強(qiáng)度圖像中的像素且基于像素?cái)?shù)的xy坐標(biāo)系中相當(dāng)于坐標(biāo)(x，y)從(m，n)到(m+4，n+3)的像素區(qū)域。此外，強(qiáng)度圖像的坐標(biāo)系與距離圖像的坐標(biāo)系相同，強(qiáng)度圖像的x坐標(biāo)以及y坐標(biāo)也是整數(shù)。

圖9的(a-3)和(b-3)分別是表示圖9的(a-2)和(b-2)的像素區(qū)域內(nèi)的各像素所包含的強(qiáng)度值的表。此外，強(qiáng)度值的單位是百分率，強(qiáng)度值表示所接受的反射光相對(duì)于投射光的比例，也稱為反射強(qiáng)度值。

圖9的(a-4)和(b-4)分別表示圖9的(a-3)和(b-3)的各像素所包含的強(qiáng)度值的存儲(chǔ)圖。如這些存儲(chǔ)圖所示，像素的坐標(biāo)值和各坐標(biāo)所保存的強(qiáng)度值以成對(duì)的方式進(jìn)行組合，例如保存于圖1所示的距離圖像生成裝置的存儲(chǔ)器。

圖10是表示由實(shí)施方式涉及的距離圖像生成裝置110取得的距離圖像以及強(qiáng)度圖像的數(shù)據(jù)構(gòu)造的存儲(chǔ)圖。圖10是對(duì)圖8的結(jié)果和圖9的結(jié)果進(jìn)行匯總而得到的。如這些存儲(chǔ)圖所示，按每個(gè)拍攝幀，對(duì)距離圖像和強(qiáng)度圖像的各像素所包含的值進(jìn)行組合，例如保存于圖1所示的距離圖像生成裝置的存儲(chǔ)器。各幀的各像素與其距離值以及反射強(qiáng)度值這兩個(gè)值相關(guān)聯(lián)。例如，距離圖像生成裝置110在用于生成合成距離圖像的幀a和幀b的合成時(shí)，按2個(gè)幀間對(duì)應(yīng)的每個(gè)像素，向存儲(chǔ)器查詢距離值以及反射強(qiáng)度值。

圖11是由實(shí)施方式涉及的距離圖像生成裝置110取得的合成距離圖像的數(shù)據(jù)構(gòu)造的存儲(chǔ)圖。本例示出對(duì)圖10中的幀a和幀b的距離圖像進(jìn)行了合成的結(jié)果的存儲(chǔ)圖。如該存儲(chǔ)圖所示，對(duì)像素的坐標(biāo)值與該像素中的幀a和幀b的距離值的合成距離值進(jìn)行組合，例如保存于圖1所示的距離圖像生成裝置的存儲(chǔ)器。在合成距離圖像生成時(shí)，根據(jù)圖10所示的幀a和幀b之間的各像素的反射強(qiáng)度值的強(qiáng)弱，選擇將哪個(gè)幀的距離值反映于合成距離圖像的各像素。例如，對(duì)于本例所示的坐標(biāo)(m+2，n+2)的像素，距離值在幀a和幀b之間不同。該情況下，采用反射強(qiáng)度強(qiáng)的幀a的距離值，并反映于合成距離圖像的合成距離值。另外，對(duì)于坐標(biāo)(m+3，n+3)的像素，幀a的反射強(qiáng)度值為100％，呈現(xiàn)已飽和的狀態(tài)，將距離值作為“nan”而設(shè)定為無(wú)效值。因此，采用幀b的距離值，并反映于合成距離圖像的合成距離值。如此，在生成合成距離圖像時(shí)，在所拍攝到的多個(gè)幀間，以各像素的反射強(qiáng)度的值為線索，從單個(gè)幀的距離圖像中選擇距離值。針對(duì)所拍攝到的幀的全部像素，通過(guò)進(jìn)行所述步驟而獲得合成距離圖像。

如上所述，根據(jù)實(shí)施方式涉及的距離圖像生成裝置110，從發(fā)光量和曝光時(shí)間的至少一方不同的多個(gè)距離圖像中，基于距離圖像中的各像素的受光強(qiáng)度的值，提取受光強(qiáng)度更大的像素，使用所提取出的像素生成合成距離圖像。例如，在距離圖像內(nèi)存在移動(dòng)物體的情況下、或者在距離圖像生成裝置110自身一邊移動(dòng)一邊取得距離圖像的情況下，對(duì)象物的位置在多個(gè)距離圖像間發(fā)生移動(dòng)。然而，對(duì)于受光強(qiáng)度較大的像素，由于像素的距離值的精度變高，因此，在使用多個(gè)距離圖像的對(duì)應(yīng)的像素中的受光強(qiáng)度更大的距離圖像的像素而合成的合成距離圖像中，能抑制抖動(dòng)等不清晰部分的生成。由此，對(duì)于距離圖像生成裝置110生成的合成距離圖像，能獲得穩(wěn)定的距離精度。

另外，根據(jù)實(shí)施方式涉及的距離圖像生成裝置110，從距離圖像的像素中，提取基于受光強(qiáng)度的有效像素，所提取出的有效像素被用于合成距離圖像的生成。并且，有效像素與預(yù)定范圍內(nèi)的受光強(qiáng)度的像素對(duì)應(yīng)。例如，預(yù)定的范圍既可以是第1閾值以上的受光強(qiáng)度的范圍，也可以是第2閾值以下的受光強(qiáng)度的范圍，還可以是第1閾值以上且第2閾值以下的受光強(qiáng)度的范圍。由此，能抑制使用對(duì)于距離圖像的距離值的計(jì)算而言反射光的受光強(qiáng)度不適當(dāng)?shù)南袼厣珊铣删嚯x圖像。例如，通過(guò)將第1閾值設(shè)定為無(wú)法穩(wěn)定取得距離值那樣小的受光強(qiáng)度等，能抑制合成距離圖像的像素具有不準(zhǔn)確的距離。通過(guò)將第2閾值設(shè)定為例如反射光閃白那樣的飽和的受光強(qiáng)度等，能抑制合成距離圖像的像素具有不準(zhǔn)確的距離。

另外，根據(jù)實(shí)施方式涉及的距離圖像生成裝置110，在多個(gè)距離圖像之間的對(duì)應(yīng)的像素的組合中僅包含一個(gè)有效像素的情況下，與受光強(qiáng)度無(wú)關(guān)地將該一個(gè)有效像素用于合成距離圖像。例如，在多個(gè)距離圖像之間僅有一個(gè)有效像素的情況下，由于無(wú)法進(jìn)行受光強(qiáng)度的比較，如果不將有效像素適用于合成距離圖像，則有可能會(huì)導(dǎo)致合成距離圖像中的像素的缺損增多。然而，通過(guò)將該一個(gè)有效像素用于合成距離圖像，能抑制因像素的缺損而導(dǎo)致合成距離圖像不清晰。

(其他實(shí)施方式)

以上，基于實(shí)施方式對(duì)一個(gè)或多個(gè)技術(shù)方案涉及的距離圖像生成裝置進(jìn)行了說(shuō)明，但本公開(kāi)并不限定于該實(shí)施方式。在不脫離本公開(kāi)的主旨的范圍內(nèi)，在本實(shí)施方式中實(shí)施本領(lǐng)域技術(shù)人員能想到的各種變形而得到的方案、或組合不同實(shí)施方式中的構(gòu)成要素而構(gòu)成的方案，也可以包含在一個(gè)或多個(gè)技術(shù)方案的范圍內(nèi)。

本公開(kāi)的總括性或具體的技術(shù)方案既可以通過(guò)裝置、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的cd-rom等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)裝置、方法、集成電路、計(jì)算機(jī)程序和記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。

例如，本公開(kāi)涉及的距離圖像生成裝置的各構(gòu)成要素也可以由專用的硬件構(gòu)成、或通過(guò)執(zhí)行適于各構(gòu)成要素的軟件程序來(lái)實(shí)現(xiàn)。各構(gòu)成要素也可以通過(guò)cpu或處理器等程序執(zhí)行部將記錄在硬盤(pán)或半導(dǎo)體存儲(chǔ)器等記錄介質(zhì)中的軟件程序讀出并執(zhí)行來(lái)實(shí)現(xiàn)。此外，各構(gòu)成要素既可以由進(jìn)行集中控制的單獨(dú)的要素來(lái)構(gòu)成，也可以由相互合作進(jìn)行分散控制的多個(gè)要素來(lái)構(gòu)成。

另外，距離圖像生成裝置的各構(gòu)成要素也可以是lsi(largescaleintegration：大規(guī)模集成電路)、系統(tǒng)lsi等電路。多個(gè)構(gòu)成要素既可以作為整體而構(gòu)成一個(gè)電路，也可以分別構(gòu)成不同的電路。另外，電路分別既可以通用的電路，也可以是專用的電路。

系統(tǒng)lsi是將多個(gè)構(gòu)成部集成在一個(gè)芯片上而制造出的超多功能lsi，具體而言，是包括微處理器、rom、ram等而構(gòu)成的計(jì)算機(jī)系統(tǒng)。在ram中存儲(chǔ)有計(jì)算機(jī)程序。通過(guò)微處理器按照計(jì)算機(jī)程序進(jìn)行工作，系統(tǒng)lsi實(shí)現(xiàn)其功能。系統(tǒng)lsi以及l(fā)si既可以是能夠在lsi制造后進(jìn)行編程的fpga(fieldprogrammablegatearray，現(xiàn)場(chǎng)可編程門(mén)陣列)，也可以是能夠?qū)si內(nèi)部的電路單元的連接以及設(shè)定進(jìn)行重構(gòu)的可重構(gòu)處理器(reconfigurableprocessor)。

另外，距離圖像生成裝置的各構(gòu)成要素的一部分或者全部也可以由能夠裝卸的ic卡或者單個(gè)模塊來(lái)構(gòu)成。ic卡或模塊是由微處理器、rom、ram等構(gòu)成的計(jì)算機(jī)系統(tǒng)。ic卡或模塊也可以包括上述的lsi或者系統(tǒng)lsi。通過(guò)微處理器按照計(jì)算機(jī)程序進(jìn)行工作，ic卡或模塊實(shí)現(xiàn)其功能。這些ic卡以及模塊也可以具有抗篡改性。

另外，本公開(kāi)涉及的距離圖像生成方法也可以通過(guò)mpu、cpu、處理器、lsi等電路、ic卡或單個(gè)模塊等來(lái)實(shí)現(xiàn)。在此，上述距離圖像生成方法如下。

即，距離圖像生成方法是生成表示與對(duì)象物的距離的距離圖像的距離圖像生成方法，包括：(a1)對(duì)位于拍攝視角內(nèi)的對(duì)象物，在不同的定時(shí)發(fā)出發(fā)光量和曝光時(shí)間的至少一方互不相同的第1光和第2光，(a2)接受所述第1光被所述對(duì)象物反射后的第1反射光和所述第2光被所述對(duì)象物反射后的第2反射光，(a3)算出所述第1光與所述第1反射光的相位差，生成表現(xiàn)到所述對(duì)象物的距離的第1距離圖像，(a4)生成按所述第1距離圖像的每個(gè)像素表現(xiàn)所述第1反射光的受光強(qiáng)度的第1受光強(qiáng)度圖像，(a5)算出所述第2光與所述第2反射光的相位差，生成表現(xiàn)到所述對(duì)象物的距離的第2距離圖像，(a6)生成按所述第2距離圖像的每個(gè)像素表現(xiàn)所述第2反射光的受光強(qiáng)度的第2受光強(qiáng)度圖像，(a7)使用所述第1受光強(qiáng)度圖像以及所述第2受光強(qiáng)度圖像，對(duì)所述第1距離圖像和所述第2距離圖像進(jìn)行合成，生成合成距離圖像，在所述合成距離圖像的生成中，從所述第1距離圖像以及所述第2距離圖像中提取與所述第1受光強(qiáng)度圖像和所述第2受光強(qiáng)度圖像之間的對(duì)應(yīng)的像素中的表示較大的受光強(qiáng)度的像素對(duì)應(yīng)的所述距離圖像的像素，將所提取出的像素用于所述合成距離圖像。

另外，本公開(kāi)涉及的距離圖像生成裝置以及距離圖像生成方法中的處理也可以通過(guò)軟件程序或者由軟件程序形成的數(shù)字信號(hào)來(lái)實(shí)現(xiàn)。此外，上述程序以及由上述程序形成的數(shù)字信號(hào)也可以記錄于計(jì)算機(jī)可讀取的記錄介質(zhì)、例如軟盤(pán)、硬盤(pán)、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注冊(cè)商標(biāo))disc)、半導(dǎo)體存儲(chǔ)器等。另外，上述程序以及由上述程序形成的數(shù)字信號(hào)也可以經(jīng)由電通信線路、無(wú)線或有線通信線路、以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)、數(shù)據(jù)播放等進(jìn)行傳輸。另外，上述程序以及由上述程序形成的數(shù)字信號(hào)也可以通過(guò)記錄在記錄介質(zhì)中進(jìn)行移送、或者通過(guò)經(jīng)由網(wǎng)絡(luò)等進(jìn)行移送，由此通過(guò)獨(dú)立的其他計(jì)算機(jī)系統(tǒng)來(lái)實(shí)施。在此，上述軟件是如下的程序。

即，該程序是使計(jì)算機(jī)執(zhí)行的程序，(b1)取得在不同的定時(shí)對(duì)位于拍攝視角內(nèi)的對(duì)象物發(fā)出的第1光以及第2光的信息，在此，對(duì)于所述第1光和所述第2光，發(fā)光量和曝光時(shí)間的至少一方互不相同，(b2)取得所述第1光被所述對(duì)象物反射后的第1反射光的受光信息和所述第2光被所述對(duì)象物反射后的第2反射光的受光信息，(b3)算出所述第1光與所述第1反射光的相位差，生成表現(xiàn)到所述對(duì)象物的距離的第1距離圖像，(b4)生成按所述第1距離圖像的每個(gè)像素表現(xiàn)所述第1反射光的受光強(qiáng)度的第1受光強(qiáng)度圖像，(b5)算出所述第2光與所述第2反射光的相位差，生成表現(xiàn)到所述對(duì)象物的距離的第2距離圖像，(b6)生成按所述第2距離圖像的每個(gè)像素表現(xiàn)所述第2反射光的受光強(qiáng)度的第2受光強(qiáng)度圖像，(b7)使用所述第1受光強(qiáng)度圖像以及所述第2受光強(qiáng)度圖像，對(duì)所述第1距離圖像和所述第2距離圖像進(jìn)行合成，生成合成距離圖像，在所述合成距離圖像的生成中，從所述第1距離圖像以及所述第2距離圖像中提取與所述第1受光強(qiáng)度圖像和所述第2受光強(qiáng)度圖像之間的對(duì)應(yīng)的像素中的表示較大的受光強(qiáng)度的像素對(duì)應(yīng)的距離圖像的像素，將所提取出的像素用于所述合成距離圖像。