立體照相機裝置和計算機可讀記錄介質的制作方法
【專利摘要】一種立體照相機裝置，配備有：一對照相機；第一轉換部，用于將照相機的所拍攝圖像轉換成第一轉換圖像；第二轉換部，用于將該所拍攝圖像轉換成第二轉換圖像；以及視差估計單元。該第一轉換圖像是利用二維正交坐標來表示像素的位置的圖像，其中利用繞被定義為連結照相機的光學中心的直線的第一軸的第一角度和繞被定義為照相機的光軸的第二軸的第二角度來定義該二維正交坐標。第二轉換圖像是利用第一角度和繞第三軸的第三角度所定義的二維正交坐標來表示像素的位置的圖像。第三軸與第一軸和第二軸分別垂直。視差估計單元基于第一轉換圖像和第二轉換圖像來求出與空間內的關注點有關的視差。
【專利說明】立體照相機裝置和計算機可讀記錄介質
【技術領域】
[0001]本發(fā)明涉及一種立體照相機裝置和計算機可讀記錄介質，尤其涉及用于使用多臺照相機所拍攝到的圖像利用三角測量的原理來獲得空間的三維信息的立體照相機裝置、以及存儲有用于使用計算機來構成該立體照相機裝置的程序的計算機可讀記錄介質。
【背景技術】
[0002]傳統(tǒng)上，作為用于獲得空間的三維信息的技術，已知有立體視覺。立體視覺是通過向利用多臺照相機對現(xiàn)實空間攝像所得的圖像應用三角測量的原理來計算相對于三維現(xiàn)實空間中的關注部位的距離的技術。具體地，在立體視覺中，利用被配置成視場至少部分彼此重疊的多臺照相機來對三維現(xiàn)實空間進行攝像。在各照相機的攝像裝置上形成現(xiàn)實空間中的關注部位的圖像的情況下，使用從現(xiàn)實空間中的光學中心朝向關注部位的方向、照相機之間的相位位置、以及姿勢，利用三角測量的原理來計算相對于現(xiàn)實空間中的關注部位的距離。
[0003]以下關注利用兩臺照相機所拍攝到的圖像(以下稱為“所拍攝圖像”)。為了根據(jù)兩個所拍攝圖像測量相對于關注部位的距離，需要與以下兩者有關的信息:將兩臺照相機的光學中心相連結的線段的長度(以下稱為“基線長度”)；以及與這兩個所拍攝圖像中的對應于現(xiàn)實空間的關注部位的圖像的位置之間的偏移相對應的距離。與圖像的位置之間的偏移相對應的距離等同于從兩臺照相機觀看現(xiàn)實空間中的關注部位所取得的視差。作為與圖像的位置之間的偏移相對應的距離，使用從分別設置在兩個所拍攝圖像上的基準位置到關注部位的距離之間的差。
[0004]為了根據(jù)所拍攝圖像計算視差，需要在所拍攝圖像中搜素與現(xiàn)實空間中的關注部位相對應的圖像的位置。換句話說，需要針對兩臺照相機所拍攝到的兩個所拍攝圖像確定與相同部位有關的對應點。在兩個所拍攝圖像中搜索對應點的處理是所謂的立體匹配。考慮到用于將兩臺照相機的光學中心和現(xiàn)實空間中的關注部位相連結的極平面，可以將立體匹配中在所拍攝圖像上要搜索對應點的范圍限制成作為極平面在該所拍攝圖像上的投影的線。
[0005]關于立體視覺，在多數(shù)情況中，使用平行立體法。在該平行立體法中，兩臺照相機被配置成光軸彼此平行并且連結這兩臺照相機的光學中心的直線(以下稱為“基線”)與這兩個光軸垂直。在下文，將基線的方向與各照相機所拍攝到的所拍攝圖像的水平方向一致的平行立體法簡稱為平行立體法。
[0006]例如，假定所拍攝圖像沒有發(fā)生由于照相機所設置的光學系統(tǒng)(例如，鏡頭)而引起的失真。在這種情況下，如圖19所示,通過將極平面403投影到所拍攝圖像401和402上所定義的線分別是與所拍攝圖像401和402的水平方向平行的直線。極平面403是與現(xiàn)實空間中的關注部位Pl相對應地形成的。在以下說明中，關于所拍攝圖像401和402中的每一個，將水平方向定義為X方向并且將垂直方向定義為I方向。因而，X方向與基線404平行。由此，通過將極平面403投影到所拍攝圖像401和402上所獲得的直線分別與所拍攝圖像401和402的X方向平行，并且各直線的I方向上的坐標值恒定。
[0007]在與現(xiàn)實空間中的部位Pl相對應的圖像Gl存在于一個所拍攝圖像401中的情況下，將存在于另一所拍攝圖像402中的針對與部位Pl相對應的圖像Dl的搜索范圍限制為y方向上的坐標值與圖像Gl相同的水平方向上的直線。例如，在圖19中，圖像Gl與穿過一個照相機的光學中心01和圖像Gl的直線405相對應。因而,例如,該直線405上的部位P1、P2和P3對應于圖像G1。作為對比，穿過另一照相機的光學中心02以及部位P1、P2和P3的直線分別對應于所拍攝圖像402中的圖像Dl、D2和D3。在這方面，圖像Gl以及圖像D1、D2和D3的y方向上的坐標值相同。
[0008]如上所述，根據(jù)利用平行立體法的立體匹配，實際空間中的關注部位與來自各照相機的所拍攝圖像中在垂直方向上相同的位置相關聯(lián)。換句話說，在兩臺照相機對實際空間中的相同部位攝像的情況下，所拍攝圖像內與該部位相對應的像素的位置在水平方向上不同但在垂直方向上相同。在平行立體法中，關于這些照相機所獲得的所拍攝圖像，在這些所拍攝圖像的水平方向上搜索與現(xiàn)實空間中的相同部位相對應的點就足夠了。因而，平行立體法具有立體匹配的處理效率有所提高的有利效果。
[0009]上述的平行立體法的技術是基于照相機的光學系統(tǒng)不存在失真的假設。因而，僅在以下情況下才可以獲得立體匹配的高處理效率。在一個情況中，視角小到足以使得由于照相機的光學系統(tǒng)的失真所引起的不利影響被視為可忽略的程度，并且在另一情況中，即使在光學系統(tǒng)存在失真的情況下，也可以通過校正來去除由于該失真而造成的不利影響。換句話說，在使用失真大的光學系統(tǒng)(例如，魚眼鏡頭)以增大視角的情況下，立體匹配的處理負荷有可能大幅增加。
[0010]通常，通過使用諸如魚眼鏡頭等的視角寬的光學系統(tǒng)所拍攝到的圖像產生如下的彎曲失真，其中在該彎曲失真中，越接近圖像的周邊、彎曲程度越大。因而，在立體匹配中，需要考慮到圖像的彎曲失真來搜索對應點。換句話說，為了搜索對應點，使X方向上的坐標值和y方向上的坐標值這兩者改變。這有可能導致搜索對應點時的處理效率下降，并且進一步造成使關注部位與對應點相關聯(lián)導致失敗的可能性增加。結果，存在如下問題:距離的測量錯誤并且這導致測量性能下降。
[0011]為了解決上述問題，提出了以下技術。在該技術中，通過對所拍攝圖像進行坐標轉換以使得極平面在該圖像上的投影是直線來創(chuàng)建轉換圖像，并且通過使用該轉換圖像來進行立體匹配。在該轉換圖像中，選擇坐標軸，以使得極平面的投影是與橫軸平行的直線(例如，參見文獻1:日本特開2007-24647、文獻2:日本特開2009-139246和文獻3:Fish-Eye-Stereo Calibration and Epipolar Rectification, Abraham, S.Forstner.W.1nternational Journal of Photogrammetry and Remote Sensing, Vol.59, Issue5, August2005) o
[0012]根據(jù)文獻I?3所公開的技術，為了根據(jù)視角寬的圖像高效地估計視差，如圖20所示，使繞沿著基線404的方向(X方向)延伸的軸的角度β與轉換圖像的垂直方向的軸相關聯(lián)。使用這種轉換圖像使得能夠使三維現(xiàn)實空間中的部位Pl與關于兩個所拍攝圖像相同的角度β相關聯(lián)。因而，與平行立體法相同，便于進行對應點的搜索，因此可以高效地估計視差。注意，圖20所示的半球表示光學系統(tǒng)。
[0013]另一方面，如圖21所示，文獻I和文獻3使用極平面403內的角度Y作為轉換圖像的水平方向的軸。該角度Y是將關注部位Pi和照相機的光學中心O相連結的直線相對于照相機的光接收面中的由垂直方向(y方向)和光軸方向(Z方向)所定義的平面(yz平面)的角度。
[0014]作為對比，如圖22所示，文獻2使用繞所拍攝圖像的垂直方向(與基線404的方向和光軸的方向垂直的方向)延伸的軸的角度α的正切(tana)作為轉換圖像的水平方向的軸。
[0015]例如，在利用獲得現(xiàn)實空間的三維信息的技術檢測到房間內的人的運動的情況下，將這種檢測結果應用于針對房間內的負載裝置的控制。例如，在空調負載的情況下，通過確定房間內的人的位置，可以向所確定的人的位置集中供給冷氣或暖氣?？蛇x地，在顯示圖像的負載裝置的情況下，該負載裝置可以根據(jù)人的位置來改變圖像的方向和/或大小。
[0016]此外，在不限于對負載裝置進行控制的情況下，為了獲得房間內的三維信息的目的，為了將房間整體包括在視場內并且避免視線被人或物體所遮斷，例如，優(yōu)選將照相機以其光軸垂直向下的方式配置在天花板的中央附近。根據(jù)這種配置，可以從所拍攝圖像的中心部獲得與(諸如地板表面和存在于地板上的物體等的)水平方向上的物體有關的大量信息，并且可以從所拍攝圖像的周邊部獲得與(諸如壁面和柱子等的)垂直方向上的物體有關的大量信息。
[0017]通過使用上述的文獻1、文獻2和文獻3所公開的技術，可以減輕由于使用視角寬的光學系統(tǒng)所引起的所拍攝圖像的失真的不利影響。然而，仍無法充分消除所拍攝圖像的失真。
[0018]例如，如圖23(a)所示，拍攝與光軸(z方向)平行的直線LI的圖像。在這種情況下，如圖23(b)所示，轉換圖像將該線LI示出為失真曲線L2。圖23示出根據(jù)文獻I的示例。在該轉換圖像中，角度Y與水平方向的軸相關聯(lián)，并且角度β與垂直方向的軸相關聯(lián)。因而，根據(jù)文獻I所公開的技術，除非滿足β = Υ的關系，否則在轉換圖像中將直線LI轉換為曲線L2。同樣，在文獻2和文獻3所公開的轉換圖像中也有可能發(fā)生這種失真。
[0019]如從圖23(b)可以看出，直線性在轉換圖像的中心部相對較高，但在轉換圖像的周邊部下降。由于該原因，關于存在于轉換圖像的周邊部的諸如壁和柱子等的沿著垂直方向的物體，搜索對應點的處理的效率下降。
[0020]另外，如圖24所示，即使在對相同直線LI (參見圖23)進行攝像的情況下，在從兩個所拍攝圖像分別獲得的轉換圖像中也將該圖像轉換為具有不同形狀的曲線L21和L22。因而，在這兩個轉換圖像中搜索對應點并不容易。即，即使在使用文獻1、文獻2和文獻3的任意技術的情況下，搜索對應點的處理也并不容易。

【發(fā)明內容】

[0021]有鑒于上述不足，本發(fā)明的目的是提供一種與傳統(tǒng)相比可以更加便于進行針對多臺照相機所拍攝到的圖像中的對應點的搜索的立體照相機裝置和計算機可讀記錄介質。
[0022]根據(jù)本發(fā)明的第一方面的一種立體照相機裝置，包括:立體照相機單元；以及運算處理單元，其中，所述立體照相機單元包括用于對預定的空間進行攝像的一對照相機，并且被構成為將所述一對照相機分別拍攝到的所拍攝圖像輸出至所述運算處理單元；所述運算處理單元包括第一轉換部、第二轉換部和視差估計單元；所述第一轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第一轉換圖像；所述第一轉換圖像被定義為利用由繞第一軸的第一角度和繞第二軸的第二角度所定義的二維正交坐標來表示像素的位置的圖像；所述第二轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第二轉換圖像；所述第二轉換圖像被定義為利用由所述第一角度和繞第三軸的第三角度所定義的二維正交坐標來表示像素的位置的圖像；所述第一軸由用于使所述一對照相機的光學中心彼此相連結的直線來定義；所述第二軸由所述照相機的光軸來定義；所述第三軸由與所述第一軸和所述第二軸垂直的軸來定義；以及所述視差估計單元被構成為基于所述第一轉換部所獲得的所述第一轉換圖像和所述第二轉換部所獲得的所述第二轉換圖像來計算與所述空間內的關注點有關的視差。
[0023]關于根據(jù)本發(fā)明的第二方面的立體照相機裝置，除第一方面以外，所述視差估計單元被構成為根據(jù)與所述一對照相機各自相對應的兩個所述第一轉換圖像來分別計算所述關注點的對應點，基于所述對應點來計算與所述關注點有關的第一視差，并且評價兩個所述第一轉換圖像的所述對應點之間的第一一致度；所述視差估計單元被構成為根據(jù)與所述一對照相機各自相對應的兩個所述第二轉換圖像來分別計算所述關注點的對應點，基于所述對應點來計算與所述關注點有關的第二視差，并且評價兩個所述第二轉換圖像的所述對應點之間的第二一致度；以及所述視差估計單元被構成為針對同一關注點、將所述第一一致度與所述第二一致度進行比較，在所述第一一致度高于所述第二一致度的情況下采用所述第一視差作為與所述關注點有關的視差，并且在所述第一一致度低于所述第二一致度的情況下采用所述第二視差作為與所述關注點有關的視差。
[0024]關于根據(jù)本發(fā)明的第三方面的立體照相機裝置，除第二方面以外，所述運算處理單元還包括區(qū)域評價單元；所述區(qū)域評價單元計算與所述第一轉換圖像的第一像素的亮度值的變化有關的第一評價值、以及與對應于所述第一像素的所述第二轉換圖像的第二像素的亮度值的變化有關的第二評價值；所述區(qū)域評價單元被構成為計算所述第一評價值和所述第二評價值之間的差，并且將所述差與預定的閾值進行比較；所述區(qū)域評價單元被構成為進行以下操作:在所述差超過所述閾值的情況下，將所述第一像素的亮度值的變化和所述第二像素的亮度值的變化進行比較，在所述第一像素的亮度值的變化大于所述第二像素的亮度值的變化的情況下，針對所述第一像素和所述第二像素來選擇第一條件，在所述第一像素的亮度值的變化小于所述第二像素的亮度值的變化的情況下，針對所述第一像素和所述第二像素來選擇第二條件，以及在所述差為所述閾值以下的情況下，針對所述第一像素和所述第二像素來選擇第三條件；以及所述區(qū)域評價單元被構成為進行以下操作:在針對所述第一像素和所述第二像素選擇了所述第一條件的情況下，針對所述第一像素和所述第二像素，通過使用所述第一轉換圖像來計算對應點，在針對所述第一像素和所述第二像素選擇了所述第二條件的情況下，針對所述第一像素和所述第二像素，通過使用所述第二轉換圖像來計算對應點，以及在針對所述第一像素和所述第二像素選擇了所述第三條件的情況下，針對所述第一像素和所述第二像素，通過使用所述第一轉換圖像和所述第二轉換圖像來計算對應點。
[0025]關于根據(jù)本發(fā)明的第四方面的立體照相機裝置，除第二方面以外，所述第一轉換部被構成為根據(jù)預定的第一確定條件來確定從所述第一轉換圖像中提取對應點所使用的第一提取區(qū)域，并且針對包括在所述第一提取區(qū)域中的像素來計算像素值，但針對沒有包括在所述第一提取區(qū)域中的像素不計算像素值；以及所述第二轉換部被構成為根據(jù)預定的第二確定條件來確定從所述第二轉換圖像中提取對應點所使用的第二提取區(qū)域，并且針對包括在所述第二提取區(qū)域中的像素來計算像素值，但針對沒有包括在所述第二提取區(qū)域中的像素不計算像素值。
[0026]關于根據(jù)本發(fā)明的第五方面的立體照相機裝置，除第一方面至第四方面中的任一方面以外，所述立體照相機裝置包括多個所述立體照相機單元；多個所述立體照相機單元被配置成所述第一軸彼此交叉并且所述第二軸彼此平行；所述視差估計單元被構成為針對多個所述立體照相機單元中的各所述立體照相機單元，計算與所述關注點有關的視差；所述運算處理單元還包括選擇處理單元；以及所述選擇處理單元被構成為針對所述視差估計單元所計算出的各視差來計算可靠度，并且從所述視差估計單元所計算出的視差中采用可罪度最聞的視差。
[0027]關于根據(jù)本發(fā)明的第六方面的立體照相機裝置，除第五方面以外，使用多個所述立體照相機單元其中之一的兩個照相機中的一個照相機作為另一立體照相機單元的照相機。
[0028]根據(jù)本發(fā)明的第七方面的一種存儲有程序的計算機可讀記錄介質，所述程序用在連接至立體照相機單元的計算機中，其中:所述立體照相機單元包括用于對預定的空間進行攝像的一對照相機，并且被構成為將所述一對照相機分別拍攝到的所拍攝圖像輸出至運算處理單元；所述一對照相機被配置成光軸彼此平行并且視場彼此重疊；所述程序被構成為使所述計算機用作第一轉換部、第二轉換部和視差估計單元；所述第一轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第一轉換圖像；所述第一轉換圖像被定義為利用由繞第一軸的第一角度和繞第二軸的第二角度所定義的二維正交坐標來表示像素的位置的圖像；所述第二轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第二轉換圖像；所述第二轉換圖像被定義為利用由所述第一角度和繞第三軸的第三角度所定義的二維正交坐標來表示像素的位置的圖像；所述第一軸由用于使所述一對照相機的光學中心彼此相連結的直線來定義；所述第二軸由所述照相機的光軸來定義；所述第三軸由與所述第一軸和所述第二軸垂直的軸來定義；以及所述視差估計單元被構成為基于所述第一轉換部所獲得的所述第一轉換圖像和所述第二轉換部所獲得的所述第二轉換圖像來計算與所述空間內的關注點有關的視差。
【專利附圖】

【附圖說明】
[0029]圖1是示出實施例1的立體照相機裝置的框圖。
[0030]圖2是以上實施例的原理說明圖。
[0031]圖3是示出以上實施例所使用的坐標系的關系的圖。
[0032]圖4是示出以上實施例所使用的坐標系的關系的圖。
[0033]圖5是示出以上實施例中的所拍攝圖像的示例的圖。
[0034]圖6是示出以上實施例中的第一轉換圖像的示例的圖。
[0035]圖7是示出以上實施例中的第二轉換圖像的示例的圖。[0036]圖8是以上實施例中的塊匹配的說明圖。
[0037]圖9是以上實施例中的塊匹配的說明圖。
[0038]圖10是示出以上實施例中的操作的概述的圖。
[0039]圖11是示出實施例2的立體照相機裝置的框圖。
[0040]圖12是以上實施例的操作說明圖。
[0041]圖13是示出以上實施例中的區(qū)域的分割示例的圖。
[0042]圖14是實施例3的立體照相機裝置中的區(qū)域的說明圖。
[0043]圖15是示出以上實施例的區(qū)域的說明圖。
[0044]圖16是示出實施例4的立體照相機裝置的框圖。
[0045]圖17是示出實施例5的立體照相機裝置的結構的示意圖。
[0046]圖18是示出以上實施例的框圖。
[0047]圖19是說明立體視覺的概念的圖。
[0048]圖20是說明現(xiàn)有技術的圖。
[0049]圖21是示出以上現(xiàn)有技術所使用的坐標系的圖。
[0050]圖22是示出以上現(xiàn)有技術所使用的坐標系的圖。
[0051]圖23是說明以上現(xiàn)有技術的操作的圖。
[0052]圖24是說明以上現(xiàn)有技術的操作的圖。
【具體實施方式】
[0053]實施例1
[0054]如圖1所示，本實施例的立體照相機裝置包括:立體照相機單元13，其包括一對照相機(第一照相機和第二照相機)1和2;運算處理單元10;以及存儲裝置11和12。以下詳細說明本實施例的立體照相機裝置。
[0055]如圖1所示，本實施例的立體照相機裝置包括被配置成針對三維現(xiàn)實空間的視場大致彼此重疊的兩臺照相機(第一照相機和第二照相機)I和2。照相機I和2被配置成光軸彼此平行且與連結光學中心(攝像中心)的直線的方向(基線方向)垂直。
[0056]照相機I和2被配置為使光軸彼此平行。此外，照相機I和2被配置成連結各照相機I和2的光學中心01和02的直線(基線)與各照相機I和2的光軸垂直。此外，照相機I和2被配置成視場彼此重疊。
[0057]各照相機I和2包括具有與視角約為180°的魚眼鏡頭相同或大致相同的功能的光學系統(tǒng)。該光學系統(tǒng)的投影方式不限于特定投影方式，而且基于等距投影方式進行以下說明。此外，兩臺照相機I和2各自被配置成光接收面(攝像面)的水平方向與基線方向一致。簡言之，本實施例假定平行立體法。
[0058]此外，在下文，關于三維現(xiàn)實空間，將沿著光接收面的水平方向延伸的方向(即，基線方向)定義為X方向，將沿著光接收面的垂直方向延伸的方向定義為y方向，并且將與光接收面垂直的方向定義為z方向。注意，光接收面的水平方向是指定義光接收面的二維正交坐標系的第一軸的方向，但并不是指現(xiàn)實空間的水平方向。光接收面的垂直方向是指定義光接收面的二維正交坐標系的第二軸的方向，但并不是指現(xiàn)實空間的垂直方向。
[0059]坐標系被確定成:在利用監(jiān)視裝置顯示各照相機的所拍攝圖像時，水平方向上的右方向是X方向上的正方向并且垂直方向上的下方向是y方向上的正方向。關于Z方向，遠離照相機的光接收面的方向是正方向。換句話說，z方向上的正方向是照相機的正面方向。
[0060]例如，通過使用被定義為光接收面(攝像面)的左上角是原點的二維正交坐標系的第一坐標系(圖像坐標系)來表示各照相機I和2所拍攝到的所拍攝圖像中的像素的位置。第一坐標系被確定成圖像(所拍攝圖像)的水平方向沿著X方向延伸、并且圖像(所拍攝圖像)的垂直方向沿著y方向延伸。因而，利用坐標(u，V)來表示所拍攝圖像的像素的位置。注意，所拍攝圖像的水平方向是指第一坐標系的第一軸的方向，但并不是指現(xiàn)實空間的水平方向。所拍攝圖像的垂直方向是指第一坐標系的第二軸的方向，但并不是指現(xiàn)實空間的垂直方向。
[0061]另外，為了確定從各照相機I和2向著現(xiàn)實空間中的關注部位(例如，圖2的點PD的觀看方向，針對各照相機I和2確定分別與上述的X方向、I方向和z方向平行的軸(第一軸、第三軸和第二軸)。因而，針對各照相機I和2確定該照相機的光學中心是原點的第二坐標系(照相機坐標系)。
[0062]第二坐標系是針對各照相機I和2所確定的，并且該第二坐標系的沿著z方向延伸的軸(第二軸)與光軸一致。
[0063]利用繞這三個軸各自的角度的組合來表示從針對照相機I和2所確定的第二坐標系的原點(光學中心)01、02向著點(關注點)Pl的觀看方向(視覺方向)。在下文，利用β表示繞沿著X方向的軸的角度(第一角度)，利用α表示繞沿著y方向的軸的角度(第三角度)，并且利用Φ表示繞沿著z方向的軸(光軸)的角度(第二角度)。
[0064]S卩，沿著X方向的軸是由連結一對照相機I和2的光學中心01和02的直線所定義的軸(第一軸)。關于照相機1，沿著z方向的軸是由照相機I的光軸所定義的軸(第二軸)。關于照相機2，沿著z方向的軸是由照相機2的光軸所定義的軸(第二軸)。沿著y方向的軸是與第一軸(沿著X方向的軸)和第二軸(沿著z方向的軸)垂直的軸(第三軸)。
[0065]將各照相機I和2所拍攝到的所拍攝圖像的數(shù)據(jù)輸入至運算處理單元10。
[0066]在本實施例中，說明運算處理單元10對濃淡圖像進行處理的示例。此外，以下所述的技術思想適用于對彩色圖像進行處理的示例。
[0067]運算處理單元10包括作為硬件資源的計算機，并且執(zhí)行使得該計算機能夠用作用于進行以下所述的處理的裝置的程序。此外，運算處理單元10可以是包括專用硬件的裝置?？蛇x地，代替包括微計算機的計算機，運算處理單元10可以由諸如DSP (數(shù)字信號處理器)或FPGA(現(xiàn)場可編程門陣列)等的具有執(zhí)行程序的功能的裝置構成。
[0068]在照相機I和運算處理單元10之間設置有接口 3，并且在照相機2和運算處理單元10之間設置有接口 4。
[0069]各接口 3和4分別將照相機I和2所拍攝到的所拍攝圖像的數(shù)據(jù)轉換成適合由運算處理單元10進行處理的數(shù)據(jù)。例如，各接口 3和4具有將模擬信號轉換成數(shù)字信號的功倉泛。
[0070]將使運算處理單元10進行工作所用的系統(tǒng)程序和應用程序存儲在存儲裝置(第一存儲裝置)11中。將作為運算處理單元10的處理對象的所拍攝圖像的數(shù)據(jù)和運算過程中產生的數(shù)據(jù)存儲在作為數(shù)據(jù)存儲器和工作存儲器的存儲裝置(第二存儲裝置)12中。
[0071]存儲裝置11是諸如閃速存儲器和硬盤驅動器等的即使在不通電的情況下也可以保持存儲信息的存儲裝置。此外，存儲裝置11包括用作僅在進行處理時才用于存儲系統(tǒng)程序和應用程序的主存儲器的易失性存儲器。
[0072]存儲裝置12不限于特定存儲器，而且存儲裝置12的至少一部分可以包括工作所使用的易失性存儲器。
[0073]在本實施例中，為了基于兩臺照相機I和2分別拍攝到的所拍攝圖像獲得現(xiàn)實空間的三維信息，運算處理單元10向各接口 3和4發(fā)送觸發(fā)信號以使得兩臺照相機I和2同時攝像。運算處理單元10將同時拍攝到的一對所拍攝圖像存儲在存儲裝置12中。
[0074]關于各照相機I和2，在將左上角確定為原點的情況下，利用水平方向和垂直方向上的像素數(shù)來表示光接收面上的像素的位置。在投影到圖像的光軸上的點的坐標為(uc, vc)的情況下，通過以下數(shù)學式⑴來表示坐標(UC，VC)和任意像素(U，V)之間的距離r。
[0075]^ I
[0076]
【權利要求】
1.一種立體照相機裝置，包括: 立體照相機單元；以及 運算處理單元， 其中，所述立體照相機單元包括用于對預定的空間進行攝像的一對照相機，并且被構成為將所述一對照相機分別拍攝到的所拍攝圖像輸出至所述運算處理單元； 所述運算處理單元包括第一轉換部、第二轉換部和視差估計單元； 所述第一轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第一轉換圖像； 所述第一轉換圖像被定義為利用由繞第一軸的第一角度和繞第二軸的第二角度所定義的二維正交坐標來表示像素的位置的圖像； 所述第二轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第二轉換圖像； 所述第二轉換圖像被定義為利用由所述第一角度和繞第三軸的第三角度所定義的二維正交坐標來表示像素的位置的圖像； 所述第一軸由用于使所述一對照相機的光學中心彼此相連結的直線來定義； 所述第二軸由所述照相機的光軸來定義； 所述第三軸由與所述第一軸和所述第二軸垂直的軸來定義；以及所述視差估計單元被構成為基于所述第一轉換部所獲得的所述第一轉換圖像和所述第二轉換部所獲得的所述第·二轉換圖像來計算與所述空間內的關注點有關的視差。
2.根據(jù)權利要求1所述的立體照相機裝置，其中， 所述視差估計單元被構成為根據(jù)與所述一對照相機各自相對應的兩個所述第一轉換圖像來分別計算所述關注點的對應點，基于所述對應點來計算與所述關注點有關的第一視差，并且評價兩個所述第一轉換圖像的所述對應點之間的第一一致度； 所述視差估計單元被構成為根據(jù)與所述一對照相機各自相對應的兩個所述第二轉換圖像來分別計算所述關注點的對應點，基于所述對應點來計算與所述關注點有關的第二視差，并且評價兩個所述第二轉換圖像的所述對應點之間的第二一致度；以及 所述視差估計單元被構成為針對同一關注點、將所述第一一致度與所述第二一致度進行比較，在所述第一一致度高于所述第二一致度的情況下采用所述第一視差作為與所述關注點有關的視差，并且在所述第一一致度低于所述第二一致度的情況下采用所述第二視差作為與所述關注點有關的視差。
3.根據(jù)權利要求2所述的立體照相機裝置，其中， 所述運算處理單元還包括區(qū)域評價單元； 所述區(qū)域評價單元計算與所述第一轉換圖像的第一像素的亮度值的變化有關的第一評價值、以及與對應于所述第一像素的所述第二轉換圖像的第二像素的亮度值的變化有關的第二評價值； 所述區(qū)域評價單元被構成為計算所述第一評價值和所述第二評價值之間的差，并且將所述差與預定的閾值進行比較； 所述區(qū)域評價單元被構成為進行以下操作: 在所述差超過所述閾值的情況下，將所述第一像素的亮度值的變化和所述第二像素的亮度值的變化進行比較， 在所述第一像素的亮度值的變化大于所述第二像素的亮度值的變化的情況下，針對所述第一像素和所述第二像素來選擇第一條件， 在所述第一像素的亮度值的變化小于所述第二像素的亮度值的變化的情況下，針對所述第一像素和所述第二像素來選擇第二條件，以及 在所述差為所述閾值以下的情況下，針對所述第一像素和所述第二像素來選擇第三條件；以及 所述區(qū)域評價單元被構成為進行以下操作: 在針對所述第一像素和所述第二像素選擇了所述第一條件的情況下，針對所述第一像素和所述第二像素，通過使用所述第一轉換圖像來計算對應點， 在針對所述第一像素和所述第二像素選擇了所述第二條件的情況下，針對所述第一像素和所述第二像素，通過使用所述第二轉換圖像來計算對應點，以及 在針對所述第一像素和所述第二像素選擇了所述第三條件的情況下，針對所述第一像素和所述第二像素，通過使用所述第一轉換圖像和所述第二轉換圖像來計算對應點。
4.根據(jù)權利要求2所述的立體照相機裝置，其中， 所述第一轉換部被構成 為根據(jù)預定的第一確定條件來確定從所述第一轉換圖像中提取對應點所使用的第一提取區(qū)域，并且針對包括在所述第一提取區(qū)域中的像素來計算像素值，但針對沒有包括在所述第一提取區(qū)域中的像素不計算像素值；以及 所述第二轉換部被構成為根據(jù)預定的第二確定條件來確定從所述第二轉換圖像中提取對應點所使用的第二提取區(qū)域，并且針對包括在所述第二提取區(qū)域中的像素來計算像素值，但針對沒有包括在所述第二提取區(qū)域中的像素不計算像素值。
5.根據(jù)權利要求1至4中任一項所述的立體照相機裝置，其中， 所述立體照相機裝置包括多個所述立體照相機單元； 多個所述立體照相機單元被配置成所述第一軸彼此交叉并且所述第二軸彼此平行；所述視差估計單元被構成為針對多個所述立體照相機單元中的各所述立體照相機單元，計算與所述關注點有關的視差； 所述運算處理單元還包括選擇處理單元；以及 所述選擇處理單元被構成為針對所述視差估計單元所計算出的各視差來計算可靠度，并且從所述視差估計單元所計算出的視差中采用可靠度最高的視差。
6.根據(jù)權利要求5所述的立體照相機裝置，其中， 使用多個所述立體照相機單元其中之一的兩個照相機中的一個照相機作為另一立體照相機單元的照相機。
7.一種存儲有程序的計算機可讀記錄介質，所述程序用在連接至立體照相機單元的計算機中，其中: 所述立體照相機單元包括用于對預定的空間進行攝像的一對照相機，并且被構成為將所述一對照相機分別拍攝到的所拍攝圖像輸出至運算處理單元； 所述一對照相機被配置成光軸彼此平行并且視場彼此重疊； 所述程序被構成為使所述計算機用作第一轉換部、第二轉換部和視差估計單元； 所述第一轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第一轉換圖像； 所述第一轉換圖像被定義為利用由繞第一軸的第一角度和繞第二軸的第二角度所定義的二維正交坐標來表示像素的位置的圖像； 所述第二轉換部被構成為針對所述一對照相機中的每一個，將所述照相機所拍攝到的所拍攝圖像轉換成第二轉換圖像； 所述第二轉換圖像被定義為利用由所述第一角度和繞第三軸的第三角度所定義的二維正交坐標來表示像素的位置的圖像； 所述第一軸由用于使所述一對照相機的光學中心彼此相連結的直線來定義； 所述第二軸由所述照相機的光軸來定義； 所述第三軸由與所述第一軸和所述第二軸垂直的軸來定義；以及所述視差估計單元被構成為基于所述第一轉換部所獲得的所述第一轉換圖像和所述第二轉換部所獲得的所述第二轉換`圖像來計算與所述空間內的關注點有關的視差。
【文檔編號】H04N13/02GK103582802SQ201280026027
【公開日】2014年2月12日 申請日期:2012年5月30日 優(yōu)先權日:2011年5月30日
【發(fā)明者】原口一馬, 見市伸裕, 中原智治 申請人:松下電器產業(yè)株式會社