在立體視覺系統中供處理影像的方法及其裝置制造方法
【專利摘要】本發(fā)明涉及一種在立體視覺系統中供處理影像的裝置，該裝置包括：影像擷取單元，該影像擷取單元包括第一與第二照相機以及照明單元，所述第一與第二照相機通過擷取主體來獲取影像信息，該照明單元在影像擷取期間發(fā)出閃光；以及照相機控制器，該照相機控制器控制該影像信息通過以預定時間間隔、不需所述第一與第二照相機同步地交叉獲得主體影像來獲取。依據本發(fā)明，因以預定時間間隔、不需用于立體視覺系統的兩個照相機同步地交叉獲得主體影像，所以即使以相對較便宜且速度低的照相機，也能夠實施與具有高性能照相機的立體視覺系統相同的立體視覺系統。
【專利說明】在立體視覺系統中供處理影像的方法及其裝置

【技術領域】
[0001] 本發(fā)明涉及一種在立體視覺系統中供處理影像的方法及裝置，尤其是，涉及一種 在立體視覺系統中供處理影像的方法及裝置，其通過利用包含于立體視覺系統中的多個低 性能照相機交替抓?。╣rab)影像，以獲得高性能照相機的性能。
[0002] 本發(fā)明還涉及一種在立體視覺系統中供處理影像的方法及裝置，其利用包含于立 體視覺系統中的多個低性能照相機，通過基于照相機交替抓取的影像的影像信息獲取預測 影像信息，從而獲取關于主體物理特性的信息，以有效擷取影像。
[0003] 本發(fā)明還涉及一種在立體視覺系統中供處理影像的方法及裝置，其通過根據主體 狀態(tài)切換拍攝模式，以減小系統負載并有效擷取影像。
[0004] 本發(fā)明還涉及一種在立體視覺系統中供處理影像的方法及裝置，其通過利用包含 于立體視覺系統中的多個低性能照相機交替抓取影像，以擷取快速移動中的主體的特寫影 像。

【背景技術】
[0005] 已經介紹多種影像處理裝置，這些影像處理裝置利用通過擷取靜止或移動主體的 影像而獲取的影像信息來獲取主體的物理信息（例如獲取主體的速度、方向、旋轉等）。
[0006] 特別是，包括數碼照相機例如數碼單反（Digital Single Lens Reflex)照相機在 內的影像處理裝置目前在消費者中得到普及，并且由于相關技術的發(fā)展，高性能、廉價的影 像處理裝置被廣泛使用。
[0007] 影像處理裝置的各種功能的其中一種功能是在所獲取的影像信息上檢測或識別 主體。該功能無法利用單個照相機來實現，必須要至少兩個以上照相機。用來實現上述功 能的系統是立體視覺系統（SVS ;Stereo Vision System)。
[0008] 立體視覺系統對應于實施個人可視系統的計算機視覺，其指的是包括兩個照相機 例如左右照相機的影像系統。該立體視覺系統不僅可用于工業(yè)領域中汽車的自動停車和無 人駕駛，而且可用來檢測運動游戲中玩家的動作、速度等，以及用來在球類（ball)游戲中， 例如籃球、高爾夫球以及足球，根據所獲取的影像信息檢測球的速度、方向等。


【發(fā)明內容】

[0009] 技術問題
[0010] 依據在立體視覺系統中供處理影像的傳統方法，當主體高速移動時或者當擷取該 主體的特寫影像時，表示通過照相機的曝光裝置曝光膠片來擷取影像的速度的照相機速度 (camera speed)應當非常高。然而，具有高照相機速度的照相機定價非常高，因此利用此種 照相機不能輕易實施立體視覺系統。由此，需要一種能夠利用低性能、廉價的照相機來實現 高性能照相機性能的方法。
[0011] 進一步地，對于主體保持靜止然后移動的場景，例如，高爾夫球手擊打在場地上保 持靜止的球的場景，或者投手將手套中的棒球投向接球手的場景，如果影像在高照相機速 度下被不斷擷取，那么不必要的影像被分析并存儲，從而會使系統負載增加。由此，需要一 種依據主體狀態(tài)切換影像處理裝置的拍攝模式的方法。
[0012] 另外，由于多個照相機應時間同步地抓取主體的影像，以利用立體視覺系統獲取 關于主體物理特性的信息，因此很難通過擷取主體的特寫影像，來獲取關于超高速移動主 體物理特性的信息。由此，需要一種即使當包含于立體視覺系統中的多個照相機未時間同 步地抓取主體的影像時仍獲取關于主體物理特性的信息的方法。
[0013] 本領域技術人員將領會，本發(fā)明所欲解決的技術問題不限于上文已特別描述的技 術問題，從以下結合附圖的詳細說明中將更加清楚地了解其他技術問題。
[0014] 技術方案
[0015] 因此，考慮到上述問題而完成了本發(fā)明，并且本發(fā)明的目的在于提供一種在立體 視覺系統中供處理影像的方法及裝置，其通過藉由利用立體視覺系統中所使用的兩個廉 價、低性能照相機以一定時間間隔、不需時間同步地交替抓取主體影像來獲取影像信息，以 獲得高性能照相機的性能。
[0016] 本發(fā)明的另一目的在于提供一種在立體視覺系統中供處理影像的方法及裝置，其 通過根據主體狀態(tài)切換拍攝模式，以減小系統負載并有效擷取影像。
[0017] 本發(fā)明的另一目的在于提供一種在立體視覺系統中供處理影像的方法及裝置，其 基于從包含于立體視覺系統中的多個照相機接收的影像信息獲取預測影像信息，并且基于 該預測影像信息檢測主體的物理特性等。
[0018] 有益效果
[0019] 本發(fā)明具有以下效果與優(yōu)點。
[0020] 第一，可實施一種立體視覺系統，該立體視覺系統通過藉由利用該立體視覺系統 中所使用的兩個廉價、低性能照相機以一定時間間隔、不需時間同步地交替抓取主體影像 來獲取影像信息，能夠獲得高性能照相機的性能。
[0021] 第二，可實施一種立體視覺系統，該立體視覺系統通過根據主體狀態(tài)切換拍攝模 式，能夠減小系統負載并有效擷取影像。
[0022] 第三，通過基于從包含于立體視覺系統中的多個照相機接收的影像信息獲取預測 影像信息，并基于該預測影像信息檢測主體的物理特性等，可提高預測影像信息的準確性。
[0023] 本領域技術人員將領會，利用本發(fā)明所能達到的效果不限于上文已特別描述的效 果，從以下結合附圖的詳細說明中將更加清楚地了解本發(fā)明的其他優(yōu)點。

【專利附圖】

【附圖說明】
[0024] 圖1為用于說明立體視覺系統的視圖；
[0025] 圖2為舉例說明立體視覺系統的照相機設置方法的視圖；
[0026] 圖3為舉例說明在一般立體視覺系統中照相機抓取影像的時序的視圖；
[0027] 圖4為舉例說明依據本發(fā)明一實施例的用于立體視覺的影像處理裝置配置的框 圖；
[0028] 圖5為舉例說明圖4所示影像處理裝置的詳細配置、額外配置以及組件功能的框 圖；
[0029] 圖6為舉例說明在圖4所示影像處理裝置中照相機抓取影像的時序的視圖；
[0030] 圖7為舉例說明依據本發(fā)明另一實施例能夠切換拍攝模式的立體視覺系統的影 像處理裝置配置的框圖；
[0031] 圖8為舉例說明圖7所示影像處理裝置的詳細配置、額外配置以及組件功能的框 圖；
[0032] 圖9為舉例說明依據本發(fā)明另一實施例在第二模式下運行的立體視覺系統的影 像處理裝置配置的框圖；
[0033] 圖10為舉例說明在圖9所示影像處理裝置中照相機抓取影像的時序的視圖；
[0034] 圖11為舉例說明利用圖7或圖9所示的影像處理裝置于第二模式下擷取的影像 的視圖；
[0035] 圖12為舉例說明預估利用圖7或圖9所示的影像處理裝置于第二模式下擷取的 影像之間的影像所用的方法的視圖；
[0036] 圖13為舉例說明依據本發(fā)明一實施例利用影像處理裝置獲取影像信息的過程的 流程圖；
[0037] 圖14為舉例說明依據本發(fā)明一實施例包括影像處理裝置的用于虛擬高爾夫球模 擬的傳感裝置的視圖；
[0038] 圖15為舉例說明圖14所示傳感裝置的配置的框圖；以及
[0039] 圖16為舉例說明依據本發(fā)明一實施例利用傳感裝置的擊打傳感器感應主體例如 球是否被使用者擊打的過程的視圖。

【具體實施方式】
[0040] 根據本發(fā)明一方面，通過提供一種在立體視覺系統中供處理影像的裝置，能夠實 現上述的以及其他的目的，該裝置包括一影像擷取單元，該影像擷取單元包括一第一照相 機與一第二照相機以及一照明單元，該第一照相機與該第二照相機通過擷取主體影像來獲 取影像信息，該照明單元用于閃光以擷取一影像；以及一照相機控制器，該照相機控制器控 制該第一照相機與該第二照相機通過以一定時間間隔、不需時間同步地交替抓取該主體影 像來獲取該影像信息。
[0041] 該裝置可進一步包括一照明控制器，該照明控制器控制該照明單元和該第一照相 機與該第二照相機抓取影像時間同步地運行。
[0042] 該裝置可進一步包括一影像分析器，該影像分析器根據所獲取的影像信息確定該 主體是否保持靜止；以及一模式切換單元，在確定該主體保持靜止時，該模式切換單元將該 影像擷取單元的一拍攝模式從一第一模式切換到一第二模式，并且該第一照相機與該第二 照相機通過在該第一模式下時間同步地抓取該主體影像，可獲取該影像信息，以及通過在 該第二模式下以一定時間間隔交替抓取該主體影像，可獲取該影像信息。
[0043] 該第一照相機與該第二照相機可依據從該照相機控制器傳輸的一信號，在該第二 模式下獲取該影像信息。
[0044] 該第一照相機與該第二照相機可在該第一模式下低速抓取影像以及在該第二模 式下高速抓取影像。
[0045] 該影像分析器可包括一擊打傳感器，該擊打傳感器根據在該第二模式下所獲取的 該影像信息，感應該主體是否被使用者擊打。
[0046] 該裝置可進一步包括一數據庫，該數據庫用于存儲該第一照相機與該第二照相機 在該第二模式下所獲取的該影像信息。
[0047] 該裝置可進一步包括一影像預估器，在感應到該主體被該使用者擊打時，該影像 預估器檢查一撞擊點，從該數據庫提取該撞擊點之前/之后的該影像信息，以及根據所提 取的該影像信息獲取預測影像信息。
[0048] 該影像預估器可利用從該第一照相機接收的第一影像信息與第二影像信息以及 從該第二照相機接收的第三影像信息來獲取第一預測影像信息。
[0049] 該第一影像信息與該第二影像信息可對應于從該第一照相機接收的連續(xù)幀影像， 而該第三影像信息可對應于從該第二照相機接收并于該第一影像信息與該第二影像信息 之間獲取的一幀影像。
[0050] 該裝置可進一步包括一影像處理器，該影像處理器根據該撞擊點之前/之后的該 影像信息以及該預測影像信息，獲取該主體的物理特性。
[0051] 根據本發(fā)明另一方面，提供一種在立體視覺系統中供處理影像的方法，該方法包 括利用一影像擷取單元在一第一模式下獲取一主體的影像信息，該影像擷取單元包括一第 一照相機與一第二照相機以及一用于閃光以擷取一影像的照明單元；根據所獲取的影像信 息確定該主體是否保持靜止；以及在確定該主體保持靜止時，將該影像擷取單元的一拍攝 模式切換到一第二模式，其中該第一照相機與該第二照相機通過在該第一模式下時間同步 地抓取該主體影像來獲取該影像信息，以及通過在該第二模式下以一定時間間隔交替抓取 該主體影像來獲取該影像信息。
[0052] 該方法可進一步包括通過該第一照相機與該第二照相機在切換到的該第二模式 下獲取該影像信息。
[0053] 該方法可進一步包括根據在該第二模式下所獲取的該影像信息，感應該主體是否 被使用者擊打。
[0054] 該方法可進一步包括將在該第二模式下所獲取的該影像信息存儲于一數據庫中。
[0055] 該方法可進一步包括在感應到該主體被該使用者擊打時，檢查一撞擊點，從該數 據庫提取該撞擊點之前/之后的該影像信息，以及根據所提取的該撞擊點之前/之后的該 影像息獲取預測影像息。
[0056] 利用從該第一照相機接收的第一影像信息與第二影像信息以及從該第二照相機 接收的第三影像信息可獲取該預測影像信息。
[0057] 該第一影像信息與該第二影像信息可對應于從該第一照相機接收的連續(xù)幀影像， 而該第三影像信息可對應于從該第二照相機接收并于該第一影像信息與該第二影像信息 之間獲取的一幀影像。
[0058] 該方法可進一步包括根據該撞擊點之前/之后的該影像信息以及該預測影像信 息，獲取該主體的物理特性。
[0059] 該第一照相機與該第二照相機可在該第一模式下低速抓取影像以及在該第二模 式下高速抓取影像。
[0060] 實施方式
[0061] 現在詳細參考本發(fā)明的優(yōu)選實施例，附圖中舉例說明了其示例。根據發(fā)明人能夠 適當地定義術語的概念以最佳地描述發(fā)明人的發(fā)明這一原則，本說明書及權利要求書中所 使用的術語不應限制性地理解為典型的或者詞匯的意思，而應理解為符合本發(fā)明技術構思 的意思和概念。因此，由于本文所述的實施例與附圖中所示的配置只是對應于本發(fā)明的優(yōu) 選實施例，而不代表本發(fā)明的所有技術構思，因此應注意的是可作出本發(fā)明的各種等效實 施例以及變化例。
[0062] 特別是，在本說明書中，術語"信息（information) "包括所有數值（values)、參數 (parameters)、系數（coefficients)、元素（elements)等，其含義是可變的。因此，本發(fā)明不 限于此。
[0063] 圖1為用于說明立體視覺系統的視圖。
[0064] 參考圖la，因為右眼和左眼感知不同影像，因此人們能夠立體地感知物體。當兩只 眼睛視網膜上的影像被大腦（100)結合時，由于所獲取的影像之間的細微差別便實現了立 體影像。所獲取的影像作為電信號通過視網膜的視神經傳遞到大腦的處理部，大腦經各種 處理檢測傳遞的電信號的特征，并將該特征比作大腦中的信息以感知目標對象。
[0065] 參考圖lb,立體視覺系統（stereovision system)為將通過人的兩眼感知目標 對象的過程應用到計算機視覺的系統。因此，該立體視覺系統包括相當于人眼睛的照相機 (110)以及相當于人的視覺系統的計算機（120)。
[0066] 圖2為舉例說明立體視覺系統的照相機設置方法的視圖。
[0067] 參考圖2,該立體視覺系統的照相機設置方法可大致分為連續(xù)照相機設置和同時 照相機設置。該連續(xù)照相機設置相當于利用單個照相機連續(xù)輸入影像的方法，而不是設置 兩個照相機。
[0068] 然而，該同時照相機設置相當于通過設置兩個照相機來同時獲取影像的方法，現 有的立體視覺系統通常采用該同時照相機設置。該同時照相機設置依據照相機的配置又 細分為（a)平行照相機設置（Parallel Camera Setup)和（b)交叉照相機設置（Crossing Camera Setup)，而照相機的配置又取決于照相機的光軸如何配置。該平行照相機設置指的 是將照相機的光軸配置成彼此垂直平行或水平平行的方法，而該交叉照相機設置指的是將 照相機的光軸配置成彼此交叉的方法。該交叉照相機設置類似于人眼睛的結構。
[0069] 該平行照相機設置的優(yōu)勢在于距離測定容易，但劣勢在于沒有視差控制功能，因 此不能實現高質量立體影像。相較于該平行照相機設置，該交叉照相機設置的優(yōu)勢在于能 夠測定到快速移動物體的距離。
[0070] 圖3為舉例說明在一般立體視覺系統中照相機抓取影像的時序的視圖。
[0071] 如圖3所示，在四幀（frame)的基礎上，在該一般立體視覺系統中在兩個不同照相 機擷取的時間同步影像的交點抓取影像，并且該影像被照相機以恒定速率抓取，而不考慮 主體的狀態(tài)。
[0072] 例如，當如圖3所示，利用兩個具有每秒450巾貞（frame per second)巾貞速率的照 相機擷取影像時，每個照相機每一秒可獲取450幀影像，并且利用各個照相機獲取的時間 同步影像能夠檢測出主體的距離、方向等。
[0073] 然而，對于主體保持靜止然后移動的場景，如果影像在相同的拍攝模式（例如，幀 速率、抓取時序等）下被不斷擷取，而沒有考慮到該主體的狀態(tài)，那么不必要的影像會被擷 取，從而會使系統負載增加。例如，當使用者擊打保持靜止的高爾夫球時，在撞擊點之后需 要高幀速率來擷取快速移動主體的影像。然而，如果在該撞擊點之前即使在靜止狀態(tài)下以 高幀速率擷取影像，那么不必要的影像也會被擷取，從而會使系統負載增加。
[0074] 進一步地，不可避免地需要高性能照相機擷取快速移動主體的特寫影像，并且，例 如，如果使用兩個具有900fps性能的照相機，則該照相機非常昂貴，因此不容易配置立體 視覺系統。
[0075] 因此，需要一種能夠依據主體狀態(tài)控制拍攝模式的立體視覺系統，并且還需要一 種利用廉價照相機代替高價照相機擷取快速移動主體的特寫影像來配置立體視覺系統的 方法。
[0076] 圖4為舉例說明依據本發(fā)明一實施例用于立體視覺的影像處理裝置的配置的框 圖，以及圖5為舉例說明圖4所示影像處理裝置的詳細配置、額外配置以及組件功能的框 圖。
[0077] 如圖4所示，依據本發(fā)明該實施例的該影像處理裝置（400)包括一影像擷取單元 (410)以及一控制器（420)。進一步地，該影像擷取單元（410)包括用于配置一立體視覺系 統的多個照相機（430)以及一包括至少一個用于閃光以擷取影像的照明裝置的照明單元 (440)。
[0078] 如以上關于圖3的說明，用于立體視覺的一般影像處理裝置被配置成時間同步地 以一幀或多幀為單位依序擷取主體影像。然而，依據本發(fā)明該實施例的該影像處理裝置 (400)的特征在于所述照相機交替擷取主體影像。
[0079] 例如，當包括兩個具有450fps速度的照相機的影像處理裝置被配置成在利用第 一照相機（Camera#l)抓取影像的1/900秒之后利用第二照相機（Camera#2)抓取影像時， 利用該兩個具有450fps速度的照相機可實現具有900fps速度的照相機的影像擷取性能。 在這種情況下，由于主體的影像是從不同位置擷取，因此為了從所擷取的影像提取3D信 息，額外需要預估每個照相機擷取的影像之間的中間影像的過程。
[0080] 該控制器（420)控制該影像擷取單元（410)的該照相機（430)以一定時間間隔抓 取影像，并控制該照明單元（440)在該照相機（430)抓取影像時工作。
[0081] 現在參考圖5給出圖4所示的該影像處理裝置（400)的詳細配置和組件功能的說 明。
[0082] 如圖4和圖5所示，在依據本發(fā)明該實施例的該影像處理裝置（400)中，信息按該 影像擷取單元（410)-影像預估器（470)-影像處理器（480)的順序流動，并且該控制器 (420)包括一照相機控制器（450)以及一照明控制器（460)，用以控制該照相機（430)與該 照明單元（440)。
[0083] 在該影像擷取單元（410)中，該照相機依據該照相機控制器（450)的信號以一定 時間間隔抓取影像，并且該照明單元（440)依據該照明控制器（460)的信號提供光以對應 該照相機（430)抓取影像的速度。
[0084] 例如，該照相機控制器（450)可控制兩個具有450fps速度的照相機在利用第一 照相機（Camera#l)抓取影像的1/900秒之后利用第二照相機（Camera#2)抓取影像，并且 該照明控制器（460)可控制該照明單元提供一光學環(huán)境，在該光學環(huán)境中，照相機能夠以 900fps的速度擷取影像。
[0085] 該影像擷取單元（410)的該第一照相機（例如，左照相機）以及該第二照相機（例 如，右照相機）以一定時間間隔交替擷取影像，并依據該照相機控制器（450)的信號獲取 影像信息。然而，由于所獲取的影像信息不是如上所述關于時間同步地擷取的影像的信息 (也就是說，在該第一照相機獲取的影像信息與該第二照相機獲取的影像信息之間沒有交 集），因此不能基于該影像信息獲取關于主體物理特性的信息，例如3D信息。
[0086] 該影像預估器（470)基于從該第一與第二照相機接收的該影像信息獲取預測影 像信息。具體地，該影像預估器利用從該第一照相機接收的第一影像信息與第二影像信息 以及從該第二照相機接收的第三影像信息來獲取第一預測影像信息。
[0087] 該第一影像信息與該第二影像信息指的是從該第一照相機接收的連續(xù)幀影像，而 該第三影像信息指的是該第二照相機從該第一影像信息與該第二影像信息之間獲取的一 幀影像。下面將參考圖12詳細說明該影像預估器（470)獲取該預測影像信息的過程。 [0088] 依據本發(fā)明該實施例的該影像處理裝置可進一步包括用于使該影像擷取單元 (410)擷取的電子影像信號數字化的抓取器（未顯示），以及用于存儲從該影像擷取單元 (410)接收的該影像信息以及從該影像預估器（470)接收的該預測影像信息的數據庫（未 顯示）。
[0089] 該影像處理器（480)利用從該影像擷取單元（410)接收的該影像信息、從該影像 預估器（470)接收的該預測影像信息、或者存儲于該數據庫中的信息，來獲取關于主體物 理特性的信息。例如，當利用該影像擷取單元（410)擷取移動主體的影像時，該影像處理器 (480)可利用上述信息獲取關于到該主體的距離、該主體的速度以及方向等信息。
[0090] 如圖3所示，當該第一照相機（Camera#l)與該第二照相機（Camera#2)在每一幀 中時間同步地擷取影像時，需要高性能、高價的照相機來擷取快速移動主體的特寫影像。
[0091] 本發(fā)明提出一種方法，該方法利用低性能照相機交替擷取影像，即，通過調整抓取 時序（grab sequence)，能夠實現高性能照相機的影像擷取性能。
[0092] 現在參考圖6說明依據本發(fā)明該實施例的該影像處理裝置的操作。由于除了抓取 影像的操作之外，本領域技術人員將了解該影像處理裝置的操作，因此下面將代表性地說 明抓取影像的操作。
[0093] 圖6為舉例說明在圖4所示影像處理裝置中照相機抓取影像的時序的視圖。
[0094] 如圖6所示，依據本發(fā)明該實施例的該影像處理裝置（400)的特征在于兩個照相 機交替抓取影像。
[0095] 亦即，當利用兩個具有N fps (frame per second) (N > 0,并且N指的是照相 機速度）性能的照相機擷取影像時，所述照相機以這樣的方式配置：在該第一照相機 (Camera#l)工作1/2N秒之后該第二照相機（Camera#2)工作。在這種情況下，可實現具有 2N fps性能的照相機的影像擷取性能。
[0096] 例如，當如圖6所示利用兩個具有450fps性能的照相機擷取影像時，如果在利用 該第一照相機（Camera#l)擷取影像的1/900秒之后利用該第二照相機（Camera#2)抓取影 像，則可實現具有900fps性能的照相機的影像擷取性能。
[0097] 通過使該照相機控制器（450)控制多個照相機，如以上關于圖5的說明，可實現本 發(fā)明的上述原理。亦即，該照相機控制器（450)控制該第二照相機（Camera#2)在該第一照 相機（Camera#l)抓取影像的一定時間（例如，在圖6中為1/900秒）之后抓取影像。
[0098] 圖7為舉例說明依據本發(fā)明另一實施例能夠切換拍攝模式的立體視覺系統的影 像處理裝置的配置的框圖，以及圖8為舉例說明圖7所示影像處理裝置的詳細配置、額外配 置以及組件功能的框圖。
[0099] 如圖7所示，依據本發(fā)明該實施例的該影像處理裝置（700)包括一影像擷取單 元（710)、一影像分析器（720)、一模式切換單元（750)、一控制器（760)以及一影像處理器 (770)。
[0100] 如以上關于圖3的說明，用于立體視覺的一般影像處理裝置被配置成在恒定幀速 率下時間同步地以一幀或多幀為單位依序擷取主體影像，而不考慮主體的狀態(tài)。然而，依據 本發(fā)明該實施例的該影像處理裝置（700)的特征在于依據主體的狀態(tài)將拍攝模式從第一 模式切換到第二模式，特別是，照相機在該第二模式下交替擷取主體的影像。
[0101] 這里，根據幀速率、抓取時序等，來區(qū)別該第一模式與該第二模式。例如，該幀速率 高，配置立體視覺系統的多個照相機（730)在該第一模式下時間同步地抓取主體的影像， 以及該幀速率高，該照相機（730)在該第二模式下以一定時間間隔交替抓取主體的影像。
[0102] 如果擷取主體保持靜止然后移動的場景的特寫影像，則需要自主體從靜止狀態(tài)開 始移動（下文中稱為"運動（PLAY)階段"）的時間點起以高幀速率擷取影像，但是在主體開 始移動之前（即，在靜止狀態(tài)下）（下文中稱為"預備（READY)階段"）能夠以低幀速率擷取 影像。
[0103] 因此，例如，當利用包括兩個具有450fps速度的照相機的影像處理裝置擷取移動 主體的影像時，如果在該預備階段在該第一模式下擷取影像（例如，以低速，例如30fps，時 間同步地抓取主體影像），以及在該運動階段在該第二模式下擷取影像（例如，在利用該第 一照相機（Camera#l)抓取主體影像的1/900秒之后利用該第二照相機（Camera#2)抓取主 體影像），則在需要以高速擷取影像的該運動階段，利用兩個具有450fps速度的照相機可 實現具有900fps速度的照相機的影像擷取性能，并且在能夠以低速擷取影像的該預備階 段，可減小當擷取大量不必要影像時所產生的系統負載。
[0104] 如上所述，當在該第二模式下擷取影像時，由于主體的影像是從不同位置擷取，因 此為了從所擷取的影像提取3D信息，額外需要預估每個照相機擷取的影像之間的中間影 像的過程。
[0105] 該影像分析器（720)根據從該影像擷取單元（710)接收的影像來確定主體是否保 持靜止，并且在確定該主體保持靜止時，該模式切換單元（750)將該影像擷取單元（710)的 拍攝模式切換到該第二模式。
[0106] 該控制器（760)可依據該模式切換單元（750)的信號，控制該影像擷取單元（710) 的該照相機（730)在該第一模式下時間同步地低速抓取主體影像以及在該第二模式下以 一定時間間隔高速交替抓取主體影像，并且控制該照明單元（740)在該照相機（730)抓取 影像時工作。
[0107] 現在參考圖8說明圖7所示該影像處理裝置（700)的詳細配置和組件功能。
[0108] 如圖7與圖8所示，在依據本發(fā)明該實施例的該影像處理裝置（700)中，信息按該 影像擷取單元（710)-該影像分析器（720)-該模式切換單元（750)-該控制器（760)的 順序流動，并且該控制器（760)包括一照相機控制器（765)以及一照明控制器（775)，用以 控制該照相機（730)與該照明單元（740)。
[0109] 在該影像擷取單元（710)中，該照相機依據該照相機控制器（765)的信號在該第 一模式或者該第二模式下抓取影像，并且該照明單元（740)依據該照明控制器（775)的信 號提供光以對應該照相機（730)抓取影像的速度。
[0110] 該影像分析器（720)根據在該第一模式下從該影像擷取單元（710)接收的影像信 息，具體地，如圖8所示利用包含于該影像分析器（720)中的運動傳感器（785)，來確定主體 是否保持靜止。
[0111] 在確定該主體保持靜止時，該模式切換單元（750)將該影像擷取單元（710)的拍 攝模式從該第一模式切換到該第二模式，并且該照相機控制器（765)依據該模式切換單元 (750)的信號控制該影像擷取單元（710)在該第二模式下擷取影像。
[0112] 例如，當該拍攝模式被切換到該第二模式時，該照相機控制器（765)可控制兩個 具有450fps速度的照相機在利用第一照相機（Camera#l)抓取影像的1/900秒之后利用第 二照相機（Camera#2)抓取影像，并且該照明控制器（775)可控制該照明單元（740)提供一 光學環(huán)境，在該光學環(huán)境中，照相機能夠以900fps的速度擷取影像。
[0113] 進一步地，該影像擷取單元（710)的該第一照相機（例如，左照相機）以及該第二 照相機（例如，右照相機）以一定時間間隔交替擷取影像，并依據該照相機控制器（750)的 信號獲取影像信息，并且影像預估器（780)根據在該第二模式下獲取并由該第一與第二照 相機傳送的該影像信息獲取預測影像信息。
[0114] 圖9為舉例說明依據本發(fā)明另一實施例在該第二模式下運行的立體視覺系統的 影像處理裝置900的配置的框圖。
[0115] 如圖9所示，在依據本發(fā)明該實施例的該影像處理裝置（900)中，信息在該第一模 式下是按影像擷取單元（910)-影像分析器（920)-模式切換單元（950)-控制器（960) 的順序流動，而在該第二模式下是按該影像擷取單元（910)-該影像分析器（920)-影像 預估器（970)-影像處理器（980)的順序流動。
[0116] 該影像擷取單元（910)與該控制器（960)的功能已經在上面說明，因此下面不再 說明。在依據本發(fā)明該實施例的該影像處理裝置900中，該影像分析器（920)包括一運動 傳感器（985)以及一擊打傳感器（990)，該運動傳感器（985)根據該影像擷取單元（910)在 該第一模式下獲取的影像信息來確定主體是否保持靜止，該擊打傳感器（990)根據該影像 擷取單元（910)在該第二模式下獲取的影像信息來確定該主體是否被使用者擊打。如上所 述，該模式切換單元（950)根據該運動傳感器（985)的確定結果切換該影像擷取單元（910) 的拍攝模式。
[0117] 該擊打傳感器（990)根據在該第二模式下獲取的該影像信息來確定該主體是否 被使用者擊打，并在確定該主體被使用者擊打時，影像預估器（980)檢查一撞擊點，從該影 像擷取單元（910)或者數據庫（未顯示）獲取該撞擊點之前/之后的影像信息，以及根據 該影像信息獲取預測影像信息。
[0118] 圖10為舉例說明在圖9所示影像處理裝置中照相機抓取影像的時序的視圖。
[0119] 如圖10所示，依據本發(fā)明該實施例的該影像處理裝置（900)的特征在于根據主體 是否保持靜止來區(qū)分預備階段與運動階段，于該預備階段在該第一模式下擷取影像，以及 于該運動階段在該第二模式下擷取影像。
[0120] 例如，多個照相機于該預備階段時間同步地低速（例如，幀速率為30fps)抓取主 體影像，并且于該運動階段以一定時間間隔高速（例如，幀速率為450fps)交替抓取主體影 像，從而獲取影像?目息。
[0121] 當利用兩個具有N fps (frame per second) (N > 0,并且N指的是照相機速度） 性能的照相機擷取影像時，所述照相機以這樣的方式配置：于該預備階段，持續(xù)低速抓 取影像；以及于該運動階段，在該第一照相機（Camera#l)工作1/2N秒之后第二照相機 (Camera#2)工作。在這種情況下，可實現具有2N fps性能的照相機的影像擷取性能。
[0122] 進一步地，如果于該預備階段和該運動階段中通過在該第一模式和該第二模式之 間切換拍攝模式來擷取影像，如圖10所示，則可減小當擷取不必要影像時所產生的系統負 載或者防止其增加。
[0123] 圖11為舉例說明利用圖7或圖9所示的該影像處理裝置于該第二模式下擷取的 影像的視圖。
[0124] 如圖11所示，利用該影像處理裝置（700、900)于該第二模式下擷取的影像是通過 該第一照相機（Camera#l)和該第二照相機（Camera#2)交替獲取的。
[0125] 在這種情況下，由于在該兩個照相機獲取的影像之間沒有交集，因此不能獲取主 體的3D信息等。由此，需要獲取每一個照相機所獲取的影像之間的中間影像的過程。
[0126] 圖12為舉例說明預估利用圖7或圖9所示的該影像處理裝置于該第二模式下擷 取的影像之間的影像所用的方法的視圖。
[0127] 利用該影像處理裝置（700、900)于該第二模式下擷取的影像是通過兩個照相機 交替獲取的，因此不會直接獲取時間同步的影像。
[0128] 因此，如圖12所示，可利用該第一照相機（Camera#l)的第一幀影像（frame#l_l) 與第二巾貞影像（frame#l_2)來獲取第一預測（Predicted)影像（P_frame#l_l)，并且以 同樣的方式，可利用該第一照相機（Camera#l)的第二巾貞影像（frame#l_2)與第三巾貞影像 (frame#l_3)來獲取第二預測影像（P_frame#l_2)。
[0129] 如果利用上述方法預估快速移動主體（例如，高爾夫球或者棒球）的影像，則很難 預測該高爾夫球或者棒球的速度、方向、旋轉等，并且其準確性必然非常低。
[0130] 因此，為了提高預測影像的準確性，該影像處理裝置（700、900)利用三個影像來 獲取該第一預測影像（P_frame#l_l)，這三個影像包括該第二照相機（Camera#2)的第一中貞 影像（frame#2_l)以及該第一照相機（Camera#l)的該第一巾貞影像（frame#l_l)與該第二 中貞影像（frame#l_2)。
[0131] 例如，如果利用圖2a的平行立體照相機，則利用該第一照相機（Camera#l)擷取的 影像和利用該第二照相機（Camera#2)擷取的影像在x、y、z坐標系中具有相同的兩個坐標 值。如果利用圖2b的交叉立體照相機，則一個坐標值相同。因此，與如上所述利用兩個影像 (例如，frame#l_l、frame#l_2)的情況相比，利用三個影像（例如，frame#l_l、frame#l_2、 frame#2_l)可提高該第一預測影像（P_frame#l_l)的準確性。
[0132] 在該影像處理裝置（700、900)中，可采用各種方法來利用三個影像預測影像。例 如，利用之前影像與當前影像之間的差別，或者通過將一個影像分成塊利用主體的移動，可 預估影像。除了上述方法之外，本領域技術人員將了解影像預估方法。
[0133] 圖13為舉例說明依據本發(fā)明一實施例利用影像處理裝置獲取影像信息的過程的 流程圖。
[0134] 參考圖13,首先，通過于該第一模式下擷取主體影像來獲取影像信息（X) (S1300)，并根據該影像信息（X)確定該主體是否保持靜止（S1305)。
[0135] 在確定該主體保持靜止時（S1310)，將拍攝模式切換到第二模式（S1315)。在 確定該主體未保持靜止時（S1310)，根據該影像信息（X)再次確定該主體是否保持靜止 (S1305)。
[0136] 然后，通過于該第二模式下擷取該主體影像來獲取影像信息（Y) (S1320)，并根據 該影像信息（Y)確定該主體是否被使用者擊打（S1325)。
[0137] 在確定該主體被使用者擊打時（S1330)，檢查一撞擊點，并獲取該撞擊點之前/之 后的影像信息（Z)(S1335)。在確定該主體沒有被使用者擊打時（S1330)，根據該影像信息 (Y)再次確定該主體是否被使用者擊打（S1325)。
[0138] 然后，根據該影像信息（Z)獲取預測影像信息（S1340)，并根據該影像信息（Z)與 該預測影像信息獲取關于該主體物理特性的信息（S1345)。
[0139] 如上所述，依據本發(fā)明一實施例的影像處理裝置可用于各工業(yè)領域和運動當中。 現在說明用于虛擬高爾夫球模擬的傳感裝置，其包括依據本發(fā)明一實施例的影像處理裝 置。
[0140] 圖14為舉例說明依據本發(fā)明一實施例包括影像處理裝置的用于虛擬高爾夫球模 擬的傳感裝置的視圖，以及圖15為舉例說明圖14所示傳感裝置的配置的框圖。
[0141] 通常，虛擬高爾夫球模擬裝置包括用于感應球是否被使用者擊打的該傳感裝置 (1400)以及一模擬器（未顯示），該模擬器用于顯示虛擬高爾夫球場的影像，并通過依據該 傳感裝置（1400)的感應結果提供顯示該虛擬高爾夫球場上球軌跡的模擬影像，來執(zhí)行虛 擬高爾夫球模擬。
[0142] 如圖14所示，在虛擬高爾夫球模擬裝置中，可在高爾夫棚的地板上準備供使用者 的高爾夫揮桿的擊球員區(qū)（1420)，該高爾夫棚提供一定大小的空間，擊球墊（1425)可配備 在該擊球員區(qū)（1420)的側面，以允許使用者通過在該擊球員區(qū)（1420)中揮動高爾夫球桿 擊打放置在該擊球墊（1425)上的球，并且可在前面配備屏幕，以顯示從影像輸出裝置輸出 的影像，該影像輸出裝置從模擬器接收影像信息。
[0143] 如圖14和圖15所示，依據本發(fā)明該實施例的該傳感裝置（1400)包括一影像擷 取單元（1430)，該影像擷取單元（1430)包括多個照相機（1405U410)以及一照明單元 (1415);-傳感處理器（1435)，該傳感處理器（1435)通過處理該影像擷取單元（1430)擷 取的影像來提取移動中球的物理特性；一影像處理器（1485)，該影像處理器（1485)接收來 自該傳感處理器（1435)的傳感信息和影像信息，并進行影像處理以獲取虛擬高爾夫球場 的影像或者顯示該虛擬高爾夫球場上球軌跡的模擬影像；一影像輸出單元（1490)，該影像 輸出單元（1490)輸出從該影像處理器（1485)接收的影像信息，使用者將在屏幕上看到該 影像信息；一數據庫（1495)，該數據庫（1495)存儲從該影像擷取單元（1430)接收的影像 信息；以及一影像控制器（1480)，該影像控制器（1480)控制該影像處理器（1485)、該影像 輸出單元（1490)以及該數據庫（1495)的操作。
[0144] 該影像擷取單元（1430)可包括兩個時間同步照相機以配置一立體視覺系統。然 而，為了通過利用廉價照相機擷取例如快速移動的高爾夫球的特寫影像來提取球的物理特 性（例如，球的速度、方向、旋轉等），如上所述，該影像擷取單元可配置成利用兩個交替的 照相機抓取影像。
[0145] 該傳感處理器（1435)包括一抓取器（1455)，該抓取器（1455)以一巾貞為基礎依 序接收并收集該影像擷取單元（1430)獲取的影像；一影像分析器（1400)，該影像分析器 (1400)接收從該抓取器（1455)傳送的該影像，并確定主體是否保持靜止；一模式切換單元 (1410)，在確定該主體保持靜止時，該模式切換單元（1410)將該影像擷取單元（1430)的 拍攝模式切換到一第二模式；一擊打傳感器（1460)，該擊打傳感器（1460)接收并處理從該 抓取器（1455)傳送的該影像，并感應是否準備好擊打以及使用者是否完成了擊打；一影像 預估器（1465)，如果該擊打傳感器（1460)感應到擊打，則該影像預估器（1465)檢查一撞 擊點，從該數據庫（1495)提取該撞擊點之前/之后的影像信息，以及根據該影像信息獲取 預測影像信息；一球影像處理器（1470)，該球影像處理器（1470)根據該撞擊點之前/之 后的該影像信息以及該預測影像信息，提取作為該主體的球的物理特性；以及一轉換單元 (1475)，該轉換單元（1475)通過將從該影像擷取單元（1430)接收的該影像信息匹配到從 該影像預估器（1465)接收的該預測影像信息，將該影像擷取單元（1430)的多個照相機的 二維（2D)信息轉變成3D信息，或者反過來將該3D信息轉變成2D信息。
[0146] 該影像處理器（1485)進行影像處理以獲取虛擬高爾夫球場的影像或者顯示該虛 擬高爾夫球場上球軌跡的模擬影像，該影像輸出單元（1490)將從該影像處理器（1485)接 收的該影像信息輸出到屏幕上使使用者可形象地看到，并且該數據庫（1495)存儲與該傳 感裝置（1400)有關的所有類型的數據。
[0147] 圖16為舉例說明依據本發(fā)明一實施例利用傳感裝置的擊打傳感器感應主體例如 球是否被使用者擊打的過程的視圖。
[0148] 如圖16a所示，該擊打傳感器（1460)在多個幀的源影像上設定一擊打區(qū)域，并在 該擊打區(qū)域搜尋球。通常，對應于該擊球墊（1425)的區(qū)域被設定為該擊打區(qū)域。如果如上 所述設定該擊打區(qū)域并在該擊打區(qū)域搜尋球，則與搜尋整個源影像的情況相比，可更快并 且準確地檢測到球。
[0149] 該擊打傳感器（1460)可利用各種方法檢測球。例如，可分析預設并存儲為球的參 考影像的球模板與存在于該擊打區(qū)域中的特定對象之間的相似度，如果該相似度等于或大 于一定水平，則可確定該特定對象為球。
[0150] 如圖16b所示，具有足以包含一個球的大小的感應區(qū)域（1600)可相對于所檢測的 球而設定，并且該擊打傳感器（1460)可根據球是否存在于該感應區(qū)域（1600)中而確定球 是否被使用者擊打。
[0151] 例如，當球處于圖16b的狀態(tài)時，如果感應到球不再存在于該感應區(qū)域（1600)中， 如圖16c所示，則該擊打傳感器（1460)可確定球被使用者擊打。在感應到作為該主體的球 被使用者擊打時，該擊打傳感器（1460)在所述感應之前檢查多個幀影像以檢測當球開始 移動時的準確時間點，即撞擊點，將該撞擊點之前/之后的多個幀的影像信息存儲在該數 據庫（1495)中，以及將該影像信息傳送到該影像預估器（1465)。該影像預估器（1465)根 據該影像信息獲取預測影像信息。
[0152] 該球影像處理器（1470)根據從該擊打傳感器（1460)接收的該撞擊點之前/之后 的該影像信息以及從該影像預估器（1465)接收的該預測影像信息來計算物理特性信息， 該物理特性信息包括移動中的球的速度、方向、旋轉等。
[0153] 該球影像處理器（1470)所獲取的球的該物理特性信息被傳送到模擬器（未顯 示），該模擬器通過根據該物理特性信息經該影像輸出單元（1490)輸出虛擬高爾夫球場上 球的模擬影像，來進行虛擬高爾夫球模擬。
[0154] 如上所述，本發(fā)明可提供一種在立體視覺系統中供處理影像的方法及裝置，其通 過藉由利用立體視覺系統中所使用的兩個廉價、低性能照相機以一定時間間隔、不需時間 同步地交替抓取主體影像來獲取影像信息，以獲得高性能照相機的性能。
[0155] 本發(fā)明還可提供一種在立體視覺系統中供處理影像的方法及裝置，其通過根據主 體狀態(tài)切換拍攝模式，以減小系統負載并有效擷取影像。
[0156] 本發(fā)明還可提供一種在立體視覺系統中供處理影像的方法及裝置，其基于從包含 于立體視覺系統中的多個照相機接收的影像信息獲取預測影像信息，并且基于該預測影像 信息檢測主體的物理特性等。
[0157] 對本領域技術人員而言，在不脫離本發(fā)明的精神或范圍的情況下，顯然可對本發(fā) 明作出各種修飾與變化。因此，意圖是倘若這些修飾與變化在所附權利要求書及其等效的 范圍內，那么本發(fā)明覆蓋本發(fā)明的這些修飾與變化。
[0158] 產業(yè)利用性
[0159] 本發(fā)明可用于依據主體狀態(tài)切換立體視覺系統的拍攝模式。
【權利要求】
1. 一種在立體視覺系統中供處理影像的裝置，該裝置包括： 一影像擷取單元，該影像擷取單元包括一第一照相機與一第二照相機以及一照明單 元，該第一照相機與該第二照相機通過擷取一主體影像來獲取影像信息，該照明單元用于 閃光以擷取一影像；以及 一照相機控制器，該照相機控制器控制該第一照相機與該第二照相機通過以一定時間 間隔、不需時間同步地交替抓取該主體影像來獲取該影像信息。
2. 如權利要求1所述的裝置，進一步包括一照明控制器，該照明控制器控制該照明單 元和該第一照相機與該第二照相機抓取該影像時間同步地運行。
3. 如權利要求1所述的裝置，進一步包括： 一影像分析器，該影像分析器根據所獲取的影像信息確定該主體是否保持靜止；以及 一模式切換單元，在確定該主體保持靜止時，該模式切換單元將該影像擷取單元的一 拍攝模式從一第一模式切換到一第二模式， 其中該第一照相機與該第二照相機通過在該第一模式下時間同步地抓取該主體影像， 獲取該影像信息，以及通過在該第二模式下以一定時間間隔交替抓取該主體影像，獲取該 影像息。
4. 如權利要求3所述的裝置，其中該第一照相機與該第二照相機依據從該照相機控制 器傳輸的一信號，在該第二模式下獲取該影像信息。
5. 如權利要求4所述的裝置，其中該第一照相機與該第二照相機在該第一模式下低速 抓取影像以及在該第二模式下高速抓取影像。
6. 如權利要求4所述的裝置，其中該影像分析器包括一擊打傳感器，該擊打傳感器根 據在該第二模式下所獲取的該影像信息，感應該主體是否被一使用者擊打。
7. 如權利要求6所述的裝置，進一步包括一數據庫，該數據庫用于存儲該第一照相機 與該第二照相機在該第二模式下所獲取的該影像信息。
8. 如權利要求7所述的裝置，進一步包括一影像預估器，在感應到該主體被該使用者 擊打時，該影像預估器檢查一撞擊點，從該數據庫提取該撞擊點之前/之后的該影像信息， 以及根據所提取的該影像信息獲取預測影像信息。
9. 如權利要求8所述的裝置，其中該影像預估器利用從該第一照相機接收的第一影像 信息與第二影像信息以及從該第二照相機接收的第三影像信息來獲取第一預測影像信息。
10. 如權利要求9所述的裝置，其中該第一影像信息與該第二影像信息對應于從該第 一照相機接收的連續(xù)幀影像，而該第三影像信息對應于從該第二照相機接收并于該第一影 像信息與該第二影像信息之間獲取的一幀影像。
11. 如權利要求8所述的裝置，進一步包括一影像處理器，該影像處理器根據該撞擊點 之前/之后的該影像信息以及該預測影像信息，獲取該主體的物理特性。
12. -種在立體視覺系統中供處理影像的方法，該方法包括： 利用一影像擷取單元在一第一模式下獲取一主體的影像信息，該影像擷取單元包括一 第一照相機與一第二照相機以及一用于閃光以擷取一影像的照明單元； 根據所獲取的影像信息確定該主體是否保持靜止；以及 在確定該主體保持靜止時，將該影像擷取單元的一拍攝模式切換到一第二模式， 其中該第一照相機與該第二照相機通過在該第一模式下時間同步地抓取該主體影像 來獲取該影像信息，以及通過在該第二模式下以一定時間間隔交替抓取該主體影像來獲取 該影像信息。
13. 如權利要求12所述的方法，進一步包括通過該第一照相機與該第二照相機在切換 到的該第二模式下獲取該影像信息。
14. 如權利要求13所述的方法，進一步包括根據在該第二模式下所獲取的該影像信 息，感應該主體是否被一使用者擊打。
15. 如權利要求14所述的方法，進一步包括將在該第二模式下所獲取的該影像信息存 儲于一數據庫中。
16. 如權利要求15所述的方法，進一步包括在感應到該主體被該使用者擊打時，檢查 一撞擊點，從該數據庫提取該撞擊點之前/之后的該影像信息，以及根據所提取的該撞擊 點之前/之后的該影像信息獲取預測影像信息。
17. 如權利要求16所述的方法，其中利用從該第一照相機接收的第一影像信息與第二 影像信息以及從該第二照相機接收的第三影像信息獲取該預測影像信息。
18. 如權利要求17所述的方法，其中該第一影像信息與該第二影像信息對應于從該第 一照相機接收的連續(xù)幀影像，而該第三影像信息對應于從該第二照相機接收并于該第一影 像信息與該第二影像信息之間獲取的一幀影像。
19. 如權利要求16所述的方法，進一步包括根據該撞擊點之前/之后的該影像信息以 及該預測影像信息，獲取該主體的物理特性。
20. 如權利要求12所述的方法，其中該第一照相機與該第二照相機在該第一模式下低 速抓取影像以及在該第二模式下高速抓取影像。
【文檔編號】H04N13/02GK104094595SQ201180076317
【公開日】2014年10月8日 申請日期:2011年12月30日 優(yōu)先權日:2011年12月29日
【發(fā)明者】權起煥, 成龍遠 申請人:高夫準株式會社