專利名稱：立體圖形系統(tǒng)以及處理方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于一種立體圖形繪制技術(shù)，特別有關(guān)于基于深度影像繪制的 立體圖形系統(tǒng)以及其處理方法。
背景技術(shù)：
一般來說，三維(three-dimensional， 3D)圖形繪制可通過硬件3D加速器進(jìn) 行繪制，也可不通過硬件3D加速器進(jìn)行繪制。但是，在立體圖形裝置中，一 個(gè)場(chǎng)景(scene)通常需要被繪制兩次， 一次用于左眼視線(view)， 一次用于右眼 視線。圖1為立體圖形以及3D影像概念的示意圖。底部左邊的圓圈和底部右邊 的圓圈分別表示人的左眼位置以及右眼位置。E表示兩眼之間的距離，P表示 左眼以及右眼投射至屏幕平面的視線之間的距離，此距離為人腦中的視線深 度(view depth)的立體視頻的差異。Zi表示從人眼到屏幕平面之間的視線距離。 最高點(diǎn)表示顯示在屏幕平面上的影像點(diǎn)，Zm表示從屏幕平面至影像點(diǎn)在人腦 形成3D景象的視線深度。3D立體圖形操作包括3D圖形繪制立體視覺。立體圖形加速器的設(shè)計(jì)中 包括繪制3D影像以及顯示立體圖形。實(shí)時(shí)繪制3D圖形可通過使用具有3D 圖形芯片的影像加速器而實(shí)現(xiàn)，例如3Dlabs提供的GLINT線。設(shè)計(jì)高分辨率 立體圖形加速器的關(guān)鍵則是在立體圖形加速器中加入立體顯示功能。正如前所述，只有在左眼影像、右眼影像(即立體圖形對(duì)，stereopair)同時(shí) 顯示時(shí)才能看到立體圖形。這樣，則需要兩個(gè)雙緩沖存儲(chǔ)器(double-buffered memory)來進(jìn)行立體顯示。也就是說，幀緩沖器必須被分成4個(gè)緩沖區(qū)，包含前左緩沖區(qū)，后左緩沖區(qū)，前右緩沖區(qū)以及后右緩沖區(qū)。每個(gè)雙緩沖存儲(chǔ)器儲(chǔ)存左眼影像或右眼影像，這種幀緩沖器結(jié)構(gòu)被稱作是4路緩沖(quad buffering)。為了在顯示設(shè)備上正確觀看立體圖形，左眼只能觀看從左緩沖器輸出的 影像，右眼只能觀看從右緩沖器輸出的影像。每只眼所觀看的影像需經(jīng)常更 新以防止閃爍(flickering)。時(shí)分式立體設(shè)備(Time multiplexed stereo devices), 如液晶立體眼鏡， 一般用以觀看立體圖形。請(qǐng)參考圖2所示的NVIDIA 3D立體使用者向?qū)?，圖形應(yīng)用軟件17決定 一個(gè)觀察點(diǎn)以及圖形數(shù)據(jù)，圖形管線(pipeline)23根據(jù)觀察點(diǎn)以及影像數(shù)據(jù)繪 制影像，幀緩沖器26儲(chǔ)存所繪制的影像，顯示設(shè)備29顯示所繪制的影像。 當(dāng)開啟立體模式時(shí)，兩攝影機(jī)的觀察點(diǎn)被繪制，這樣會(huì)降低至少一半的幀率， 幀率的降低常常會(huì)導(dǎo)致無法繼續(xù)游戲或者是畫面質(zhì)量很差。在現(xiàn)有技術(shù)中，請(qǐng)參見圖3，為現(xiàn)有技術(shù)的立體圖形系統(tǒng)的方塊圖。當(dāng)啟 動(dòng)立體模式時(shí)，利用多個(gè)圖形管線繪制兩攝影機(jī)的觀察點(diǎn)。主管線55接收?qǐng)D 形數(shù)據(jù)，并且繪制2D圖形數(shù)據(jù)至幀緩沖器65，然后發(fā)送3D影像數(shù)據(jù)至從管 線(slave pipeline)56-59，從管線56-59分別繪制3D影像數(shù)據(jù)至幀緩沖器66-69。 合成器76將來自幀緩沖器65-69的數(shù)據(jù)流合成單一數(shù)據(jù)流并傳送至顯示設(shè)備 83。由于在繪制左眼影像和右眼影像時(shí)采用多于一個(gè)的圖形管線，以致其幀 率與2D顯示模式時(shí)的幀率相等，但是其硬件成本以及交換圖形數(shù)據(jù)時(shí)的頻寬 均有所增加。發(fā)明內(nèi)容本發(fā)明提供一種可降低系統(tǒng)的復(fù)雜度并且加速影像的合成的立體圖形系 統(tǒng)以及方法。本發(fā)明實(shí)施例提供一種立體圖形系統(tǒng)，包含主管線，接收?qǐng)D形數(shù)據(jù)，繪 制第一影像，并根據(jù)第一影像獲得深度影像；繪制單元，自主管線獲得第一影像以及深度影像并根據(jù)第一影像以及深度影像繪制第二影像；第一幀緩沖器，獲得并暫存第一影像；第二幀緩沖器，獲得并暫存第二影像；以及合成 器，從第一幀緩沖器以及第二幀緩沖器獲得第一影像以及第二影像，并將第 一影像和第二影像合成以產(chǎn)生合成影像結(jié)果。本發(fā)明實(shí)施例還提供一種處理立體圖形的方法，包含自圖形數(shù)據(jù)繪制第 一影像并獲得與第一影像相關(guān)的深度影像；暫存第一影像；根據(jù)第一影像以 及深度影像繪制第二影像；暫存第二影像；以及獲取第一影像以及第二影像 并將第一影像以及第二影像合并成影像結(jié)果。本發(fā)明還提供一種用以處理立體圖形的可讀計(jì)算器儲(chǔ)存媒體，包含主 管線模塊，從圖形數(shù)據(jù)繪制左眼的第一影像并獲得與第一影像相關(guān)的深度影 像；第一幀緩沖模塊，暫存第一影像；繪制模塊，根據(jù)第一影像以及深度影 像繪制右眼的第二影像；第二幀緩沖模塊，暫存第二影像；以及合成模塊， 獲取第一影像以及第二影像并將第一影像以及第二影像合并成影像結(jié)果。因此，本發(fā)明的立體圖形系統(tǒng)以及處理立體圖形的方法，通過所繪制的 影像以及獲得的深度影像得到另一影像，將影像合成立體圖形，可以降低系 統(tǒng)的復(fù)雜度并且加速影像的合成。


圖1為立體圖形以及3D影像概念的示意圖。 圖2為現(xiàn)有技術(shù)的立體圖形系統(tǒng)的方塊圖。 圖3為現(xiàn)有技術(shù)的立體圖形系統(tǒng)的方塊圖。圖4顯示人的視覺神經(jīng)所產(chǎn)生的左眼以及右眼所觀察到物體的相對(duì)位置。 圖5顯示深度影像繪制的實(shí)施例的示意圖。圖6為本發(fā)明實(shí)施例的基于深度的影像繪制的立體圖形系統(tǒng)的示意圖。 圖7為本發(fā)明另一實(shí)施例的基于深度的利用至少兩管線的影像繪制的立 體圖形系統(tǒng)的示意圖。圖8為本發(fā)明另一實(shí)施例的基于深度的利用至少兩繪制單元的影像繪制 的立體圖形系統(tǒng)的示意圖。圖9為本發(fā)明實(shí)施例的立體圖形系統(tǒng)的處理方法。
具體實(shí)施方式
圖4顯示人的視覺神經(jīng)所產(chǎn)生的左眼以及右眼所觀察到物體的相對(duì)位置。 圖5顯示深度影像繪制的實(shí)施例的示意圖，根據(jù)視覺神經(jīng)產(chǎn)生的左眼所觀察 到的影像繪制右眼影像。請(qǐng)參考圖4，左眼視線與右眼視線是相關(guān)的，深度是 重要的關(guān)系。請(qǐng)參考圖5，影像L代表左眼影像，影像R代表右眼影像，影 像D代表深度影像，DV (display vector)為視差向量，左眼影像被首先繪制 出來，然后計(jì)算出與左眼影像有關(guān)的深度影像，根據(jù)左眼影像以及深度影像 繪制右眼影像。圖6為本發(fā)明實(shí)施例的基于深度的影像繪制的立體圖形系統(tǒng)的示意圖。 立體圖形系統(tǒng)400包含圖形應(yīng)用軟件410，主管線(master pipeline)420，繪制 單元430，第一幀緩沖器440，第二幀緩沖器450，以及合成器(compositor)460。 圖形應(yīng)用軟件410提供圖形數(shù)據(jù)至主管線420，主管線420繪制左眼影像并且 獲得與左眼影像有關(guān)的深度影像。左眼影像暫時(shí)儲(chǔ)存于第一幀緩沖器440。主 管線420將左眼影像以及深度影像傳送至繪制單元430。繪制單元430根據(jù)左 眼影像以及深度影像繪制右眼影像，并將右眼影像暫存于第二幀緩沖器450 中。合成器460從第一幀緩沖器440以及第二幀緩沖器450中獲得左眼影像 和右眼影像，并將其左眼影像和右眼影像合成以產(chǎn)生顯示于顯示裝置的影像 結(jié)果。如上所述，右眼影像可以從左眼影像以及深度影像信息中獲得。但是， 由圖4所示，左眼與右眼的視線差異造成了遮蔽區(qū)域(occludedareas)。如果要 求準(zhǔn)確的影像結(jié)果，則繪制單元430對(duì)遮蔽區(qū)域繪制一個(gè)定界框(bounding box)并將此定界框傳送至主管線420。主管線420再根據(jù)此定界框繪制遮蔽區(qū)域的右眼影像。遮蔽區(qū)域的右眼影像可通過內(nèi)插法(interpolation)或是外插法 (extrapolation)來提高畫面質(zhì)量。圖7為本發(fā)明另一實(shí)施例的基于深度的利用至少兩管線的影像繪制的立 體圖形系統(tǒng)的示意圖。立體圖形系統(tǒng)500包含圖形應(yīng)用軟件510，主管線520， 從管線(slave pipdine)525，繪制單元530，第一幀緩沖器540，第二幀緩沖器 550，第三幀緩沖器545，以及合成器560。主管線520從圖形應(yīng)用軟件510 獲得圖形數(shù)據(jù)，并且繪制左眼影像并根據(jù)左眼影像計(jì)算深度影像。然后左眼 影像在第一幀緩沖器540進(jìn)行緩沖，如果左眼影像中的物體也需要繪制，但 其位置遠(yuǎn)于觀察者的左眼深度影像，則從管線525繪制這個(gè)物體并將其影像 傳送至第三幀緩沖器545。主管線520將左眼影像以及深度影像傳送至繪制單 元530。繪制單元530根據(jù)左眼影像以及深度影像繪制右眼影像，并將右眼影 像暫存于第二幀緩沖器550。合成器560從第一幀緩沖器540以及第二幀緩沖 器550中獲得左眼影像和右眼影像，并從第三幀緩沖器545中獲得物體影像， 然后將左眼影像和右眼影像以及物體影像進(jìn)行合成以產(chǎn)生顯示于顯示裝置的 影像結(jié)果。圖8為本發(fā)明另一實(shí)施例的立體圖形系統(tǒng)的示意圖，基于深度信息并利 用至少兩繪制單元產(chǎn)生立體影像。立體圖形系統(tǒng)600包含圖形應(yīng)用軟件610， 主管線620，繪制單元630以及635，第一幀緩沖器640，第二幀緩沖器650， 第三幀緩沖器655，以及合成器660。主管線620從圖形應(yīng)用軟件610獲得圖 形數(shù)據(jù)，并從影像數(shù)據(jù)中繪制左眼影像，并根據(jù)左眼影像獲得影像深度，然 后將左眼影像傳送至第一幀緩沖器640。如果左眼影像中的物體也需要繪制， 但其位于左眼深度影像附近，則繪制單元635繪制此物體，并將物體影像傳 送至第三幀緩沖器655。主管線620將左眼影像以及深度影像傳送至繪制單元 630以繪制右眼影像，并且右眼影像暫時(shí)儲(chǔ)存至第二幀緩沖器650。合成器660 從第一幀緩沖器640以及第二幀緩沖器650中獲得左眼影像和右眼影像，并 從第三幀緩沖器655中獲得物體影像，然后將左眼影像和右眼影像以及物體10影像進(jìn)行合成以產(chǎn)生顯示于顯示裝置的影像結(jié)果。在其它一些實(shí)施例中，立體圖形系統(tǒng)根據(jù)兩個(gè)以上視野產(chǎn)生最終影像，例如，包含左，右以及中央視野。中央視野的影像可由與圖5結(jié)構(gòu)相似的另 外一個(gè)圖形管線而獲得，或由與圖6結(jié)構(gòu)相似的另外一個(gè)繪制單元而獲得。圖9為本發(fā)明實(shí)施例的立體圖形系統(tǒng)的處理方法。當(dāng)圖形應(yīng)用軟件開始 工作時(shí)，繪制對(duì)應(yīng)左眼的第一影像以及與與第一影像相關(guān)的深度影像(步驟 71)。傳送第一影像至第一幀緩沖器以及繪制單元，并傳送深度影像至繪制單 元(步驟72)。根據(jù)第一影像以及深度影像計(jì)算與右眼相關(guān)的第二影像(步驟 73)。然后，傳送第二影像至第二幀緩沖器(步驟74)。從第一幀緩沖器以及第 二幀緩沖器獲得第一影像和第二影像，然后將第一影像和第二影像合成以產(chǎn) 生影像結(jié)果(步驟75)，并將影像結(jié)果顯示于顯示設(shè)備上。因此，基于深度影像繪制的立體圖形系統(tǒng)以及處理方法可應(yīng)用至影像卡 (graphics cards)或其它支持立體圖形的產(chǎn)品。以上實(shí)施例所提出的立體圖形系 統(tǒng)以及方法通過利用深度信息加速影像合成。處理復(fù)雜場(chǎng)景的幀率也能保持 與僅采用一個(gè)圖形管線單元時(shí)的幀率相等。以上所揭示的方法均可以程序的形式儲(chǔ)存于媒體中，如，CD-ROM，硬 盤，韌體，或其它機(jī)器可讀儲(chǔ)存媒體，其中，程序代碼(例如計(jì)算機(jī)指令)由機(jī) 器加載并執(zhí)行。當(dāng)程序代碼由機(jī)器，例如計(jì)算機(jī)，加載并執(zhí)行時(shí)，機(jī)器成為 實(shí)施上述揭示的內(nèi)容的裝置。本發(fā)明另一實(shí)施例提供一種用以處理立體圖形的可讀計(jì)算器儲(chǔ)存媒體， 包含主管線模塊，從圖形數(shù)據(jù)繪制左眼的第一影像并獲得與第一影像相關(guān) 的深度影像；第一幀緩沖模塊，暫存第一影像；繪制模塊，根據(jù)第一影像以 及深度影像繪制右眼的第二影像；第二幀緩沖模塊，暫存第二影像；以及合 成模塊，獲取第一影像以及第二影像并將第一影像以及第二影像合并成影像 結(jié)果。如果檢測(cè)到第一影像以及該第二影像的遮蔽區(qū)域，繪制模塊繪制定界 框；以及繪制模塊根據(jù)定界框繪制該遮蔽區(qū)域。繪制模塊通過內(nèi)插法繪制該遮蔽區(qū)域。以上所揭示的方法還可被應(yīng)用于在傳輸媒體上(例如，電線，電纜或光纜 等)或通過任何其它傳輸方式傳送的程序代碼。其中，當(dāng)程序代碼由機(jī)器(例如 計(jì)算機(jī))接收并加載，機(jī)器成為實(shí)施上述揭示的內(nèi)容的裝置。當(dāng)實(shí)施于一般概 念的處理器時(shí)，程序代碼與處理器結(jié)合以提供一特定裝置來操作特定的電路。
權(quán)利要求
1.一種立體圖形系統(tǒng)，其特征在于，該立體圖形系統(tǒng)包含主管線，接收?qǐng)D形數(shù)據(jù)，繪制第一影像，并根據(jù)該第一影像獲得深度影像；繪制單元，耦接至所述的主管線，從該主管線獲得所述的第一影像以及所述的深度影像，并基于該第一影像以及該深度影像繪制第二影像；第一幀緩沖器，耦接至所述的主管線，獲得并儲(chǔ)存所述的第一影像；第二幀緩沖器，耦接至所述的繪制單元，獲得并儲(chǔ)存所述的第二影像；以及合成器，耦接至所述的第一幀緩沖器以及所述的第二幀緩沖器，從該第一幀緩沖器以及該第二幀緩沖器獲得所述的第一影像以及所述的第二影像，并將該第一影像和該第二影像合成以產(chǎn)生影像結(jié)果。
2. 根據(jù)權(quán)利要求1所述的立體圖形系統(tǒng)，其特征在于，如果檢測(cè)到所述 的第一影像以及所述的第二影像的遮蔽區(qū)域，所述的繪制單元繪制定界框并 將該定界框傳送至所述的主管線，該主管線根據(jù)該定界框繪制該遮蔽區(qū)域。
3. 根據(jù)權(quán)利要求2所述的立體圖形系統(tǒng)，其特征在于，所述的遮蔽區(qū)域 通過內(nèi)插法繪制。
4. 根據(jù)權(quán)利要求1所述的立體圖形系統(tǒng)，其特征在于，所述的第一影像 為左眼影像或右眼影像。
5. 根據(jù)權(quán)利要求4所述的立體圖形系統(tǒng)，其特征在于，如果所述的第一 影像為左眼影像，所述的第二影像為右眼影像。
6. 根據(jù)權(quán)利要求1所述的立體圖形系統(tǒng)，其特征在于，所述的立體圖形 系統(tǒng)還包含第二繪制單元，從所述的主管線獲取所述的第一影像以及所述的深度影 像，并繪制第三影像；以及第三幀緩沖器，耦接至所述的第二繪制單元，獲得并儲(chǔ)存所述的第三影像；其中所述的合成器通過合并所述的第一影像，所述的第二影像以及所述 的第三影像產(chǎn)生所述的影像結(jié)果。
7. 根據(jù)權(quán)利要求1所述的立體圖形系統(tǒng)，其特征在于，所述的立體圖形 系統(tǒng)還包含從管線，接收所述的圖形數(shù)據(jù)并繪制第三影像；以及 第三幀緩沖器，獲得并儲(chǔ)存所述的第三影像；其中所述的合成器通過合并所述的第一影像，所述的第二影像以及所述 的第三影像產(chǎn)生所述的影像結(jié)果。
8. —種處理立體圖形的方法，其特征在于，所述的方法包含自圖形數(shù)據(jù)繪制第一影像并獲得與所述的第一影像相關(guān)的深度影像； 暫存所述的第一影像；根據(jù)所述的第一影像以及所述的深度影像繪制第二影像； 暫存所述的第二影像；以及獲取所述的第一影像以及所述的第二影像并將所述的第一影像以及所述 的第二影像合并成影像結(jié)果。
9. 根據(jù)權(quán)利要求8所述的處理立體圖形的方法，其特征在于，所述的方 法還包含如果檢測(cè)到所述的第一影像以及所述的第二影像的遮蔽區(qū)域，繪制定界 框，根據(jù)所述的定界框繪制所述的遮蔽區(qū)域。
10. 根據(jù)權(quán)利要求9所述的處理立體圖形的方法，其特征在于，所述的遮 蔽區(qū)域通過內(nèi)插法繪制。
11. 根據(jù)權(quán)利要求8所述的處理立體圖形的方法，其特征在于，所述的第 一影像為左眼影像或右眼影像。
12. 根據(jù)權(quán)利要求8所述的處理立體圖形的方法，其特征在于，所述的方法還包含獲取所述的第一影像以及所述的深度影像以繪制第三影像；以及 暫存所述的第三影像；其中合并所述的第一影像，所述的第二影像以及所述的第三影像以產(chǎn)生 所述的影像結(jié)果。
13. 根據(jù)權(quán)利要求12所述的處理立體圖形的方法，其特征在于，根據(jù)接 近所述的第一影像的基于深度物體的物體繪制所述的第三影像。
14. 根據(jù)權(quán)利要求8所述的處理立體圖形的方法，其特征在于，所述的方 法還包含接收所述的圖形數(shù)據(jù)并繪制第三影像；以及 暫存所述的第三影像；其中合并所述的第一影像，所述的第二影像以及所述的第三影像以產(chǎn)生 所述的影像結(jié)果。
15. 根據(jù)權(quán)利要求14所述的處理立體圖形的方法，其特征在于，根據(jù)接近 所述的第一影像的基于深度物體的物體繪制所述的第三影像。
16. —種用以處理立體圖形的可讀計(jì)算器儲(chǔ)存媒體，其特征在于，所述的 可讀計(jì)算器儲(chǔ)存媒體包含主管線模塊，從圖形數(shù)據(jù)繪制左眼的第一影像并獲得與所述的第一影像 相關(guān)的深度影像；第一幀緩沖模塊，暫存所述的第一影像；繪制模塊，根據(jù)所述的第一影像以及所述的深度影像繪制右眼的第二影像；第二幀緩沖模塊，暫存所述的第二影像；以及合成模塊，獲取所述的第一影像以及所述的第二影像并將所述的第一影 像以及所述的第二影像合并成影像結(jié)果。
17. 根據(jù)權(quán)利要求16所述的用以處理立體圖形的可讀計(jì)算器儲(chǔ)存媒體，其特征在于，所述的可讀計(jì)算器儲(chǔ)存媒體還包含如果檢測(cè)到所述的第一影像以及所述的第二影像的遮蔽區(qū)域，所述的繪 制模塊繪制定界框；以及所述的繪制模塊根據(jù)所述的定界框繪制所述的遮蔽區(qū)域。
18.根據(jù)權(quán)利要求16所述的用以處理立體圖形的可讀計(jì)算器儲(chǔ)存媒體， 其特征在于，所述的繪制模塊通過內(nèi)插法繪制所述的遮蔽區(qū)域。
全文摘要
本發(fā)明涉及一種立體圖形系統(tǒng)，包含主管線，接收影像數(shù)據(jù)，繪制第一影像，并取得與第一影像相關(guān)的深度影像；繪制單元，從主管線獲得第一影像以及影像深度，并基于第一影像以及深度影像繪制第二影像；第一幀緩沖器，獲得并儲(chǔ)存該第一影像；第二幀緩沖器，獲得并儲(chǔ)存該第二影像；以及合成器，從第一幀緩沖器以及第二幀緩沖器獲得第一影像以及第二影像，并將第一影像和第二影像合成以產(chǎn)生合成影像結(jié)果。因此，本發(fā)明的立體圖形系統(tǒng)以及處理立體圖形的方法，通過所繪制的影像以及獲得的深度影像得到另一影像，將影像合成立體圖形，可以降低系統(tǒng)的復(fù)雜度并且加速影像的合成。
文檔編號(hào)G06T15/20GK101329759SQ20071016993
公開日2008年12月24日 申請(qǐng)日期2007年11月8日 優(yōu)先權(quán)日2007年6月18日
發(fā)明者郭志輝, 陳菀瑜 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司