本發(fā)明涉及圖像顯示領(lǐng)域，具體涉及全景圖像處理方法、顯示裝置及播放設備。

背景技術(shù)：

隨著科技的進步，虛擬現(xiàn)實技術(shù)逐漸被應用于各個領(lǐng)域。目前的虛擬現(xiàn)實設備通常通過gpu對全景圖像進行處理，具體的，gpu先對視野范圍內(nèi)的圖像進行采樣，并預存視野范圍內(nèi)的圖像的所有采樣數(shù)據(jù)，之后再從預存數(shù)據(jù)中讀取采樣數(shù)據(jù)，令虛擬現(xiàn)實設備顯示圖像。由于gpu實現(xiàn)全景圖像的顯示時需將所有采樣數(shù)據(jù)進行預存，不僅占用了大量的內(nèi)存帶寬，而且當顯示全景視頻時還會造成畫面的延遲。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述缺陷，提供一種減少內(nèi)存帶寬占用，減少畫面延遲的全景圖像處理方法、應用該方法的顯示裝置及播放設備。

一種全景圖像處理方法，包括：

掃描映射面上映射的與全景圖像待顯示區(qū)域相對應的映射圖像；

根據(jù)掃描信息對所述全景圖像中與掃描區(qū)域?qū)膮^(qū)域采樣。

一種顯示裝置，包括：

控制器，用于掃描映射面上映射的與全景圖像待顯示區(qū)域相對應的映射圖像；

采樣模塊，用于根據(jù)所述控制器的掃描信息對所述全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣。

一種播放設備，包括上述任一所述的顯示裝置，以及顯示單元，所述顯示單元用于實時獲取所述采樣模塊的采樣數(shù)據(jù)，并根據(jù)所述采樣數(shù)據(jù)進行實時顯示。

一種全景圖像處理方法，包括：

控制器掃描映射面上映射的與全景圖像待顯示區(qū)域相對應的映射圖像，并將掃描信息發(fā)送給采樣模塊；

所述采樣模塊根據(jù)所述控制器的掃描信息對所述全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣。

上述全景圖像處理方法，由于對全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣，能夠令播放設備在顯示圖像時，實時獲取本方法輸出的采樣數(shù)據(jù)，進而做到一邊采樣，一邊顯示，無需將所有的采樣數(shù)據(jù)進行預存之后再進行顯示。這樣，一方面能夠減少對播放設備內(nèi)存帶寬的占用，減少畫面的延遲，另一方面還能夠減少播放設備的功耗，提高播放設備的續(xù)航時間。

附圖說明

下面將結(jié)合附圖及實施例對本發(fā)明作進一步說明，附圖中：

圖1為本發(fā)明全景圖像處理方法一實施例的流程圖；

圖2為本發(fā)明全景圖像處理方法另一實施例的流程圖；

圖3為本發(fā)明一實施例中根據(jù)掃描信息對全景圖像進行實時采樣步驟的流程圖；

圖4為本發(fā)明顯示裝置一實施例的結(jié)構(gòu)示意圖；

圖5為本發(fā)明全景圖像處理方法又一實施例的流程圖。

具體實施方式

為了便于理解本發(fā)明，下面將參照相關(guān)附圖對本發(fā)明進行更全面的描述。附圖中給出了本發(fā)明的較佳實施方式。但是，本發(fā)明可以以許多不同的形式來實現(xiàn)，并不限于本文所描述的實施方式。相反地，提供這些實施方式的目的是使對本發(fā)明的公開內(nèi)容理解的更加透徹全面。

需要說明的是，當元件被稱為“設置于”另一個元件，它可以直接在另一個元件上或者也可以存在居中的元件。當一個元件被認為是“連接”另一個元件，它可以是直接連接到另一個元件或者可能同時存在居中元件。本文所使用的術(shù)語“垂直的”、“水平的”、“左”、“右”以及類似的表述只是為了說明的目的，并不表示是唯一的實施方式。

如圖1所示，其為本發(fā)明一實施例全景圖像處理方法10的流程圖。

步驟s110具體為，掃描映射面上映射的與全景圖像待顯示區(qū)域相對應的映射圖像。

具體的，將全景圖像映射到映射面上，以獲得全景映射圖像，其中，全景映射圖像為與全景圖像中各區(qū)域?qū)淖鴺耍酝ㄟ^坐標指示全景圖像的各區(qū)域；根據(jù)視野范圍獲取全景映射圖像中的與待顯示區(qū)域?qū)牟糠郑垣@取映射圖像，也可以理解為，剔除全景映射圖像中視野范圍外的區(qū)域；掃描獲取的映射圖像。其中，映射面、視野范圍根據(jù)播放設備的fov(fieldofview視場)信息生成；待顯示區(qū)域為全景圖像中與使用播放設備播放時視野范圍內(nèi)的顯示圖像相對應的區(qū)域；全景圖像即可以為全景視頻中的幀圖像，也可為單獨一全景圖像。

步驟s120具體為，根據(jù)掃描信息對全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣。

例如，根據(jù)映射圖像的掃描順序，對全景圖像中與掃描區(qū)域?qū)膮^(qū)域?qū)崟r順序進行采樣。

上述全景圖像處理方法10，由于對全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣，能夠令播放設備在顯示圖像時，實時獲取本方法輸出的采樣數(shù)據(jù)，進而做到一邊采樣，一邊顯示，無需將所有的采樣數(shù)據(jù)進行預存之后再進行顯示。這樣，一方面能夠減少對播放設備內(nèi)存帶寬的占用，減少畫面的延遲，另一方面還能夠減少播放設備的功耗，提高播放設備的續(xù)航時間。

如圖2所示，其為本發(fā)明一實施例全景圖像處理方法20的流程圖。

步驟s210具體為，獲取全景圖像。

步驟s220具體為，將全景圖像分成多個子塊。

其中，子塊大小、數(shù)量、形狀可根據(jù)實際需要進行選擇。例如，將全景圖像分成多個三角形的子塊；或者，也可以將全景圖像分成多個四邊形的子塊，例如矩形、平行四邊形等。本實施例中，將全景圖像分成多個矩形子塊。

步驟s230具體為，將多個子塊映射到映射面上。

具體的，步驟s230包括：

(1)將子塊映射到映射模型中。也可以理解為，將各子塊的頂點坐標映射到空間映射模型中。其中，映射模型可為球狀、立方體等。

(2)獲取當前視角信息，并根據(jù)當前視角旋轉(zhuǎn)映射模型。具體的，根據(jù)當前視角轉(zhuǎn)信息，對各映射在空間映射模型中的子塊的頂點進行轉(zhuǎn)換。

(3)將旋轉(zhuǎn)后映射在映射模型上的子塊映射到映射面上。也可以理解為，將映射到映射模型上的各子塊的頂點坐標再映射到映射面上，獲得每個子塊的映射子塊，即獲取全景映射圖像。其中，映射面根據(jù)播放設備的fov信息生成。

步驟s240具體為，獲取與待顯示區(qū)域?qū)挠成渥訅K，以獲取映射圖像。

具體的，根據(jù)視野范圍剔除全景映射圖像中位于視野范圍外的映射子塊。需要說明的是，當映射子塊部分位于視野內(nèi)部分位于視野外時，可無需剔除該塊映射子塊。

步驟s250具體為，掃描映射面上的映射圖像。

其中，掃描映射圖像的順序可根據(jù)需要進行選擇。例如，從左到右進行掃描，即逐列掃描；或者，從上到下進行掃描，即逐行掃描。

步驟s260具體為，根據(jù)掃描信息對全景圖中與掃描區(qū)域?qū)膮^(qū)域像采樣。

對全景圖像進行采樣時，可根據(jù)掃描順序?qū)θ皥D像進行順序?qū)崟r采樣，例如逐行掃描映射圖像時，按照掃描順序?qū)θ皥D像中與逐行掃描所獲取的映射圖像對應的區(qū)域進行采樣，以令采樣數(shù)據(jù)與掃描到的映射圖像的區(qū)域相對應。

需要說明的是，對掃描區(qū)域?qū)膮^(qū)域，也可以為掃描區(qū)域周圍的區(qū)域。例如，預設并行采樣的行數(shù)或列數(shù)，并對掃描的預設行數(shù)或預設列數(shù)進行并行采樣，具體的，例如，預設行數(shù)為三行，每三行為一組進行采樣，根據(jù)三行的掃描信息對三行同時采樣，即在其中一行掃描結(jié)束，但未完成采樣時，可根據(jù)需要對另一掃描結(jié)束行進行采樣，這樣，整合了幾行的掃描信息，令采樣效率更高。

請一并參閱圖3，其為本發(fā)明一實施例中步驟s260根據(jù)掃描信息對全景圖中與掃描區(qū)域?qū)膮^(qū)域像采樣的流程圖。

步驟s260包括如下步驟，

步驟s261具體為，實時獲取掃描區(qū)域所涉及的所述映射圖像中的映射子塊。

當掃描順序為從上到下，或者從左到右時，實時獲取每行或每列的掃描區(qū)域所掃描到的子塊。例如，掃描順序為從左到右，映射圖像中具有120個映射子塊，按照掃描順序，第一列的掃描區(qū)域涉及10個映射子塊，第二列的掃描區(qū)域涉及11個映射子塊，并依次掃描；實時獲取每列掃描時所涉及的映射子塊，即掃描第一列時，實時獲取該列的10個映射子塊，掃描第二列時，實時獲取第二列的11個映射子塊。

步驟s262具體為，根據(jù)獲取的映射子塊獲取全景圖像中與其對應的子塊。

也可以理解為，獲取與被掃描到的映射子塊對應的子塊，例如，根據(jù)子塊到映射子塊的映射關(guān)系獲取與映射子塊對應的子塊，其中，子塊到映射子塊的映射關(guān)系為將子塊映射到映射面上的映射系數(shù)。

步驟s263具體為，對獲取的子塊中與掃描區(qū)域?qū)牟蓸訁^(qū)域?qū)崟r采樣。

具體的，獲取子塊中與實時掃描區(qū)域?qū)牟蓸訁^(qū)域。即獲取該行或該列實時掃描區(qū)域所對應的子塊中的像素。根據(jù)子塊到映射子塊的映射關(guān)系對采樣區(qū)域?qū)崟r采樣。

需要說明的是，根據(jù)實際需要，步驟s260還包括：根據(jù)子塊到映射子塊的映射關(guān)系，獲取子塊到映射子塊的映射系數(shù)。也可以理解為，獲取子塊映射到映射面上的映射系數(shù)，其中，每個子塊內(nèi)部的映射系數(shù)相同，不同子塊之間的映射系數(shù)即可相同也可相異。此時步驟s262可根據(jù)映射系數(shù)獲取與映射子塊對應的子塊，步驟s263可根據(jù)映射系數(shù)對獲取的子塊進行實時采樣。

步驟s260還包括：

(1)預存獲取的掃描區(qū)域所涉及的所述子塊。

(2)繼續(xù)掃描映射面，并將掃描區(qū)域所涉及且未被預存的子塊預存至未被占用的存儲空間內(nèi)，或者預存至本次掃描區(qū)域未涉及的預存子塊的存儲空間內(nèi)。

具體的，預存與一行掃描所涉及的映射子塊相對應的子塊后，繼續(xù)進行下一行的掃描，并預存下一行掃描所涉及且未被上一行掃描時預存的子塊，根據(jù)實際需要，未被預存的子塊可存至未被占用的存儲空間內(nèi)，或者將未被預存的子塊存儲至上一行預存了但本次掃描未涉及的子塊所占用的存儲空間內(nèi)。其中預存子塊即為預存至存儲空間內(nèi)的子塊。

需要說明的而是，此時，對獲取的子塊中與掃描區(qū)域?qū)牟蓸訁^(qū)域?qū)崟r采樣為對預存子塊中與掃描區(qū)域?qū)牟蓸訁^(qū)域?qū)崟r采樣。

本實施例中，獲取的子塊及/或映射系數(shù)存儲在片上存儲空間的存儲塊內(nèi)，以提高后續(xù)步驟的效率。例如，將全景圖像映射到映射面上后，獲取所有子塊到映射子塊的映射系數(shù)，并預存，以提高步驟s262中獲取子塊的效率，以及步驟s263中實時采樣的效率。此外，也可以僅預存部分映射系數(shù)，例如預存視野范圍內(nèi)子塊的映射系數(shù)。

其他實施例中，也可以將映射系數(shù)存儲在片外存儲空間，或者也可以將塊存儲在片外存儲空間。

一實施方式中，片上存儲空間的存儲塊內(nèi)預存與待顯示區(qū)域?qū)牟糠肿訅K。例如，片上存儲空間內(nèi)預存實時掃描區(qū)域所涉及的子塊。或者，片上存儲空間也可以存儲兩次掃描區(qū)域所涉及的子塊等。

為了充分利用片上存儲空間，本實施例中，用于預存子塊及/或映射系數(shù)的片上存儲空間的存儲塊，被預存的子塊及/或映射系數(shù)占滿。例如，存儲塊的寬度為子塊寬度的整數(shù)倍，以使片上存儲空間的存儲塊能存儲多個子塊，而無空余空間，進而充分利用片上存儲空間。

一實施方式中，全景圖像處理方法還包括：根據(jù)實時采樣數(shù)據(jù)實時顯示所述待顯示區(qū)域。即可根據(jù)采樣數(shù)據(jù)實時顯示掃描區(qū)域中的圖像。

請一并參閱圖4，其為本發(fā)明一實施例顯示裝置30的結(jié)構(gòu)示意圖。

顯示裝置30，包括：控制器100、采樣模塊200。具體的，控制器100用于掃描映射面上映射的與全景圖像待顯示區(qū)域相對應的映射圖像；采樣模塊200用于根據(jù)控制器100的掃描信息對全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣。其中，映射面根據(jù)播放設備的fov(fieldofview視場)信息生成；待顯示區(qū)域為全景圖像中與使用播放設備播放時視野范圍內(nèi)的顯示圖像相對應的區(qū)域；全景圖像即可以為全景視頻中的幀圖像，也可為單獨一全景圖像；掃描信息包括需要進行采樣的像素等采樣需要用到的信息。

上述顯示裝置30，由于對全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣，能夠在顯示圖像時，實時獲取顯示裝置中的采樣數(shù)據(jù)，進而做到一邊采樣，一邊顯示，無需將所有的采樣數(shù)據(jù)進行預存之后再進行顯示。這樣，一方面能夠減少對內(nèi)存帶寬的占用，減少畫面的延遲，另一方面還能夠減少功耗，提高續(xù)航時間。

一實施例中，全景圖像包括多個子塊，映射面上映射有子塊的映射子塊。其中，映射子塊為子塊映射到映射面上的各頂點坐標；既可以通過軟件將全景圖像分成多個子塊，并將子塊映射到映射面上，也可以通過硬件實現(xiàn)，當通過軟件實現(xiàn)時，其既可以通過顯示裝置30運行，也可以通過播放設備的其他硬件運行，例如cpu、gpu等。本實施例中，子塊為矩形，其他實施例中子塊也可以為其他形狀，例如三角形等。

采樣模塊200包括提取單元210及差值計算單元220。其中，提取單元210用于根據(jù)掃描信息實時獲取掃描區(qū)域所涉及的映射圖像中的映射子塊，并獲取與其對應的子塊；差值計算單元220用根據(jù)掃描信息于對提取單元210獲取的子塊中與掃描區(qū)域?qū)膮^(qū)域進行采樣。

例如，采樣模塊200還用于獲取子塊到映射子塊的映射系數(shù)，即子塊映射到映射面上的映射系數(shù)。此時，提取單元210用于根據(jù)映射系數(shù)獲取與映射子塊對應的子塊，具體的，提取單元210獲取映射子塊后，根據(jù)映射系數(shù)查找與該映射子塊對應的全景圖像中的子塊。差值計算單元220用于根據(jù)映射系數(shù)對獲取的子塊進行采樣。例如，差值計算單元220根據(jù)控制器100的掃描信息，對與實時掃描區(qū)域?qū)淖訅K上的采樣區(qū)域?qū)崟r采樣，其中掃描信息包括掃描區(qū)域所涉及的子塊的待采樣的像素，即采樣區(qū)域。需要說明的是，本實施例中，映射系數(shù)通過軟件計算獲得，該軟件可以運行在具有處理功能的硬件上，如cpu、gpu等，當顯示裝置具備處理能力時，該軟件也可以運行在顯示裝置上。其他實施例中，映射系數(shù)也可以通過硬件計算獲得。

一實施例中，提取單元210還用于預存獲取的子塊，此時插值計算單元還用于根據(jù)預存子塊進行實時采樣，其中預存子塊為提取單元210預存的與掃描區(qū)域所涉及的映射子塊相對應的子塊。

具體的，例如，提取單元210將獲取的子塊預存至片上存儲空間。又如，顯示裝置30的片上存儲空間內(nèi)預存實時掃描區(qū)域所涉及的子塊。此外，根據(jù)實際需要，也可將需要預存的子塊預存至片外存儲空間。

一實施例中，顯示裝置30還包括顯示單元，顯示單元用于獲取插值計算單元的采樣數(shù)據(jù)，并根據(jù)采樣數(shù)據(jù)進行實時顯示。

應用上述顯示裝置的播放設備，包括上述顯示裝置以及顯示單元。其中顯示單元用于實時獲取采樣模塊的采樣數(shù)據(jù)，并根據(jù)采樣數(shù)據(jù)進行實時顯示；播放設備包括vr眼鏡、vr播放設備等。

上述播放設備能夠在顯示圖像時，實時獲取顯示裝置中的采樣數(shù)據(jù)，進而做到一邊采樣，一邊顯示。

如圖5所示，其為本發(fā)明一實施例的全景圖像處理方法40的流程圖。

步驟s410具體為，控制器掃描映射面上映射的與全景圖像待顯示區(qū)域相對應的映射圖像，并將掃描信息發(fā)送給采樣模塊。

步驟s420具體為，采樣模塊根據(jù)控制器的掃描信息對全景圖像中與掃描區(qū)域?qū)膮^(qū)域進行采樣。

一實時方式中，全景圖像包括多個子塊，映射面上映射有子塊的映射子塊。其中，映射子塊包括子塊映射到映射面上的各頂點坐標。子塊的形狀可以需要進行選擇，例如，子塊為矩形。

本實施例中，控制器的掃描信息發(fā)送至采樣模塊的提取單元和差值計算單元，步驟s420包括如下步驟。

(1)采樣模塊通過提取單元根據(jù)掃描信息實時獲取掃描區(qū)域所涉及的映射圖像中的映射子塊，并獲取與其對應的子塊；

(2)采樣模塊通過差值計算單元根據(jù)掃描信息對提取單元獲取的子塊中與掃描區(qū)域?qū)膮^(qū)域進行實時采樣。

一實施方式中，提取單元根據(jù)接收到的映射系數(shù)獲取與映射子塊對應的子塊，差值計算單元根據(jù)掃描信息、接收到的映射系數(shù)對獲取的子塊中與掃描區(qū)域?qū)膮^(qū)域進行實時采樣。其中，映射系數(shù)為子塊到映射面上的系數(shù)。

一實施方式中，提取單元在獲取子塊后先預存掃描區(qū)域所涉及的子塊；差值計算單元在先預存的子塊中進行實時采樣。

其中一實施例中，映射系數(shù)及/或獲取實時掃描區(qū)域所涉及的子塊存儲在片上存儲空間的存儲塊內(nèi)。

以上實施例的各技術(shù)特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術(shù)特征所有可能的組合都進行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應當認為是本說明書記載的范圍。

以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對發(fā)明專利范圍的限制。應當指出的是，對于本領(lǐng)域技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應以所附權(quán)利要求為準。