用于視頻編碼和解碼的自適應(yīng)傳遞函數(shù)的制作方法
【專利摘要】本發(fā)明提供了一種視頻編碼和解碼系統(tǒng)，該視頻編碼和解碼系統(tǒng)在編解碼器內(nèi)實施自適應(yīng)傳遞函數(shù)方法以用于信號表示。可針對輸入視頻的每個場景、序列、幀、或區(qū)域來動態(tài)確定用于表示人類視覺系統(tǒng)的有效動態(tài)范圍的聚焦動態(tài)范圍?？筛鶕?jù)用于在編解碼器內(nèi)進行編碼的傳遞函數(shù)來將視頻數(shù)據(jù)裁剪并量化到編解碼器的位深度中。該傳遞函數(shù)可與輸入視頻數(shù)據(jù)的傳遞函數(shù)相同，或者可以是編解碼器內(nèi)部的傳遞函數(shù)。該經(jīng)編碼的視頻數(shù)據(jù)可被解碼并擴展到一個或多個顯示器的動態(tài)范圍中。該自適應(yīng)傳遞函數(shù)方法可使得編解碼器能夠針對信號的內(nèi)部表示而使用更少的位，而在輸出中仍表示信號的整個動態(tài)范圍。
【專利說明】
用于視頻編碼和解碼的自適應(yīng)傳遞函數(shù)
技術(shù)領(lǐng)域
[0001 ]本公開整體涉及數(shù)字視頻或圖像處理和顯示。
【背景技術(shù)】
[0002] 包括但不限于個人計算機系統(tǒng)、臺式計算機系統(tǒng)、膝上型電腦和筆記本式計算機、 平板電腦或平板設(shè)備、數(shù)碼相機、數(shù)字視頻錄像機、和移動電話或智能電話的各種設(shè)備可包 括可實施一種或多種視頻處理方法的軟件和/或硬件。例如，設(shè)備可包括可根據(jù)一個或多個 視頻處理方法接收和處理來自一個或多個源的數(shù)字視頻輸入并輸出經(jīng)處理的視頻幀的裝 置(例如集成電路（1C)，諸如片上系統(tǒng)(S0C)、或1C的子系統(tǒng)）。又如，可在設(shè)備上實施可根據(jù) 一個或多個視頻處理方法接收和處理來自一個或多個源的數(shù)字視頻輸入并將經(jīng)處理的視 頻幀輸出至一個或多個目的地的軟件程序。
[0003] 例如，視頻編碼器可被實施為其中數(shù)字視頻輸入根據(jù)視頻編碼方法被編碼或轉(zhuǎn)換 為另一種格式例如壓縮視頻格式(諸如H. 264/高級視頻編碼(AVC)格式或H. 265高效視頻編 碼(HEVC)格式)的裝置或另選的軟件程序。又如，視頻解碼器可被實施為其中壓縮視頻格式 (諸如AVC或HEVC)的視頻被接收并根據(jù)視頻解碼方法被解碼或轉(zhuǎn)換為另一(解壓縮)格式例 如顯示設(shè)備所使用的顯示格式的裝置或另選的軟件程序。H.264/AVC標準被ITU-T公布于標 題為"ITU-T Recommendation Η.264:Advanced video coding for generic audiovisual services" 的文檔中。H. 265/HEVC標準由 ITU-T公布于標題為 "ITU-T Recommendation H.265:High Efficiency Video Coding"的文檔中。
[0004] 在許多系統(tǒng)中，裝置或軟件程序可實現(xiàn)視頻編碼器部件和視頻解碼器部件兩者； 諸如裝置或程序通常被稱為編解碼器。需注意，編解碼器可對視頻流中的視覺/圖像數(shù)據(jù)和 音頻/聲音數(shù)據(jù)兩者進行編碼/解碼。
[0005] 通常定義的動態(tài)范圍為信號諸如像聲音和光中的可改變量的最大可能值和最小 可能值之間的比率。在數(shù)字圖像和視頻處理中，擴展動態(tài)范圍或高動態(tài)范圍(HDR)成像是指 在電子圖像（例如，如在顯示屏或顯示設(shè)備上所顯示的）中產(chǎn)生比使用標準數(shù)字成像技術(shù) (被稱為標準動態(tài)范圍或SDR成像)時獲得的亮度范圍更寬的亮度范圍的技術(shù)。
[0006] 電光傳遞函數(shù)(E0TF)可將數(shù)字代碼值映射到光值，例如映射到亮度值。通常被稱 為光電傳遞函數(shù)(0ETF)的逆向過程將光值映射到電子/數(shù)字值。E0TF和0ETF可被統(tǒng)稱為傳 遞函數(shù)。亮度的SI單位為坎每平方米(cd/m 2)。該單位的非SI術(shù)語為"NIT"。在標準動態(tài)范圍 (SDR)成像系統(tǒng)中，為了簡化編碼/解碼系統(tǒng)或編解碼器中的編碼過程和解碼過程，通常將 固定的傳遞函數(shù)例如固定的冪律伽馬傳遞函數(shù)用于視頻圖像內(nèi)容的內(nèi)部表示。隨著高動態(tài) 范圍(HDR)成像技術(shù)、系統(tǒng)和顯示器的出現(xiàn)，對于更加靈活的傳遞函數(shù)的需求也隨之產(chǎn)生。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明描述了視頻編碼和解碼系統(tǒng)和方法的實施方案，這些實施方案實施自適應(yīng) 傳遞函數(shù)以用于視頻編碼和解碼系統(tǒng)或編解碼器內(nèi)的視頻圖像內(nèi)容內(nèi)部表示。這些實施方 案可基于圖像數(shù)據(jù)的一個或多個特征(例如亮度、紋理等)在輸入視頻中動態(tài)地確定當前場 景、序列、幀或幀的區(qū)域的聚焦動態(tài)范圍，將輸入視頻動態(tài)范圍裁剪成聚焦范圍，然后根據(jù) 用于在編解碼器中表示視頻數(shù)據(jù)的傳遞函數(shù)來將裁剪范圍內(nèi)的值從輸入視頻的位深度適 當?shù)赜成?例如，量化)到編解碼器的位深度。
[0008] 在實施方案中，可使用各種傳遞函數(shù)來表示編解碼器中的輸入視頻數(shù)據(jù)和聚焦范 圍視頻數(shù)據(jù)。在一些實施方案中，用于表示編解碼器中的視頻數(shù)據(jù)的傳遞函數(shù)可與用于表 示輸入視頻數(shù)據(jù)的傳遞函數(shù)相同。在一些實施方案中，可使用與用于表示輸入視頻數(shù)據(jù)的 傳遞函數(shù)(被稱為一級傳遞函數(shù))不同的傳遞函數(shù)(被稱為內(nèi)部傳遞函數(shù)或二級傳遞函數(shù)） 來表示編解碼器中的視頻數(shù)據(jù)。
[0009] 在實施方案中，由編碼器使用以用于場景、序列、幀、
[0010]或區(qū)域的聚焦范圍、傳遞函數(shù)、量化參數(shù)和其他格式的信息可例如由嵌入在輸出 位流中的元數(shù)據(jù)來發(fā)信號通知解碼器部件。在解碼器中，可根據(jù)場景、序列、幀、或視頻區(qū)域 的一個或多個被發(fā)信號通知的聚焦范圍來對編碼位流進行解碼并將其動態(tài)地擴展到目標 設(shè)備(例如，支持高動態(tài)范圍(HDR)的顯示器)的全動態(tài)范圍。
[0011] 通過使傳遞函數(shù)動態(tài)地適應(yīng)輸入視頻數(shù)據(jù)，實施方案可允許利用比用于表示輸入 視頻數(shù)據(jù)時更少的位數(shù)在編解碼器中表示視頻數(shù)據(jù)，同時還允許編解碼器輸出視頻數(shù)據(jù)， 以使其擴展并填充HDR設(shè)備諸如支持HDR的顯示器的動態(tài)范圍。自適應(yīng)傳遞函數(shù)方法的實施 方案可例如使得視頻編碼和解碼系統(tǒng)針對編解碼器內(nèi)的視頻數(shù)據(jù)的內(nèi)部表示和處理使用 10位或更少的位，而當將視頻輸出到HDR設(shè)備諸如支持HDR的顯示器時，例如使用12位或更 多位來表示視頻數(shù)據(jù)的擴展動態(tài)范圍或高動態(tài)范圍。因而，視頻編碼和解碼系統(tǒng)的自適應(yīng) 傳遞函數(shù)方法的實施方案可簡化HDR技術(shù)的具體實施，并因此簡化其采用，在消費空間中尤 其如此。
【附圖說明】
[0012] 圖1示出了實施自適應(yīng)傳遞函數(shù)的實施方案的示例性編解碼器或視頻編碼和解碼 系統(tǒng)。
[0013] 圖2示出了根據(jù)一些實施方案的將自適應(yīng)傳遞函數(shù)方法應(yīng)用于視頻輸入數(shù)據(jù)并生 成經(jīng)編碼的視頻數(shù)據(jù)的示例性編碼器。
[0014] 圖3示出了根據(jù)一些實施方案的根據(jù)自適應(yīng)傳遞函數(shù)方法來對經(jīng)編碼的視頻數(shù)據(jù) 進行解碼并擴展京解碼的視頻數(shù)據(jù)以生成顯示格式視頻數(shù)據(jù)的示例性解碼器。
[0015] 圖4示出了根據(jù)一些實施方案的輸入視頻數(shù)據(jù)的示例性全范圍，并示出了視頻數(shù) 據(jù)的示例性聚焦范圍。
[0016] 圖5示出了根據(jù)一些實施方案的在聚焦范圍內(nèi)映射N位輸入視頻數(shù)據(jù)以生成C位視 頻數(shù)據(jù)的示例。
[0017] 圖6以圖形方式示出了根據(jù)一些實施方案的將C位經(jīng)解碼的視頻擴展到支持HDR的 設(shè)備的全動態(tài)范圍內(nèi)以生成該設(shè)備的D位視頻數(shù)據(jù)的示例。
[0018] 圖7A至圖7C以圖形方式示出了根據(jù)自適應(yīng)傳遞函數(shù)方法的實施方案的將不同的 聚焦范圍應(yīng)用于視頻序列或視頻幀的不同部分。
[0019] 圖8為根據(jù)一些實施方案的將自適應(yīng)傳遞函數(shù)方法應(yīng)用于視頻輸入數(shù)據(jù)并生成經(jīng) 編碼的視頻數(shù)據(jù)的視頻編碼方法的流程圖。
[0020] 圖9為根據(jù)一些實施方案的視頻解碼方法的流程圖，該方法根據(jù)自適應(yīng)傳遞函數(shù) 方法對經(jīng)編碼的視頻數(shù)據(jù)進行解碼并擴展經(jīng)解碼的視頻數(shù)據(jù)以生成顯示格式視頻數(shù)據(jù)。
[0021] 圖10是片上系統(tǒng)(S0C)的一個實施方案的框圖，該S0C可被配置為實現(xiàn)本文所述的 系統(tǒng)和方法的各個方面。
[0022]圖11為可包括一個或多個S0C的系統(tǒng)的一個實施方案的框圖。
[0023] 圖12示出了根據(jù)一些實施方案的示例性計算機系統(tǒng)，該計算機系統(tǒng)可被配置為實 現(xiàn)本文所述的系統(tǒng)和方法的各個方面。
[0024] 圖13示出了根據(jù)一些實施方案的便攜式多功能設(shè)備的框圖。
[0025] 圖14描繪了根據(jù)一些實施方案的便攜式多功能設(shè)備。
[0026] 盡管本發(fā)明易受各種修改形式和替代形式的影響，但其具體實施方案在附圖中以 舉例方式示出并將在本文中詳細描述。然而，應(yīng)當理解，附圖及其詳細描述并非旨在將本發(fā) 明限制為所公開的具體形式，恰恰相反，本發(fā)明旨在涵蓋落入本發(fā)明的實質(zhì)和范圍的所有 修改形式、等同形式和替代形式。如在本申請中通篇所使用的那樣，以允許的意義（即，意味 著具有可能性）而非強制的意義（即，意味著必須）使用字詞"可能"。類似地，字詞"包括" ("include" "including" he "includes"）意味著"包括但不限于"。
[0027] 各種單元、電路或其他部件可被描述為"被配置為"執(zhí)行一項或多項任務(wù)。在此類 上下文中，"被配置為"是通常意味著"具有"在操作期間執(zhí)行一項或多項任務(wù)的"電路"的結(jié) 構(gòu)的寬泛表述。如此，即使在單元/電路/部件當前未接通時，單元/電路/部件也可被配置為 執(zhí)行該任務(wù)。通常，形成與"被配置為"對應(yīng)的結(jié)構(gòu)的電路可包括硬件電路。類似地，為了方 便描述，可將各種單元/電路/部件描述為執(zhí)行一項或多項任務(wù)。此類描述應(yīng)當被解釋成包 括短語"被配置為"。詳述被配置為執(zhí)行一項或多項任務(wù)的單元/電路/部件意在明確地不援 弓丨351].5.(：.§112，第六段對該單元/電路/部件的解釋。
【具體實施方式】
[0028] 本發(fā)明描述了視頻編碼和解碼系統(tǒng)和方法的實施方案，這些實施方案實施自適應(yīng) 傳遞函數(shù)，以用于視頻編碼和解碼系統(tǒng)或編解碼器內(nèi)的視頻圖像內(nèi)容內(nèi)部表示。這些實施 方案可允許在編碼與解碼處理過程期間使輸入視頻數(shù)據(jù)的動態(tài)范圍適應(yīng)于編解碼器。在實 施方案中，傳遞函數(shù)可動態(tài)地適應(yīng)于至編解碼器的各個場景、序列或輸入視頻的幀。在一些 實施方案中，可在幀的區(qū)域內(nèi)使傳遞函數(shù)被動態(tài)地適應(yīng)。這些實施方案可使傳遞函數(shù)動態(tài) 地適應(yīng)于輸入視頻數(shù)據(jù)，僅保留在動態(tài)確定的人類視覺系統(tǒng)有效動態(tài)范圍（在本文中被稱 為聚焦動態(tài)范圍或僅被稱為聚焦范圍）內(nèi)的信息，并且根據(jù)用于在編解碼器內(nèi)進行處理的 傳遞函數(shù)來將聚焦范圍內(nèi)的數(shù)據(jù)從輸入視頻的位深度映射到編解碼器的位深度。可擴展編 解碼器的輸出以填充輸出設(shè)備或目標設(shè)備的動態(tài)范圍，該輸出設(shè)備或目標設(shè)備包括但不限 于擴展動態(tài)范圍設(shè)備或高動態(tài)范圍（HDR)設(shè)備，諸如支持HDR的顯示器。圖1至圖3示出了在 其中可實施自適應(yīng)傳遞函數(shù)方法的實施方案的示例性視頻編碼和解碼系統(tǒng)或編解碼器。 [0029]人類視覺系統(tǒng)整體上覆蓋明顯的動態(tài)范圍。然而，人類視覺系統(tǒng)趨于基于當前場 景或正在觀看的圖像適應(yīng)并限制動態(tài)范圍，例如根據(jù)場景或圖像的亮度（照度）和紋理特 征。因此，盡管人類視覺系統(tǒng)的總動態(tài)范圍相當大，但視頻的給定場景、序列、幀或區(qū)域的有 效動態(tài)范圍可根據(jù)圖像特征而相當小，該圖像特征包括但不限于亮度和紋理。本文所述的 視頻編碼和解碼系統(tǒng)和方法的實施方案可利用人類視覺的這一特征，以根據(jù)當前場景、序 列、幀或區(qū)域的特征采用相似的策略，以用于動態(tài)地限制編解碼器內(nèi)的范圍。在實施方案 中，根據(jù)當前正在處理的場景、序列、幀或區(qū)域的一個或多個特征(例如，亮度、紋理等），編 碼器部件或過程可將輸入視頻場景、序列、幀或區(qū)域的范圍（例如，亮度)動態(tài)地限制在人類 視覺系統(tǒng)有效動態(tài)范圍內(nèi)和編解碼器的要求范圍（例如，位深度）內(nèi)。這可例如通過依據(jù)樣 本值動態(tài)地確定輸入視頻中的當前場景、序列、幀或區(qū)域內(nèi)的面積并將編解碼器的位深度 (例如，10位)聚焦到該范圍中來完成。在一些實施方案中，可在編碼器中通過將輸入視頻動 態(tài)范圍裁剪成該面積來執(zhí)行聚焦，并且然后根據(jù)用于在編解碼器中表示視頻數(shù)據(jù)的傳遞函 數(shù)來將裁剪范圍（被稱為聚焦動態(tài)范圍或聚焦范圍）中的值從輸入視頻的位深度適當?shù)赜?射(例如，量化)到編解碼器的位深度。圖4和圖5以圖形方式示出了根據(jù)一些實施方案的針 對輸入視頻數(shù)據(jù)所確定的示例性聚焦范圍并且根據(jù)傳遞函數(shù)來將N位輸入視頻數(shù)據(jù)映射到 編解碼器的位深度。如本文所用，N位是指輸入視頻的位深度，C位是指用于表示編解碼器內(nèi) 的視頻數(shù)據(jù)的位深度，并且D位是指解碼視頻的目標設(shè)備(例如，顯示設(shè)備)的位深度。
[0030] 在實施方案中，可使用各種傳遞函數(shù)來表示編解碼器中的輸入視頻數(shù)據(jù)和聚焦范 圍視頻數(shù)據(jù)?？捎糜谠趯嵤┓桨钢斜硎疽曨l數(shù)據(jù)的傳遞函數(shù)的示例可包括但不限于:基于 伽馬的冪律傳遞函數(shù)、基于對數(shù)的傳遞函數(shù)、以及基于人類視覺感知的傳遞函數(shù)，諸如由 Dolby Laboratories, Inc提出的感知量化器(PQ)傳遞函數(shù)。在一些實施方案中，用于在編 解碼器中表示視頻數(shù)據(jù)的傳遞函數(shù)可與用于表示輸入視頻數(shù)據(jù)的傳遞函數(shù)相同。然而，在 其他實施方案中，可使用與用于表示輸入視頻數(shù)據(jù)的傳遞函數(shù)(被稱為一級傳遞函數(shù))不同 的傳遞函數(shù)(被稱為內(nèi)部或二級傳遞函數(shù))來表示編解碼器中的視頻數(shù)據(jù)。相較于可使用一 級傳遞函數(shù)來完成，這樣可例如允許在編解碼器內(nèi)以更高的精度來表示視頻數(shù)據(jù)(也可被 稱為視頻信號）。
[0031] 在實施方案中，編碼器用于場景、序列、幀或區(qū)域的聚焦范圍、傳遞函數(shù)、量化參數(shù) 和其他格式的信息可例如由嵌入在輸出位流中的元數(shù)據(jù)來發(fā)信號通知解碼器部件。在解碼 器處，可根據(jù)場景、序列、幀、或視頻區(qū)域的一個或多個被發(fā)信號通知的聚焦范圍來對編碼 位流進行解碼并將其動態(tài)地擴展到目標設(shè)備諸如HDR設(shè)備(例如，支持HDR的顯示器)的全動 態(tài)范圍。圖6以圖形方式示出了根據(jù)一些實施方案將經(jīng)解碼的視頻數(shù)據(jù)擴展到HDR設(shè)備的全 動態(tài)范圍中。
[0032] 通過使傳遞函數(shù)動態(tài)地適應(yīng)輸入視頻數(shù)據(jù)，實施方案可允許利用比用于表示輸入 視頻數(shù)據(jù)時更少的位數(shù)在編解碼器中表示視頻數(shù)據(jù)，同時還允許編解碼器輸出視頻數(shù)據(jù)， 以使其擴展并填充HDR設(shè)備諸如支持HDR的顯示器的動態(tài)范圍。自適應(yīng)傳遞函數(shù)方法的實施 方案可例如使得視頻編碼和解碼系統(tǒng)針對編解碼器內(nèi)的視頻數(shù)據(jù)的內(nèi)部表示和處理使用 10位或更少的位，而當將視頻輸出到HDR設(shè)備諸如支持HDR的顯示器時，例如使用12位或更 多位來表示視頻數(shù)據(jù)的擴展動態(tài)范圍或高動態(tài)范圍。因而，視頻編碼和解碼系統(tǒng)的自適應(yīng) 傳遞函數(shù)方法的實施方案可簡化HDR技術(shù)的具體實施，并因此簡化其采用，在消費空間中尤 其如此。
[0033] 本文所述的自適應(yīng)傳遞函數(shù)方法可被應(yīng)用于視頻信號的所有顏色分量，或者另選 地可分別被應(yīng)用于視頻信號的亮度分量和色度分量中的一者或兩者。
[0034] 圖1示出了實施自適應(yīng)傳遞函數(shù)的實施方案的示例性視頻編碼和解碼系統(tǒng)或編解 碼器100。在實施方案中，根據(jù)自適應(yīng)傳遞函數(shù)方法，編解碼器100的自適應(yīng)傳遞函數(shù)110分 量或模塊可將N位(例如，12位、14位、16位等)視頻輸入數(shù)據(jù)102轉(zhuǎn)換成C位(例如，10位或更 少位)視頻輸入數(shù)據(jù)112,并轉(zhuǎn)換到編解碼器100的編碼器120部件或模塊。在一些實施方案 中，為了將N位視頻輸入數(shù)據(jù)102轉(zhuǎn)換成C位視頻輸入數(shù)據(jù)112，自適應(yīng)傳遞函數(shù)110可在N位 視頻輸入數(shù)據(jù)102中的當前場景、序列、幀或區(qū)域內(nèi)依據(jù)樣本值來動態(tài)地確定面積并將C位 聚焦到該面積中。在一些實施方案中，可在自適應(yīng)傳遞函數(shù)110中通過將N位視頻輸入數(shù)據(jù) 102裁剪成確定的聚焦范圍來進行該聚焦，然后根據(jù)用于在編碼器120中表示視頻數(shù)據(jù)從而 為編碼器120生成C位視頻輸入數(shù)據(jù)112的傳遞函數(shù)來將聚焦范圍中的N位值適當?shù)赜成?例 如，量化)到編解碼器的位深度。
[0035] 在一些實施方案中，自適應(yīng)傳遞函數(shù)110也可生成格式元數(shù)據(jù)114作為到編碼器 120的輸出。格式元數(shù)據(jù)114可將自適應(yīng)傳遞函數(shù)方法描述為被應(yīng)用于輸入視頻數(shù)據(jù)102。例 如，格式元數(shù)據(jù)114可指示確定的聚焦范圍、用于將視頻數(shù)據(jù)映射到編碼器位深度的參數(shù)， 并且還可包含有關(guān)被應(yīng)用于聚焦范圍的傳遞函數(shù)的信息。
[0036]在一些實施方案中，編碼器120然后可對C位視頻輸入數(shù)據(jù)112進行編碼，以生成編 碼流122作為輸出。在一些實施方案中，編碼器120可根據(jù)壓縮視頻格式諸如H. 264/高級視 頻編碼(AVC)格式或Η. 265/高效視頻編碼(HEVC)格式來對C位視頻輸入數(shù)據(jù)112進行編碼。 然而，也可使用其他編碼格式。在一些實施方案中，編碼器120可例如將格式元數(shù)據(jù)114嵌入 到輸出流122中，使得可將格式元數(shù)據(jù)114提供給解碼器130部件。輸出編碼流122可被存儲 到存儲器，或者另選地可直接被發(fā)送到編解碼器100的解碼器130部件或模塊。圖2更詳細地 示出了視頻編碼和解碼系統(tǒng)或編解碼器100的示例性編碼器部件。
[0037] 解碼器130可讀取或接收編碼流122并對該編碼流122進行解碼，以生成C位解碼流 132作為到編解碼器100的逆向自適應(yīng)傳遞函數(shù)140部件或模塊的輸出。在一些實施方案中， 將自適應(yīng)傳遞函數(shù)方法描述為被自適應(yīng)傳遞函數(shù)110應(yīng)用于輸入視頻數(shù)據(jù)102的格式元數(shù) 據(jù)134可從輸入流122中被提取并被傳遞到逆向自適應(yīng)傳遞函數(shù)140。該逆向自適應(yīng)傳遞函 數(shù)140可根據(jù)格式元數(shù)據(jù)134和顯示信息144來轉(zhuǎn)換C位解碼流132,以向一個或多個顯示器 190或其他設(shè)備生成D位(例如，12位、14位、16位等)HDR輸出142。圖3更詳細地示出了視頻編 碼和解碼系統(tǒng)或編解碼器1〇〇的示例性解碼器部件。
[0038] 如本文所述的實施自適應(yīng)傳遞函數(shù)方法的視頻編碼和解碼系統(tǒng)或編解碼器100的 實施方案可例如在包括一個或多個圖像捕獲設(shè)備和/或一個或多個顯示設(shè)備的設(shè)備或系統(tǒng) 中實現(xiàn)。圖像捕獲設(shè)備可以是包括能夠捕獲數(shù)字圖像或視頻的光學(xué)傳感器或光傳感器的任 何設(shè)備。圖像捕獲設(shè)備可包括但不限于視頻攝像機和靜態(tài)圖像相機、以及可捕獲視頻和單 幅圖像兩者的圖像捕獲設(shè)備。圖像捕獲設(shè)備可以是獨立的設(shè)備或可以是被集成到其他設(shè)備 中的相機，該其他設(shè)備包括但不限于智能電話、移動電話、PDA、平板電腦或平板設(shè)備、多功 能設(shè)備、計算設(shè)備、膝上型計算機、筆記本式計算機、上網(wǎng)本計算機、臺式計算機等等。需注 意，圖像捕獲設(shè)備可包括適用于小型設(shè)備諸如移動電話、PDA和平板設(shè)備的小外形相機。顯 示器或顯示設(shè)備可包括被集成到其他設(shè)備中的顯示屏或面板，所述其他設(shè)備包括但不限于 智能電話、移動電話、PDA、平板電腦或平板設(shè)備、多功能設(shè)備、計算設(shè)備、膝上型計算機、筆 記本式計算機、上網(wǎng)本計算機、臺式計算機等等。顯示設(shè)備還可包括視頻監(jiān)視器、投影儀、或 者一般來講可顯示或投映數(shù)字圖像和/或數(shù)字視頻的任何設(shè)備。顯示器或顯示設(shè)備可使用 IXD(液晶顯示器)技術(shù)、Lro(發(fā)光聚合物顯示器)技術(shù)或LED(發(fā)光二極管)技術(shù)，盡管也可使 用其他顯示技術(shù)。
[0039] 圖10至圖14示出了可在其中實現(xiàn)實施方案的設(shè)備的非限制性示例。包括圖像捕獲 設(shè)備和/或顯示設(shè)備的設(shè)備或系統(tǒng)可包括用于實現(xiàn)如本文所述的用于處理視頻數(shù)據(jù)的功能 中的至少一些功能的硬件和/或軟件。在一些實施方案中，如本文所述的功能的一部分可在 一個設(shè)備上實現(xiàn)，而另一部分可在另一個設(shè)備上實現(xiàn)。例如，在一些實施方案中，包括圖像 捕獲設(shè)備的設(shè)備可實現(xiàn)傳感器流水線，該傳感器流水線處理并壓縮（即，編碼)經(jīng)由光傳感 器捕獲的圖像或視頻，而包括顯示面板或顯示屏的另一個設(shè)備可實現(xiàn)顯示器流水線，該顯 示器流水線接收并處理經(jīng)壓縮的圖像（即，解碼），以用于對顯示或屏幕的顯示。在一些實施 方案中，如本文所述的功能中的至少一些功能可由可用于設(shè)備的片上系統(tǒng)（S0C)的一個或 多個部件或模塊實現(xiàn)，該設(shè)備包括但不限于多功能設(shè)備、智能電話、平板電腦或平板設(shè)備、 以及其他便攜式計算設(shè)備，諸如膝上型計算機、筆記本式計算機和上網(wǎng)本計算機。圖10示出 了示例性S0C，并且圖11示出了實現(xiàn)S0C的示例性設(shè)備。圖12示出了可實現(xiàn)本文所述的方法 和裝置的示例性計算機系統(tǒng)。圖13和圖14示出了可實現(xiàn)本文所述的方法和裝置的示例性多 功能設(shè)備。
[0040] 實施方案現(xiàn)在本文中通常被描述作為處理視頻。然而，作為處理視頻幀或視頻序 列的替代或補充，實施方案還可被應(yīng)用于處理單幅圖像或靜態(tài)圖像。因此，應(yīng)當理解，在本 文中使用"視頻"、"視頻幀"、"幀"等時，這些術(shù)語一般可指捕獲的數(shù)字圖像。
[0041] 圖2示出了根據(jù)一些實施方案將自適應(yīng)傳遞函數(shù)方法應(yīng)用于視頻輸入數(shù)據(jù)202并 生成經(jīng)編碼的視頻數(shù)據(jù)232作為輸出的示例性編碼器200。如圖1所示，編碼器200可例如為 編解碼器100的部件或模塊。在實施方案中，編碼器200的自適應(yīng)傳遞函數(shù)部件或模塊210可 根據(jù)傳遞函數(shù)方法來將N位(例如，12位、14位、16位等)視頻輸入數(shù)據(jù)202轉(zhuǎn)換成C位(例如， 10位或更少位)數(shù)據(jù)212,并將C位數(shù)據(jù)212輸出到編碼器200的處理流水線220部件。在一些 實施方案中，為了將N位視頻輸入數(shù)據(jù)202轉(zhuǎn)換為C位視頻數(shù)據(jù)212,自適應(yīng)傳遞函數(shù)模塊210 可在N位視頻輸入數(shù)據(jù)202中的當前場景、序列、幀或區(qū)域內(nèi)依據(jù)樣本值來動態(tài)地確定面積 并將C位聚焦到該面積中。在一些實施方案中，可在自適應(yīng)傳遞函數(shù)模塊210中通過將N位視 頻輸入數(shù)據(jù)202的動態(tài)范圍裁剪成確定的聚焦范圍來進行該聚焦，然后根據(jù)用于在編碼器 200中表示視頻數(shù)據(jù)的傳遞函數(shù)來將聚焦范圍中的N位值適當?shù)赜成?例如，量化)到C位。在 一些實施方案中，自適應(yīng)傳遞函數(shù)模塊210也可生成格式元數(shù)據(jù)214作為到編碼器220的輸 出。格式元數(shù)據(jù)214可將自適應(yīng)傳遞函數(shù)方法描述為被應(yīng)用于輸入視頻數(shù)據(jù)202。例如，格式 元數(shù)據(jù)214可指示用于將視頻數(shù)據(jù)映射到編碼器位深度的所確定的聚焦范圍參數(shù)，并且還 可包含有關(guān)被應(yīng)用于聚焦范圍的傳遞函數(shù)的信息。
[0042]在一些實施方案中，編碼器200然后可對由自適應(yīng)傳遞函數(shù)模塊210生成的C位視 頻輸入數(shù)據(jù)212進行編碼，以生成編碼流232作為輸出。在一些實施方案中，編碼器120可根 據(jù)壓縮視頻格式諸如H. 264/高級視頻編碼(AVC)格式或H. 265/高效視頻編碼(HEVC)格式來 對C位視頻輸入數(shù)據(jù)112進行編碼。然而，也可使用其他編碼格式。
[0043]在一些實施方案中，根據(jù)圖片元素塊(稱為像素或圖元)來將輸入視頻幀細分到編 碼器200中并在其中進行處理。例如，被稱為宏塊的16 X 16像素塊可被用于Η. 264編碼。HEVC 編碼使用可在16X16像素到64X64像素塊的范圍內(nèi)變化的被稱為編碼樹單元(CTU)的塊。 CTU可被劃分成編碼單元(CU)，并且可被進一步細分為可在從64X64像素降低到4X4像素 塊的尺寸內(nèi)變化的預(yù)測單元(PU)。在一些實施方案中，視頻輸入數(shù)據(jù)212可被分為亮度和色 度分量，并且所述亮度與色度分量可在編碼器的一個或多個部件或階段分別進行處理。 [0044] 在圖2所示的示例性編碼器200中，該編碼器200包括處理流水線220部件和熵編碼 230部件。該處理流水線220可包括處理視頻輸入數(shù)據(jù)212的多個部件或階段。該處理流水線 220可例如實施幀內(nèi)和幀間估計222、模式?jīng)Q定224、運動補償和重建226操作作為一個或多 個階段或部件。
[0045] 下文描述了示例性處理流水線220在高水平下的操作，而并非旨在進行限制。在一 些實施方案中，幀內(nèi)和幀間估計222可確定要在對輸入到流水線的塊進行編碼的過程中使 用的先前編碼的像素塊。在一些視頻編碼技術(shù)諸如H. 264編碼中，每個輸入塊可使用當前幀 內(nèi)已編碼的像素塊來進行編碼。確定這些塊的過程可被稱為幀內(nèi)估計或被簡稱為內(nèi)估計。 在一些視頻編碼技術(shù)諸如H. 264和H. 265編碼中，也可使用來自一個或多個先前重建的幀 (被稱為參考幀，在圖2中被示出為參考數(shù)據(jù)240)的像素塊來對塊進行編碼。在一些實施方 案中，由編碼器流水線輸出的經(jīng)重建和編碼的幀可被解碼并存儲到參考數(shù)據(jù)240以用作參 考幀。在一些實施方案中，被存儲在用于重建當前幀的參考數(shù)據(jù)240中的參考幀可包括在正 被處理的視頻中在時間上先于當前幀發(fā)生的一個或多個重建幀、和/或在正被處理的視頻 中在時間上晚于當前幀發(fā)生的一個或多個重建幀。尋找參考幀中的匹配像素塊的過程可被 稱為幀間估計，或更一般地被稱為運動估計。在一些實施方案中，模式?jīng)Q定224可接收來自 幀間和幀內(nèi)估計222的針對給定塊的輸出，并確定最佳預(yù)測模式(例如，幀間預(yù)測模式或幀 內(nèi)預(yù)測模式)和塊的對應(yīng)運動矢量。該信息被傳遞到運動補償和重建226。
[0046] 運動補償和重建226的操作可取決于從模式?jīng)Q定224接收的最佳模式。如果最佳模 式是幀間預(yù)測，則運動補償部件獲得與運動矢量對應(yīng)的參考幀塊，并將這些塊組合成預(yù)測 塊。然后，運動補償部件向預(yù)測塊應(yīng)用加權(quán)預(yù)測，以生成將被傳遞至重建部件的最終塊預(yù) 測。在加權(quán)預(yù)測中，可根據(jù)一個或多個加權(quán)參數(shù)對來自參考數(shù)據(jù)的值進行加權(quán)，并以偏移值 移位以生成將用于對當前塊進行編碼的預(yù)測數(shù)據(jù)。如果最佳模式是幀內(nèi)預(yù)測，則使用一個 或多個相鄰塊進行幀內(nèi)預(yù)測，以生成在流水線的該階段處正被處理的當前塊的預(yù)測塊。
[0047] 重建部件根據(jù)運動補償輸出來執(zhí)行當前塊的塊(例如，宏塊)重建操作。該重建操 作可例如包括正向變換和量化(FTQ)操作。運動補償與重建226可將經(jīng)變換和量化的數(shù)據(jù)輸 出至編碼器200的熵編碼230部件。
[0048]熵編碼230部件可例如應(yīng)用熵編碼技術(shù)來壓縮由流水線220輸出的經(jīng)變換和量化 的數(shù)據(jù)，從而生成經(jīng)編碼的輸出流232。可被使用的示例性熵編碼技術(shù)可包括但不限于霍夫 曼編碼技術(shù)、CAVLC(上下文自適應(yīng)可變長編碼)和CABAC(上下文自適應(yīng)二進制算術(shù)編碼）。 在一些實施方案中，編碼器200可將格式元數(shù)據(jù)214嵌入到經(jīng)編碼的輸出流232中，使得可將 格式元數(shù)據(jù)214提供給解碼器。該輸出編碼流232可被存儲到存儲器，或者另選地可直接被 發(fā)送到解碼器部件。
[0049]參考數(shù)據(jù)240也可由流水線220輸出并被存儲到存儲器。參考數(shù)據(jù)240可包括但不 限于可例如在流水線220的運動估計以及運動補償和重建操作中進行訪問的一個或多個先 前編碼的幀(被稱為參考幀）。
[0050]在一些實施方案中，編碼器200可包括可被配置為在處理當前幀時將從參考數(shù)據(jù) 240獲得的參考幀數(shù)據(jù)重新格式化以由流水線220部件使用的重新格式化250部件。重新格 式化250可例如涉及將參考幀數(shù)據(jù)從用于編碼參考幀的聚焦范圍/傳遞函數(shù)轉(zhuǎn)換到將用于 對當前幀進行編碼的聚焦范圍/傳遞函數(shù)。例如，參考幀亮度的聚焦范圍/傳遞函數(shù)映射可 從以c(例如，10)位表示的0.05cd/m 2到1000cd/m2。對于當前幀，聚焦范圍可由于較亮的圖像 內(nèi)容而被擴展；例如，聚焦范圍可被擴展或增大至2000cd/m 2。因此，當前幀亮度的聚焦范 圍/傳遞函數(shù)映射可為〇.〇5cd/m2至2000cd/m 2。為了在流水線220中（例如，在運動估計操作 中）使用參考幀數(shù)據(jù)，可根據(jù)由重新格式化250部件用于編碼當前幀的聚焦范圍/傳遞函數(shù) 來將參考幀數(shù)據(jù)重新格式化。
[0051 ] 在給定示例中，重新格式化250部件可將參考幀數(shù)據(jù)從0.05cd/m2轉(zhuǎn)換至1000cd/m2 范圍，在該范圍內(nèi)將其從0.05cd/m2范圍重建至用于當前幀的2000cd/m2范圍。在該示例中， 由于參考幀僅包含從〇.〇5cd/m 2到lOOOcd/m2的數(shù)據(jù)，因此在重新格式化的參考幀數(shù)據(jù)的C位 表示中的一些代碼字詞（例如，表示大于l〇〇〇 cd/m2的值的代碼字詞）可能不會用于重新格 式化的參考數(shù)據(jù)中。然而，多個值被映射到當前聚焦范圍以用于預(yù)測或其他操作。
[0052]如從參考數(shù)據(jù)240返回到自適應(yīng)傳遞函數(shù)模塊210的箭頭所示的，在一些實施方案 中，自適應(yīng)傳遞函數(shù)模塊210可使用來自一個或多個先前處理的幀的自適應(yīng)傳遞函數(shù)信息 來確定在流水線220中將要處理的當前幀的聚焦范圍/傳遞函數(shù)。
[0053]圖3示出了根據(jù)一些實施方案的根據(jù)自適應(yīng)傳遞函數(shù)方法來對經(jīng)編碼的視頻數(shù)據(jù) 302進行解碼并擴展經(jīng)解碼的視頻數(shù)據(jù)322以生成顯示格式視頻數(shù)據(jù)332的示例性解碼器 300。如圖1所示，解碼器300可例如為編解碼器100的部件或模塊。在圖3所示的示例性解碼 器300中，解碼器300包括熵解碼310部件、逆向量化和變換320部件、以及逆向自適應(yīng)傳遞函 數(shù)模塊330。熵解碼310部件可例如應(yīng)用熵解碼技術(shù)來解壓由編碼器(例如，圖2所示的編碼 器200)輸出的編碼流302。逆向量化和變換320部件對由熵解碼310輸出的數(shù)據(jù)進行逆向量 化和變換操作，以生成C位解碼流322作為到解碼器300的逆向自適應(yīng)傳遞函數(shù)模塊330的輸 出。在一些實施方案中，將自適應(yīng)傳遞函數(shù)方法描述為應(yīng)用于當前場景、序列、幀或區(qū)域的 格式元數(shù)據(jù)324可從輸入流302中被提取并被傳遞到逆向自適應(yīng)傳遞函數(shù)模塊330。逆向自 適應(yīng)傳遞函數(shù)模塊330可根據(jù)格式元數(shù)據(jù)324和顯示信息392來擴展C位解碼流322,以向一 個或多個顯示器390或其他設(shè)備生成D位(例如，12位、14位、16位等)HDR輸出332。
[0054]圖4至圖6以圖形方式示出了根據(jù)一些實施方案的確定N位輸入視頻數(shù)據(jù)的示例性 聚焦范圍，根據(jù)傳遞函數(shù)來將輸入視頻數(shù)據(jù)映射到在編解碼器內(nèi)可用的C位，并且將經(jīng)解碼 的視頻擴展到HDR設(shè)備的全動態(tài)范圍以生成該設(shè)備的D位視頻數(shù)據(jù)。
[0055]圖4示出了根據(jù)一些實施方案的N位輸入視頻數(shù)據(jù)的示例性全動態(tài)范圍，并示出了 針對輸入視頻數(shù)據(jù)確定的示例性聚焦范圍。在圖4中，縱軸表示輸入視頻數(shù)據(jù)中的N位（例 如，12位、14位、16位等)代碼值。橫軸表示輸入視頻數(shù)據(jù)中的亮度的動態(tài)范圍，在該示例中 為0cd/m 2-10000cd/m2，其中cd/m2(坎每平方米）為亮度的SI單位。該單位的非SI術(shù)語為 "祖1'"。該曲線表示輸入視頻數(shù)據(jù)的示例性傳遞函數(shù)。聚焦范圍（在該示例中為2000(：(1/ 1112-4000cd/m2)表示根據(jù)相應(yīng)視頻數(shù)據(jù)的一個或多個特征(例如，亮度、紋理等）而確定的當前 場景、序列、幀或區(qū)域的人類視覺系統(tǒng)有效動態(tài)范圍。正如可看出的那樣，在該示例中，聚焦 范圍由N位代碼值的比率(約1/8)來表示。需注意，針對視頻流內(nèi)的不同場景、序列、幀或區(qū) 域可確定不同的聚焦范圍，如圖7A至圖7C所示的。
[0056]圖5示出了根據(jù)一些實施方案的在所確定的聚焦范圍內(nèi)映射N位輸入視頻數(shù)據(jù)以 在編解碼器內(nèi)生成C位視頻數(shù)據(jù)的示例。在圖5中，縱軸表示在編解碼器中可用的C位(例如， 12位、10位、8位等)代碼值。橫軸示出了將要被映射到C位代碼值的亮度值的聚焦范圍（在該 示例中為2000Cd/m 2-4000cd/m2)。曲線表示用于表示編碼內(nèi)的聚焦范圍數(shù)據(jù)的示例性傳遞 函數(shù)。在一些實施方案中，用于表示編解碼器中的視頻數(shù)據(jù)的傳遞函數(shù)可與用于表示輸入 視頻數(shù)據(jù)的傳遞函數(shù)相同。然而，在其他實施方案中，可使用與用于表示輸入視頻數(shù)據(jù)的傳 遞函數(shù)(被稱為一級傳遞函數(shù))不同的傳遞函數(shù)(被稱為內(nèi)部或二級傳遞函數(shù))來表示編解 碼器中的視頻數(shù)據(jù)。相較于使用一級傳遞函數(shù)，這樣可例如允許在編解碼器內(nèi)以更高的精 度來表示視頻信號的聚焦范圍。
[0057]圖6示出了根據(jù)一些實施方案的將C位解碼視頻擴展到支持HDR的設(shè)備的動態(tài)范圍 中以生成該設(shè)備的D位視頻數(shù)據(jù)的示例。在圖6中，縱軸表示從解碼器(例如，圖3所示的解碼 器300)輸出的視頻數(shù)據(jù)中的D位(例如，12位、14位、16位等)代碼值。橫軸表示由解碼器向其 輸出D位視頻數(shù)據(jù)的顯示設(shè)備所支持的亮度的動態(tài)范圍；在該示例中，所示出的動態(tài)范圍為 0Cd/m2-10000cd/m2。曲線表示顯示設(shè)備的示例性傳遞函數(shù)。編碼視頻信號被解碼器解碼之 后，用于編解碼器中的信號內(nèi)部表示的聚焦范圍從C位表示重新映射到更寬的動態(tài)范圍以 及顯示設(shè)備的D位表示。需注意，針對視頻流內(nèi)的不同的場景、序列、幀或區(qū)域可編碼不同的 聚焦范圍，如圖7A至圖7C所示。在一些實施方案中，可將格式元數(shù)據(jù)提供給編碼視頻流中的 或與該編碼視頻流一起的解碼器，該編碼視頻流指示用于對每個場景、序列、幀或區(qū)域進行 編碼的聚焦范圍。在一些實施方案中，該元數(shù)據(jù)還可包括用于將視頻數(shù)據(jù)映射到編解碼器 的位深度的一個或多個參數(shù)。在一些實施方案中，該元數(shù)據(jù)還可包括有關(guān)用于在編解碼器 中表示聚焦范圍數(shù)據(jù)的內(nèi)部傳遞函數(shù)的信息。該元數(shù)據(jù)可被解碼器用于將聚焦范圍數(shù)據(jù)從 C位表示重新映射到更寬的動態(tài)范圍以及顯示設(shè)備的D位表示。
[0058] 圖7A至圖7C以圖形方式示出了根據(jù)自適應(yīng)傳遞函數(shù)方法的實施方案的將不同的 聚焦范圍應(yīng)用于視頻序列或視頻幀的不同部分。
[0059] 圖7A以圖形方式示出了根據(jù)自適應(yīng)傳遞函數(shù)方法的一些實施方案來將不同的聚 焦范圍應(yīng)用于輸入視頻的不同場景或序列。在該示例中，動態(tài)地確定聚焦范圍710A并將其 用于編碼幀700A-700E，并且動態(tài)地確定聚焦范圍710B并將其用于編碼幀700F-700G。幀 700A-700E和幀700F-700H可例如表示視頻內(nèi)的不同場景，或者可表示視頻中的多個場景內(nèi) 的或跨多個場景的幀的不同序列。
[0060] 圖7B以圖形方式示出了根據(jù)自適應(yīng)傳遞函數(shù)方法的一些實施方案來將不同的聚 焦范圍應(yīng)用于輸入視頻的每個幀。在該示例中，動態(tài)地確定聚焦范圍710C并將其用于編碼 幀7001，動態(tài)地確定聚焦范圍710D并將其用于編碼幀700J，并且動態(tài)地確定聚焦范圍710E 并將其用于編碼幀700K。
[0061] 圖7C以圖形方式示出了根據(jù)自適應(yīng)傳遞函數(shù)方法的一些實施方案來將不同的聚 焦范圍應(yīng)用于視頻幀的不同區(qū)域。如圖7A和圖7B所示，在一些實施方案中，可將自適應(yīng)傳遞 函數(shù)方法應(yīng)用于幀、場景或序列。然而，在一些實施方案中，除此之外或作為替代，自適應(yīng)傳 遞函數(shù)方法可被應(yīng)用于幀內(nèi)的兩個或更多個區(qū)域702,如圖7C所示。在該示例中，動態(tài)地確 定聚焦范圍710F并將其用于對幀700L的區(qū)域702A進行編碼，動態(tài)地確定聚焦范圍710G并將 其用于對幀700L的區(qū)域702B進行編碼，并且動態(tài)地確定聚焦范圍710H并將其用于對幀700L 的區(qū)域702C進行編碼。在各種實施方案中，將要根據(jù)自適應(yīng)傳遞函數(shù)方法進行編碼的區(qū)域 702可為矩形或者可具有其他形狀，包括但不限于隨意確定的不規(guī)則形狀。在一些實施方案 中，每個幀中可存在將要根據(jù)自適應(yīng)傳遞函數(shù)方法進行編碼的固定數(shù)量的區(qū)域702。在一些 實施方案中，可針對每個幀、場景或序列來確定將要根據(jù)自適應(yīng)傳遞函數(shù)方法進行編碼的 區(qū)域702的數(shù)量和/或區(qū)域702的形狀。在一些實施方案中，由編碼器生成并被傳遞到解碼器 的格式元數(shù)據(jù)可指示聚焦范圍、量化參數(shù)、以及用于對一個或多個幀700中的每個區(qū)域702 進行編碼的其他信息。在其中在編解碼器內(nèi)使用二級傳遞函數(shù)或內(nèi)部傳遞函數(shù)的實施方案 中，該格式元數(shù)據(jù)可包含用于從二級傳遞函數(shù)轉(zhuǎn)換到一級傳遞函數(shù)的信息。在區(qū)域702的數(shù) 量可變化的實施方案中，對區(qū)域702的實際數(shù)量的指示可被包含在被傳遞到解碼器的元數(shù) 據(jù)中。在一些實施方案中，區(qū)域702的坐標和形狀信息還可被包含在被傳遞到解碼器的元數(shù) 據(jù)中。
[0062]在視頻內(nèi)容中，在正被處理的輸入視頻中從一個區(qū)域或幀到下一個區(qū)域或幀時， 在自適應(yīng)傳遞函數(shù)方法中所使用的各種參數(shù)(例如，聚焦范圍、量化參數(shù)等)可以是相似的， 在場景內(nèi)尤其如此。因此，在一些實施方案中，自適應(yīng)傳遞函數(shù)方法可例如通過利用編解碼 器諸如AVC編解碼器和HEVC編解碼器中的加權(quán)預(yù)測過程來在編碼器中提供對這些自適應(yīng)傳 遞函數(shù)參數(shù)中的一個或多個自適應(yīng)傳遞函數(shù)參數(shù)的幀內(nèi)（空間）預(yù)測和/或幀間（時間）預(yù) 測。在幀間（時間）預(yù)測中，來自一個或多個在時間上過去的或未來的幀的先前處理的參考 數(shù)據(jù)可用于針對當前幀中的內(nèi)容來預(yù)測一個或多個參數(shù)。在幀內(nèi)（空間）預(yù)測中，來自幀內(nèi) 的一個或多個相鄰塊或區(qū)域的數(shù)據(jù)可用于針對當前塊或區(qū)域中的內(nèi)容來預(yù)測一個或多個 參數(shù)。
[0063] 圖8為根據(jù)一些實施方案將自適應(yīng)傳遞函數(shù)方法應(yīng)用于視頻輸入數(shù)據(jù)并生成經(jīng)編 碼的視頻數(shù)據(jù)的視頻編碼方法的高水平流程圖。如圖8的800處所指出的那樣，可接收N位 (例如，12位、14位、16位等)視頻數(shù)據(jù)以用于編碼。在一些實施方案中，視頻流的幀由編碼器 順序處理。在一些實施方案中，根據(jù)像素塊(例如宏塊、CU、PU或CTU)來將輸入視頻幀細分到 編碼器中并由其進行處理。
[0064] 如圖8的802處所指出的那樣，可確定輸入視頻數(shù)據(jù)的聚焦范圍。在一些實施方案 中，可動態(tài)地確定被輸入到編碼器的視頻的每個場景、序列或幀的聚焦范圍。在一些實施方 案中，可動態(tài)地確定幀內(nèi)兩個或更多個區(qū)域中的每個區(qū)域的聚焦范圍。在一些實施方案中， 可根據(jù)正被處理的當前場景、序列、幀或區(qū)域的一個或多個特征(例如，亮度、紋理等)來確 定聚焦范圍。聚焦范圍表示針對當前場景、序列、幀或區(qū)域中的圖像數(shù)據(jù)(例如，亮度）的人 類視覺系統(tǒng)的有效動態(tài)范圍。例如，如果輸入視頻數(shù)據(jù)中的亮度動態(tài)范圍為Ocd/m 2-10000cd/m2,則基于各種場景、序列、幀或區(qū)域的特定特征的示例性聚焦范圍可為2000cd/ m2-4000cd/m2、0cd/m2-1000cd/m2、1000cd/m 2_2500cd/m2 等等。圖 4以圖形方式不出 了根據(jù)一 些實施方案的針對N位輸入視頻數(shù)據(jù)所確定的示例性聚焦范圍。
[0065] 如圖8的804處所指出的那樣，可根據(jù)傳遞函數(shù)來將聚焦范圍內(nèi)的N位視頻數(shù)據(jù)映 射到C位視頻數(shù)據(jù)。在一些實施方案中，可根據(jù)所確定的聚焦范圍來對輸入視頻數(shù)據(jù)進行裁 剪，然后可根據(jù)用于在編碼器中表示視頻數(shù)據(jù)的傳遞函數(shù)來將裁剪的數(shù)據(jù)值適當?shù)赜成?(例如，量化)到編碼器中可用的C位。圖5根據(jù)一些實施方案以圖形方式示出了根據(jù)傳遞函 數(shù)的示例性聚焦范圍內(nèi)的N位輸入視頻數(shù)據(jù)到編碼器中可用的C位的示例性映射。在實施方 案中，可使用各種傳遞函數(shù)來表示編碼器中的N位輸入視頻數(shù)據(jù)和C位視頻數(shù)據(jù)?？捎糜谠?實施方案中表示視頻數(shù)據(jù)的傳遞函數(shù)的示例可包括但不限于基于伽馬的冪律傳遞函數(shù)、基 于對數(shù)的傳遞函數(shù)、基于人類視覺感知的傳遞函數(shù)諸如PQ傳遞函數(shù)。在一些實施方案中，用 于表示編碼器中的C位視頻數(shù)據(jù)的傳遞函數(shù)可與用于表示N位輸入視頻數(shù)據(jù)的傳遞函數(shù)相 同。然而，在其他實施方案中，可根據(jù)一級傳遞函數(shù)來表示輸入視頻數(shù)據(jù)，并且可使用不同 的(二級)傳遞函數(shù)來表示編碼器中的視頻數(shù)據(jù)。相較于使用一級傳遞函數(shù)時可能具有的精 度，該二級傳遞函數(shù)可例如在編碼器內(nèi)以更高的精度來表示視頻信號。
[0066]如圖8的元素806所示，只要還有待處理的N位輸入視頻數(shù)據(jù)(例如，場景、序列、幀 或區(qū)域），在元素800至元素804處執(zhí)行的自適應(yīng)傳遞函數(shù)處理便將迭代進行。如圖8的810處 所指出的那樣，在元素800至元素804處通過自適應(yīng)傳遞函數(shù)方法輸出的每單位C位視頻數(shù) 據(jù)(例如，場景、序列、幀或區(qū)域)被輸入到編碼器并由其進行處理。如先前所提及，在一些實 施方案中，N位輸入視頻數(shù)據(jù)可細分到自適應(yīng)傳遞函數(shù)模塊或部件中并由其進行處理，然后 根據(jù)像素塊(例如，宏塊、CU、PU或CTU)作為C位視頻數(shù)據(jù)傳遞給編碼器。
[0067] 如圖8的810處所指出的那樣，編碼器的一個或多個部件可處理C位視頻數(shù)據(jù)，以生 成經(jīng)編碼的（和經(jīng)壓縮的）視頻數(shù)據(jù)輸出（例如，CAVLC輸出或CABAC輸出）。在一些實施方案 中，該編碼器可根據(jù)壓縮視頻格式諸如H. 264/AVC格式或H. 265/HEVC格式來對C位視頻輸入 數(shù)據(jù)進行編碼。然而，也可使用其他編碼格式。在一些實施方案中，用于對每個場景、序列、 幀或區(qū)域進行編碼的聚焦范圍、傳遞函數(shù)、量化參數(shù)和其他格式信息可作為元數(shù)據(jù)嵌入編 碼的輸出流，或可通過其他方式發(fā)信號通知一個或多個解碼器。圖2的編碼器200示出了用 于處理C位視頻數(shù)據(jù)以生成經(jīng)編碼的輸出流的示例性編碼器。在一些具體實施中，包括元數(shù) 據(jù)的經(jīng)編碼的輸出流可例如經(jīng)由直接存儲器訪問（DMA)被寫入存儲器。在一些具體實施中， 作為將輸出流和元數(shù)據(jù)寫入存儲器的替代或補充，可將經(jīng)編碼的輸出流和元數(shù)據(jù)直接發(fā)送 到至少一個解碼器?？稍谂c實施編碼器的設(shè)備和裝置相同的或不同的設(shè)備和裝置上實施解 碼器。
[0068] 圖9為根據(jù)一些實施方案的視頻解碼方法的高水平流程圖，該方法根據(jù)自適應(yīng)傳 遞函數(shù)方法來對經(jīng)編碼的視頻數(shù)據(jù)進行解碼并擴展該經(jīng)解碼的視頻數(shù)據(jù)，以生成顯示格式 視頻數(shù)據(jù)。如圖9的900處所指出的那樣，解碼器可獲得經(jīng)編碼的數(shù)據(jù)（例如，經(jīng)CAVLC或 CABAC編碼并壓縮的數(shù)據(jù)）?？衫鐝拇鎯ζ髯x取、從編碼器接收、或以其他方式來獲取經(jīng)編 碼的數(shù)據(jù)。如圖9的902處所指出的那樣，解碼器可對經(jīng)編碼的數(shù)據(jù)進行解碼以生成經(jīng)解碼 的C位視頻數(shù)據(jù)和格式元數(shù)據(jù)。在一些實施方案中，解碼器可根據(jù)壓縮視頻格式諸如Η. 264/ AVC格式或H. 265/HEVC格式來對經(jīng)編碼的數(shù)據(jù)進行解碼。然而，也可使用其他編碼/解碼格 式。從經(jīng)編碼的數(shù)據(jù)中提取的格式元數(shù)據(jù)可例如包括聚焦范圍、傳遞函數(shù)、量化參數(shù)和用于 對每個場景、序列、幀或區(qū)域進行編碼的其他格式信息。
[0069] 如圖9的元素904所示，只要存在經(jīng)編碼的數(shù)據(jù)，則在900和902處執(zhí)行的解碼便可 繼續(xù)進行。如圖9的910處所指出的那樣，可根據(jù)逆向自適應(yīng)傳遞函數(shù)方法輸出并處理由解 碼器解碼的每個單位解碼數(shù)據(jù)(例如，每個場景、序列、幀或區(qū)域）。從經(jīng)編碼的數(shù)據(jù)中提取 的格式元數(shù)據(jù)的至少一部分還可被輸出至逆向自適應(yīng)傳遞函數(shù)方法。
[0070] 如圖9的910處所指出的那樣，逆向自適應(yīng)傳遞函數(shù)方法可從聚焦范圍動態(tài)地擴展 經(jīng)解碼的C位視頻數(shù)據(jù)，以生成全動態(tài)范圍的D位視頻數(shù)據(jù)，以用于輸出到目標設(shè)備諸如支 持HDR的顯示設(shè)備。對于給定的場景、序列、幀或區(qū)域，可根據(jù)由解碼器從經(jīng)編碼的數(shù)據(jù)中提 取的相應(yīng)格式元數(shù)據(jù)來動態(tài)地進行擴展。圖6以圖形方式示出了根據(jù)一些實施方案將經(jīng)解 碼的視頻數(shù)據(jù)擴展到HDR設(shè)備的全動態(tài)范圍中
[0071] 一級傳遞函數(shù)和二級傳遞函數(shù)
[0072] 可用于在如本文所述的自適應(yīng)傳遞函數(shù)方法的實施方案中表示視頻數(shù)據(jù)的傳遞 函數(shù)的示例可包括但不限于基于伽馬的冪律傳遞函數(shù)、對數(shù)(基于對數(shù)的）傳遞函數(shù)、以及 基于人類視覺感知的傳遞函數(shù)，諸如由Dolby Laboratories, Inc提出的感知量化器(PQ)傳 遞函數(shù)。
[0073] 在一些實施方案中，用于表示編解碼器中的視頻數(shù)據(jù)的傳遞函數(shù)可與用于表示輸 入視頻數(shù)據(jù)的傳遞函數(shù)(稱為一級傳遞函數(shù))相同。在這些實施方案中，可根據(jù)針對場景、序 列、幀或區(qū)域確定的聚焦范圍來對輸入視頻數(shù)據(jù)進行裁剪，然后根據(jù)一級傳遞函數(shù)來將其 映射（例如，量化)到編解碼器的可用位中?？上蚪獯a器發(fā)信號通知聚焦范圍、裁剪和映射 (例如，量化)參數(shù)例如作為輸出編碼流中的元數(shù)據(jù)，使得在解碼器上可執(zhí)行逆向自適應(yīng)傳 遞函數(shù)方法，以生成設(shè)備(例如，支持HDR的顯示器)的全范圍視頻數(shù)據(jù)。
[0074] 然而，在一些實施方案中，可使用不同于一級傳遞函數(shù)的傳遞函數(shù)(被稱為內(nèi)部傳 遞函數(shù)或二級傳遞函數(shù))來表示編解碼器內(nèi)的視頻數(shù)據(jù)。在這些實施方案中，可將輸入視頻 數(shù)據(jù)裁剪為針對場景、序列、幀或區(qū)域所確定的聚焦范圍，然后根據(jù)二級傳遞函數(shù)來將其映 射、縮放或量化到編解碼器的可用位中。相較于使用一級傳遞函數(shù)時可能具有的精度，二級 傳遞函數(shù)可例如允許在編解碼器內(nèi)以更高的精度來表示視頻信號。在這些實施方案中，除 了聚焦范圍、裁剪和映射(例如，量化)參數(shù)，還可向解碼器發(fā)信號通知有關(guān)如何將視頻數(shù)據(jù) 從二級傳遞函數(shù)轉(zhuǎn)換到一級傳遞函數(shù)的信息，例如作為輸出流中的元數(shù)據(jù)。該信息可包含 但不限于二級傳遞函數(shù)的類型(例如，冪律伽馬傳遞函數(shù)、對數(shù)傳遞函數(shù)、PQ傳遞函數(shù)等)和 傳遞函數(shù)的一個或多個控制參數(shù)。在一些實施方案中，也可發(fā)信號通知用于描述一級傳遞 函數(shù)的信息。
[0075] 在自適應(yīng)傳遞函數(shù)方法的一些實施方案中，在編解碼器內(nèi)使用的內(nèi)部傳遞函數(shù)或 二級傳遞函數(shù)可為不連續(xù)傳遞函數(shù)表示，其中可保留內(nèi)部表示的原傳遞函數(shù)或一級傳遞函 數(shù)的一個或多個部分，而內(nèi)部表示的其余部分采用不同的傳遞函數(shù)。在這些實施方案中，可 例如使用表格表示在輸出流中精確描述并發(fā)信號通知所保留的一級傳遞函數(shù)的一個或多 個區(qū)域。也可發(fā)信號通知有關(guān)不同傳遞函數(shù)的信息。
[0076] 如圖7A至圖7C所示，可在幀內(nèi)在幀水平或區(qū)域水平上執(zhí)行自適應(yīng)傳遞函數(shù)方法的 實施方案。因此，幀內(nèi)相鄰或鄰近的編碼和解碼的視頻幀或區(qū)域可具有明顯不同的傳遞函 數(shù)表示，其可例如對編碼具有負面影響（例如，運動估計、運動補償和重建），因為正在進行 編碼的當前幀或區(qū)域的傳遞函數(shù)表示可與可用于編碼過程的相鄰幀或區(qū)域的傳遞函數(shù)表 示明顯不同。然而，在一些實施方案中，可在使用編碼格式諸如高級視頻編碼(AVC)和高效 率視頻編(HEVC)格式的編解碼器中提供的加權(quán)預(yù)測可用于大幅提高編碼效率。在這些實施 方案中，可為可用于加權(quán)預(yù)測過程以調(diào)整傳遞函數(shù)表示中的差異的幀或區(qū)域提供加權(quán)參 數(shù)。該加權(quán)參數(shù)可被發(fā)信號通知，例如通過在幀或塊元數(shù)據(jù)中包含該參數(shù)。例如，在AVC或 HEVC編碼器中，可在切片標頭元數(shù)據(jù)中發(fā)信號通知加權(quán)參數(shù)，并可通過改變AVC中宏塊內(nèi)的 參考索引或HEVC中預(yù)測單元(PU)內(nèi)的參考索引來選擇該加權(quán)參數(shù)。在一些實施方案中，加 權(quán)信息可根據(jù)塊明確地發(fā)信號通知，這與切片標頭部分相關(guān)或不相關(guān)。例如，在一些實施方 案中，可在切片標頭中發(fā)信號通知一級權(quán)重或主權(quán)重，并具有可用于調(diào)整在塊水平下發(fā)信 號通知的一級權(quán)重的δ或差異。在一些實施方案中，加權(quán)參數(shù)還可包含顏色加權(quán)信息。在一 些實施方案中，這些加權(quán)參數(shù)可用于幀內(nèi)預(yù)測以及幀間預(yù)測。例如，在幀內(nèi)預(yù)測中，作為原 樣使用先前處理的相鄰或鄰近數(shù)據(jù)(例如，像素或像素塊）的替代或補充，可提供可用于根 據(jù)相鄰或鄰近樣本的可能不同的傳遞函數(shù)特征來調(diào)整預(yù)測的附加加權(quán)參數(shù)和偏移參數(shù)。
[0077] 在內(nèi)部傳遞函數(shù)或二級傳遞函數(shù)被用于表示編解碼器內(nèi)的數(shù)據(jù)的一些實施方案 中，除了加權(quán)參數(shù)，在編解碼器中還可發(fā)信號通知有關(guān)二級傳遞函數(shù)的信息以用于傳遞函 數(shù)預(yù)測。在一些實施方案中，例如可在使用傳遞函數(shù)表的切片標頭中發(fā)信號通知二級傳遞 函數(shù)信息，使得每個參考數(shù)據(jù)索引與一個或多個傳遞函數(shù)調(diào)整參數(shù)相關(guān)聯(lián)。在一些實施方 案中，作為替代或補充，可在塊水平上發(fā)信號通知二級傳遞函數(shù)信息。在使用不連續(xù)傳遞函 數(shù)表示的實施方案中，可在切片標頭中和/或在塊水平上發(fā)信號通知多個加權(quán)參數(shù)(例如， 對不同的亮度值或水平具有不同影響的參數(shù)）。
[0078] 在使用內(nèi)部或二級傳遞函數(shù)并對其進行調(diào)整以表示編解碼器內(nèi)的數(shù)據(jù)的一些實 施方案中，可動態(tài)地確定用于場景、序列、幀或區(qū)域的內(nèi)部傳遞函數(shù)和調(diào)整。在一些實施方 案中，可基于當前視頻幀或幀的一個或多個區(qū)域的一個或多個特征來確定內(nèi)部傳遞函數(shù)。 該特征可包括但不限于最低亮度和峰值亮度、運動、紋理、顏色、直方圖模式、百分比濃度 等。在一些實施方案中，確定當前幀的內(nèi)部傳遞函數(shù)還可利用在時間上過去的和/或未來的 幀作為參考幀。在一些實施方案中，例如確定內(nèi)部傳遞函數(shù)可利用在視頻或視頻序列中在 當前幀之前和/或之后出現(xiàn)的一個、兩個或更多個參考幀的窗口。使用基于窗口的信息來確 定內(nèi)部傳遞函數(shù)可導(dǎo)致每個幀的特征改變，并可幫助避免或平滑內(nèi)部傳遞函數(shù)調(diào)整中過于 明顯的跳躍或不連續(xù)性，否則可對編碼產(chǎn)生不利影響。平滑的、基于窗口的自適應(yīng)傳遞函數(shù) 方法可提供更好的傳遞函數(shù)選擇，以用于編碼目的并且用于在全傳遞函數(shù)范圍/所需傳遞 函數(shù)范圍處的最終信號重建。在一些實施方案中，基于窗口的自適應(yīng)傳遞函數(shù)方法可包括 估計窗口內(nèi)幀的峰值亮度和最低亮度，以確定內(nèi)部傳遞函數(shù)。在一些實施方案中，可通過用 于確定內(nèi)部傳遞函數(shù)的基于窗口的方法來估計亮度直方圖、直方圖模式、值的集中度以及 如何對其進行調(diào)整、和窗口內(nèi)面積或區(qū)域的劃分。在一些實施方案中，可在該選擇中利用有 關(guān)人類視覺系統(tǒng)的信息來實現(xiàn)改善的性能。
[0079] 在一些實施方案中，在基于窗口的自適應(yīng)傳遞函數(shù)方法中使用的決定窗口可不重 疊，并且對每個幀或區(qū)域單獨進行決定。在一些實施方案中，在窗口邊界處可能存在重疊， 同時在估計中考慮當前窗口之外的邊界幀，但對其自身不進行調(diào)節(jié)。在一些實施方案中，多 個窗口可通過自適應(yīng)過程例如基于窗口距離的內(nèi)部傳遞函數(shù)信息的加權(quán)平均來影響邊界 幀，這可有助于確保相鄰窗口之間的平滑過渡。在一些實施方案中，內(nèi)部傳遞函數(shù)的基于窗 口的決定過程可基于"運行窗口"方法，其中根據(jù)幀本身的特征和一個或多個在時間上過去 的和/或未來的幀和/或窗口的特征來確定每個幀的內(nèi)部傳遞函數(shù)。在一些實施方案中，還 可利用咱過去的和/或未來的幀和/或窗口的內(nèi)部傳遞函數(shù)來確定當前幀的內(nèi)部傳遞函數(shù)。 在一些實施方案中，可實施多通道方法，其中考慮了在先前的通道中預(yù)先選擇的內(nèi)部傳遞 函數(shù)的行為和性能，以調(diào)諧后續(xù)的內(nèi)部傳遞函數(shù)，從而實現(xiàn)更高的編碼效率和給定最終傳 遞函數(shù)目標的更好呈現(xiàn)。
[0080] 在一些實施方案中，可基于正在進行編碼的視頻數(shù)據(jù)的特征來確定并調(diào)整內(nèi)部傳 遞函數(shù)(例如，范圍、類型、位深度等）。在一些實施方案中，在選擇和/或調(diào)整內(nèi)部傳遞函數(shù) 時還可考慮所關(guān)注的信號的特定傳遞函數(shù)的壓縮能力或特征。在一些實施方案中，除此之 外或作為替代，可基于一個或多個目標顯示器和它們的特征或限制來確定并調(diào)整內(nèi)部傳遞 函數(shù)。例如，如果已知當前的目標顯示器與由一級傳遞函數(shù)支持的動態(tài)范圍相比具有有限 的動態(tài)范圍，則在編碼的壓縮信號中包含除目標顯示器范圍之外的值可能毫無意義。相反， 可確定可將信號提供到顯示器的動態(tài)范圍的最佳擬合的內(nèi)部傳遞函數(shù)表示，這可允許針對 該特定顯示器能力來實現(xiàn)信號的更好的壓縮表示。在一些實施方案中，如果將由編解碼器 支持多個顯示器，則可為顯示器選擇動態(tài)范圍，并且可確定提供對選定動態(tài)范圍的最佳擬 合的內(nèi)部傳遞函數(shù)表不。例如，可選擇能力最佳的顯不器(例如，具有最尚動態(tài)范圍），并且 可將其動態(tài)范圍用于調(diào)整內(nèi)部傳遞函數(shù)來為所有顯示器生成視頻輸出。又如，可基于定價 模式來選擇動態(tài)范圍，在該定價模式中可對顯示器的一個或多個特征(例如，動態(tài)范圍）進 行加權(quán)(例如，基于顯示器的根據(jù)重要性或其他因素而確定的或指示的排序）。
[0081] 如本文所述的用于視頻編碼和解碼系統(tǒng)或編解碼器的自適應(yīng)傳遞函數(shù)方法的實 施方案可提供發(fā)信號通知(從編碼器)和支持(從編碼器和解碼器)擴展動態(tài)范圍或高動態(tài) 范圍的功能，同時將編解碼器的復(fù)雜性(例如，位深度)保持在合理范圍內(nèi)。這可通過在區(qū) 域、幀、場景或序列水平上動態(tài)地確定聚焦范圍、將輸入數(shù)據(jù)裁剪到聚焦范圍、并將經(jīng)剪裁 的數(shù)據(jù)從輸入視頻的位深度映射到編解碼器的位深度來實現(xiàn)，同時在區(qū)域、幀、場景或序列 水平上從編碼器向解碼器發(fā)信號通知適當?shù)膮?shù)(例如，聚焦范圍、量化參數(shù)等），使得動態(tài) 范圍可被擴展到支持HDR的顯示器的全范圍。另外，在一些實施方案中，當使用不同的傳遞 函數(shù)表示來對不同幀進行編碼時，可發(fā)信號通知用于執(zhí)行加權(quán)參數(shù)的適當參數(shù)(例如，權(quán)重 等)。
[0082] 示例性設(shè)備和裝置
[0083]圖10至圖14示出了設(shè)備和裝置的非限制性示例，在這些設(shè)備和裝置中或利用這些 設(shè)備和裝置，可實現(xiàn)如本文所述的各種數(shù)字視頻或圖像處理和顯示方法及裝置的實施方案 或部件。圖10示出了示例性S0C，并且圖11示出了實現(xiàn)S0C的示例性設(shè)備。圖12示出了可實現(xiàn) 本文所述的方法和裝置的示例性計算機系統(tǒng)。圖13和圖14示出了可實現(xiàn)本文所述的方法和 裝置的示例性多功能設(shè)備。
[0084] 示例性片上系統(tǒng)(S0C)
[0085]現(xiàn)在參見圖10,其示出了可在實施方案中使用的片上系統(tǒng)（S0C)8000的一個實施 方案的框圖。S0C 8000被圖示為耦接到存儲器8800。正如其名稱所暗示的，S0C 8000的部件 可被集成到單個半導(dǎo)體基板上作為集成電路"芯片"。在一些實施方案中，這些部件可在系 統(tǒng)中的兩個或更多個分立芯片上實現(xiàn)。然而，S0C 8000在本文中將用作示例。在例示的實施 方案中，S0C 8000的部件包括中央處理單元(CPU)復(fù)合體8020、片上外圍部件8040A-8040C (更簡潔地稱為"外圍設(shè)備"）、存儲器控制器(MC)8030和通信結(jié)構(gòu)8010。部件8020,8030， 8040A-8040C可全部耦接到通信結(jié)構(gòu)8010。存儲器控制器8030可在使用期間耦接到存儲器 8800，并且外圍設(shè)備8040B可在使用期間耦接到外部接口 8900。在例示的實施方案中，CPU復(fù) 合體8020包括一個或多個處理器(P)8024和二級(L2)高速緩存8022。
[0086]外圍設(shè)備8040A-8040B可以是被包括在SOC 8000中的附加硬件功能的任何集合。 例如，該外圍設(shè)備8040A-8040B可包括視頻外圍設(shè)備，諸如被配置為處理來自相機或其他圖 像傳感器的圖像捕捉數(shù)據(jù)的圖像信號處理器、被配置為在一個或多個顯示設(shè)備上顯示視頻 數(shù)據(jù)的顯示控制器、圖形處理單元(GPU)、視頻編碼器/解碼器或編解碼器、縮放器、旋轉(zhuǎn)器、 混合器等。該外圍設(shè)備可包括音頻外圍設(shè)備，諸如麥克風(fēng)、揚聲器、至麥克風(fēng)和揚聲器的接 口、音頻處理器、數(shù)字信號處理器、混合器等。該外圍設(shè)備可包括用于S0C 8000外部的各種 接口 8900的外圍設(shè)備接口控制器(例如外圍設(shè)備8040B )，這些接口包括接口諸如通用串行 總線(USB)端口、外圍部件互連(PCI)端口（包括PCI高速(PCIe)端口）、串行端口、并行端口 等。該外圍設(shè)備可包括聯(lián)網(wǎng)外圍設(shè)備諸如媒體訪問控制器(MAC)?？砂ㄓ布娜魏渭?。 [0087] CPU復(fù)合體8020可包括用作S0C 8000的CPU的一個或多個CPU處理器8024。該系統(tǒng) 的CPU包括執(zhí)行系統(tǒng)主要控制軟件諸如操作系統(tǒng)的一個或多個處理器。通常，由CPU在使用 期間執(zhí)行的軟件可控制系統(tǒng)的其他部件，以實現(xiàn)系統(tǒng)的所期望的功能。該處理器8024還可 執(zhí)行其他軟件諸如應(yīng)用程序。該應(yīng)用程序可為用戶提供功能，并且可依賴于操作系統(tǒng)以用 于更低級的設(shè)備控制。因此，該處理器8024也可被稱為應(yīng)用處理器。CPU復(fù)合體8020可進一 步包括其他硬件，諸如L2高速緩存8022和/或至系統(tǒng)的其他部件的接口（例如至通信結(jié)構(gòu) 8010的接口）。通常，處理器可包括被配置為執(zhí)行在由處理器實施的指令集架構(gòu)中定義的指 令的任何電路和/或微碼。響應(yīng)于執(zhí)行指令而由處理器操作的指令和數(shù)據(jù)通?？杀淮鎯υ?存儲器8800中，盡管某些指令可被定義為也對外圍設(shè)備進行直接處理器訪問。處理器可涵 蓋在具有作為片上系統(tǒng)（S0C 8000)或其他集成水平的集成電路的其他部件上實施的處理 器內(nèi)核。處理器可進一步包括分立的微處理器、處理器內(nèi)核和/或集成到多芯片模塊具體實 施中的微處理器、被實施為多個集成電路的處理器等。
[0088]該存儲器控制器8030通?？砂ㄓ糜诮邮諄碜許0C 8000的其他部件的存儲器操 作并用于訪問存儲器8800以完成存儲器操作的電路。該存儲器控制器8030可被配置為訪問 任何類型的存儲器8800。例如，該存儲器8800可以是靜態(tài)隨機存取存儲器(SRAM)、動態(tài)RAM (DRAM)，諸如包括雙倍數(shù)據(jù)速率(DDR、DDR2、DDR3等）DRAM的同步DRAM(SDRAM)?？芍С諨DR DRAM的低功率/移動版本(例如，LPDDR、mDDR等）。該存儲器控制器8030可包括存儲器操作隊 列，以用于對這些操作進行排序(并且可能重新排序），并將這些操作呈現(xiàn)至存儲器8800。該 存儲器控制器8030還可包括用于存儲等待寫到存儲器的寫數(shù)據(jù)和等待返回至存儲器操作 的源的讀數(shù)據(jù)的數(shù)據(jù)緩沖器。在一些實施方案中，該存儲器控制器8030可包括用于存儲最 近訪問的存儲器數(shù)據(jù)的存儲器高速緩存。例如，在S0C具體實施中，該存儲器高速緩存可通 過在預(yù)期很快要再次訪問的情況下避免從存儲器8800重新訪問數(shù)據(jù)來降低S0C中的功率消 耗。在一些情況下，該存儲器高速緩存也可被稱為系統(tǒng)高速緩存，其與私有高速緩存(諸如 L2高速緩存8022或處理器8024中的高速緩存)不同，該私有高速緩存僅服務(wù)于某些部件。此 外，在一些實施方案中，系統(tǒng)高速緩存不需要位于存儲器控制器8030內(nèi)。
[0089]在一個實施方案中，該存儲器8800可以芯片上芯片配置或封裝上封裝配置來與 S0C 8000-起被封裝。也可使用S0C 8000和存儲器8800的多芯片模塊配置。此類配置可比 向系統(tǒng)中其他部件(例如向端點16A-16B)的傳輸相對更安全(在數(shù)據(jù)可觀測性方面）。因此， 受保護的數(shù)據(jù)可未經(jīng)加密地駐留在存儲器8800中，而受保護的數(shù)據(jù)可被加密以在S0C 8000 與外部端點之間進行交換。
[0090] 通信結(jié)構(gòu)8010可以是用于在SOC 8000的部件間進行通信的任何通信互連器和協(xié) 議。該通信結(jié)構(gòu)8010可為基于總線的，包括共享總線配置、交叉開關(guān)配置、和具有橋的分層 總線。該通信結(jié)構(gòu)8010也可為基于分組的，并且可以是具有橋的分層、交叉開關(guān)、點到點、或 其他互連器。
[0091] 需注意，S0C 8000的部件的數(shù)量（以及圖10所示(諸如CPU復(fù)合體8020內(nèi)）的那些部 件的子部件的數(shù)量)在不同實施方案中可能是不同的?？纱嬖诒葓D10所示的數(shù)量更多或更 少的每種部件/子部件。
[0092] 圖11是系統(tǒng)9000的一個實施方案的框圖，該系統(tǒng)包括耦接到外部存儲器8800和一 個或多個外部外圍設(shè)備9020的S0C 8000的至少一個實例。提供向S0C 8000供應(yīng)供電電壓以 及向存儲器8800和/或外圍設(shè)備9020供應(yīng)一個或多個供電電壓的功率管理單元(PMU)9010。 在一些實施方案中，可包括S0C 8000的多于一個實例(也可包括多于一個存儲器8800)。 [0093]根據(jù)系統(tǒng)9000的類型，該外圍設(shè)備9020可包括任何期望的電路。例如，在一個實施 方案中，該系統(tǒng)9000可以是移動設(shè)備(例如個人數(shù)字助理(PDA)、智能電話等），并且該外圍 設(shè)備9020可包括用于各種類型的無線通信的設(shè)備，諸如wifi、藍牙、蜂窩、全球定位系統(tǒng)等。 該外圍設(shè)備9020還可包括附加存儲裝置，該附加存儲裝置包括RAM存儲裝置、固態(tài)存儲裝置 或磁盤存儲裝置。該外圍設(shè)備9020可包括用戶界面設(shè)備(諸如包括觸摸顯示屏或多點觸摸 顯示屏的顯示屏）、鍵盤或其他輸入設(shè)備、麥克風(fēng)、揚聲器等。在其他實施方案中，該系統(tǒng) 9000可以是任何類型的計算系統(tǒng)(例如臺式個人計算機、膝上型電腦、工作站、網(wǎng)絡(luò)機頂盒 等)。
[0094] 該外部儲存器8800可包括任何類型的存儲器。例如，該外部存儲器8800可以是 SRAM、動態(tài)RAM (DRAM)(諸如同步DRAM (SDRAM ))、雙倍數(shù)據(jù)速率(DDR、DDR2、DDR3等）SDRAM、 RAMBUS DRAM、低功率版本的DDR DRAM(例如LPDDR、mDDR等)等等。該外部存儲器8800可包括 存儲器設(shè)備可被安裝到的一個或多個存儲器模塊，諸如單列存儲器模塊(SMM)、雙列存儲 器模塊(DMM)等。另選地，該外部存儲器8800可包括以芯片上芯片配置或封裝上封裝具體 實施被安裝在S0C 8000上的一個或多個存儲器設(shè)備。
[0095] 多功能設(shè)備示例
[0096]圖13示出了根據(jù)一些實施方案的便攜式多功能設(shè)備的框圖。在一些實施方案中， 該設(shè)備是還包含其他功能諸如PDA、相機、視頻捕獲和/或回放、以及/或者音樂播放器功能 的便攜式通信設(shè)備諸如移動電話。該便攜式多功能設(shè)備的示例性實施方案包括但不限于來 自 Apple Inc · (Cupertino，Cal if ornia)的 iPhone?設(shè)備、iPodTouch?設(shè)備和iPad?設(shè)備。 也可使用其他便攜式電子設(shè)備，諸如具有觸敏表面(例如，觸摸屏顯示器和/或觸摸板)的膝 上型電腦、移動電話、智能電話、平板電腦或平板計算機。還應(yīng)當理解，在一些實施方案中， 該設(shè)備并非便攜式通信設(shè)備，而是具有觸敏表面(例如，觸摸屏顯示器和/或觸摸板)的臺式 計算機。在一些實施方案中，設(shè)備是具有取向傳感器(例如游戲控制器中的取向傳感器）的 游戲計算機。在其他實施方案中，該設(shè)備不是便攜式通信設(shè)備，而是相機和/或攝像機。 [0097] 在下面的討論中，描述了一種包括顯示器和觸敏表面的電子設(shè)備。然而應(yīng)當理解， 該電子設(shè)備可包括一個或多個其他物理用戶接口設(shè)備，諸如物理鍵盤、鼠標和/或操作桿。
[0098]該設(shè)備通常支持各種應(yīng)用程序，諸如以下各項中的一者或多者:繪圖應(yīng)用程序、呈 現(xiàn)應(yīng)用程序、文字處理應(yīng)用程序、網(wǎng)站創(chuàng)建應(yīng)用程序、盤編輯應(yīng)用程序、電子表格應(yīng)用程序、 游戲應(yīng)用程序、電話應(yīng)用程序、視頻會議應(yīng)用程序、電子郵件應(yīng)用程序、即時消息應(yīng)用程序、 健身支持應(yīng)用程序、照片管理應(yīng)用程序、數(shù)字相機應(yīng)用程序、數(shù)字視頻攝像機應(yīng)用程序、web 瀏覽應(yīng)用程序、數(shù)字音樂播放器應(yīng)用程序和/或數(shù)字視頻播放器應(yīng)用程序。
[0099]可在該設(shè)備上執(zhí)行的各種應(yīng)用程序可使用至少一個共用的物理用戶界面設(shè)備諸 如觸敏表面。觸敏表面的一種或多種功能以及被顯示在設(shè)備上的對應(yīng)信息可從一個應(yīng)用程 序被調(diào)節(jié)和/或改變到下一個應(yīng)用程序，和/或在相應(yīng)應(yīng)用程序內(nèi)可被調(diào)節(jié)和/或改變。這 樣，設(shè)備的共用物理架構(gòu)(諸如觸敏表面)可利用對于用戶直觀且透明的用戶界面來支持各 種應(yīng)用程序。
[0100]設(shè)備2100可包括存儲器2102(其可包括一個或多個計算機可讀存儲介質(zhì)）、存儲器 控制器2122、一個或多個處理單元(CPU)2120、外圍設(shè)備接口 2118、RF電路2108、音頻電路 2110、揚聲器2111、觸敏顯示系統(tǒng)2112、麥克風(fēng)2113、輸入/輸出（I/O)子系統(tǒng)2106、其他輸入 控制設(shè)備2116和外部端口 2124。設(shè)備2100可包括一個或多個光學(xué)傳感器或相機2164。這些 部件可通過一條或多條通信總線或信號線2103進行通信。
[0101] 應(yīng)當理解，設(shè)備2100只是便攜式多功能設(shè)備的一個示例，并且設(shè)備2100可具有比 所示出的更多或更少的部件，可組合兩個或更多個部件，或者可具有這些部件的不同配置 或布置。圖13所示的各種部件可在硬件、軟件或硬件和軟件兩者的組合中實現(xiàn)，其包括一個 或多個信號處理電路和/或?qū)Ｓ眉呻娐贰?br>[0102] 存儲器2102可包括高速隨機存取存儲器并且還可包括非易失性存儲器，諸如一個 或多個磁盤存儲設(shè)備、閃存存儲器設(shè)備或其他非易失性固態(tài)存儲器設(shè)備。設(shè)備2100的其他 部件(例如，CPU 2120和外圍設(shè)備接口 2118)對存儲器2102的訪問可由存儲器控制器2122來 控制。
[0103] 外圍設(shè)備接口 2118可被用于將設(shè)備的輸入外圍設(shè)備和輸出外圍設(shè)備耦接到CPU 2120和存儲器2102。該一個或多個處理器2120運行或執(zhí)行被存儲在存儲器2102中的各種軟 件程序和/或指令集，以執(zhí)行設(shè)備2100的各種功能并處理數(shù)據(jù)。
[0104] 在一些實施方案中，外圍設(shè)備接口2118、CPU 2120和存儲器控制器2122可在單個 芯片諸如芯片2104上實現(xiàn)。在一些其他實施方案中，它們可在單獨的芯片上實現(xiàn)。
[0105] RF(射頻）電路2108接收和發(fā)送也被叫做電磁信號的RF信號。RF電路2108將電信號 轉(zhuǎn)換為電磁信號/將電磁信號轉(zhuǎn)換為電信號，并且經(jīng)由電磁信號來與通信網(wǎng)絡(luò)以及其他通 信設(shè)備進行通信。RF電路2108可包括用于執(zhí)行這些功能的熟知的電路，包括但不限于天線 系統(tǒng)、RF收發(fā)器、一個或多個放大器、調(diào)諧器、一個或多個振蕩器、數(shù)字信號處理器、編碼器/ 解碼器(編解碼器)芯片組、用戶身份模塊（SIM)卡、存儲器等等。RF電路2108可通過無線通 信與網(wǎng)絡(luò)以及其他設(shè)備進行通信，其中該網(wǎng)絡(luò)諸如互聯(lián)網(wǎng)（也稱萬維網(wǎng)(WWW))、內(nèi)聯(lián)網(wǎng)和/ 或無線網(wǎng)絡(luò)(諸如蜂窩電話網(wǎng)絡(luò)、無線局域網(wǎng)(LAN)和/或城域網(wǎng)(MAN))。該無線通信可使用 多種通信標準、通信協(xié)議和通信技術(shù)中的任一者，包括但不限于全球移動通信系統(tǒng)(GSM)、 增強數(shù)據(jù)GSM環(huán)境（EDGE)、高速下行鏈路分組接入（HSDPA)、高速上行鏈路分組接入 (HSUPA)、寬帶碼分多址(W-CDMA)、碼分多址(CDMA)、時分多址(TDMA)、藍牙、無線保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802·11η)、互聯(lián)網(wǎng)語音 協(xié)議(Vo IΡ)、W i -MAX、電子郵件協(xié)議（例如，互聯(lián)網(wǎng)消息訪問協(xié)議（I MAP)和/或郵局協(xié)議 (Ρ0Ρ))、即時消息（例如，可擴展消息處理現(xiàn)場協(xié)議(XMPP)、用于即時消息和現(xiàn)場利用擴展 的會話發(fā)起協(xié)議(SMPLE)、即時消息和到場服務(wù)（MPS))，以及/或者短消息服務(wù)(SMS)，或 包括在本文獻提交日尚未開發(fā)出的通信協(xié)議的其他任何適當?shù)耐ㄐ艆f(xié)議。
[0106] 音頻電路2110、揚聲器2111和麥克風(fēng)2113提供用戶和設(shè)備2100之間的音頻接口。 音頻電路2110從外圍設(shè)備接口 2118接收音頻數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為電信號，并將電信號 傳輸?shù)綋P聲器2111。揚聲器2111將電信號轉(zhuǎn)換為人耳可聽見的聲波。音頻電路2110還接收 由麥克風(fēng)2113根據(jù)聲波轉(zhuǎn)換的電信號。音頻電路2110將電信號轉(zhuǎn)換為音頻數(shù)據(jù)，并將音頻 數(shù)據(jù)傳輸?shù)酵鈬O(shè)備接口 2118以進行處理。音頻數(shù)據(jù)可由外圍設(shè)備接口 2118從存儲器2102 和/或RF電路2108進行檢索和/或被傳輸至存儲器和/或RF電路。在一些實施方案中，音頻電 路2110還包括耳麥插孔。該耳麥插孔提供音頻電路2110與可移除的音頻輸入/輸出外圍設(shè) 備之間的接口，該外圍設(shè)備諸如僅輸出的耳機或者具有輸出（例如，單耳耳機或雙耳耳機） 和輸入(例如，麥克風(fēng))兩者的耳麥。
[0107] I/O子系統(tǒng)2106將設(shè)備2100上的輸入/輸出外圍設(shè)備諸如觸摸屏2112和其他輸入 控制設(shè)備2116耦接到外圍設(shè)備接口 2118。1/0子系統(tǒng)2106可包括顯示控制器2156和用于其 他輸入控制設(shè)備2116的一個或多個輸入控制器2160。該一個或多個輸入控制器2160從其他 輸入控制設(shè)備2116接收電信號/將電信號發(fā)送到其他輸入控制設(shè)備。其他輸入控制設(shè)備 2116可包括物理按鈕(例如，下壓按鈕、搖臂按鈕等）、撥號盤、滑塊開關(guān)、操縱桿、點擊輪等。 在一些另選的實施方案中，一個或多個輸入控制器2160可耦接到(或不耦接到）以下各項中 的任一者:鍵盤、紅外端口、USB端口、和指向設(shè)備諸如鼠標。該一個或多個按鈕可包括用于 控制揚聲器2111和/或麥克風(fēng)2113的音量的增大/減小按鈕。該一個或多個按鈕可包括下壓 按鈕。
[0108] 觸敏顯示器2112提供設(shè)備與用戶之間的輸入接口和輸出接口。顯示控制器2156從 觸摸屏2112接收電信號和/或?qū)㈦娦盘柊l(fā)送至觸摸屏。觸摸屏2112向用戶顯示視覺輸出。該 視覺輸出可包括圖形、文本、圖標、視頻及它們的任何組合(被統(tǒng)稱為"圖形"）。在一些實施 方案中，一些視覺輸出或全部的視覺輸出可對應(yīng)于用戶界面對象。
[0109] 觸摸屏2112具有基于觸覺和/或觸感接觸來接受來自用戶的輸入的觸敏表面、傳 感器或傳感器組。觸摸屏2112和顯示控制器2156(與存儲器2102中的任何相關(guān)聯(lián)的模塊和/ 或指令集一起)檢測觸摸屏2112上的接觸(和該接觸的任何移動或中斷），并且將所檢測到 的接觸轉(zhuǎn)換為與被顯示在觸摸屏2112上的用戶界面對象(例如，一個或多個軟鍵、圖標、網(wǎng) 頁或圖像)的交互。在一個示例性實施方案中，觸摸屏2112與用戶之間的接觸點對應(yīng)于用戶 的手指。
[0110] 觸摸屏2112可使用IXD(液晶顯示器)技術(shù)、LPD(發(fā)光聚合物顯示器)技術(shù)或LED(發(fā) 光二極管)技術(shù)，但在其他實施方案中可使用其他顯示技術(shù)。觸摸屏2112和顯示控制器2156 可使用現(xiàn)在已知的或以后將開發(fā)出的多種觸摸感測技術(shù)中的任一種觸摸感測技術(shù)以及其 他接近傳感器陣列或用于確定與觸摸屏2112的一個或多個接觸點的其他元件來檢測接觸 及其任何移動或中斷，該多種觸摸感測技術(shù)包括但不限于電容性技術(shù)、電阻性技術(shù)、紅外技 術(shù)和表面聲波技術(shù)。在一個不例性實施方案中，使用投射式互電容感測技術(shù)，諸如從Apple Inc. (Cupertino,California)的iPhone' JPodTouch"，和iPadK 中發(fā)現(xiàn)的技術(shù)。
[0111]觸摸屏2112可具有超過100dpi的視頻分辨率。在一些實施方案中，該觸摸屏具有 約160dpi的視頻分辨率。用戶可使用任何合適的物體或附加物諸如觸筆、手指等等來與觸 摸屏2112接觸。在一些實施方案中，用戶界面被設(shè)計用于主要與基于手指的接觸和手勢工 作，由于手指在觸摸屏上的接觸區(qū)域較大，因此這可能不如基于觸筆的輸入精確。在一些實 施方案中，設(shè)備將基于手指的粗略輸入翻譯為精確的指針/光標位置或命令，以用于執(zhí)行用 戶所期望的動作。
[0112] 在一些實施方案中，除了觸摸屏2112之外，設(shè)備2100可包括用于激活或去激活特 定功能的觸摸板(未示出）。在一些實施方案中，觸摸板是設(shè)備的觸敏區(qū)域，該觸敏區(qū)域與觸 摸屏不同，其不顯示視覺輸出。該觸摸板可以是與觸摸屏2112分開的觸敏表面，或者是由觸 摸屏形成的觸敏表面的延伸部分。
[0113] 設(shè)備2100還包括用于為各種部件供電的電力系統(tǒng)2162。電力系統(tǒng)2162可包括電力 管理系統(tǒng)、一個或多個電源(例如，電池、交流電(AC))、再充電系統(tǒng)、電力故障檢測電路、功 率轉(zhuǎn)換器或逆變器、電源狀態(tài)指示器(例如，發(fā)光二極管(LED))，以及與便攜式設(shè)備中的電 力的生成、管理和分配相關(guān)聯(lián)的任何其他部件。
[0114] 設(shè)備2100還可包括一個或多個光學(xué)傳感器或相機2164。圖13示出了耦接到I/O子 系統(tǒng)2106中的光學(xué)傳感器控制器2158的光學(xué)傳感器。光學(xué)傳感器2164可例如包括電荷親合 器件(CXD)、或者互補金屬氧化物半導(dǎo)體(CMOS)光電晶體管或光傳感器。光學(xué)傳感器2164從 環(huán)境接收通過一個或多個透鏡而投射的光，并且將該光轉(zhuǎn)換為表示圖像的數(shù)據(jù)。與成像模 塊2143(也稱相機模塊)相結(jié)合，光學(xué)傳感器2164可捕獲靜態(tài)圖像和/或視頻序列。在一些實 施方案中，至少一個光學(xué)傳感器可位于設(shè)備2100的與該設(shè)備的前部的觸摸屏顯示器2112相 背對的后部。在一些實施方案中，觸摸屏顯示器可用作取景器，以用于采集靜態(tài)圖像和/或 視頻圖像。在一些實施方案中，作為替代或補充，至少一個光學(xué)傳感器可位于設(shè)備的前部。
[0115] 設(shè)備2100還可包括一個或多個接近傳感器2166。圖13示出了耦接到外圍設(shè)備接口 2118的接近傳感器2166。作為另外一種選擇，接近傳感器2166可耦接到I/O子系統(tǒng)2106中的 輸入控制器2160。在一些實施方案中，當多功能設(shè)備被置于用戶耳朵附近時(例如，用戶正 在打電話時），接近傳感器關(guān)閉并禁用觸摸屏2112。
[0116] 設(shè)備2100還可包括一個或多個取向傳感器2168。在一些實施方案中，該一個或多 個取向傳感器包括一個或多個加速度計(例如，一個或多個線性加速度計和/或一個或多個 旋轉(zhuǎn)加速度計）。在一些實施方案中，該一個或多個取向傳感器包括一個或多個陀螺儀。在 一些實施方案中，該一個或多個取向傳感器包括一個或多個磁力儀。在一些實施方案中，該 一個或多個取向傳感器包括全球定位系統(tǒng)(GPS)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GL0NASS)、和/或其他 全球?qū)Ш较到y(tǒng)接收器中的一個或多個。GPS、GL0NASS和/或其他全球?qū)Ш较到y(tǒng)接收器可用于 獲得關(guān)于設(shè)備2100的位置和取向（例如縱向或橫向）的信息。在一些實施方案中，該一個或 多個取向傳感器包括取向傳感器/旋轉(zhuǎn)傳感器的任何組合。圖13示出了耦接到外圍設(shè)備接 口 2118的一個或多個取向傳感器2168。作為另外一種選擇，該一個或多個取向傳感器2168 可耦接到I/O子系統(tǒng)2106中的輸入控制器2160。在一些實施方案中，信息基于對從一個或多 個取向傳感器接收的數(shù)據(jù)的分析而在觸摸屏顯示器上以縱向視圖或橫向視圖被顯示。
[0117] 在一些實施方案中，設(shè)備2100還可包括一個或多個其他傳感器(未示出），包括但 不限于環(huán)境光線傳感器和運動檢測器。這些傳感器可耦接到外圍設(shè)備接口 2118,或者可耦 接到I/O子系統(tǒng)2106中的輸入控制器2160。例如，在一些實施方案中，設(shè)備2100可包括至少 一個前向（遠離使用者)光傳感器和至少一個后向（朝向使用者)光傳感器，這些光傳感器可 用于從設(shè)備2100所處的環(huán)境收集環(huán)境光線量度，以用于視頻與圖像采集、處理和顯示應(yīng)用 程序使用。
[0118] 在一些實施方案中，被存儲在存儲器2102中的軟件部件包括操作系統(tǒng)2126、通信 模塊2128、接觸/運動模塊(或指令集)2130、圖形模塊2132、文本輸入模塊2134、全球定位系 統(tǒng)(GPS)模塊2135和應(yīng)用程序2136。此外，在一些實施方案中，存儲器2102存儲設(shè)備/全局內(nèi) 部狀態(tài)2157。設(shè)備/全局內(nèi)部狀態(tài)2157包括以下各項中的一者或多者:活動應(yīng)用程序狀態(tài)， 該活動應(yīng)用程序狀態(tài)用于指示哪些應(yīng)用程序（如果有的話）當前是活動的；顯示狀態(tài)，該顯 示狀態(tài)用于指示什么應(yīng)用程序、視圖或其他信息占據(jù)觸摸屏顯示器2112的各個區(qū)域;傳感 器狀態(tài)，該傳感器狀態(tài)包括從設(shè)備的各個傳感器和輸入控制設(shè)備2116獲得的信息；和關(guān)于 設(shè)備位置和/或姿態(tài)的位置信息。
[0119] 操作系統(tǒng)2126(例如，〇3^丨11、1^^(：、1^祖^、1^1乂、03乂、11冊013、或嵌入式操作系 統(tǒng)諸如VxWorks)包括用于控制和管理一般系統(tǒng)任務(wù)(例如，存儲器管理、存儲設(shè)備控制、功 率管理等）的各種軟件部件和/或驅(qū)動器，并且有利于各種硬件部件和軟件部件之間的通 {目。
[0120] 通信模塊2128有利于通過一個或多個外部端口 2124來與其他設(shè)備進行通信，并且 還包括用于處理由RF電路2108和/或外部端口 2124所接收的數(shù)據(jù)的各種軟件部件。外部端 口2124(例如通用串行總線（USB)、火線等）適于直接耦接到其他設(shè)備，或間接地通過網(wǎng)絡(luò) (例如互聯(lián)網(wǎng)、無線LAN等)親接。在一些實施方案中，外部端口是與iPod(Apple Inc .的商 標)設(shè)備上所使用的30針連接器相同的或類似的和/或與其兼容的多針（例如，30針)連接 器。
[0121] 接觸/運動模塊2130可檢測與觸摸屏2112(結(jié)合顯示控制器2156)和其他觸敏設(shè)備 (例如，觸摸板或物理點擊輪)的接觸。接觸/運動模塊2130包括多個軟件部件以用于執(zhí)行與 接觸的檢測相關(guān)的各種操作，諸如確定是否已發(fā)生接觸(例如，檢測手指按下事件）、確定是 否存在接觸的移動并在觸敏表面上跟蹤該移動（例如，檢測一個或多個手指拖動事件）、以 及確定接觸是否已終止(例如，檢測手指抬起事件或者接觸中斷）。接觸/運動模塊2130從觸 敏表面接收接觸數(shù)據(jù)。確定接觸點的移動可包括確定接觸點的速率(量值）、速度(量值和方 向）、和/或加速度(量值和/或方向的改變），接觸點的移動由一系列接觸數(shù)據(jù)來表示。這些 操作可被施加于單個觸點（例如，一個指狀觸點）或多個同時的觸點（例如，"多點觸摸" /多 個指狀觸點）。在一些實施方案中，接觸/運動模塊2130和顯示控制器2156檢測觸摸板上的 接觸。
[0122] 接觸/運動模塊2130可檢測用戶的手勢輸入。觸敏表面上的不同手勢具有不同的 接觸圖案。因此，可通過檢測具體接觸圖案來檢測手勢。例如，檢測單指輕擊手勢包括檢測 手指按下事件，然后在與手指按下事件相同的位置(或基本上相同的位置)處(例如，在圖標 位置處)檢測手指抬起(抬離)事件。又如，檢測觸敏表面上的手指輕掃手勢包括檢測手指按 下事件，然后檢測一個或多個手指拖動事件，并且隨后檢測手指抬起(抬離)事件。
[0123] 圖形模塊2132包括用于在觸摸屏2112或其他顯示器上渲染和顯示圖形的各種軟 件部件，包括用于改變被顯示圖形的強度的部件。如本文所用，術(shù)語"圖形"包括可被顯示給 用戶的任何對象，包括但不限于文本、網(wǎng)頁、圖標(諸如包括軟鍵的用戶界面對象）、數(shù)字圖 像、視頻、動畫等。
[0124] 在一些實施方案中，圖形模塊2132存儲將要用于表示圖形的數(shù)據(jù)。每個圖形可被 分配有對應(yīng)的代碼。圖形模塊2132從應(yīng)用程序等接收指定待顯示的圖形的一個或多個代 碼，在必要的情況下還一起接收坐標數(shù)據(jù)和其他圖形屬性數(shù)據(jù)，然后生成屏幕圖像數(shù)據(jù)以 輸出至顯示控制器2156。
[0125] 可作為圖形模塊2132的部件的文本輸入模塊2134提供用于在需要文本輸入的多 種應(yīng)用程序中輸入文本的軟鍵盤。
[0126] GPS模塊2135確定設(shè)備的位置，并向各種應(yīng)用程序提供這種信息供其使用（例如， 提供給電話模塊2138,供其在基于位置撥號的過程中使用；提供給相機模塊2143,作為圖 片/視頻元數(shù)據(jù);提供給用于提供基于位置的服務(wù)的應(yīng)用程序諸如地圖/導(dǎo)航應(yīng)用程序）。
[0127] 應(yīng)用程序2136可包括但不限于下列一種或多種模塊(或指令集），或它們的子集或 超集：
[0128] ?電話模塊2138;
[0129] ?視頻會議模塊2139;
[0130] ?用于靜態(tài)成像和/或視頻成像的相機模塊2143;
[0131] ?圖像管理模塊2144;
[0132] ?瀏覽器模塊2147;
[0133] ?搜索模塊2151;
[0134] ?視頻和音樂播放器模塊2152,其可由視頻播放器模塊和音樂播放器模塊構(gòu)成； 和/或
[0135] ?在線視頻模塊2155。
[0136] 可被存儲在存儲器2102中的其他應(yīng)用程序2136的示例包括但不限于其他文字處 理應(yīng)用程序、其他圖像編輯應(yīng)用程序、繪圖應(yīng)用程序、呈現(xiàn)應(yīng)用程序、通信/社交媒體應(yīng)用程 序、地圖應(yīng)用程序、支持JAVA的應(yīng)用程序、加密應(yīng)用程序、數(shù)字權(quán)益管理應(yīng)用程序、語音識別 應(yīng)用程序和語音復(fù)制應(yīng)用程序。
[0137] 結(jié)合RF電路2108、音頻電路2110、揚聲器2111、麥克風(fēng)2113、觸摸屏2112、顯示控制 器2156、接觸模塊2130、圖形模塊2132和文本輸入模塊2134，電話模塊2138可用于輸入與電 話號碼對應(yīng)的字符序列、訪問地址簿中的一個或多個電話號碼、修改已輸入的電話號碼、撥 打相應(yīng)的電話號碼、進行會話，以及在會話完成時斷開或掛斷。如上所述，該無線通信可使 用多種通信標準、協(xié)議和技術(shù)中的任一者。
[0138] 結(jié)合RF電路2108、音頻電路2110、揚聲器2111、麥克風(fēng)2113、觸摸屏2112、顯示控制 器2156、光學(xué)傳感器2164、光學(xué)傳感器控制器2158、接觸/運動模塊2130、圖形模塊2132、文 本輸入模塊2134和電話模塊2138,視頻會議模塊2139包括根據(jù)用戶指令發(fā)起、進行和終止 用戶與一個或多個其他參與者之間的視頻會議的可執(zhí)行指令。
[0139] 結(jié)合觸摸屏2112、顯示控制器2156、一個或多個光學(xué)傳感器2164、光學(xué)傳感器控制 器2158、接觸/運動模塊2130、圖形模塊2132和圖像管理模塊2144,相機模塊2143包括用于 以下操作的可執(zhí)行指令:捕獲靜態(tài)圖像或視頻(包括視頻流)并且將它們存儲到存儲器2102 中、修改靜態(tài)圖像或視頻的特征、或從存儲器2102刪除靜態(tài)圖像或視頻。
[0140] 結(jié)合觸摸屏2112、顯示控制器2156、接觸/運動模塊2130、圖形模塊2132、文本輸入 模塊2134、和相機模塊2143,圖像管理模塊2144包括用于排列、修改(例如，編輯）、或以其他 方式操控、加標簽、刪除、呈現(xiàn)(例如，在數(shù)字幻燈片或相冊中）、以及存儲靜態(tài)圖像和/或視 頻圖像的可執(zhí)行指令。
[0141] 結(jié)合RF電路2108、觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運動模塊2130、圖形模 塊2132和文本輸入模塊2134,瀏覽器模塊2147包括用于根據(jù)用戶指令來瀏覽互聯(lián)網(wǎng)（包括 搜索、鏈接至、接收和顯示網(wǎng)頁或其部分，以及鏈接至網(wǎng)頁的附件和其他文件）的可執(zhí)行指 令。
[0142] 結(jié)合觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運動模塊2130、圖形模塊2132和文 本輸入模塊2134,搜索模塊2151包括用于根據(jù)用戶指令來搜索存儲器2102中的匹配一個或 多個搜索條件(例如，用戶指定的一個或多個檢索詞）的文本、音樂、聲音、圖像、視頻和/或 其他文件的可執(zhí)行指令。
[0143] 結(jié)合觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運動模塊2130、圖形模塊2132、音頻 電路2110、揚聲器2111、RF電路2108和瀏覽器模塊2147,視頻和音樂播放器模塊2152包括允 許用戶下載和回放以一種或多種文件格式(諸如MP3或AAC文件)存儲的所記錄的音樂和其 他聲音文件的可執(zhí)行指令，以及用于顯示、呈現(xiàn)或以其他方式回放視頻（例如，在觸摸屏 2112上或在經(jīng)由外部端口 2124連接的外部顯示器上）的可執(zhí)行指令。在一些實施方案中，設(shè) 備2100可包括MP3播放器諸如iPod(Apple Inc.的商標)的功能。
[0144] 結(jié)合觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運動模塊2130、圖形模塊2132、音頻 電路2110、揚聲器2111、RF電路2108、文本輸入模塊2134和瀏覽器模塊2147,在線視頻模塊 2155包括指令，所述指令允許用戶訪問、瀏覽、接收(例如，通過流式傳輸和/或下載）、回放 (例如，在觸摸屏上或在經(jīng)由外部端口 2124連接的外部顯示器上）以及通過其他方式管理一 種或多種視頻格式諸如H. 264/AVC格式或H. 265/HEVC格式的在線視頻。
[0145] 上述所識別的每個模塊和應(yīng)用對應(yīng)于用于執(zhí)行上述一種或多種功能以及在本申 請中所描述的方法(例如，本文中所描述的計算機實現(xiàn)的方法和其他信息處理方法)的一組 可執(zhí)行指令。這些模塊（即指令集)不必被實現(xiàn)為獨立的軟件程序、過程或模塊，因此這些模 塊的各種子集可在各種實施方案中加以組合或以其他方式重新布置。在一些實施方案中， 存儲器2102可存儲上文識別的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此外，存儲器2102可存儲上文沒有 描述的附加模塊和數(shù)據(jù)結(jié)構(gòu)。
[0146] 在一些實施方案中，設(shè)備2100是唯一地通過觸摸屏和/或觸摸板來執(zhí)行設(shè)備上的 一組預(yù)定義功能的操作的設(shè)備。通過使用觸摸屏和/或觸摸板作為用于設(shè)備2100的操作的 主要輸入控制設(shè)備可減少設(shè)備2100上的物理輸入控制設(shè)備(諸如下壓按鈕、撥號盤等等）的 數(shù)量。
[0147] 可唯一地通過觸摸屏和/或觸摸板執(zhí)行的該組預(yù)定義功能包括用戶界面之間的導(dǎo) 航。在一些實施方案中，觸摸板在被用戶觸摸時將設(shè)備2100從可顯示在設(shè)備2100上的任何 用戶界面導(dǎo)航到主菜單、home菜單或根菜單。在此類實施方案中，觸摸板可被稱為"菜單按 鈕"。在一些其他實施方案中，菜單按鈕可以是物理下壓按鈕或者其他物理輸入控制設(shè)備， 而不是觸摸板。
[0148] 圖14示出了根據(jù)一些實施方案的具有觸摸屏2112的便攜式多功能設(shè)備2100。觸摸 屏可在用戶界面(UI)2200內(nèi)顯示一個或多個圖形。在設(shè)備2100的至少一些實施方案中，用 戶可例如利用一個或多個手指2202(在附圖中未必按比例繪制)或者利用一個或多個觸筆 2203(在附圖中未必按比例繪制)在圖形上作出手勢來選擇這些圖形中的一個或多個圖形。
[0149] 設(shè)備2100還可包括一個或多個物理按鈕，諸如"home"按鈕或菜單按鈕2204。如前 所述，菜單按鈕2204可用于導(dǎo)航到可在設(shè)備2100上執(zhí)行的一組應(yīng)用程序中的任何應(yīng)用程序 2136。作為另外一種選擇，在一些實施方案中，菜單按鈕可被實現(xiàn)為被顯示在觸摸屏2112上 的GUI中的軟鍵。
[0150] 在一個實施方案中，設(shè)備2100包括觸摸屏2112、home按鈕或菜單按鈕2204、用于為 設(shè)備開關(guān)機和鎖定設(shè)備供電的下壓按鈕2206、一個或多個音量調(diào)節(jié)按鈕2208、用戶身份模 塊(SIM)卡槽2210、耳麥插孔2212和對接/充電外部端口 2124。下壓按鈕2206可用于通過按 下該按鈕并在預(yù)定時間間隔內(nèi)使該按鈕保持在按下狀態(tài)來開啟/關(guān)閉設(shè)備上的電源、用于 通過按下該按鈕并在經(jīng)過預(yù)定時間間隔之前釋放該按鈕來鎖定設(shè)備、和/或用于將設(shè)備解 鎖或發(fā)起解鎖過程。在另選的實施方案中，設(shè)備2100還可通過麥克風(fēng)2113來接受用于激活 或去激活一些功能的語音輸入。
[0151] 設(shè)備2100還可包括一個或多個相機2164。相機2164可例如包括電荷耦合器件 (CCD)、或者互補金屬氧化物半導(dǎo)體(CMOS)光電晶體管或光傳感器。相機2164從環(huán)境接收通 過一個或多個透鏡而投射的光，并將光轉(zhuǎn)換為表示圖像或視頻幀的數(shù)據(jù)。在一些實施方案 中，至少一個相機2164可位于設(shè)備2100的與該設(shè)備前部的觸摸屏顯示器2112相背對的后 部。在一些實施方案中，作為替代或補充，至少一個相機2164可位于具有觸摸屏顯示器2112 的設(shè)備的前部，例如使得用戶在觸摸屏顯示器2112上觀看其他視頻會議參與者的同時可獲 得該用戶的圖像以用于視頻會議。在一些實施方案中，至少一個相機2164可位于設(shè)備2100 的前部，并且至少一個相機2164可位于設(shè)備2100的后部。在一些實施方案中，觸摸屏顯示器 2112可用作靜態(tài)圖像和/或視頻序列采集應(yīng)用程序的取景器和/或用戶界面。
[0152] 設(shè)備2100可包括視頻與圖像處理硬件和/或軟件，包括但不限于可用于捕捉、處 理、轉(zhuǎn)換、壓縮、解壓縮、存儲、修改、傳輸、顯示、以其他方式管理和操縱經(jīng)由相機2164捕獲 或以其他方式采集(例如，經(jīng)由網(wǎng)絡(luò)接口）的靜態(tài)圖像和/或視頻幀或視頻序列的視頻編碼 和/或解碼部件、編解碼器、模塊或流水線。在一些實施方案中，設(shè)備2100還可包括一個或多 個光傳感器或其他傳感器，這些傳感器可用于從設(shè)備2100所處的環(huán)境收集環(huán)境光線量度或 其他量度，以用于視頻與圖像采集、處理和顯示使用。
[0153] 示例性計算機系統(tǒng)
[0154] 圖12示出了可被配置為執(zhí)行上文所述的任意或全部實施方案的示例性計算機系 統(tǒng)2900。在不同的實施方案中，計算機系統(tǒng)2900可以是各種類型的設(shè)備中的任一種設(shè)備，包 括但不限于:個人計算機系統(tǒng)、臺式計算機、膝上型電腦、筆記本電腦、平板電腦、一體電腦 或上網(wǎng)本計算機、大型計算機系統(tǒng)、手持式計算機、工作站、網(wǎng)絡(luò)計算機、相機、機頂盒、移動 設(shè)備、消費者設(shè)備、應(yīng)用服務(wù)器、存儲設(shè)備、視頻記錄設(shè)備、外圍設(shè)備(諸如交換機、調(diào)制解調(diào) 器、路由器），或一般性的任何類型的計算設(shè)備或電子設(shè)備。
[0155] 可在一個或多個可與各種其他設(shè)備交互的計算機系統(tǒng)2900內(nèi)執(zhí)行如本文所述的 各種實施方案。需注意，根據(jù)各種實施方案，上文結(jié)合圖1至圖11描述的任何部件、動作或功 能都可在被配置為圖12所示計算機系統(tǒng)2900的一種或多種計算機上實現(xiàn)。在例示的實施方 案中，計算機系統(tǒng)2900包括經(jīng)由輸入/輸出（I/O)接口2930耦接到系統(tǒng)存儲器2920的一個或 多個處理器2910。計算機系統(tǒng)2900還包括耦接到I/O接口2930的網(wǎng)絡(luò)接口 2940,以及一個或 多個輸入/輸出設(shè)備或部件2950,諸如光標控件2960、鍵盤2970、一個或多個顯示器2980、一 個或多個相機2990和一個或多個傳感器2992，包括但不限于光傳感器和運動檢測器。在一 些情況下，可設(shè)想到實施方案可使用計算機系統(tǒng)2900的單個實例來實現(xiàn)，而在其他實施方 案中，多個此類系統(tǒng)或者構(gòu)成計算機系統(tǒng)2900的多個節(jié)點可被配置為托管實施方案的不同 部分或?qū)嵗＠?，在一個實施方案中，一些元素可經(jīng)由計算機系統(tǒng)2900的與實現(xiàn)其他元素 的那些節(jié)點不同的一個或多個節(jié)點來實現(xiàn)。
[0156] 在各種實施方案中，計算機系統(tǒng)2900可以是包括一個處理器2910的單處理器系 統(tǒng)、或者包括若干個處理器2910(例如兩個、四個、八個或其他合適數(shù)量）的多處理器系統(tǒng)。 處理器2910可以是能夠執(zhí)行指令的任何合適的處理器。例如，在各種實施方案中，處理器 2910可以是實現(xiàn)多種指令集架構(gòu)（ISA)(諸如x829、PowerPC、SPARC或MIPS ISA，或任何其他 合適的ISA)中的任一指令集架構(gòu)的通用處理器或嵌入式處理器。在多處理器系統(tǒng)中，每個 處理器2910通?？梢缘⒎潜仨殞崿F(xiàn)相同的ISA。
[0157] 系統(tǒng)存儲器2920可被配置為存儲可被處理器2910訪問的程序指令2922和/或數(shù) 據(jù)。在各種實施方案中，系統(tǒng)存儲器2920可使用任何適當?shù)拇鎯ζ骷夹g(shù)來實現(xiàn)，諸如靜態(tài)隨 機存取存儲器(SRAM)、同步動態(tài)RAM(SDRAM)、非易失性/閃存存儲器，或任何其他類型的存 儲器。在例示的實施方案中，程序指令2922可被配置為實現(xiàn)本文所述的功能中的任一種功 能。此外，存儲器2920可包括本文所述的信息結(jié)構(gòu)或數(shù)據(jù)結(jié)構(gòu)中的任一者。在一些實施方案 中，程序指令和/或數(shù)據(jù)可被接收、發(fā)送或存儲在獨立于系統(tǒng)存儲器2920或計算機系統(tǒng)2900 的不同類型的計算機可訪問介質(zhì)上或類似介質(zhì)上。盡管將計算機系統(tǒng)2900描述為實施前面 各圖的功能框的功能，但可經(jīng)由此類計算機系統(tǒng)來實現(xiàn)本文所述的功能中的任一種功能。
[0158] 在一個實施方案中，I/O接口 2930可被配置為協(xié)調(diào)設(shè)備中的處理器2910、系統(tǒng)存儲 器2920和任何外圍設(shè)備（包括網(wǎng)絡(luò)接口 2940或其他外圍設(shè)備接口，諸如輸入/輸出設(shè)備 2950)之間的I/O通信。在一些實施方案中，I/O接口 2930可執(zhí)行任何必要的協(xié)議、定時或其 他數(shù)據(jù)轉(zhuǎn)換，以將來自一個部件(例如，系統(tǒng)存儲器2920)的數(shù)據(jù)信號轉(zhuǎn)換成適于由另一個 部件(例如，處理器2910)使用的格式。在一些實施方案中，I/O接口 2930可包括對例如通過 各種類型的外圍設(shè)備總線諸如外圍部件互連(PCI)總線標準或通用串行總線(USB)標準的 變型所附接的設(shè)備的支持。在一些實施方案中，I/O接口2930的功能例如可被劃分到兩個或 更多個單獨部件中，諸如北橋和南橋。此外，在一些實施方案中，I/O接口 2930(諸如到系統(tǒng) 存儲器2920的接口）的一些或所有功能可被直接并入到處理器2910中。
[0159] 網(wǎng)絡(luò)接口 2940可被配置為允許在計算機系統(tǒng)2900和附接到網(wǎng)絡(luò)2985的其他設(shè)備 (例如承載器或代理設(shè)備)之間、或者在計算機系統(tǒng)2900的節(jié)點之間交換數(shù)據(jù)。在各種實施 方案中，網(wǎng)絡(luò)2985可包括一種或多種網(wǎng)絡(luò)，包括但不限于:局域網(wǎng)（LAN)(例如以太網(wǎng)或企業(yè) 網(wǎng)）、廣域網(wǎng)(WAN)(例如互聯(lián)網(wǎng)）、無線數(shù)據(jù)網(wǎng)、某種其他電子數(shù)據(jù)網(wǎng)絡(luò)、或它們的某種組合。 在各種實施方案中，網(wǎng)絡(luò)接口2940可支持經(jīng)由有線或無線通用數(shù)據(jù)網(wǎng)絡(luò)進行通信，諸如任 何合適類型的以太網(wǎng)；經(jīng)由電信/電話網(wǎng)絡(luò)進行通信，諸如模擬語音網(wǎng)絡(luò)或數(shù)字光纖通信網(wǎng) 絡(luò);經(jīng)由存儲區(qū)域網(wǎng)絡(luò)進行通信，諸如光纖通道SAN，或經(jīng)由任何其他合適類型的網(wǎng)絡(luò)和/或 協(xié)議進行通信。
[0160] 輸入/輸出設(shè)備2950在一些實施方案中可包括一個或多個顯示終端、鍵盤、小鍵 盤、觸摸板、掃描設(shè)備、語音或光學(xué)識別設(shè)備，或適于由一個或多個計算機系統(tǒng)2900輸入或 訪問數(shù)據(jù)的任何其他設(shè)備。多個輸入/輸出設(shè)備2950可存在于計算機系統(tǒng)2900中，或者可被 分布在計算機系統(tǒng)2900的各個節(jié)點上。在一些實施方案中，類似的輸入/輸出設(shè)備可與計算 機系統(tǒng)2900分開，并且可通過有線或無線連接諸如通過網(wǎng)絡(luò)接口 2940與計算機系統(tǒng)2900的 一個或多個節(jié)點進行交互。
[0161] 如圖12所示，存儲器2920可包含程序指令2922,該程序指令可能可由處理器執(zhí)行， 以實現(xiàn)上文所述的任何元素或動作。在一個實施方案中，該程序指令可實現(xiàn)上文所述的方 法。在其他實施方案中，可包括不同的元件和數(shù)據(jù)。需注意，數(shù)據(jù)可包括上文所述的任何數(shù) 據(jù)或信息。
[0162] 本領(lǐng)域的技術(shù)人員應(yīng)當理解，計算機系統(tǒng)2900僅僅是例示性的，而并非旨在限制 實施方案的范圍。特別地，計算機系統(tǒng)和設(shè)備可包括可執(zhí)行所指出的功能的硬件或軟件的 任意組合，包括計算機、網(wǎng)絡(luò)設(shè)備、互聯(lián)網(wǎng)設(shè)備、個人數(shù)字助理、無線電話、尋呼機等等。計算 機系統(tǒng)2900還可被連接到未示出的其他設(shè)備或者反之作為獨立的系統(tǒng)進行操作。此外，由 所示出的部件提供的功能在一些實施方案中可被組合在更少的部件中，或可被分布在附加 部件中。類似地，在一些實施方案中，一些所示出的部件的功能可不被提供，和/或可提供其 他附加功能。
[0163] 本領(lǐng)域的技術(shù)人員還將認識到，雖然各種項目被示出為在使用期間被存儲在存儲 器中或存儲裝置上，但是為了存儲器管理和數(shù)據(jù)完整性的目的，這些項目或其部分可在存 儲器和其他存儲設(shè)備之間進行傳輸?；蛘撸谄渌麑嵤┓桨钢?，軟件部件中的一些或全部軟 件部件可在另一設(shè)備上的存儲器中執(zhí)行，并且經(jīng)由計算機間通信與所示出的計算機系統(tǒng)進 行通信。系統(tǒng)部件或數(shù)據(jù)結(jié)構(gòu)中的一些或全部系統(tǒng)部件或數(shù)據(jù)結(jié)構(gòu)也可(例如作為指令或 結(jié)構(gòu)化數(shù)據(jù))被存儲在計算機可訪問介質(zhì)或便攜式制品上，以便由合適的驅(qū)動器讀取，其多 種示例在上文中進行了描述。在一些實施方案中，被存儲在與計算機系統(tǒng)2900分開的計算 機可訪問介質(zhì)上的指令可經(jīng)由傳輸介質(zhì)或信號(諸如電信號、電磁信號、或數(shù)字信號)被傳 輸?shù)接嬎銠C系統(tǒng)2900,所示傳輸介質(zhì)或信號經(jīng)由通信介質(zhì)(諸如網(wǎng)絡(luò)和/或無線鏈路)來傳 送。各種實施方案可進一步包括在計算機可訪問介質(zhì)上接收、發(fā)送或存儲根據(jù)以上描述所 實現(xiàn)的指令和/或數(shù)據(jù)。一般來講，計算機可訪問介質(zhì)可包括非暫態(tài)計算機可讀存儲介質(zhì)或 存儲器介質(zhì)，諸如磁或光介質(zhì)，例如盤或DVD/CD-R0M、易失性或非易失性介質(zhì)，諸如RAM(例 如SDRAM、DDR、RDRAM、SRAM等）、ROM等。在一些實施方案中，計算機可訪問介質(zhì)可包括傳輸介 質(zhì)或信號，諸如經(jīng)由通信介質(zhì)諸如網(wǎng)絡(luò)和/或無線鏈路來傳輸?shù)碾姎庑盘?、電磁信號或?shù)字 信號。
[0164] 在不同的實施方案中，本文所述的方法可在軟件、硬件或它們的組合中實現(xiàn)。此 外，可改變方法的方框次序，可對各種要素進行添加、重新排序、組合、省略、修改等。對于受 益于本公開的本領(lǐng)域的技術(shù)人員而言，顯然可作出各種修改和改變。本文所述的各種實施 方案旨在為示例性的而非限制性的。許多變型、修改、添加和改進是可能的。因此，可為本文 中描述為單個實例的部件提供多個實例。各種部件、操作和數(shù)據(jù)存儲裝置之間的界限在一 定程度上是任意性的，并且在具體例示性配置的上下文中例示了特定操作。設(shè)想了功能的 其他分配，它們可落在所附權(quán)利要求的范圍內(nèi)。最后，被呈現(xiàn)為示例性配置中的分立部件的 結(jié)構(gòu)和功能可被實現(xiàn)為組合結(jié)構(gòu)或部件。這些和其他變型、修改、添加和改進可落在所附權(quán) 利要求所限定的實施方案的范圍內(nèi)。
【主權(quán)項】
1. 一種系統(tǒng)，包括： 編碼器模塊，所述編碼器模塊被配置為根據(jù)編碼格式來處理視頻數(shù)據(jù)以生成經(jīng)編碼的 視頻數(shù)據(jù)，其中所述視頻數(shù)據(jù)在所述編碼器模塊內(nèi)以C位的位深度來表示;和 自適應(yīng)傳遞函數(shù)模塊，所述自適應(yīng)傳遞函數(shù)模塊被配置為： 接收輸入視頻數(shù)據(jù)，其中根據(jù)傳遞函數(shù)以N位的位深度來表示所述輸入視頻數(shù)據(jù)的動 態(tài)范圍； 至少部分地根據(jù)所述輸入視頻數(shù)據(jù)的一個或多個特征來確定所述輸入視頻數(shù)據(jù)的聚 焦動態(tài)范圍； 將所述聚焦動態(tài)范圍內(nèi)的所述輸入視頻數(shù)據(jù)從所述輸入視頻數(shù)據(jù)的位深度映射到所 述編碼器模塊的位深度，以生成C位視頻數(shù)據(jù);并且 將所述C位視頻數(shù)據(jù)輸出到所述編碼器模塊以用于處理。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述自適應(yīng)傳遞函數(shù)模塊被配置為針對一個或多 個視頻幀中的每個視頻幀或針對兩個或更多個視頻幀的一個或多個序列中的每個序列來 執(zhí)行所述接收、所述確定、所述映射、以及所述輸出。3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述自適應(yīng)傳遞函數(shù)模塊被配置為針對一個或多 個視頻幀中的每個視頻幀內(nèi)的兩個或更多個區(qū)域來執(zhí)行所述接收、所述確定、所述映射、以 及所述輸出。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述編碼器模塊被進一步配置為包括所述經(jīng)編碼 的視頻數(shù)據(jù)中的格式元數(shù)據(jù)，所述格式元數(shù)據(jù)指示在所述映射中使用的一個或多個參數(shù)。5. 根據(jù)權(quán)利要求4所述的系統(tǒng)，還包括： 解碼器模塊，所述解碼器模塊被配置為處理由所述編碼器模塊生成的所述經(jīng)編碼的視 頻數(shù)據(jù)，以生成經(jīng)解碼的C位視頻數(shù)據(jù)和經(jīng)提取的格式元數(shù)據(jù);和 逆向自適應(yīng)傳遞函數(shù)模塊，所述逆向自適應(yīng)傳遞函數(shù)模塊被配置為根據(jù)所述經(jīng)提取的 格式元數(shù)據(jù)來擴展所述經(jīng)解碼的C位視頻數(shù)據(jù)，以生成覆蓋目標設(shè)備的全動態(tài)范圍的D位視 頻數(shù)據(jù)。6. 根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述目標設(shè)備為支持高動態(tài)范圍(HDR)的設(shè)備。7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中根據(jù)內(nèi)部傳遞函數(shù)在所述編碼器模塊內(nèi)以C位的位 深度來表示所述視頻數(shù)據(jù)。8. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述內(nèi)部傳遞函數(shù)與用于表示所述輸入視頻數(shù)據(jù) 的傳遞函數(shù)相同。9. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述內(nèi)部傳遞函數(shù)與用于表示所述輸入視頻數(shù)據(jù) 的傳遞函數(shù)不同。10. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述內(nèi)部傳遞函數(shù)為不連續(xù)傳遞函數(shù)表示，所述 不連續(xù)傳遞函數(shù)表示包括用于表示所述輸入視頻數(shù)據(jù)的所述傳遞函數(shù)的一個或多個部分， 并且針對所述傳遞函數(shù)表示的其余部分使用不同的傳遞函數(shù)。11. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了確定所述輸入視頻數(shù)據(jù)的所述聚焦動態(tài)范 圍，所述自適應(yīng)傳遞函數(shù)模塊被配置為至少部分地根據(jù)參考視頻數(shù)據(jù)的一個或多個特征來 確定所述輸入視頻數(shù)據(jù)的所述聚焦動態(tài)范圍，所述參考視頻數(shù)據(jù)來自由所述編碼器模塊先 前處理的一個或多個視頻幀或來自正由所述編碼器模塊處理的當前視頻幀的一個或多個 先前處理的部分。12. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中用于確定所述輸入視頻數(shù)據(jù)的所述聚焦動態(tài)范圍 的所述一個或多個特征包括所述輸入視頻數(shù)據(jù)的亮度、運動、紋理、或顏色特征中的一者或 多者。13. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述聚焦動態(tài)范圍表示針對當前場景、序列、幀、 或幀的區(qū)域的人類視覺系統(tǒng)的有效動態(tài)范圍。14. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了根據(jù)傳遞函數(shù)來將所述聚焦動態(tài)范圍內(nèi)的所 述輸入視頻數(shù)據(jù)從所述輸入視頻數(shù)據(jù)的位深度映射到所述編碼器模塊的位深度以生成C位 視頻數(shù)據(jù)，所述自適應(yīng)傳遞函數(shù)模塊被配置為將所述輸入視頻數(shù)據(jù)裁剪到所述聚焦動態(tài)范 圍， 以生成經(jīng)裁剪的視頻數(shù)據(jù)并量化經(jīng)裁剪的N位視頻數(shù)據(jù)值，從而生成C位視頻數(shù)據(jù)值。15. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了根據(jù)編碼格式來處理當前視頻幀以生成經(jīng)編 碼的視頻數(shù)據(jù)，所述編碼器模塊被配置為訪問來自一個或多個先前處理的視頻幀的參考數(shù) 據(jù)，其中所述系統(tǒng)進一步包括重新格式化模塊，所述重新格式化模塊被配置為將所述參考 數(shù)據(jù)從用于處理相應(yīng)視頻幀的聚焦動態(tài)范圍轉(zhuǎn)換到針對當前幀所確定的聚焦動態(tài)范圍。16. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述編碼格式為H. 264/高級視頻編碼(AVC)格式 或Η. 265高效視頻編碼(HEVC)格式中的一者。17. -種方法，包括： 由自適應(yīng)傳遞函數(shù)模塊來執(zhí)行： 根據(jù)輸入視頻數(shù)據(jù)的一個或多個特征來確定所述輸入視頻數(shù)據(jù)的聚焦動態(tài)范圍，其中 根據(jù)傳遞函數(shù)以Ν位的位深度來表示所述輸入視頻數(shù)據(jù)的動態(tài)范圍； 將所述輸入視頻數(shù)據(jù)裁剪到所述聚焦動態(tài)范圍中，以生成經(jīng)裁剪的Ν位視頻數(shù)據(jù)；以及 量化所述經(jīng)裁剪的Ν位視頻數(shù)據(jù)，以生成C位視頻數(shù)據(jù)； 由編碼器模塊根據(jù)編碼格式對所述C位視頻數(shù)據(jù)進行處理，以生成經(jīng)編碼的視頻數(shù)據(jù) 作為輸出。18. 根據(jù)權(quán)利要求17所述的方法，還包括： 由解碼器模塊來執(zhí)行： 對輸入的經(jīng)編碼的視頻數(shù)據(jù)進行解碼，以生成經(jīng)解碼的C位視頻數(shù)據(jù);并且 根據(jù)格式元數(shù)據(jù)來擴展所述經(jīng)解碼的C位視頻數(shù)據(jù)，以生成覆蓋支持高動態(tài)范圍(HDR) 的設(shè)備的全動態(tài)范圍的D位視頻數(shù)據(jù)，其中所述格式元數(shù)據(jù)指示用于所述裁剪和所述量化 的一個或多個參數(shù)。19. 根據(jù)權(quán)利要求17所述的方法，其中所述聚焦動態(tài)范圍表示針對當前場景、序列、幀、 或幀的區(qū)域的人類視覺系統(tǒng)的有效動態(tài)范圍。20. -種裝置，包括： 自適應(yīng)傳遞函數(shù)模塊，所述自適應(yīng)傳遞函數(shù)模塊被配置為： 根據(jù)輸入視頻數(shù)據(jù)的一個或多個特征來確定所述輸入視頻數(shù)據(jù)的聚焦動態(tài)范圍，其中 根據(jù)傳遞函數(shù)以Ν位的位深度來表示所述輸入視頻數(shù)據(jù)的動態(tài)范圍； 將所述輸入視頻數(shù)據(jù)裁剪到所述聚焦動態(tài)范圍中，以生成經(jīng)裁剪的Ν位視頻數(shù)據(jù)； 根據(jù)編碼器模塊的傳遞函數(shù)來量化所述經(jīng)裁剪的Ν位視頻數(shù)據(jù)，以生成C位視頻數(shù)據(jù)； 以及 將所述聚焦動態(tài)范圍內(nèi)的所述輸入視頻數(shù)據(jù)從所述輸入視頻數(shù)據(jù)的位深度映射到由 所述編碼器模塊所使用的C位的位深度，以生成C位視頻數(shù)據(jù)； 編碼器模塊，所述編碼器模塊被配置為根據(jù)編碼格式來對所述C位視頻數(shù)據(jù)進行處理， 以生成經(jīng)編碼的視頻數(shù)據(jù)作為輸出。
【文檔編號】H04N19/98GK106031172SQ201580010095
【公開日】2016年10月12日
【申請日】2015年2月25日
【發(fā)明人】A·托拉皮斯, D·辛格
【申請人】蘋果公司