用于緊密耦合的低功率圖像處理的方法和裝置的制造方法
【專利說(shuō)明】用于緊密耦合的低功率圖像處理的方法和裝置
[0001]公開(kāi)領(lǐng)域
[0002]本公開(kāi)的技術(shù)領(lǐng)域涉及視頻數(shù)據(jù)通信和處理。
[0003]背景
[0004]某些視頻系統(tǒng)具有光傳感器，光傳感器將視頻幀傳遞到具有視頻編碼器/解碼器(VCODEC)和本地存儲(chǔ)器的視頻電路內(nèi)的相機(jī)核。視頻幀必須經(jīng)過(guò)相機(jī)核并最終到達(dá)VCODEC以供編碼和后續(xù)處理。然而，相機(jī)核不能直接將視頻幀交遞給VC0DEC，因?yàn)橄鄼C(jī)核和本地存儲(chǔ)器缺乏足以充當(dāng)視頻幀緩沖器的存儲(chǔ)容量。相機(jī)核通常還缺乏用于將視頻幀傳遞到VCODEC所需的握手功能。因此，視頻電路將整個(gè)視頻幀從相機(jī)核卸載至外部存儲(chǔ)器，隨后從該外部存儲(chǔ)器檢索這些卸載的視頻幀并將這些幀輸入至VC0DEC。視頻幀的卸載和檢索一般由應(yīng)用處理器來(lái)控制。然而，外部存儲(chǔ)器和應(yīng)用處理器各自消耗相當(dāng)多的功率。
[0005]用于減少或彌補(bǔ)這一功率的現(xiàn)有手段和努力包括將外部存儲(chǔ)器以及相機(jī)核與外部存儲(chǔ)器之間的接口電路系統(tǒng)放置得更為接近，以及針對(duì)視頻幀傳遞使用更高的突發(fā)長(zhǎng)度以提高總線效率。現(xiàn)有手段和努力還包括總線和內(nèi)核時(shí)鐘的縮放?，F(xiàn)有手段和努力盡管減少了功耗，但不能免除外部存儲(chǔ)器或應(yīng)用處理器的功耗。
[0006]概述
[0007]本概述并非所有構(gòu)想方面的綜覽，或者為了描繪任何實(shí)施例或其任何方面的范圍。其唯一目的是為了呈現(xiàn)一些示例概念，其中所有這些概念將從本公開(kāi)的稍后章節(jié)闡述的各個(gè)示例性實(shí)施例的更為詳細(xì)的描述中被進(jìn)一步理解。
[0008]根據(jù)一個(gè)示例性實(shí)施例，一種圖像處理方法可包括在相機(jī)核處接收?qǐng)D像并隨后以塊為基礎(chǔ)將該圖像從該相機(jī)核傳遞到下游處理引擎，并且在一個(gè)方面，以塊為基礎(chǔ)的傳遞可包括在該相機(jī)核和該下游處理引擎之間傳達(dá)直接握手信號(hào)。
[0009]在一個(gè)方面，在相機(jī)核與下游處理引擎之間傳達(dá)直接握手信號(hào)可經(jīng)由耦合至該相機(jī)核且耦合至該下游處理引擎的直接握手路徑。
[0010]在一個(gè)方面，在相機(jī)核處接收?qǐng)D像可包括在光傳感器處將圖像劃分為多個(gè)(N個(gè))塊，以及并發(fā)地將N塊的量存儲(chǔ)到相機(jī)核和本地存儲(chǔ)器中的至少一者中。
[0011]在一個(gè)方面，在相機(jī)核處接收?qǐng)D像可包括在光傳感器處執(zhí)行N次圖像掃描，對(duì)于N次掃描中的每一次掃描將至少一塊圖像傳遞到相機(jī)核和與該相機(jī)核相關(guān)聯(lián)的本地存儲(chǔ)器中的至少一者，以及并發(fā)地將N塊的量存儲(chǔ)到該相機(jī)核和該本地存儲(chǔ)器中的至少一者中。
[0012]根據(jù)一個(gè)示例性實(shí)施例，一種圖像處理方法可包括掃描光傳感器以獲得一次圖像掃描，提取該一次圖像掃描的給定N塊劃分的塊，將所提取的塊存儲(chǔ)到相機(jī)核或與該相機(jī)核相關(guān)聯(lián)的本地存儲(chǔ)器中的至少一者中，將所提取的那一塊從相機(jī)核或本地存儲(chǔ)器中的至少一者傳遞到下游處理引擎，以及將掃描、提取、存儲(chǔ)和傳遞重復(fù)N次以向處理引擎提供該圖像。
[0013]在一個(gè)方面，將所提取的那一塊從相機(jī)核或本地存儲(chǔ)器中的至少一者傳遞到下游處理引擎包括在相機(jī)核和下游處理引擎之間傳達(dá)握手信號(hào)。
[0014]根據(jù)一個(gè)示例性實(shí)施例，一種圖像處理器可包括用于掃描光傳感器以獲得一次圖像掃描的裝置，用于提取該一次圖像掃描的給定N塊劃分的塊的裝置，用于將所提取的塊存儲(chǔ)到相機(jī)核或與該相機(jī)核相關(guān)聯(lián)的本地存儲(chǔ)器中的至少一者中的裝置，用于將所提取的那一塊從相機(jī)核或本地存儲(chǔ)器中的至少一者傳遞到下游處理引擎的裝置，其中將所提取的那一塊從相機(jī)核或本地存儲(chǔ)器中的至少一者傳遞到下游處理引擎包括在相機(jī)核和下游處理引擎之間傳達(dá)握手信號(hào)。
[0015]根據(jù)一個(gè)示例性實(shí)施例，圖像處理器可包括相機(jī)核、通過(guò)數(shù)據(jù)互連耦合至該相機(jī)核的下游處理器；以及耦合至該相機(jī)核且耦合至該下游處理器的直接握手路徑，并且在一個(gè)方面，該相機(jī)核可被配置成接收給定的視頻幀并將該視頻幀作為N個(gè)像素塊傳遞到下游處理器，以及通過(guò)直接握手路徑控制每個(gè)像素塊的傳遞。
[0016]根據(jù)一個(gè)示例性實(shí)施例，一種計(jì)算機(jī)程序產(chǎn)品可包括包含以下代碼的計(jì)算機(jī)可讀介質(zhì):用于使至少一個(gè)計(jì)算機(jī)掃描光傳感器以獲得一次圖像掃描的代碼，用于使至少一個(gè)計(jì)算機(jī)提取該一次圖像掃描的給定N塊劃分的塊的代碼，用于使至少一個(gè)計(jì)算機(jī)將所提取的塊存儲(chǔ)到相機(jī)核或與該相機(jī)核相關(guān)聯(lián)的本地存儲(chǔ)器中的至少一者中的代碼，用于使至少一個(gè)計(jì)算機(jī)將所提取的那一塊從相機(jī)核或本地存儲(chǔ)器中的至少一者傳遞到下游處理引擎的代碼，以及用于使至少一個(gè)計(jì)算機(jī)將該掃描、提取、存儲(chǔ)和傳遞重復(fù)N次以向處理引擎提供該圖像的代碼。
[0017]根據(jù)一個(gè)示例性實(shí)施例，一種圖像處理器可包括:相機(jī)核，該相機(jī)核具有用于接收?qǐng)D像的裝置以及用于存儲(chǔ)收到圖像的至少一部分的裝置；以及用于以塊為基礎(chǔ)將該圖像從相機(jī)核傳遞到下游處理引擎的裝置，其中該傳遞包括在該相機(jī)核和該下游處理引擎之間傳達(dá)握手信號(hào)。
[0018]附圖簡(jiǎn)述
[0019]給出附件中找到的附圖以幫助對(duì)本發(fā)明實(shí)施例進(jìn)行描述，且提供附圖僅用于解說(shuō)實(shí)施例而非對(duì)其進(jìn)行限定。
[0020]圖1示出了一個(gè)示例相關(guān)技術(shù)視頻流和視頻系統(tǒng)。
[0021]圖2是根據(jù)一個(gè)示例性實(shí)施例的一個(gè)視頻直接相機(jī)至下游處理器傳遞系統(tǒng)以及一個(gè)示例直接視頻相機(jī)至下游處理器塊傳遞的功能框圖。
[0022]圖3是根據(jù)各個(gè)示例性實(shí)施例的將視頻幀劃分為N個(gè)像素塊以及相應(yīng)的像素塊直接相機(jī)至下游處理器傳遞的一個(gè)示例的流程圖。
[0023]圖4示出了根據(jù)一個(gè)示例性實(shí)施例的一個(gè)示例個(gè)人計(jì)算設(shè)備的功能框圖。
【具體實(shí)施方式】
[0024]本發(fā)明的各方面在以下根據(jù)本發(fā)明的具體解說(shuō)性實(shí)施例的描述和有關(guān)附圖中被公開(kāi)。將理解，這些具體解說(shuō)性實(shí)施例僅是出于輔助本領(lǐng)域普通技術(shù)人員進(jìn)一步理解各個(gè)概念的目的，以及用于以從本公開(kāi)中對(duì)這些人員可變得明顯的各個(gè)或替換性實(shí)施例的任一種來(lái)實(shí)踐本發(fā)明。
[0025]本文中所使用的術(shù)語(yǔ)僅用于描述特定實(shí)施例的目的，而并不旨在限定本發(fā)明的各實(shí)施例或其任何方面的范圍。進(jìn)一步關(guān)于術(shù)語(yǔ)，措辭“示例性”在本文中用于表示“用作示例、實(shí)例或解說(shuō)”。本文中描述為“示例性”的任何實(shí)施例不必被解釋為優(yōu)于或勝過(guò)其他實(shí)施例。同樣，術(shù)語(yǔ)“本發(fā)明的實(shí)施例”并不要求本發(fā)明的所有實(shí)施例都包括所討論的特征、優(yōu)點(diǎn)、或工作模式。
[0026]另外，單數(shù)形式的“一”、“某”和“該”旨在也包括復(fù)數(shù)形式，除非上下文另有明確指示。將進(jìn)一步理解，術(shù)語(yǔ)“包括”、“具有”、“包含”和/或“含有”在本文中使用時(shí)指定所陳述的特征、整數(shù)、步驟、操作、要素、和/或組件的存在，但并不排除一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、要素、組件、和/或其群組的存在或添加。
[0027]此外，許多實(shí)施例是根據(jù)可由例如計(jì)算設(shè)備的元件執(zhí)行的動(dòng)作序列來(lái)描述的。將認(rèn)識(shí)到，本文中所描述的各種動(dòng)作能由專用電路(例如，專用集成電路(ASIC))、由正被一個(gè)或多個(gè)處理器執(zhí)行的程序指令、或由這兩者的組合來(lái)執(zhí)行。另外，本文中所描述的這些動(dòng)作序列可被認(rèn)為是完全體現(xiàn)在任何形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)，其內(nèi)存儲(chǔ)有一經(jīng)執(zhí)行就將使計(jì)算機(jī)或相關(guān)聯(lián)的處理器執(zhí)行本文所描述的功能性的相應(yīng)計(jì)算機(jī)指令集。因此，本發(fā)明的各個(gè)方面可以用數(shù)種不同形式來(lái)體現(xiàn)，所有這些形式都已被構(gòu)想落在所附權(quán)利要求的范圍內(nèi)。另外，對(duì)于本文中所描述的每個(gè)實(shí)施例，任何此類實(shí)施例的對(duì)應(yīng)形式可在本文被描述為例如“配置成執(zhí)行所描述的動(dòng)作的邏輯”。
[0028]本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)，信息和信號(hào)可使用各種不同技術(shù)和技藝中的任何一種來(lái)表示。例如，貫穿上面描述始終可能被述及的數(shù)據(jù)、指令、命令、信息、信號(hào)、位(比特)、碼元、和碼片可由電壓、電流、電磁波、磁場(chǎng)或磁粒子、光場(chǎng)、電子自旋粒子、電子自旋、或其任何組合來(lái)表示。
[0029]此外，本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)，結(jié)合本文中公開(kāi)的實(shí)施例描述的各種解說(shuō)性邏輯塊、模塊、電路、和算法步驟可被實(shí)現(xiàn)為電子硬件、計(jì)算機(jī)軟件、或兩者的組合。為了清楚地說(shuō)明硬件與軟件的這一可互換性，各種解說(shuō)性組件、框、模塊、電路、和步驟在上面是以其功能性的形式作一般化描述的。如本領(lǐng)域普通技術(shù)人員將領(lǐng)會(huì)的，此類功能性是被實(shí)現(xiàn)為硬件、還是軟件還是其組合取決于具體應(yīng)用和加諸于整體系統(tǒng)的設(shè)計(jì)約束。此類人員對(duì)于每種特定應(yīng)用可用不同的方式來(lái)實(shí)現(xiàn)所描述的功能性，但這樣的實(shí)現(xiàn)決策不應(yīng)被解讀成導(dǎo)致脫離了本發(fā)明的范圍。
[0030]結(jié)合本文中公開(kāi)的實(shí)施例描述的方法、序列和/或算法可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在RAM存儲(chǔ)器、閃存、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移動(dòng)盤、CD-ROM、或本領(lǐng)域中所知的任何其他形式的存儲(chǔ)介質(zhì)中。示例性存儲(chǔ)介質(zhì)耦合到處理器以使得該處理器能從/向該存儲(chǔ)介質(zhì)讀寫信息。替換地，存儲(chǔ)介質(zhì)可以被整合到處理器。
[0031]相應(yīng)地，本發(fā)明的各個(gè)實(shí)施例可包括計(jì)算機(jī)可讀介質(zhì)或者可使用計(jì)算機(jī)可讀介質(zhì)來(lái)實(shí)踐，該計(jì)算機(jī)可讀介質(zhì)體現(xiàn)使該計(jì)算機(jī)執(zhí)行或控制其它結(jié)構(gòu)以執(zhí)行根據(jù)該實(shí)施例的過(guò)程的指令。因此，本發(fā)明并不限于所解說(shuō)的示例且任何用于執(zhí)行本文所描述的功能的手段均被包括在本發(fā)明的實(shí)施例中。
[0032]相關(guān)技術(shù)圖1示出了具有常規(guī)視頻電路102的常規(guī)視頻系統(tǒng)100，常規(guī)視頻電路102與光傳感器103接口并具有由多媒體結(jié)構(gòu)112互連的相機(jī)核104、本地存儲(chǔ)器106、視頻編碼器/解碼器(VCODEC) 108和3D處理器110。常規(guī)視頻電路102還具有應(yīng)用(或“apps”)結(jié)構(gòu)114，其連接至多媒體結(jié)構(gòu)112并將應(yīng)用處理器116與外部存儲(chǔ)器控制器118互連。外部存儲(chǔ)器控制器118與外部存儲(chǔ)器120 (例如，外部DDR)接口，并控制將數(shù)據(jù)卸載到外部存儲(chǔ)器120以及從外部存儲(chǔ)器120檢索數(shù)據(jù)，如以下更為詳細(xì)地描述的。
[0033]繼續(xù)參考圖1，在常規(guī)視頻系統(tǒng)100中，外部光傳感器103可以是光像素傳感器的M行XN列的像素陣列(未單獨(dú)示出)。在常規(guī)視頻系統(tǒng)100的操作中，光傳感器103執(zhí)行一連串光柵掃描，每個(gè)光柵掃描生成MXN的像素幀(下文替換地稱為“原始視頻幀”)。光柵掃描速率可以是每分鐘FS個(gè)光柵掃描，其以每分鐘FS幀的幀速率生成原始視頻幀。常規(guī)視頻電路102將以幀速率FS從光傳感器103接收的原始視頻幀輸入至相機(jī)核104。相機(jī)核104隨后對(duì)每一幀執(zhí)行簡(jiǎn)單的格式化功能，諸如裁剪和分塊以及亮度以生成本說(shuō)明書中將稱為“經(jīng)格式化的原始幀”的幀。更為實(shí)質(zhì)的、較高計(jì)算負(fù)擔(dān)的操作(例如視頻壓縮或3D處理)由下游處理器(諸如解碼器VC0DEC108和/或3D處理器110)來(lái)執(zhí)行。
[0034]繼續(xù)參考圖1，由于其有限的存儲(chǔ)器空間，相機(jī)核104不能保存比一個(gè)幀多太多的幀。同樣，如長(zhǎng)久以來(lái)已知的，相機(jī)核104、多媒體結(jié)構(gòu)112以及下游處理器(例如VCODEC108或3D處理器110)的架構(gòu)使得相機(jī)核104以足以跟上許多應(yīng)用中使用的幀速率FS的速率直接向這些下游處理器傳遞經(jīng)格式化的原始幀是不切實(shí)際的。
[0035]對(duì)于常規(guī)視頻系統(tǒng)的上述限制(諸如圖1中所示)的已知解決方案是使處理器資源(諸如示例應(yīng)用處理器116和存儲(chǔ)器控制器118)執(zhí)行將經(jīng)格式化的原始幀卸載到外部存儲(chǔ)器(諸如示例外部存儲(chǔ)器120)(如由以下數(shù)據(jù)流“卸載”所描繪的)、(如由數(shù)據(jù)流RTRV (檢索)描繪的)伴隨從該外部存儲(chǔ)器進(jìn)行對(duì)經(jīng)格式化的原始幀的受控檢索、以及將這些幀有序地輸入至選定的下游處理器(例如，常規(guī)視頻電路102內(nèi)部的VC0DEC108)。如圖1中示出的卸載可