背景技術：

1、ai或ml加速器是一類專門的硬件加速器、設備或處理單元，其被設計為加速ai和ml應用(例如，人工神經(jīng)網(wǎng)絡(例如，卷積神經(jīng)網(wǎng)絡或深度神經(jīng)網(wǎng)絡)或機器視覺)。ai加速器常常被設計作為異構處理單元(例如，視覺或多功能處理單元(vpu))的一部分，在其中，若干組件被合并到單個芯片(例如，片上系統(tǒng)(soc)等)中，soc上的每個組件被優(yōu)化或被配置為執(zhí)行特定類型的任務。ai或ml加速器的能效對于系統(tǒng)性能和電池壽命是重要的。

技術實現(xiàn)思路

技術特征：

1.一種裝置，包括：

2.如權利要求1所述的裝置，其中，所述電路還被配置為：

3.如權利要求2所述的裝置，還包括：

4.如權利要求3所述的裝置，其中，所述加速器和所述電路由視覺處理單元(vpu)實現(xiàn)，

5.如權利要求4所述的裝置，其中，調(diào)整至所述加速器的功率水平包括：

6.如權利要求1所述的裝置，其中，所述簡檔由編譯器生成，并且

7.如權利要求1所述的裝置，其中，所述簡檔包括所述神經(jīng)網(wǎng)絡的逐層分析，所述逐層分析包括用于所述神經(jīng)網(wǎng)絡的所述多個層中的一個或多個相應層的一個或多個統(tǒng)計。

8.如權利要求7所述的裝置，其中，所述一個或多個統(tǒng)計包括所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的硬件效率量、所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的硬件利用率量、執(zhí)行所述神經(jīng)網(wǎng)絡的所述一個或多個相應層所需的計算周期數(shù)量、從所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的存儲器緩存讀取或?qū)懭霗嘀鼗蚣せ钏璧臄?shù)據(jù)周期數(shù)量。

9.如權利要求8所述的裝置，其中，確定所述多個層中的特定層是計算密集型還是存儲器密集型包括：

10.如權利要求9所述的裝置，其中，所述準則基于數(shù)據(jù)周期數(shù)量或緩存周期數(shù)量中的至少一個。

11.一種用于神經(jīng)網(wǎng)絡的動態(tài)電源管理的方法，所述方法包括：

12.如權利要求11所述的方法，還包括：

13.如權利要求12所述的方法，其中，確定所述多個層中的特定層是計算密集型還是存儲器密集型包括：確定執(zhí)行所述特定層所需的計算周期數(shù)量是否滿足準則，并且

14.如權利要求11所述的方法，其中，所述簡檔由編譯器生成，并且

15.如權利要求11所述的方法，其中，所述簡檔包括所述神經(jīng)網(wǎng)絡的逐層分析，所述逐層分析包括用于所述神經(jīng)網(wǎng)絡的所述多個層中的一個或多個相應層的一個或多個度量。

16.如權利要求15所述的方法，其中，所述一個或多個度量包括所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的硬件效率量、所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的硬件利用率量、所述神經(jīng)網(wǎng)絡的所述一個或多個相應層所需的計算周期數(shù)量、從所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的存儲器緩存讀取或?qū)懭霗嘀鼗蚣せ钏璧臄?shù)據(jù)周期數(shù)量。

17.一種機器可讀介質(zhì)，其上存儲有指令，所述指令當由電路執(zhí)行時使所述電路：

18.如權利要求17所述的機器可讀介質(zhì)，其中，所述指令使所述電路：

19.如權利要求17所述的機器可讀介質(zhì)，其中，所述簡檔由編譯器生成，并且

20.如權利要求19所述的機器可讀介質(zhì)，其中，所述一個或多個統(tǒng)計包括所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的硬件效率量、所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的硬件利用率量、執(zhí)行所述神經(jīng)網(wǎng)絡的所述一個或多個相應層所需的計算周期數(shù)量、從所述神經(jīng)網(wǎng)絡的所述一個或多個相應層處的存儲器緩存讀取或?qū)懭霗嘀鼗蚣せ钏璧臄?shù)據(jù)周期數(shù)量。

21.一種計算機可讀介質(zhì)，其上存儲有指令，所述指令配置編譯器的操作，所述操作用于：

22.如權利要求21所述的計算機可讀介質(zhì)，所述操作還用于：

23.如權利要求21-22中任一項所述的計算機可讀介質(zhì)，其中，所述簡檔包括所述神經(jīng)網(wǎng)絡的逐層分析，所述逐層分析包括用于所述一個或多個相應層的一個或多個統(tǒng)計。

技術總結
用于自主和主動電源管理以用于機器學習工作負載的能量高效執(zhí)行的系統(tǒng)可以包括諸如片上系統(tǒng)(SoC)之類的裝置，其包括：加速器，可被配置為加載和執(zhí)行神經(jīng)網(wǎng)絡；和電路，用于接收神經(jīng)網(wǎng)絡的簡檔。簡檔可以從編譯器接收，并且包括關于神經(jīng)網(wǎng)絡的多個層的信息。響應于簡檔和關于多個層的信息，電路可以使用裝置所包括的本地電源管理單元(PMU)，在加速器執(zhí)行神經(jīng)網(wǎng)絡的同時，調(diào)整至加速器的功率水平。功率水平調(diào)整可以基于特定層是計算密集型層還是存儲器密集型層。

技術研發(fā)人員：S·保羅,M·M·哈拉,L·曾,M·埃爾馬拉吉
受保護的技術使用者：英特爾公司
技術研發(fā)日：
技術公布日：2024/10/21