本申請(qǐng)涉及芯片，特別涉及一種片上系統(tǒng)、電子裝置及數(shù)據(jù)處理方法。

背景技術(shù)：

1、ai芯片也被稱為ai加速器或計(jì)算卡，即專門用于處理人工智能應(yīng)用中的大量計(jì)算任務(wù)的模塊。當(dāng)前，ai芯片主要分為gpu、fpga、asic。針對(duì)輕量化的ai芯片，模型存主要儲(chǔ)于靜態(tài)隨機(jī)存取存儲(chǔ)器或閃存中，而對(duì)于大模型，如何保證低成本的基礎(chǔ)上，進(jìn)一步提升算力和計(jì)算效率，以及減少mem訪問時(shí)間，支持盡量大的ai算法模型是需要解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例的目的在于提供一種片上系統(tǒng)、電子裝置及數(shù)據(jù)處理方法。

2、本申請(qǐng)第一方面提供一種片上系統(tǒng)，應(yīng)用于電子設(shè)備，所述片上系統(tǒng)包括：

3、控制處理器，所述控制處理器用于根據(jù)與片上系統(tǒng)之外的部件之間的交互指令，控制片上系統(tǒng)的功能運(yùn)行，所述控制處理器至少包括數(shù)字信號(hào)處理器模塊，所述數(shù)字信號(hào)處理器模塊至少用于處理音頻信號(hào)和圖像信號(hào)的至少一種；

4、神經(jīng)網(wǎng)絡(luò)處理器，用于將存儲(chǔ)于靜態(tài)隨機(jī)存取存儲(chǔ)器、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)推理加速計(jì)算；

5、靜態(tài)隨機(jī)存取存儲(chǔ)器，用于使得所述控制處理器、數(shù)字信號(hào)處理器、神經(jīng)網(wǎng)絡(luò)處理器在計(jì)算時(shí)從中進(jìn)行數(shù)據(jù)存取操作；

6、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，所述動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器至少用于存儲(chǔ)從片上系統(tǒng)之外的存儲(chǔ)部件所傳輸?shù)哪Ｐ汀?/p>

7、在一些實(shí)施例中，所述控制處理器在確定電子設(shè)備啟動(dòng)或電子設(shè)備的目標(biāo)應(yīng)用啟動(dòng)的情況下，控制從片上系統(tǒng)之外的存儲(chǔ)部件中加載模型至所述動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；其中，所述片上系統(tǒng)之外的存儲(chǔ)部件包括電子設(shè)備的固態(tài)硬盤。

8、在一些實(shí)施例中，所述靜態(tài)存儲(chǔ)器由多個(gè)靜態(tài)存儲(chǔ)單元構(gòu)成，所述靜態(tài)存儲(chǔ)單元的排布結(jié)構(gòu)包括并列矩陣排布結(jié)構(gòu)，所述并列矩陣排布結(jié)構(gòu)使得所述靜態(tài)存儲(chǔ)單元能夠被并行訪問。

9、在一些實(shí)施例中，所述神經(jīng)網(wǎng)絡(luò)處理器包括第一神經(jīng)網(wǎng)絡(luò)處理器和第二神經(jīng)網(wǎng)絡(luò)處理器，所述第一神經(jīng)網(wǎng)絡(luò)處理和第二神經(jīng)網(wǎng)絡(luò)處理器能夠并行從靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器獲取數(shù)據(jù)并進(jìn)行處理，所述第二神經(jīng)網(wǎng)絡(luò)處理器能通過映射方式獲取到發(fā)送到第一神經(jīng)網(wǎng)絡(luò)處理器的數(shù)據(jù)；其中，所述獲取的數(shù)據(jù)包括應(yīng)用層數(shù)據(jù)和內(nèi)核數(shù)據(jù)，所述應(yīng)用層數(shù)據(jù)包括來自用戶輸入的數(shù)據(jù)，所述內(nèi)核數(shù)據(jù)包括模型相關(guān)的數(shù)據(jù)。

10、在一些實(shí)施例中，所述片上系統(tǒng)還包括以下至少一個(gè)：

11、數(shù)據(jù)傳輸接口，用于接收片上系統(tǒng)之外的部件的數(shù)據(jù)，所述數(shù)據(jù)包括圖像數(shù)據(jù)，所述數(shù)據(jù)傳輸接口的傳輸性能大于預(yù)設(shè)值，所述接收的數(shù)據(jù)存儲(chǔ)于靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器中；

12、pwm模塊，用于生成方波信號(hào)，所述方波信號(hào)至少用于控制片上系統(tǒng)之外的部件的運(yùn)行或控制信號(hào)燈的顯示效果。

13、本申請(qǐng)第二方面提供一種電子裝置，包括：

14、片上系統(tǒng)和第一處理系統(tǒng)；

15、所述片上系統(tǒng)至少包括控制處理器、神經(jīng)網(wǎng)絡(luò)處理器、靜態(tài)隨機(jī)存取存儲(chǔ)器和動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，并且所述片上系統(tǒng)至少用于：

16、通過片上系統(tǒng)的第一類接口獲取第一數(shù)據(jù)，和/或，通過片上系統(tǒng)的所述數(shù)據(jù)傳輸接口獲取第二數(shù)據(jù)；

17、所述控制處理器根據(jù)所述第一數(shù)據(jù)/第二數(shù)據(jù)的數(shù)據(jù)量大小或?qū)?yīng)的應(yīng)用類型，確定將所述第一數(shù)據(jù)/第二數(shù)據(jù)存儲(chǔ)在所述靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；

18、在所述控制處理器的控制下，將所述靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器中的第一數(shù)據(jù)/第二數(shù)據(jù)進(jìn)行讀取控制，并調(diào)用神經(jīng)網(wǎng)絡(luò)處理模塊對(duì)所述第一數(shù)據(jù)/第二數(shù)據(jù)在模型下進(jìn)行推理加速計(jì)算，得到計(jì)算結(jié)果，并將所述計(jì)算結(jié)果傳輸至第一處理系統(tǒng)；

19、所述第一處理系統(tǒng)至少包括存儲(chǔ)部件，所述第一處理系統(tǒng)至少用于：

20、在所述控制處理的控制下，通過數(shù)據(jù)傳輸接口，將存儲(chǔ)于所述存儲(chǔ)部件的模型加載至所述片上系統(tǒng)的動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器中；

21、其中，所述存儲(chǔ)部件至少用于存儲(chǔ)所述模型，所述存儲(chǔ)部件包括固態(tài)硬盤。

22、在一些實(shí)施例中，所述第二數(shù)據(jù)包括來自用戶通過目標(biāo)應(yīng)用程序輸入的用戶指令，所述用戶指令用于使得所述模型執(zhí)行推理任務(wù)，所述第一處理系統(tǒng)進(jìn)一步配置為：

23、響應(yīng)于接收到所述第二數(shù)據(jù)，將所述第二數(shù)據(jù)通過所述數(shù)據(jù)傳輸接口發(fā)送至所述片上系統(tǒng)的所述靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；

24、響應(yīng)于在所述控制處理器的控制下，通過調(diào)用神經(jīng)網(wǎng)絡(luò)處理模塊對(duì)所述第二數(shù)據(jù)在所述模型下進(jìn)行推理加速計(jì)算得到的計(jì)算結(jié)果，將所述計(jì)算結(jié)果傳輸至目標(biāo)應(yīng)用程序。

25、根據(jù)所述的電子裝置，進(jìn)一步配置為：

26、響應(yīng)于電子裝置的啟動(dòng)，所述片上系統(tǒng)和第一處理系統(tǒng)的啟動(dòng)程序分別加載完成后，通過所述片上系統(tǒng)的數(shù)據(jù)傳輸接口，從所述存儲(chǔ)部件中加載模型至所述片上系統(tǒng)的所述動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；

27、或當(dāng)所述第一處理系統(tǒng)確定目標(biāo)應(yīng)用啟動(dòng)后，第一處理系統(tǒng)與片上系統(tǒng)進(jìn)行交互通信，通過所述片上系統(tǒng)的數(shù)據(jù)傳輸接口，從所述存儲(chǔ)部件中加載模型至所述片上系統(tǒng)的所述動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器。

28、本申請(qǐng)第三方面提供一種電子裝置的數(shù)據(jù)處理方法，所述方法包括：

29、獲取來自目標(biāo)應(yīng)用的用戶指令數(shù)據(jù)，所述用戶指令包括用戶輸入的語音、文本或圖像中的至少一種；

30、將所述用戶指令數(shù)據(jù)通過片上系統(tǒng)的數(shù)據(jù)傳輸接口傳輸至所述靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，其中，電子裝置包括片上系統(tǒng)，所述片上系統(tǒng)包括控制處理器、神經(jīng)網(wǎng)絡(luò)處理器、靜態(tài)隨機(jī)存取存儲(chǔ)器和動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；

31、在控制處理器的控制下，對(duì)所述靜態(tài)隨機(jī)存取存儲(chǔ)器、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器中的所述用戶指令數(shù)據(jù)進(jìn)行讀取控制，并調(diào)用神經(jīng)網(wǎng)絡(luò)處理模塊對(duì)所述用戶指令數(shù)據(jù)在模型下進(jìn)行推理加速計(jì)算，得到計(jì)算結(jié)果；

32、將所述計(jì)算結(jié)果傳輸至目標(biāo)應(yīng)用；

33、其中，所述模型存儲(chǔ)于動(dòng)態(tài)隨機(jī)存儲(chǔ)器中，且在所述目標(biāo)應(yīng)用啟動(dòng)時(shí)或啟動(dòng)前從存儲(chǔ)部件加載至所述動(dòng)態(tài)隨機(jī)存儲(chǔ)器中，所述存儲(chǔ)部件包括固態(tài)硬盤。

34、在一些實(shí)施例中，所述方法還包括：

35、通過片上系統(tǒng)的啟動(dòng)程序?qū)Υ鎯?chǔ)于存儲(chǔ)部件的模型進(jìn)行信任檢查；

36、信任檢查通過的情況下，從所述存儲(chǔ)部件中加載所述模型至所述動(dòng)態(tài)隨機(jī)讀取存儲(chǔ)器；

37、其中，所述信任檢查用于確保所述存儲(chǔ)部件中的所述模型不被篡改。

38、本申請(qǐng)?zhí)峁┑钠舷到y(tǒng)，通過控制處理器作為計(jì)算核心，神經(jīng)網(wǎng)絡(luò)處理器作為加速計(jì)算器，采用靜態(tài)隨機(jī)存取存儲(chǔ)器加動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器的存儲(chǔ)模式，且通過動(dòng)態(tài)加載片上系統(tǒng)之外的存儲(chǔ)部件存儲(chǔ)的模型至動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，提升片上系統(tǒng)的算力和計(jì)算效率，保證計(jì)算速度的同時(shí)，又可以控制片上系統(tǒng)的生產(chǎn)成本。

技術(shù)特征：

1.一種片上系統(tǒng)，應(yīng)用于電子設(shè)備，所述片上系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的片上系統(tǒng)，所述控制處理器在確定電子設(shè)備啟動(dòng)或電子設(shè)備的目標(biāo)應(yīng)用啟動(dòng)的情況下，控制從片上系統(tǒng)之外的存儲(chǔ)部件中加載模型至所述動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；

3.根據(jù)權(quán)利要求1所述的片上系統(tǒng)，所述靜態(tài)存儲(chǔ)器由多個(gè)靜態(tài)存儲(chǔ)單元構(gòu)成，所述靜態(tài)存儲(chǔ)單元的排布結(jié)構(gòu)包括并列矩陣排布結(jié)構(gòu)，所述并列矩陣排布結(jié)構(gòu)使得所述靜態(tài)存儲(chǔ)單元能夠被并行訪問。

4.根據(jù)權(quán)利要求1所述的片上系統(tǒng)，所述神經(jīng)網(wǎng)絡(luò)處理器包括第一神經(jīng)網(wǎng)絡(luò)處理器和第二神經(jīng)網(wǎng)絡(luò)處理器，所述第一神經(jīng)網(wǎng)絡(luò)處理和第二神經(jīng)網(wǎng)絡(luò)處理器能夠并行從靜態(tài)隨機(jī)存取存儲(chǔ)器或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器獲取數(shù)據(jù)并進(jìn)行處理，所述第二神經(jīng)網(wǎng)絡(luò)處理器能通過映射方式獲取到發(fā)送到第一神經(jīng)網(wǎng)絡(luò)處理器的數(shù)據(jù)；

5.根據(jù)權(quán)利要求1所述的片上系統(tǒng)，所述片上系統(tǒng)還包括以下至少一個(gè)：

6.一種電子裝置，包括：

7.根據(jù)權(quán)利要求6所述的電子裝置，所述第二數(shù)據(jù)包括來自用戶通過目標(biāo)應(yīng)用程序輸入的用戶指令，所述用戶指令用于使得所述模型執(zhí)行推理任務(wù)，所述第一處理系統(tǒng)進(jìn)一步配置為：

8.根據(jù)權(quán)利要求6所述的電子裝置，進(jìn)一步配置為：

9.一種電子裝置的數(shù)據(jù)處理方法，所述方法包括：

10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)處理方法，所述方法還包括：

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N片上系統(tǒng)，應(yīng)用于電子設(shè)備，片上系統(tǒng)包括：控制處理器，控制處理器用于根據(jù)與片上系統(tǒng)之外的部件之間的交互指令，控制片上系統(tǒng)的功能運(yùn)行，控制處理器至少包括數(shù)字信號(hào)處理器模塊，數(shù)字信號(hào)處理器模塊至少用于處理音頻信號(hào)和圖像信號(hào)的至少一種；神經(jīng)網(wǎng)絡(luò)處理器，用于將存儲(chǔ)于靜態(tài)隨機(jī)存取存儲(chǔ)器、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)推理加速計(jì)算；靜態(tài)隨機(jī)存取存儲(chǔ)器，用于使得控制處理器、數(shù)字信號(hào)處理器、神經(jīng)網(wǎng)絡(luò)處理器在計(jì)算時(shí)從中進(jìn)行數(shù)據(jù)存取操作；動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器至少用于存儲(chǔ)從片上系統(tǒng)之外的存儲(chǔ)部件所傳輸?shù)哪Ｐ汀１旧暾?qǐng)還提供一種電子裝置、數(shù)據(jù)處理方法。

技術(shù)研發(fā)人員：班學(xué)歷,莫志堅(jiān),肖啟華
受保護(hù)的技術(shù)使用者：聯(lián)想（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8