手機可跑3百億參數模型！繼CPU、GPU後　高通公布下一代Hexagon NPI

高通今(11)日正式公布新一代旗艦處理器Hexagon NPU，產品市場高級總監Cisco Cheng指出，智慧體AI將定義行動運算的下一個時代，行動AI晶片不只要算得快，還要能持續算、低延遲算、多工協同算。因此，這款為終端側智慧體AI打造的NPU導入兩項變化：Element Accelerator與更大的共享記憶體系統。

根據介紹，Element Accelerator針對Transformer工作負載優化，結合向量與純量運算單元：純量單元負責決策邏輯、路由與編排，向量單元提供高吞吐量AI運算；搭配Fast Action Loops與KV-Cache加速，支援最長32K上下文長度。

為降低資料搬運造成的延遲與功耗，共享記憶體容量較前代增加50%，讓模型狀態、上下文與KV-cache存放在更靠近加速器處，減少外部記憶體存取，使智慧體在長上下文、多工具呼叫下保持流暢回應。

高通並跟記憶體及模型廠商合作，把MoE混合專家模型引入終端側：300億參數模型每生成一個token僅活化約30億參數，以低功耗實現大模型體驗。精度方面支援INT2、INT4、INT8、FP8與FP16，其中INT4模型預填充效能最高提升50%，首token生成時間縮短至1.5秒。

高通布局的不只是AI加速器，而是圍繞終端側智慧體AI建構的運算體系，新一代旗艦平台詳情將於9月22日夏威夷驍龍峰會上公布。