menu-icon
anue logo
馬來西亞房產鉅亨號鉅亨買幣
search icon


AI推理





    2025-08-13
  • 美股雷達

    中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並計劃下月正式開源 UCM。什麼是 UCM?解決 AI 回應慢又貴的問題想像一下,當你問 AI 問題時,它需要「思考」很久才回答,而且運算成本很高。






  • 2025-08-12
  • 中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並打算在下月正式開源 UCM。據了解,作為一款以 KV Cache 為中心的推理加速套件,UCM 融合了多類型緩存加速演算法工具,分級管理推理過程中產生的 KV Cache 記憶數據,可擴大推理上下文窗口,實現高吞吐、低時延的推理體驗,降低每 Token 推理成本。