鉅亨網編譯陳韋廷
美國科技企業正悄然將中國開源 AI 模型納入生產基礎設施,以壓低成本並擴大應用規模。
加密貨幣交易所 Coinbase 執行長 Brian Armstrong 上週五 (26 日) 表示,已將智譜最新發布的 GLM 5.2 及北京月之暗面 (Moonshot AI) 的 Kimi 2.7,設定為內部工程師的預設大語言模型。
Armstrong 指出,隨著頂尖美國模型服務成本持續攀升,Coinbase 在結合路由優化與快取改進後,AI 支出已削減近半,而 Token 使用量仍維持指數級增長。這兩款中國開源模型主要部署於常規任務場景,至於需要複雜規劃的任務,工程師仍可選用前沿模型。
在程式碼審查環節,Coinbase 更採用多模型並行策略,讓不同模型相互校驗輸出結果,以維持品質標準。
Armstrong 將此次成本壓縮歸功於三層基礎設施重構。首先是「智能路由」,系統會對提示詞進行預處理,綜合快取命中率與模型定價,自動將任務分發至最合適、最經濟的模型;其次是「積極快取」,透過要求所有請求具備快取感知能力,LibreChat 的快取命中率從 5% 躍升至 60%;最後是「精簡上下文」,建議在切換任務時開啟新會話、縮小檔案範圍,以減少浪費的 Token。
Armstrong 強調,這並非為了壓制使用量,而是為了擴大 AI 採用規模。他將此方法視為實現 AI 使用量可持續擴張的關鍵,並認為任何企業都可借鑒此模式,在不設成本天花板的情況下,讓工程師自由使用任意數量的 Token 與模型,同時將使用量與業務影響掛鉤。
這也顯示中國開源模型在成本效益上的優勢,正逐漸改變也全球科技企業的 AI 部署策略。
上一篇
下一篇
