Google TPUv7部分推論測試成本效率領先輝達FP4與軟體更新改寫比較結果

2026年11月06日（優分析／產業數據中心報導）⸺ 研究機構SemiAnalysis公布Google TPUv7的AgentX測試結果，顯示這款AI加速器在部分模型與相同運算精度下，每美元可產生的token數高於輝達及超微（AMD）GPU，但比較結果隨模型、精度與軟體版本而變。Token是AI處理文字的基本單位，推論則是模型接收輸入後產生回答的過程；每美元token產出越高，代表在該測試條件下，同樣成本可處理更多內容。

這次測試涵蓋GLM、Qwen、Kimi及Muse Spark Open等模型，採用長上下文、多輪互動的AI代理工作負載。在GLM-5.2的FP8測試中，當每位使用者的生成速度介於每秒60至300個token，TPUv7每美元token產出為B200、B300及MI355X等GPU的1.2至2.7倍；在每秒150個token的測點，則達H200的4.4倍。上述比較限於相同FP8精度及報告設定的服務條件。

改用FP4後，結果出現反轉。FP4使用較低位元精度表示數值，可減少模型權重占用的記憶體空間，但可能犧牲部分回答品質。SemiAnalysis指出，TPUv7沒有原生FP4支援，而GLM模型在FP4設定下有輕微精度損失；不過，FP4 GPU在多數生成速度下仍有較高的每美元產出。在每位使用者每秒100個token的測點，GB300與GB200的FP4結果分別為TPUv7的3.6倍、3.5倍。

軟體更新也會改變硬體之間的差距。SemiAnalysis指出，Kimi K3於10月17日推出時，在每位使用者每秒50至200個token的範圍，TPUv7每美元產出約為GB300的0.77至0.91倍；但經過輝達四次更新後，GB300 FP4的每美元產出已達TPUv7的1.5至2.6倍。TPUv7相較GB200、B200及B300仍有1.15至2.5倍的表現，顯示比較對象與版本不能混為一談。

Qwen3.5的結果則凸顯測量方式的重要性。報告指出，TPUv7搭配vLLM與llm-d，將處理輸入及逐步生成回答分開執行後，在FP8的生成階段成本效率優於GB300 FP8；但納入等待與輸入處理等完整流程後，該配置的端到端表現仍不如採TRTLLM軟體的GB300 FP4。這份測試呈現的是特定模型、精度與軟體配置下的成本差異，評估推論平台仍須同時對照回答品質、生成速度及完整回應時間。

※ 本文經「優分析」授權轉載，原文出處:原文連結
※ 免責聲明：文中所提的個股、基金、期貨商品內容僅供參考，並非投資建議，投資人應獨立判斷，審慎評估風險。