menu-icon
anue logo
熱門時事鉅亨號鉅亨買幣
search icon

美股

AMD快速站隊 宣布整合DeepSeek-V3到MI300X GPU

鉅亨網編譯劉祥航 綜合報導 2025-01-27 08:40

cover image of news article
AMD快速站隊 宣布整合DeepSeek-V3到MI300X GPU(圖:shutterstock)

AMD(AMD-US) 周五 (24 日) 透過其官方 X 平台宣布,已將全新的 DeepSeek-V3 模型整合至其 Instinct MI300X GPU。這項消息強調了 AMD 在人工智慧 (AI) 領域的持續發展與投入。DeepSeek-V3 模型是專為 AI 推論 (inference) 優化的,此舉有望提升 AMD GPU 在 AI 應用方面的效能。

DeepSeek-V3 模型:技術細節與優勢

DeepSeek-V3 模型被評為目前最強大的開源大型語言模型 (LLM),甚至超越了 GPT-4o。這個模型採用混合專家 (MoE) 架構,總參數量高達 6710 億,每次處理 token 時會啟用 370 億參數。

為了實現高效的推論和具成本效益的訓練,DeepSeek-V3 採用了多頭潛在注意力 (MLA) 和 DeepSeekMoE 架構。此外,DeepSeek-V3 還開創了一種無輔助損失的負載平衡策略,並設置了多標記預測訓練目標,以實現更強大的性能。

SGLang 與 FP8 的關鍵作用

AMD 特別強調與 DeepSeek 和 SGLang 團隊的密切合作。SGLang 是一個用於支援高效能運算的軟體框架,它的整合不僅加速了技術的實現,也確保了軟硬體之間的協同運作達到最佳狀態。

AMD 表示,這種整合是為了在 SGLang 上實現峰值性能而設計。更重要的是,AMD 的 ROCm 平台對 FP8(8 位浮點數) 的廣泛支援,顯著改善了 AI 模型的運行過程,尤其是在推論方面。FP8 降低了數據傳輸和計算的延遲,同時也解決了與更多讀寫格式相關的記憶體瓶頸和高延遲問題。這使得 AMD 的平台能夠在相同的硬體限制下處理更大的模型或批次,從而實現更有效率的訓練和推論過程。

Instinct MI300X GPU:AI 加速的關鍵硬體

AMD 指出,Instinct MI300X GPU 是 AMD 專為 AI 和高效能運算設計的加速器。透過整合 DeepSeek-V3 模型,這些 GPU 在執行 AI 推論任務時將更具效率。這意味著,使用 AMD 硬體的 AI 應用程式,例如大型語言模型、圖像辨識和自然語言處理等,都有望獲得顯著的效能提升。DeepSeek-V3 模型能夠處理文字和視覺數據,進一步擴展了開發人員在 AI 應用上的可能性。

市場反應與競爭態勢

儘管 AMD 在技術上取得了顯著進展,市場的反應卻呈現分歧。Zacks 發布報告指出,AMD 在 2025 年的半導體交易中並未被列為首選,建議投資者買入輝達 (NVDA-US) 和台積電 (TSM-US),並跳過 AMD6。這反映出市場對 AMD 在 AI 領域的競爭力仍存在疑慮。然而,巴克萊 (Barclays) 則認為現在是「加碼」AMD 股票的時機,顯示市場對 AMD 的未來發展仍有不同的看法。


Empty