全球AI算力需求持續向上！先進大模型常採用輝達A100 谷歌擁逾百萬顆H100等效算力

最新研究顯示，全球 AI 算力持續提升，因輝達與超微半導體等 AI 晶片廠商紛紛推出加速器，加上一些新興勢力開始製造晶片，其中大語言模型最愛使用輝達 (NVDA-US) A100 晶片，谷歌 (GOOGL-US) 擁有逾 100 萬個跟 H100 晶片相當的算力。

根據 AI 新創企業 Epoch AI 上周四 (13 日) 依照公開資訊對全球機器學習硬體的現狀和趨勢做出的報告，全球機器學習硬體性能每年成長 43%，價格下降 30%，輝達在全球支持的算能平均每 10 個月增加一倍，且低精度計算成為主流，頂級硬體能效每 1.9 年增加一倍。此外，過去八年訓練大模型所需的處理器數量增加 20 多倍。

研究指出，優化機器學習數位格式和 TPU 核心提供額外的改進，其他驅動因素還包括晶體管數量增加和其他半導體製程進步，以及針對 AI 工作負載的專門設計。這種改進降低每 FLOP 的成本並提高能效，並實現大規模 AI 訓練。

在使用針對 AI 計算優化的張量核心和數據格式時，GPU 通常速度更快。與使用非張量 FP32 相比，TF32、張量 FP16 和張量 INT8 在總體性能趨勢中平均提供約 6 倍、10 倍和 12 倍的性能提升。一些晶片甚至實現更大的加速，例如 H100 在 INT8 時速度比在 FP32 時快 59 倍。

自推出以來，這些改進約佔整體性能趨勢改進的一半。隨著開發人員利用這種性能提升，使用較低精度格式，尤其是張量 FP16 訓練的模型已變得很常見。

歷史數據顯示，頂級 GPU 和 TPU 的能效每 1.9 年成長一倍。輝達 A100 是用於高引用或最先進 AI 模型最常用硬體。自發佈以來已用在 65 個著名機器學習 (ML) 模型，其次是輝達 V100，用於訓練 55 個著名模型，其次是谷歌 TPU v3，用於 47 個，但 H100 可能在不久的將來成為訓練模型最受歡迎的 GPU。

研究還指出，谷歌、微軟、Meta 和亞馬遜擁有相當於數十萬個 H100 的 AI 算力，這些計算資源既用於這四大「算力帝國」內部的 AI 開發，也用於雲端客戶，包括許多頂級 AI 實驗室，如 OpenAI 和 Anthropic。

谷歌可能擁有相當於超過一百萬個 H100 的計算能力，主要來自他們的 TPU，微軟也可能擁有最大的輝達晶片庫存，約為 50 萬個 H100 當量。

這項研究之所以重點介紹谷歌、微軟、Meta 和亞馬遜，因為他們可能擁有最多的計算能力，而其他公司的數據公開較少。

此外，自 2019 年以來，輝達晶片的總可用計算能力大約每年增長 2.3 倍，從而能夠訓練越來越大的模型，也就是說，全球輝達組成的算力平均每 10 個月成長一倍。Hopper 這一代輝達 AI 晶片目前占其所有 AI 硬體總算力的 77%。按此增長速度，舊的晶片在推出後約 4 年，對累計計算量的貢獻往往會低於一半。

值得注意的是，上述分析不包括 TPU 或其他專用 AI 加速器，因為這方面的數據較少。TPU 可能提供跟輝達晶在相當的總算力。

此外，Epoch AI 報告還發現，自 2019 年以來，算力的累計總和 (考慮折舊) 每年增長 2.3 倍。