重大技術突破！傳OpenAI提升技術助推理成本砍半 GPU用量驟降至數百顆

AI 領域再傳震撼彈！外媒引述知情人士消息報導，OpenAI 本月稍早內部展示一項重大技術突破，透過全新研發的優化方案，成功將模型推理成本削減超過一半，大幅提升算力使用效率。

據悉，OpenAI 工程師向內部同仁展示，當將新技術應用於處理 ChatGPT 免費與付費帳號外的訪客請求時，所需的輝達高階 GPU 數量竟驟降至僅「數百顆」水準，與先前動輒需要數萬顆頂級晶片的規模相比，堪稱奇蹟。

目前，OpenAI 如何實現此效率躍進的具體細節尚不明朗，但根據業界推測，常用的優化手段可能包括：透過「量化壓縮」降低運算精度、「鍵值快取 (KV Cache)」減少重複計算、「批次處理」合併多筆查詢，或將簡單請求分流至功耗較低的輕量化模型。

這項突破對長期飽受高昂算力成本困擾的生成式 AI 產業而言，無疑是一劑強心針。

若能有效降低對昂貴 GPU 的依賴，不僅能大幅改善 OpenAI 的財務結構，更有望加速 AI 技術在更廣泛場景的普及與落地。