「HBM之父」：未來AI競爭看記憶體 未來3D架構決勝散熱與供電 中美會追趕上來

被韓媒譽為「HBM 之父」的韓國科學技術院 (KAIST) 教授金正浩 (Kim Jung-ho) 醉心表示，AI 的本質就是記憶體。

他在接受《東亞日報》專訪時提出上述顛覆性觀點時指出，過去業界過度聚焦模型算法與 GPU 算力，但當大模型實際運行時，注意力機制、上下文緩存 (KV Cache) 與推論生成的每一個環節，都高度依賴記憶體系統的支撐。

金正浩表示，HBM 透過將多層 DRAM 垂直堆疊，大幅拓展資料傳輸的「車道數」，並生動比喻稱「傳統記憶像 8 道高速公路，HBM 則是 1024，甚至 2048 車道，未來可能演進至百萬車道」。

然而，頻寬的提升並未根除瓶頸。大模型在輸出瞬間需頻繁從 HBM 或未來的 HBF(高頻寬閃存) 讀寫資料，導致 GPU 絕大部分時間處於「等待資料抵達」的閒置狀態。

金正浩估計，即便部署百萬個 GPU，真正用於計算的時間僅約 10%，即便透過演算法優化，也很難超過 30%。

為解決「資料搬運」的能耗與延遲問題，金正浩預測未來 AI 運算將走向「以記憶體為中心」。

他將理想的 3D 架構比喻為一棟百層大樓：「在一樓安裝 GPU，資料只需搭電梯下樓計算，整棟樓解決所有事，省去長途奔波。」從 HBM4 開始，部分 GPU 功能將整合進記憶體結構中。

金正浩還進一步描繪三層異質記憶體指出，速度最快的 HBM(堆疊 DRAM) 扮演百貨公司存放熱數據，容量巨大的 HBF(堆疊 NAND) 如同公寓樓群存放冷數據，而他提出的 HBS(高頻寬 SRAM) 則作為超低延遲的緩存。GPU/CPU 將置於頂層，專注於散熱與調度。

金正浩特別點出，輝達執行長黃仁勳近期頻繁訪韓，正因 GPU 微架構的效能成長已近停滯，且高發熱特性使其難以像記憶體般大規模堆疊。

他認為，未來 3D AI 電腦的供電與散熱能力將成核心競爭力，決定企業生死。這也意味著擁有 DRAM 與 NAND 雙重技術累積的三星與 SK 海力士，有機會在未來架構中佔據核心地位。

不過，金正浩也警示，這並非簡單的「GPU 時代」切換為「記憶體時代」，而是 GPU、HBM、先進封裝、網絡互連與散熱的系統級競賽。

面對中國業者積極自研 GPU/NPU 並帶動本土記憶體發展的追趕壓力，金正浩則對韓國業界直言：「這是一場關係生存的長期競爭，只能努力活到最後。」