AI記憶體牆突破在望？HBM分離封裝＋光學互連成GPU新架構主流方向

為解決 AI 晶片長期面臨的「記憶體牆」困境，半導體封裝業界正積極討論新一代設計方案，將 GPU 或 ASIC 運算單元與高頻寬記憶體（HBM）分離封裝，再透過光學互連技術加以串接，藉此突破現行架構的物理限制，大幅擴充 HBM 的安裝數量。

根據《ZDNet》報導，儘管每一代 GPU 的運算效能持續大幅躍升，但記憶體的資料供給速度卻遠遠落後。HBM 雖提供了更寬的資料通道，但面對 AI 運算需求的爆炸性成長，頻寬與傳輸速度仍捉襟見肘。

隨著 HBM 堆疊層數從 12 層、16 層邁向 20 層以上，垂直堆疊技術已逼近臨界點，工藝難度呈指數級攀升，JEDEC 固態技術協會甚至已放寬 HBM 高度規範以因應需求。

然而，更根本的瓶頸在於空間。在 2.5D 封裝架構下，GPU 晶片周邊可容納 HBM 的面積成為關鍵限制條件，使可配置的 HBM 數量受到物理空間約束。隨著現有封裝周邊空間逐漸被用盡，GPU 周圍已難以再容納更多 HBM 模組。

為打破這一困境，業界提出將 HBM 安置於距離 GPU 數公分之處，採環形排列於 GPU 周圍，或在電路板中央設立獨立的 HBM 區域，再透過光學訊號連接兩者。

由於光訊號傳輸速度遠超電訊號，即便物理距離拉長，也不會造成明顯的延遲損耗，卻能徹底掙脫晶片邊長對 HBM 數量的束縛。

一位韓國大型記憶體廠商的研究人員向 ZDNet 透露：「我們目前正努力擴展 HBM 的頻寬與容量，同時也在與客戶討論如何透過光連接克服 GPU 的空間限制，以安裝更多 HBM。」

他表示，相關討論涵蓋多種方案，從充分利用 GPU 周邊空間，到將 HBM 完全隔離至 GPU 基板下方皆有涉及，後者需要顯著擴大主板尺寸並調整整體形態，目前已與 GPU 廠商展開討論，但這些仍屬下一代 AI 加速器的前期研究，尚未定案。

光學互連的構想已有具體技術成果可循。在 2025 年的 Hot Chips 大會上，Celestial AI 展示了其光子互連模組，可使用光訊號連接下一代大規模 GPU 與加速器中的各晶片，並將光學介面布置於 ASIC 晶片之間，把周邊空間留給 HBM 的電氣介面。

一位全球 OSAT 封裝廠高層表示，光學互連已是明確趨勢，問題僅在時機。他預判技術落地將由大到小逐步推進，先從機架間、伺服器間導入光學連接，再進入單板內的晶片間光互連，並指出目前研發速度相當快，晶片間光互連的實現時間點或許並不遙遠。

不過，技術挑戰同樣不容小覷。一位韓國共同封裝光學（CPO）元件開發業者指出，GPU 與 HBM 之間的光學互連，雖與資料中心伺服器間的光通訊原理相同，但必須將原本用於大型設備的光電轉換技術縮小至晶片級別，「光學元件需要做得更小、整合度更高，技術難度也更大。」