不只拚HBM！SK海力士把「光」塞進封裝 布局CPO突破AI頻寬牆

AI算力高速擴張，但限制大型AI系統效能的瓶頸，正從晶片算力轉向「資料搬不動」。HBM大幅提升GPU周邊記憶體頻寬後，加速器、板卡與機架之間的資料傳輸成為下一道「頻寬牆」。SK海力士(000660KS) (SKHY-US) 士因此將技術布局從HBM延伸至共同封裝光學（CPO），試圖把光搬進封裝，突破AI系統互連瓶頸。

SK海力士與維吉尼亞大學、伊利諾大學厄巴納—香檳分校、南洋理工大學、麻省理工學院及延世大學研究人員，8月19日在《Nature Electronics》發表題為《Co-packaged optics for high-performance computing and artificial intelligence》的綜述論文。

這項研究並未公布單一CPO裝置效能，而是從系統層級提出路線圖，涵蓋高速電互連限制、電光與光電介面、光傳輸路徑，以及2D、2.5D與3D異質整合，同時點出熱管理、可製造性及標準化等商業化難題。

HBM解決封裝內頻寬 下一道牆移向系統

HBM透過矽通孔堆疊多顆DRAM，並利用寬介面靠近GPU或AI加速器，大幅提高記憶體頻寬，緩解AI訓練與推理時的本地資料供給問題，SK海力士也是這波AI基礎設施擴張的主要受益者之一。

然而，隨著AI系統規模擴大，資料流動範圍早已超出單一加速器封裝。

大型模型訓練需要同步大量參數、梯度及中間結果，推理叢集也必須在不同運算節點之間調度快取與請求。即使節點內部頻寬快速提升，節點之間仍受到電連接損耗、SerDes功耗、連接埠密度與交換層級限制。

SK海力士指出，計算吞吐量約每兩年增加3倍，但互連頻寬同期僅提升約1.4倍。兩者增長速度持續拉開，意味即使增加更多GPU，若集體通訊與遠端資料存取速度無法同步提升，新增算力仍可能因等待資料而無法充分發揮。

因此，AI的「頻寬牆」正在向外移動。第一階段是處理器存取記憶體，由HBM改善封裝內資料供給；第二階段則轉向加速器、板卡及機架之間的資料移動，未來甚至可能延伸至運算池與共享記憶體池之間。

HBM與CPO因此形成上下兩層能力：HBM負責把資料高速送到運算核心附近，CPO則試圖把高吞吐能力延伸至更大的系統範圍。

把光搬進封裝 縮短高速電路徑

傳統可插拔光模組通常位於交換器或伺服器面板，高速電訊號從交換晶片出發後，必須經過封裝、印刷電路板走線與連接器，才能抵達光模組進行電光轉換。

隨著傳輸速率提高，電通道插入損耗、均衡複雜度及SerDes功耗都會上升，面板空間也會限制連接埠密度。

CPO的核心思路，是將光引擎放進交換晶片、GPU或其他XPU的同一封裝內，或至少移到非常靠近晶片的位置，讓電訊號只需承擔毫米至公分級的短距離傳輸，之後便交由光纖負責更長距離的資料移動。

這種設計結合電連接在短距離上的成熟度，以及光連接在較長距離上的能效與訊號完整性優勢。

但真正落地並非只要把光引擎搬近晶片即可，包括驅動器、調變器、光源、探測器、跨阻放大器及控制電路，都必須共同滿足頻寬、功耗與熱穩定性要求。

SK海力士將下一代CPO目標歸納為三項，包括單節點頻寬超過100 Tb/s、傳輸能源效率低於1 pJ/bit，以及晶片對晶片延遲低於10奈秒。

三項指標必須同步考量，因為單純提高頻寬可能增加功耗，降低單位元能耗可能犧牲傳輸距離，而降低實體鏈路延遲，也可能被協定與網路擁塞抵銷。

從2D走向3D 先進封裝成關鍵

CPO進一步發展，也意味光子晶片與運算晶片必須愈靠愈近。論文將整合方式分為2D、2.5D及3D三條路線。

2D整合將電子晶片與光子晶片並排放置，透過封裝內走線連接，製程成熟度、測試及替換相對容易控制，適合早期導入；2.5D則利用中介層承載GPU、交換晶片、HBM與光子晶片，提供更細的互連間距與更高佈線密度，讓光學介面進一步靠近運算核心。

到了3D異質整合，電子積體電路、光子積體電路與運算晶片可透過堆疊進一步縮短連接距離，在頻寬密度與潛在能效上最具吸引力，但也同時放大熱耦合、材料差異、機械應力、測試覆蓋與良率管理難度。

因此，2D、2.5D與3D並非彼此取代，而更像逐步提高整合深度的工程路線。2D與2.5D有望率先累積量產經驗，3D則需要更成熟的製程、散熱及良率控制。

CPO能否商業化，也不能只看光子晶片本身的實驗數據，晶圓製造、先進封裝、光纖耦合、測試、散熱、良率損失及現場維護都必須納入成本。

光互連再往前走 瞄準記憶體池

SK海力士對CPO的想像並未停留在交換晶片。其長期架構進一步指向「光學中心型」系統，讓光互連深入AI基礎設施內部，串連運算資源池與記憶體資源池，使運算節點能依不同任務取得所需容量及頻寬。

背後原因在於，大模型訓練與推理的不同階段，對運算、容量與頻寬需求並不同步。若GPU與記憶體固定綁定，可能出現部分GPU等待資料、另一部分記憶體容量卻閒置的情況。池化則允許系統動態組合運算與記憶體資源，提高整體利用率。

不過，光連接只能解決實體傳輸的一部分。共享記憶體池仍涉及一致性協定、位址管理、存取權限、故障隔離、擁塞控制及服務品質，遠端存取的總延遲也包含光電轉換、交換、協定堆疊與排隊時間。

因此，低於10奈秒的晶片間鏈路目標，並不代表應用程式存取遠端記憶體也能達到相同延遲。

在這套架構中，CPO也不是取代HBM，而更可能形成互補。高頻使用、延遲敏感的資料仍靠近GPU，由HBM提供極高本地頻寬；容量較大或重複使用率較低的資料則可進入共享記憶體池。

SK海力士從記憶體走向系統介面

對SK海力士而言，投入CPO研究也代表其角色開始從記憶體元件向更大的系統架構延伸。公司已透過HBM深入GPU與AI加速器核心封裝，當客戶的最佳化目標從單顆晶片擴展至整個機架與叢集，記憶體供應商也必須理解資料離開HBM後，如何穿過交換網路並在不同運算節點之間流動。

CPO與HBM同樣高度依賴高密度互連、異質整合及熱管理，也共享部分良率與測試難題。SK海力士可將HBM累積的堆疊、封裝及客戶驗證經驗延伸至更大的光電系統，但光源、矽光子及高速類比電路仍需要合作夥伴。

更重要的是，當CPO、HBM及記憶體池進入聯合設計，供應商與客戶之間的關係也可能從傳統規格、價格及供貨，進一步延伸至架構、封裝及長期技術路線協同。

不過，目前這條路線仍處於研究與技術定義階段。現有資料並未揭露SK海力士CPO產品編號、量產節點、客戶名單、資本支出或營收目標，因此現階段更適合視為SK海力士擴大下一代AI系統技術布局，而非近期商業化訊號。

商業化仍卡在熱、良率與成本

CPO要真正走向大規模部署，仍有多項工程問題待解。首先是功耗，調變器、探測器、驅動器、跨阻放大器、數位控制與光源都必須計入整體能耗，要達成低於1 pJ/bit的目標，需要各環節同步改善。

散熱同樣棘手。GPU與交換晶片本身就是高熱流密度元件，而光子元件對溫度變化又相對敏感。當光引擎愈靠近運算晶片，雖然能縮短電路徑，卻也會加劇熱耦合，封裝必須同時處理熱點、雷射穩定性、材料膨脹差異與冷卻設計。

製造與良率則是另一道關卡。CPO把不同製程製造的高價值晶片整合進同一封裝，任何光纖耦合誤差、微凸點缺陷或單一光通道失效，都可能拖累整體良率，因此晶圓級測試、已知良品晶片篩選、封裝後校準及老化測試都必須建立完整流程。

此外，協定、標準、可靠度與成本也直接影響商業化速度。傳統可插拔光模組故障後可以單獨更換，CPO卻將光學元件放進昂貴封裝，使維修模式完全不同。只有當每比特總持有成本能穩定優於替代方案，客戶才有擴大部署的誘因。

因此，SK海力士把光搬進封裝，描繪的是HBM之後更大的AI系統競爭版圖。當算力成長速度遠超互連頻寬，下一場競爭已不只是誰能提供更快的GPU或更高頻寬的記憶體，而是如何讓資料在晶片、封裝、板卡、機架乃至整個叢集之間更有效率地流動。

CPO方向已逐漸清晰，但能否真正跨過AI系統的頻寬牆，仍取決於散熱、製造良率、標準與成本等問題能否同步突破。