Cerebras推出AI推理解決方案 號稱比輝達GPU快20倍

總部位於加州的人工智慧新創公司 Cerebras 今天推出了 Cerebras Inference，聲稱這是世界上最快的人工智慧推理解決方案。

Cerebras 在部落格文章中表示：「Cerebras Inference 為 Llama3.1 8B 提供每秒 1800 個 token ，為 Llama3.1 70B 提供每秒 450 個 token ，這比 NVIDIA (NVDA-US) 基於 GPU 的超大規模雲端快 20 倍。」

Cerebras Inference 由第三代晶圓級引擎提供支援，公司聲稱其 GPU 解決方案的運行價格，是競爭對手的五分之一，同時由於消除了記憶體頻寬障礙，而獲得了更高的速度。

Cerebras 表示：「Cerebras 透過構建世界上最大的晶片。並將整個模型存儲在晶片上，解決了記憶體頻寬瓶頸。」 「憑藉我們獨特的晶圓級設計，我們能夠在單個晶片上集成 44GB SRAM，從而消除了對外部記憶體以及連接外部記憶體與計算的慢速通道的需求。」

Artificial Analysis 共同創辦人兼執行長 Micah Hill-Smith 表示，Cerebras 在 Artificial Analysis 的人工智慧推理基準測試中處於領先地位。 「Cerebras 為 Meta 的 Llama 3.1 8B 和 70B AI 模型提供的速度比基於 GPU 的解決方案快了一個數量級。我們在 Llama 3.1 8B 上測量了每秒超過 1,800 個 token 的速度，在 Llama 3.1 上測量了每秒超過 446 個 token 的速度。」

Cerebras 本月稍早申請首次公開募股，預計今年下半年上市。

這家公司最近還任命了兩名新董事會成員，分別是 IBM (IBM-US)、英特爾 (INTC-US) 和 Spansion 的前高管 Glenda Dorchak，以及 VMware 和 Proofpoint 前財務長 Paul Auvil。

這家新創公司也向上市邁出了重要一步，本月稍早聘請了 Bob Komin 擔任財務長。 Komin 曾擔任 Sunrun (RUN-US) 的財務長，領導其 IPO 流程。他還曾擔任被雅虎收購的 Flurry 和被微軟 (MSFT-US) 收購的 Tellme Networks 的財務長。

 J. Gold Associates 分析師 Jack Gold 表示，「但在我們獲得更具體的現實基準和大規模運作之前，現在估計它到底有多優越還為時過早。」