OpenAI首席科學家回應Astra爭議：新架構沒讓模型突然變黑箱

動察 Beating AI 快訊，OpenAI 首席科學家 Jakub Pachocki 反駁了外界對 Astra 迴圈架構的部分解讀。他說，包括 Astra 在內，OpenAI 現在的前沿模型，計算圖深度和 GPT-4 最多隻差 2 倍，並沒有突然增加幾個數量級。

這主要是在回應《The Information》此前的報導。報導爆料 Astra 使用 recurrent depth，讓同一組 Transformer 層反覆計算。部分推理因此可以發生在模型內部，不必全部寫成思維鏈，也引發了模型會不會越來越難監控的擔憂。

Pachocki 承認，CoT 監控確實很脆弱，而且正在往更難監控的方向發展。但他明確表示，原因並不取決於模型架構變化。OpenAI 從第一代推理模型開始就在保留和使用 CoT 監控，目前仍把增強這項能力列為核心研究目標。

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。