OpenAI最新模型 Astra 使用了 ByteNet 架構：Transformer 中的每一層都進行了多次計算。

動察 Beating AI 快訊，OpenAI 即將發布的 Astra 用上了一種循環推理架構 recurrent depth，也叫 looped transformer。普通 Transformer 每生成一個 Token，會固定穿過一層層網路；Astra 可以讓同一段資訊反覆經過同一組層，多算幾輪再輸出。

這條路線位元組去年已經公開做過。Seed 團隊發布的 Ouro 就是一種 Looped Language Model，同樣讓一組 Transformer 層循環運行，將更多計算放進模型內部。模型不用一直生成更長的思維鏈，也能增加推理計算量。較小模型因此能用更多計算，做到接近更大模型的效果。

這種架構也帶來一個安全問題。部分推理發生在內部隱藏狀態裡，人類看不到完整文字記錄，更難通過思維鏈檢查模型有沒有違規。OpenAI 因此限制了 Astra 使用 recurrent depth 的程度，讓它仍保留可讀的思維鏈，並準備加入額外的 CoT 監控。

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。