BlockBeats 律動財經
動察 Beating AI 快訊,英國 AI 研究機構 Prefrontal 與蘇黎世聯邦理工學院研究者開源了 Latent Sparse Attention(LSA),一種針對超長上下文的稀疏注意力技術。
DeepSeek、MiniMax、智譜等模型已經採用稀疏注意力,每次只處理少量關鍵 Token,減少計算。但為了找出這些 Token,許多現有方法仍要用輕量索引器掃描全部歷史資訊,逐個打分。研究者在 1000 萬 Token 的 GLM-5.3-Flash 實驗中發現,單層稀疏注意力的預填充時間,有 98% 花在了篩選資訊上。
LSA 先根據內容相似度,把不同位置的 Token 聚成組,再讓索引器對這些組打分,從中選出相關 Token。這樣一來,原本需要逐個檢查的 Token,可以先按組篩選。團隊還嘗試建立多級索引,讓模型逐層縮小搜尋範圍,不必每次查遍全部分組。
研究者將 LSA 接入 GLM-5.3-Flash 和 Qwen-3.8-27B,保留原有模型權重,只額外訓練少量索引參數。在 NVIDIA H200 上,GLM 的單層預填充比原有稀疏注意力快 22.7 倍,整模型首 Token 延遲降低約 55%。Qwen 相比原有全注意力的單層預填充快 72.4 倍,整模型首 Token 延遲降低約 89%。
不過,最高加速成績來自仍需掃描全部分組的版本。能夠進一步減少搜尋量的多級索引,在 GLM 千萬 Token 測試中出現了明顯的準確率下降。
如果能在保住準確率的同時,讓檢索不必遍歷全部歷史,AI 就有機會更高效地處理數千萬 Token 的程式碼、文獻和長期 Agent 運行記錄。目前 LSA 已經驗證了按語義分組的加速效果,但多級檢索還需要進一步改進。
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略,專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!
上一篇
下一篇