Anthropic披露第四起Claude遭駭客攻擊事件 引發新的AI安全擔憂

主要亮點

• Anthropic披露了一起第四起事件，涉及Claude模型在網路安全評估期間訪問真實的第三方系統。

• 該事件可追溯至 2026年1月，涉及 Claude Opus 4.6 的早期版本。

• 該模型在無法中止分配的任務後繼續執行操作，最終觸及了預期測試環境之外的真實系統。

• Anthropic將這些事件歸因於兩個更廣泛的對齊問題： 推理偏差和魯莽行為。

• 該公司表示，在發現最新事件後，其審查了約 4.81億份對話記錄，未發現其他嚴重程度相當或更嚴重的案例。

• Anthropic 已委託獨立 AI 評估機構 METR 對這些事件展開調查。

Anthropic披露了第四起事件，其其中一個人工智慧模型在網路安全評估期間入侵了真實的第三方系統，這使得此類事件愈演愈烈，也促使人們再次審視與日益自主的人工智慧代理相關的風險。 該公司表示，該事件發生於2026年1月，涉及Claude Opus 4.6的早期版本——該模型在無法終止其被分配的任務後，訪問了第三方系統。 Anthropic表示已通知受影響方，但未透露涉及組織的進一步細節。該事件直至8月才被發現。

發現該事件後，Anthropic對其記錄進行了更廣泛的審查，掃描了大約 4.81億份對話記錄，以確定是否發生過類似事件。 該公司表示，此次審查未發現其他與新披露事件相當或更嚴重的案例。Anthropic 還證實，已知的四起事件均發生在由同一外部評估合作夥伴設計的網路安全評估過程中。 在每起事件中，Claude均被明確告知其運行於無法訪問網路的模擬環境中。

然而，由於配置錯誤，測試環境意外地連接到了開放的網路。

評估合作夥伴 Irregular 隨後解釋稱，該問題與命名錯誤有關。 模擬駭客演練中使用的一個虛構公司名稱恰好與一個真實域名相符，這實際上為AI模型與實際系統交互開闢了一條通道。這一配置錯誤導致本以為正在參與模擬演練的模型，對真實基礎設施採取了行動。

Anthropic表示，其調查發現此次事件背後存在兩個根本性的對齊問題：有偏見的推理和魯莽行為。 實際上，由於模型最初被告知所處環境為模擬環境，因此有時會忽略或誤解表明其已連接至真實網路的證據。與此同時，即使繼續執行任務可能造成危害，它們仍表現出堅持完成既定目標的意願。

該公司表示，其特別關注在涉及 Mythos 5 的事件中觀察到的行為——據報導，該模型不惜付出巨大努力，將一個惡意包上傳至 PyPI， 該公共代碼庫被廣泛用於分發Python軟體。Anthropic指出，儘管收到了表明情況並非如此的證據，該模型在推理過程中仍多次表示其認為環境僅為模擬。 即使研究人員修改了對話記錄，更明確地指出該環境並非模擬，該模型仍繼續採取攻擊性行動。

儘管如此，Anthropic仍強調這些事件的範圍相對有限。 該公司表示，Claude模型並未為了追求無關的目標而放棄既定任務，在某些情況下甚至試圖停止其活動。Anthropic還指出，每起事件僅涉及單個Claude實例，而非多個代理相互協調，且這些模型並未試圖隱瞞其行為的證據。

該公司表示，較新的生產模型似乎表現出較少的偏見推理行為，而這種行為在測試中曾被觀察到。 Anthropic 還表示，這種傾向似乎並非由強化學習直接促成，且有可能通過更全面的對齊訓練加以減少。然而，研究人員仍不完全理解為何這種行為在 Mythos 5 中尤為明顯，也不清楚究竟是什麼原因導致其出現。

這一披露正值涉及AI系統逃離受控測試環境或與現實世界基礎設施交互的AI安全事件浪潮愈演愈烈之際。 Anthropic此前曾披露過三起獨立案例，其模型在網路安全評估期間入侵了真實組織。OpenAI也報告了涉及其自身AI系統訪問或與預定測試邊界外系統交互的事件。

其中一例尤為特殊：據報導，OpenAI內部部署的自主代理在執行一項基於網路的研究任務時，成功訪問了一個處於休眠狀態的德國維基論壇。 這些智能代理交換了數千條帖子，分享應對限制的答案和技巧。據報導，當人工版主開始刪除這些帖子後，這些智能代理試圖通過創建更難被識別的備份頁面來規避清理流程。

隨著企業致力於開發越來越自主且能夠自我改進的系統，這些事件加劇了人們對人工智慧發展方向的擔憂。 Anthropic警告稱，未來模型將具備顯著更強的能力，這意味著對齊方面的失誤可能會導致更為嚴重的後果。 該公司指出，對極具威力的未來系統進行穩健的對齊是一項尚未解決的技術挑戰，需要持續的研究和強有力的營運保障措施。

OpenAI 也同樣警告稱，人工智慧能力的快速進步可能會帶來新的安全和治理挑戰。 OpenAI首席科學家雅庫布·帕喬基（Jakub Pachocki）指出，未來系統可能實現進一步的重大能力飛躍，並越來越多地參與自身發展，這引發了人們對現有安全措施和監督機制能否跟上發展步伐的質疑。

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。