鉅亨網新聞中心
AI新聞摘要輝達(NVDA-US)正將AI代理安全推向基礎設施層。輝達周一(28日)推出Open Agent Safety Platform，透過開源軟體與專用硬體構建多層安全機制，限制AI代理的權限和行為。Anthropic則與輝達合作，將Claude Managed Agents接入相關安全體系。
此次合作核心是OpenShell和Claude Managed Agents。輝達提供開源OpenShell運行時軟體，為AI代理設置預設受限的執行環境；Anthropic則提供Claude Managed Agents，並透過憑證保險庫等機制管理AI代理權限。
雙方希望在企業部署AI代理時，進一步控制其能夠訪問的資料、工具、網路和系統資源。
輝達還推出運行在BlueField-4 DPU上的Sentry安全層，可以獨立於AI代理運行環境持續監控其行為，並在發現越權操作時進行隔離。輝達稱，Sentry能夠在毫秒級阻斷可疑AI代理活動。
輝達稱此次推出的安全軟體可能阻止近期發生的一起Hugging Face相關事件。輝達方面表示，如果當時使用相關技術，根據公司目前掌握的資訊，該平台可能阻止相關事件。
Open Agent Safety Platform主要由OpenShell和Sentry兩層組成。其中，OpenShell是一套開源AI代理運行時軟體，透過沙箱和權限策略限制AI代理的活動範圍。輝達表示，該系統可以控制AI代理對檔案、網路、程序、工具和憑證等資源的訪問，並預設阻止未經授權的操作。
Sentry則將安全控制進一步延伸至硬體層。該系統運行在輝達BlueField-4 DPU上，與運行AI代理的主機環境相對獨立，可以持續檢查AI代理的請求和回應，並對資料、工具、API和服務進行訪問控制。
輝達表示，如果AI代理試圖突破既定的軟體邊界，Sentry可以對其進行隔離。相比單純依賴模型自身遵守安全規則，這一架構增加了額外的運行時和硬體防護層。
Anthropic此次參與的重點是Claude Managed Agents。Claude Managed Agents能夠將AI代理運行循環放置在獨立伺服器上，並與執行具體任務的沙箱環境分開。在此基礎上，該服務與OpenShell及BlueField進行整合，為企業提供更細緻的AI代理權限控制。
Notion、Rakuten和Asana等企業已經在生產環境中使用Claude Managed Agents。這意味著，企業部署Claude等AI代理時，可以在模型之外增加一套獨立的安全控制機制。AI代理可以繼續自主執行任務，但其能夠訪問哪些資源、使用哪些工具，以及出現異常時是否繼續運行，都可以透過額外的軟體和硬體層進行限制。
此次發布也發生在AI代理安全問題受到更多關注之際。輝達執行長黃仁勳表示，隨著AI能力不斷發展，AI安全能力也需要同步推進，並稱AI安全需要「全棧工程」。
輝達此次並沒有把安全能力侷限於某一個AI模型，而是將其延伸到AI代理運行時、伺服器以及網路和運算基礎設施。對於企業而言，這意味著AI代理的安全邊界可以從模型本身進一步擴展至執行環境。
目前，超過100家機構參與相關技術。除Anthropic外，輝達還披露，SpaceXAI正在將相關平台用於Cursor coding agents和Grok模型，Salesforce和SAP也在推進OpenShell相關整合。
隨著AI代理從聊天工具逐步轉向能夠調用工具、訪問資料並自主執行任務的企業軟體，圍繞AI代理權限、隔離和即時監控的基礎設施需求也在擴大。
輝達此次推出開放式安全平台，並與Anthropic等AI廠商展開合作，正試圖將這類安全能力納入AI基礎設施體系。
上一篇
下一篇
