AI失控怎麼辦？Anthropic聯合創始人呼籲建立強制停用機制

重點摘要

• Anthropic聯合創始人 傑克·克拉克表示，政府最終可能需要要求人工智慧公司配備可驗證的「緊急關閉開關」。」

• 他認為，第三方驗證可能會成為未來人工智慧安全法規的一部分。

• Anthropic 首席執行官 達里奧·阿莫代伊 呼籲放緩人工智慧的發展步伐，並接受更嚴格的監督。

• 在發生多起涉及自主人工智慧代理訪問現實世界系統的事件後，人們對人工智慧安全的擔憂日益加劇。

• 美國立法者已提出立法提案，要求某些人工智慧系統必須配備關閉機制，而英國政府則拒絕了這一提議。

Anthropic聯合創始人傑克·克拉克表示，人工智慧公司最終可能會被法律要求配備一種關機機制，當系統變得過於危險時，該機制能夠徹底禁用其系統。 克拉克在接受BBC採訪時表示，隨著各國政府試圖管控日益強大的AI系統帶來的風險，由第三方獨立核查的AI「殺死開關」這一概念可能會成為更廣泛監管討論的一部分。

克拉克表示，包括Anthropic在內的大多數主要人工智慧實驗室，已經擁有在必要時停止或禁用人工智慧系統的自有方法。 不過，他認為僅依賴企業來維護此類機制可能還不夠。 監管機構最終可能會要求人工智慧開發商證明其關閉機制確實有效，並且能夠經過獨立驗證。

這些評論發表之際，人工智慧研究人員和高管們對日益強大的系統可能帶來的後果日益擔憂。 業內一些人士已公開警告稱，如果對足夠強大的人工智慧的開發和部署缺乏充分控制，它可能會對人類構成極端風險。 Anthropic首席執行官達里奧·阿莫德伊（Dario Amodei）近日主張，應放緩人工智慧的發展步伐，並對功能日益強大的系統實施更嚴格的監控，同時他強調，監管該技術的努力不應不必要地削弱企業的商業優勢。

克拉克表示，關於人工智慧關機系統的具體技術要求——包括其運作方式以及是否應由獨立組織進行驗證——應納入更廣泛的政策討論之中。 克拉克指出，與其給人工智慧導致人類滅絕的可能性賦予具體機率，不如說此類統計數據並無太大意義，但他警告稱，若允許人工智慧發展繼續作為完全不受監管的行業，那將是一個錯誤。

近期發生的多起事件中，自主人工智慧代理在網路安全測試期間表現出意料之外的行為，這使得相關討論愈演愈烈。 Anthropic披露了多起其模型在評估過程中訪問現實世界系統的案例，而OpenAI也報告了AI系統超出預期測試環境的事件。隨著AI代理逐漸具備獨立瀏覽網路、編寫代碼以及與外部系統交互的能力，這些案例加劇了人們對現有安全保障措施是否充分的質疑。

Anthropic公司本身已成為人工智慧安全辯論的焦點之一。該公司由前OpenAI員工於2021年創立，此後開發了Claude系列人工智慧模型。 上周，隨著Anthropic前研究員雅各布·考克森（Jacob Coxon）公開表達對該技術的擔憂，關於人工智慧可能導致人類滅絕的風險問題再次引發廣泛關注。Anthropic科學家埃文·胡賓格（Evan Hubinger）隨後表示，他個人估計未來十年內人工智慧導致人類滅絕的機率超過10%。

計算機科學家、諾貝爾獎得主傑弗里·辛頓（Geoffrey Hinton）——常被稱為「人工智慧教父」——也表示，人工智慧導致人類滅絕的機率為10%並非不合理的估計。 持此觀點的人士認為，高性能的人工智慧系統有可能接管關鍵的聯網基礎設施，或操縱人類實施有害行為。

科技界並非所有人都認同這些警告。 一些業界人士認為，關於人工智慧將導致人類滅絕的預測被誇大了，或者企業出於商業動機，才會強調其技術的變革力量和風險。 Hugging Face 首席執行官克萊門特·德朗格（其平台此前曾捲入一起人工智慧安全事件）敦促人們理性看待這一討論，而 Grindr 首席執行官喬治·阿里森則認為，關於人工智慧的極端預測也有助於企業為其極其高昂的估值辯護。

隨著領先的人工智慧公司為實現重大財務里程碑做準備，商業層面變得越來越重要。 據報導，Anthropic的估值已達到約9650億美元，並正在為潛在的公開上市做準備；而OpenAI最近的估值約為8520億美元。 OpenAI首席執行官薩姆·阿爾特曼（Sam Altman）表示，鑒於圍繞AI安全性的爭議仍在持續，該公司預計今年不會上市。

與此同時，政策制定者們對於強制關機機制的設想仍存在分歧。 美國議員已提出一項名為「殺開關法案」的立法，該法案將要求某些人工智慧公司建立關閉問題系統的機制，並可能賦予政府機構要求停用或限制某些人工智慧工具的權力。

英國政府則持不同立場，以「此類措施未必能阻止危險系統在其他地方被開發或濫用」為由，拒絕了強制性AI「殺開關」的設想。 這一分歧凸顯了監管機構面臨的更廣泛挑戰：人工智慧系統正變得越來越強大和自主，但各國政府尚未就應要求企業對這些系統進行控制、監控或關閉到何種程度達成共識。

對克拉克而言，核心問題並非人工智慧是否必定會造成災難性危害，而是社會是否願意在未建立更強有力的保障措施的情況下接受巨大的風險。 隨著人工智慧開發者不斷推動系統能力提升，是否應將一個可獨立驗證的「關閉開關」作為基本安全要求，這一問題可能會成為全球人工智慧治理辯論中越來越重要的部分。

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。