AI不會放緩

作者：Ye Su；來源：X，@allen_su1024

周末。Dario 突然發了一篇長文《We Must Pace the Frontier》，第一次非常明確地提出：前沿AI應該主動限速。

他的理由也很簡單。AI未來5到10年可能大幅推動疾病治療、經濟增長和社會繁榮。但到了2026年，事情開始變了。Agent已經真正進入現實世界，模型開始參與下一代模型的研發，自我改進越來越快，而最近發生的一系列alignment incident也說明，我們理解和控制它們的速度，正在跟不上能力增長的速度。

所以Dario提出，希望用1到2年的時間差，把alignment、interpretability、安全評測和工程安全補上。Sam Altman、Elon Musk隨後也表達了支持。三個過去一言不合就吵的人，罕見地達成一致。

周一資本市場全線下跌，大家開始認真討論這是否是AI資本投入放緩的拐點。

在我看來，AI現在不可能放緩。

因為人類不是第一次面對自己恐懼的技術。

AI現在會不會放緩？未來會怎樣限制？

要回答這個問題，我們必須把時間拉回到人類第一次面對核危機。

1945年，曼哈頓計劃造出了第一顆原子彈。一個月後，廣島、長崎被摧毀，二戰結束。潘多拉魔盒打開以後，美國人自己也嚇了一跳。僅僅一年後的1946年，美國就提出了著名的Baruch Plan：建立一個國際機構，控制鈾礦、核材料、危險核設施和核技術，最終消滅各國擁有的原子彈。那時候，全世界只有美國有核武器。

彼時彼刻，像不像此時此刻？我已經把東西造出來了，然後我發現這東西實在太危險了，於是告訴全世界：要不我們大家都慢一點。

結果當然失敗了。

因為蘇聯還沒有原子彈。站在蘇聯的角度，這句話翻譯一下就是：你已經有了，然後告訴我不要造。甚至美國自己當時的態度也很現實。在一套真正有效、可以驗證的國際控制體系建立以前，美國不可能放棄自己的核優勢。嘴上談的是人類安全，桌子底下算的依然是國家安全。

接下來發生了什麼？蘇聯1949年成功核試驗，英國1952年，法國1960年，中國1964年。不到20年，核武器從美國一家獨占，變成了五個大國都有。

中國是一個很極端的例子。我爺爺就在當時的核反應組工作，所以跟我講到那時中國的艱難時歷歷在目。那時候新中國才成立十幾年，正趕上大躍進後的糧食危機，民不聊生工業基礎薄弱，1960年蘇聯又中止援助、撤走專家。

飯都快吃不上了，原子彈還搞不搞？

陳毅當時有句話非常有名：「就是把褲子當了，也要把原子彈搞出來。」

毛澤東講得更直接：「原子彈，沒有那個東西，人家就說你不算數。」

這兩句話，把AI軍備競賽的本質講透了。當一種技術開始決定一個國家未來會不會被欺負、有沒有戰略話語權、能不能坐上牌桌的時候，危險不危險也，不會成為退出競爭的理由。真正重要的是別人會不會先擁有。

所以，AI的2026年更像核時代的1946年。

今天Dario、Sam、Elon開始喊AI應該慢一點，就像美國剛剛擁有原子彈以後，突然意識到潘多拉魔盒裡放出來的東西可能連自己都控制不了。但Dario自己也很清楚這個問題，所以他特意強調，美國的AI限速必須建立在美國仍然領先中國的基礎上。

可是，中國會放緩嗎？DeepSeek，Kimi，千問會放緩嗎？只要AGI仍然代表下一代經濟、軍事、科研甚至國家治理能力，任何一個大國都會得出和60年前中國幾乎一樣的答案：沒有這個東西，人家就說你不算數。

所以AI安全最終首先是一個博弈論問題。

那什麼時候才有可能真正開始放緩？

我覺得至少要出現三個條件。

第一，實現AGI

為什麼是AGI？不到AGI這一步，人類不會滿足，也不足達到「AI真正會毀滅人類」的恐懼。

馬斯克從2014年開始把AGI比作核武器，2024年Abundance Summit接採訪說過，AI可能終結人類，機率是10% - 20% 左右。

我在2023年gpt 4發布那天髮長推做出了類似的預測。我們都認為是杞人憂天，等AGI出現時，這個恐懼才會無差別的籠罩所有人。

第二，至少3個主要國家或者陣營擁有AGI

為什麼是至少3個國家，因為約束法案實際上是強國對弱國的打壓，而至少3家才能形成穩定博弈。

核武器真正出現第一次有效約束，是到了1963年，美蘇雙方更已經擁有相互毀滅的能力，這時候才第一次出現真正落地的《部分禁止核試驗條約》。再到1968年，美國、蘇聯、英國、法國、中國五個核國家都已經出現，NPT才被推出來，逐漸形成今天整個核不擴散體系的基礎。

領先者喊「大家別搞了」的時候，後來者不會聽。等後來者也拿到了，大家才開始討論：好了，現在誰也消滅不了誰了，我們能不能定一點規則。

AGI大機率也一樣。只有當美國、中國，以及至少另一個主要力量都真正拿到AGI以後，「限制能力繼續增長」才第一次可能成為一場相對平等的談判。那時候大家手裡都有槍了，才有資格坐下來談槍支管制。

第三，AI造成真正的史無前例危機

1962年以前，美蘇已經知道核戰爭很危險。科學家知道，軍方知道，總統也知道。但知道是一回事，親眼看到世界差點毀滅，是另一回事。

古巴導彈危機期間，美蘇核力量進入極度危險的對峙，人類第一次發現，核戰爭不是幾十年以後一個抽象的理論風險，它可能下星期就發生。就是在這場危機之後，美蘇開始真正加速核軍控談判。一年後，1963年的《部分禁止核試驗條約》簽署。

所以我認為，AI可能也需要自己的「古巴危機」。今天OpenAI Agent攻破Hugging Face，會讓AI公司緊張，但遠遠不夠。真正改變國家決策的事故，可能是某個AI進入國防系統後發出了錯誤指令。可能是一場自主發動的大規模網路攻擊，讓一個國家的金融、電力或者通信系統癱瘓。可能造成幾百億美元損失，甚至第一次真正導致大量人類死亡。

也可能比這些嚴重得多，嚴重到今天的我們根本想象不出來。

等到那一天，全世界第一次親眼看到：我們造出來的這個東西，真的有可能不聽我們的。那時候，AI安全才會從矽谷CEO的長文、研究機構里的alignment論文，真正變成美國總統、中國領導人和各國軍方桌面上的最高優先級問題。

核武器從1945年第一次爆炸，到1968年NPT開放簽署，走了23年。中間經歷了一輪又一輪軍備競賽，五個大國先後拿到了核武器，還差一點爆發真正的核戰爭，最後放緩規則才出現。

Dario周末自己說嘗試建立類似「核軍控體系」的國際AI風險控制。

如果這個類比成立，那麼今天真正值得問的，可能不是AI什麼時候會放緩。

而是，在全世界終於願意一起踩下剎車之前，我們還要經歷什麼？

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。