李飛飛全新「世界模型」問世 僅單張H100就能生成無限3D世界

史丹佛大學教授李飛飛領導的 World Labs 正式推出其全新即時生成式世界模型 RTFM（Real-Time Frame Model，即時幀模型），僅需單塊 H100 GPU，就能即時渲染出持久且 3D 一致的世界。

RTFM 是一款效率極高的自回歸擴散 Transformer 模型，它透過對大規模視訊數據進行端到端學習，無需建立顯式的三維表徵，便能從輸入的 2D 影像中，即時生成同一場景下、不同視角的全新 2D 影像。簡單來說，RTFM 可被視為一個「學會了渲染的 AI」。

RTFM 最引人注目的成就，在於其極致的運算效率和持久性。它僅需單塊 H100 GPU，便能以互動式幀率（frame rate）即時渲染出一個持久且 3D 一致的模擬世界。這項創新解決了長期以來困擾生成式世界模型對龐大算力依賴的難題。

RTFM 的設計旨在克服當前硬體瓶頸，實現高效且可擴展的世界模型，其核心圍繞以下三大原則：

高效能（Performance）： 僅需單一 H100 GPU 即可實現即時推理，使得這類未來模型在當前硬體上即可部署體驗。

可擴展性（Scalability）： 採用通用的端到端架構，不依賴傳統難以隨數據增長而擴展的顯式 3D 表示，為未來的持續技術進步奠定了基礎。

持久性（Persistence）： 引入「帶位姿的影格」（posed frames）作為空間記憶，並運用「上下文調度」（context juggling）技術，確保無論使用者互動時間多長，模擬世界都能保持幾何形狀的持久性與一致性。

李飛飛 World Labs 指出，RTFM 的發布，真正解決了世界模型在算力吞噬方面的擴展性問題。這項技術路線證明了將世界模型視為「從資料中端到端學習的渲染器」的可行性，為未來創建強大、可互動、遵循物理規律的模擬世界奠定了里程碑式的技術路線，預計將對媒體、娛樂、機器人技術等眾多產業帶來革命性影響。