李飞飞重磅发声：改变人类文明后，这个技术将定义AI的下一个时代

▲李飞飞博客（来源：社交平台X）

以下为李飞飞博客全文翻译：

标题：跨越语言，构筑世界：空间智能——AI的下一个前沿（From Words to Worlds: Spatial Intelligence is AI’s Next Frontier）

1950年，当计算机还不过是自动化运算和简单逻辑时，艾伦·图灵（Alan Turing）提出了一个至今仍回响的问题：机器能思考吗？他以他非凡的想象力提出了一个可能：智能有朝一日是可以被创造出来的，而非天生的。这一洞见后来引发了一场关于AI的不懈科学探索。在我投身AI领域25年后，我仍发现自己深受图灵远见的启发。但我们离那个目标还有多远呢？答案并不简单。 如今，大模型等AI技术已开始改变我们获取和运用抽象知识的方式。然而，它们仍然是黑暗中的打磨文字的匠人；能言善辩却缺乏经验，知识渊博却根基不稳。空间智能将改变我们创造和体验现实及虚拟世界的的方式——它将彻底革新叙事、创造力、机器人技术、科学发现等领域。这是AI的下一个前沿领域。

自我进入该领域以来，对视觉和空间智能的追求一直是指引我的北极星。这也是我花了数年时间构建ImageNet的原因，ImageNet是首个大规模视觉学习和测评数据集，与神经网络算法和图形处理单元（GPU）一起成为促成现代AI诞生的三大关键要素之一。过去十年，我在斯坦福大学的实验室一直致力于将计算机视觉与机器人学习相结合。我和联合创始人贾斯汀·约翰逊（Justin Johnson）、克里斯托夫·拉斯纳（Christoph Lassner）、本·米尔登霍尔（Ben Mildenhall）在一年多前创立了World Labs，希望第一次真正实现这一愿景。 在这篇文章中，我将解释空间智能是什么、它为何重要，以及我们如何构建能够解锁空间智能的世界模型，这种能力将重塑创造力、具身智能和人类的进步。

一、空间智能：人类认知的支架

AI正处于前所未有的令人振奋的时刻。大模型已经从实验室走进日常生活，成为数十亿人用于创意、提高生产力和交流的工具。它们展现出了曾被认为不可能的能力，如轻松生成连贯的文本、大量的代码、逼真的图像，甚至是短视频片段。现在，我们无需再问AI是否会改变世界，无论从哪个角度来看，它已经改变了世界。

然而，仍有许多目标还未实现。自主机器人的愿景虽让人向往，但仍停留在猜想阶段，离未来学家长期以来所描绘的日常生活仍有距离。在疾病治疗、新材料发现、粒子物理等领域，AI加速科研的梦想在很大程度上仍未实现。而真正理解并赋能人类创造者的AI承诺——无论是学习分子化学复杂概念的学生、可视化空间的建筑师、构建世界的电影制作人，还是任何寻求完全沉浸式虚拟体验的人——依然遥不可及。

要理解为何这些能力依然难以实现，我们需要回顾空间智能是如何进化的，以及它如何塑造了我们对世界的理解。

视觉长期以来一直是AI的基石，但其力量源自更为根本的机制。早在动物能够筑巢、养育幼崽、用语言交流或建立文明之前，简单的感知行为就悄然引发了一场通向智能的进化之路。

这种看似孤立的从外部世界获取信息的能力，无论是微弱的光线还是触感的感觉，在感知和生存之间架起了一座桥梁，而随着世世代代的更替，这座桥梁变得越来越坚固和复杂。从这座桥梁上，层层神经元生长，形成了解读世界、协调有机体与周围环境互动的神经系统。因此，许多科学家推测，感知和行动成为了驱动智能进化的核心循环，也是大自然创造我们的基础——即感知、学习、思考和行动的最终体现。

空间智能在定义我们如何与物理世界互动方面起着根本性作用。每天，我们都依靠它来完成最平常的动作：通过想象车头与路缘之间不断缩小的间隙来停车，接住从房间另一头抛来的钥匙，在拥挤的人行道上避开碰撞，或者迷迷糊糊地不用看就能把咖啡倒进杯子里。在更极端的情况下，消防员要在倒塌的建筑中穿行，在不断变化的烟雾中瞬间判断建筑结构的稳定性和逃生机会，并通过手势、肢体语言和难以言传的共同的职业本能进行交流。而孩子们则在学说话前的几个月甚至几年里，通过与周围环境的游戏互动来认识世界。所有这一切都发生得无意识、自然而然——这是机器尚未掌握的流畅性。

空间智能也是我们想象力和创造力的基础。讲故事的人在脑海中创造出独特丰富的世界，并利用多种视觉媒介将其呈现给他人，从古老的洞穴壁画到现代电影，再到沉浸式电子游戏。无论是孩子们在海滩上建造沙堡，还是在电脑上玩《我的世界》，这种基于空间的想象力构成了现实或虚拟世界中交互的基础。在许多行业应用中，对物体、场景和动态互动环境的模拟推动了从工业设计到数字孪生、再到机器人训练等无数关键业务的发展。

历史充满了定义文明的时刻，在这些时刻里，空间智能屡次扮演着核心角色。在古希腊，埃拉托斯特尼将影子转化为几何学，他在亚历山大测量出一个7度的日影角度，对比同一时刻太阳直射、没有影子的赛恩，从而计算地球的周长。哈格里夫斯的“珍妮纺纱机”通过空间洞察力彻底改变了纺织制造业，他将多个纺锤并排放置在一个框架中，使一名工人能够同时纺出多根线，生产效率提高了八倍。沃森和克里克通过物理构建3D分子模型发现了DNA的双螺旋结构，他们不断调整金属板和电线，直到碱基对的空间排列准确无误。在以上案例中，当科学家和发明家需要操作物体、想象结构并推理物理空间关系时，正是空间智能推动了人类文明的前进，而这些都无法仅凭文字所描述。

空间智能是构建我们认知的支架。无论是我们被动地观察，还是主动地创造，它都在发挥作用。它推动着我们的推理和规划，哪怕是在处理最抽象的思考上也是如此。它对于我们与他人或与环境的互动（无论是语言上的还是肢体上的）都至关重要。虽然我们大多数人每天并不会像埃拉托色尼那样揭示新的宇宙真理，但我们几乎都在以相同的方式思考，通过感官感知复杂的世界，再利用我们对物理和空间规律的直观理解来形成我们对这个世界的认知。

遗憾的是，当下的AI还不具备这样的思考方式。

过去几年，AI的确取得了巨大进步。多模态大模型在文本数据之外还引入了大量多模态数据进行训练，使AI具备了一些空间感知的基础知识。如今，AI可以分析图片、回答图片相关问题，并生成高度逼真的图像和短视频。凭借传感器和触觉技术的突破，最先进的机器人也可以开始在高度受限的环境中操作物体和工具。

然而，坦率地说，AI的空间能力仍远不及人类水平。而且AI的局限性很快就会显现出来。最先进的多模态大模型在估算距离、方向和大小等任务上，或者通过从新角度重新生成物体来进行“心智旋转”（mentally rotating）时，表现通常不如随机水平。它们无法在迷宫中导航、识别捷径，也无法预测基本的物理现象。AI生成的视频虽令人惊叹，但往往在几秒钟后便失去连贯性。

当下最先进的AI在阅读、写作、研究和数据模式识别方面表现出色，但在对物理世界的表征和交互时，这些模型仍然存在根本性的局限。人类对世界的认知是整体性的，不仅包括我们看到了什么，还包括一切事物在空间上的联系、其意义以及重要性。通过想象、推理、创造和互动来理解世界，而非依赖语言描述，这就是空间智能的力量。没有空间智能，AI将与它试图理解的物理现实脱节。它无法有效地驾驶汽车，引导家里和医院中的机器人，无法为学习和娱乐提供沉浸式互动体验，也无法加速材料科学和医学的发现研究。

哲学家维特根斯坦曾说：“我的语言的界限意味着我的世界的界限。”我不是哲学家，但我深知，对于AI来说，世界远不止是文字。空间智能代表着超越语言的前沿，它连接了想象力、感知力和行动力，为机器真正赋能人类生活开辟了可能性，从医疗到创造力，从科学发现到日常助理。

二、AI的下一个十年：构建真正具备空间智能的机器

那么，我们如何构建具备空间智能的AI呢？这些AI不仅要像埃拉托斯特尼那样进行空间推理，像工业设计师一样精准地进行工程设计，像讲故事的人一样富有想象力地创作，且还能够像应急救援人员一样自然地与环境互动……要开发出这样的模型，其路径是什么？

要构建具备空间智能的AI，我们需要远不止大模型那样的体系，而是更具雄心的世界模型。世界模型是一种全新的生成式模型，它能够理解、推理、生成，并与语义、物理、几何和动态复杂的虚拟或现实世界进行互动，其能力远超目前的大模型。这一研究领域还处于起步阶段，目前的探索方法涵盖从抽象推理模型到视频生成系统。World Labs正是在这一信念下于2024年初创立，我们认为，这一领域的基础方法仍在建立中，而这将是下一个十年AI发展的决定性挑战。

在这个新兴领域，最重要的建立一套可以指导发展的核心原则。对于空间智能而言，我将对世界模型定义为具备这三种基本能力的系统：

1、生成性（Generative）：世界模型可以生成具有感知、几何和物理一致性的世界。

要实现空间理解和推理，世界模型就必须有生成自己模拟世界的能力。它们能够根据语义或感知指令生成无穷无尽、各不相同的模拟世界，并保持几何、物理和动态上的一致性——无论这些世界是代表真实世界还是虚拟世界。研究界正积极探索这些世界应当在内在几何结构方面应该被隐式还是显式地进行表示。此外，除了具备强大的潜在表示能力外，我认为一个通用的世界模型还必须能够生成清晰、可观察的世界状态，以适应多种不同的应用场景。尤其重要的是，它对当前世界的理解必须与过去紧密关联，即与导致当前状态的世界先前状态保持一致。

2、多模态性（Multimodal）：世界模型在设计上就是多模态的。

就像动物和人类一样，世界模型应该能够处理各种形式的输入，在生成式AI领域，这些输入通常称为提示词。面对部分不完整的信息，这些信息无论是图像、视频、深度图、文本指令、手势还是动作，世界模型应该尽可能地预测或生成完整的世界状态。这要求模型能以真实视觉的精度处理视觉输入，同时以同样的能力理解语义指令。这使得Agent和人类都能够通过多样化的输入与模型进行交流，并获得同样多样化的输出反馈。

3、互动性（Interactive）：世界模型可以根据输入的动作输出下一个状态。

如果动作或目标是世界模型输入提示的一部分，那么它的输出必须包含下一步的世界状态，这种状态可以是隐式的，也可以是显式的。当世界模型接收到一个动作（无论是否有目标状态）作为输入时，它应输出与世界先前状态、预期目标状态（如果有的话）、其语义含义、物理定律和动态行为相一致的结果。随着空间智能世界模型在推理和生成能力上的变得更强大，可以想象，在给定的目标情况下，世界模型不仅能够预测世界的下一个状态，还能够基于这一新状态预测下一步动作。

这项挑战的规模，超过了AI以往面临的任何挑战。

语言是人类认知中的纯粹的生成现象，而世界遵循的规则却要复杂得多。例如，在地球上，引力支配着运动规律，原子结构决定了光如何产生色彩和亮度，无数物理定律制约着每一次交互。即使是最富幻想和创意的虚拟世界，也依然由服从这些物理定律和动态行为的空间物体和Agent组成的。要让语义、几何、动态和物理在同一个模型中保持一致，需要全新的方法。世界的表示维度远比语言这种“一维、序列信号”要复杂得多。要让世界模型实现能够提供我们作为人类所享受的那种通用能力，我们需要克服多个巨大的技术障碍。在World Labs，我们的研究团队正致力于为实现这一目标取得基础性的突破。

以下是我们当前正在研究的一些课题示例：

1、一种用于训练的全新通用任务函数：

为世界模型定义一个像大模型中的下一个token预测那样简单而优雅的通用任务函数，一直是世界模型研究的核心目标。然而，由于其输入和输出空间的复杂性，这一函数本质上难度更高。尽管仍有许多有待探索的地方，但这种目标函数及其相应的表示方式，必须要反映几何和物理定律，并尊重世界模型作为既是想象的表现又是现实的具象化的基本性质。

2、大规模训练数据：

训练世界模型需要比文本整理更复杂的数据。不过好消息是，大规模的数据源已经存在。互联网级别规模的图像和视频资源，为训练提供了丰富且可获取的训练材料。真正的挑战在于，如何能够从这些二维图像或视频帧（即RGB信号）的数据中提取更深层空间信息的算法。过去十年的研究显示，语言模型性能的提升遵循数据量和模型规模之间的扩展规律；对于世界模型来说，关键突破在于构建能够以相似规模利用现有视觉数据的架构。此外，我们认为也不应低估高质量合成数据和其他模态数据（如深度信息和触觉）的价值。它们在训练过程的关键步骤能对互联网级数据起到补充。但未来的道路取决于更好的传感器系统、更强大的信号提取算法以及更强大的神经网络仿真方法。

3、新的模型架构和表征学习：

世界模型研究必然会推动模型架构和学习算法的进步，特别是在超越当前的多模态大模型和视频扩散模型的范式方面。这两者通常将数据标记为一维或二维序列，让一些简单的空间任务变得异常困难，比如在一个短视频中数清不同的椅子，或者记住一个小时之前房间的布局。新的架构可能会有所帮助，例如在分词、上下文和记忆机制中引入三维或四维感知方法。例如，World Labs最近的实时生成框架模型（RTFM）就展示了这种转变，该模型使用空间感知的帧作为一种空间记忆形式，在保持生成世界的持久性的同时实现了高效的实时生成。

显然，在我们能够通过世界建模完全解锁空间智能之前，仍然面临着艰巨的挑战。这项研究不仅仅是一个理论探索，它还是新一代创造性和生产力工具的核心引擎。而在World Labs里，我们取得的一些进展令人振奋。我们最近与少量用户分享了Marble的初步体验，Marble是首个可以通过多模态输入提示，生成并保持一致的三维环境的世界模型，它让用户和创作者能够在这个虚拟空间里探索、互动并在他们的创作流程中进一步构建。我们正在努力工作，让Marble尽快向公众开放。

Marble只是我们创建真正具有空间智能的世界模型的第一步。随着研究加速推进，研究人员、工程师、用户和企业领导者都开始认识到这项技术的非凡潜力。下一代世界模型将使机器在全新的层面上实现空间智能——这将解锁当今AI系统中仍普遍缺失的关键能力。

三、利用世界模型为人类建设更美好的世界

AI的发展动机至关重要。作为推动现代AI时代到来的科学家之一，我的动机始终明确：AI必须增强人类能力，而非取代人类。多年来，我一直致力于将AI的开发、部署和治理与人类需求相契合。如今，关于技术乌托邦和世界末日的极端叙事层出不穷，但我依然秉持更为务实的观点：AI由人开发、为人服务、受人治理。它必须始终尊重人的自主性和尊严。AI的神奇之处在于它能拓展我们的能力，让我们更具创造力、更紧密相连、更高效且更有成就感。空间智能体现了这一愿景，AI赋能人类创造者、照护者、科学家和梦想家，帮助我们实现曾经不可能的事情。正是这种信念驱使我致力于将空间智能视为AI的下一个伟大前沿领域。

空间智能的应用将分阶段推进。目前，创意类工具正在涌现，World Labs的Marble已经将这些能力交到创作者和故事讲述者手中。机器人技术是雄心勃勃的中期目标，我们正在完善机器人感知与行动之间的循环。而最具变革性的科学应用可能需要更长时间，但它们有望对人类的福祉产生深远影响。

在这些不同的发展阶段中，有几个领域具备重塑人类能力的潜力，因而脱颖而出。要实现这一目标，这需要巨大的集体努力，远非一个团队或一家公司所能企及。它需要整个AI生态系统的参与，包括研究人员、创新者、企业家、公司，甚至政策制定者，都朝着共同的愿景努力。这个愿景值得我们追求，未来将从以下几个方面展开：

1、创造力：为叙事和沉浸式体验赋能

“创造力是智慧在享受乐趣”，这是我心目中的英雄阿尔伯特·爱因斯坦的名言之一，也是我最喜欢的名言之一。早在文字出现之前，人类就开始讲故事，人们把故事画在洞穴的墙壁上，代代相传，在共同的叙事基础上构建起完整的文化。故事是我们理解世界、跨越时空建立联系、探索人性意义的方式，最重要的是，它帮助我们在自身中找到生命和爱的意义。如今，空间智能有潜力改变我们创作和体验叙事的方式，不仅保留叙事的根本重要性，并将其影响扩展到娱乐、教育、设计、建筑等多个领域。

World Labs的Marble平台将把前所未有的空间能力和编辑控制权交到电影制作人、游戏设计师、建筑师和各类故事讲述者手中，让他们能够快速创建并反复迭代完全可探索的三维世界，而无需传统三维设计软件所需的复杂成本。创造本身依旧像以往一样至关重要且充满人性，而AI工具只是放大并加速了创作者的潜能。这包括：

多维度的叙事体验：电影制作人和游戏设计师正在使用Marble来构建完整的虚拟世界，不受预算或地域的限制，并探索在传统制作流程中难以触及的各种场景和视角。随着不同媒介和娱乐形式之间的界限逐渐模糊，我们正在迎来一种全新的互动体验，它融合了艺术、模拟和游戏——个性化的世界，在这个世界里，不仅仅是大型工作室，任何人都可以创造并沉浸在自己的故事中。随着将创意和分镜转化为完整体验的新方法和其他更快速的方式不断涌现，叙事将不再局限于单一媒介，创作者可以自由地在众多界面和平台上构建拥有共同主线的世界。

通过设计实现空间叙事：从本质上讲，每一个人造物体或建筑空间在实体创建之前都必须先在虚拟三维环境中进行设计。这个过程具有高度的迭代性，且通常需要花费大量时间和金钱。有了空间智能模型，建筑师在进行设计之前就能快速可视化建筑结构，甚至可以走进尚未存在的空间中，讲述我们可能的生活、工作和聚会方式。工业和时尚设计师可以立即将想象力转化为实物形态，探索物体如何与人体和空间相互作用。

全新的沉浸式和交互式体验：体验本身，是我们人类创造意义的最深刻方式之一。在整个人类历史中，我们只有一个单一的三维世界：我们共同生活的物理世界。直到近几十年，通过游戏和早期的虚拟现实（VR），我们才开始窥见由人类自己创造的另一个世界。而现在，空间智能与新的设备（如VR和扩展现实（XR）头显以及沉浸式显示器）相结合，使这些体验达到了前所未有的高度。我们正在迈向一个未来，在这个未来里，走进一个完全实现的多维世界，将如同打开一本书般自然。空间智能使世界构建不仅对拥有专业制作团队的工作室开放，也对个人创作者、教育工作者以及任何有愿景想要分享的人开放。

2、机器人技术：行动中的具身智能

从昆虫到人类，动物都依赖空间智能来理解、探索和与周围世界互动。机器人也不例外。自该领域创立以来，具备空间感知能力的机器一直是其梦想，我在斯坦福研究实验室与学生和合作者开展的工作也正是围绕这一目标展开。这也是我对利用World Labs正在构建的模型充满期待的原因，它们有可能让这一梦想成真。

通过世界模型扩展机器人学习能力：机器人学习的进展取决于可行训练数据的可扩展解决方案。鉴于机器人必须学习理解、推理、规划和与之交互的巨大状态空间可能性，许多人推测，真正创建可泛化的机器人需要结合互联网数据、合成模拟和对人类演示的现实世界捕捉。但与语言模型不同，当今机器人研究的训练数据十分稀缺。世界模型将在这方面发挥决定性作用。随着它们提高感知保真度和计算效率，世界模型的输出可以迅速缩小模拟与现实之间的差距。这将有助于在无数种状态、交互和环境的模拟中训练机器人。

成为伙伴与协作者：作为人类协作者的机器人，无论是在实验室协助科学家，还是帮助独居老人，都能在劳动力紧缺和生产效率亟需提升的背景下，承担重要角色。但要做到这一点，就需要具备空间智能，能够感知、推理、规划和行动，同时在情感上与人类的目标和行为保持一致。例如，实验室机器人可以操作仪器，让科学家专注于需要灵巧性或推理能力的任务，而家庭助理机器人可以帮助老年人做饭，同时不减少他们的乐趣或自主性。真正具有空间智能的世界模型，能够预测环境的下一个状态，甚至可能预测与人类预期相符的行动，对于实现这一目标至关重要。

拓展具身形态多样性：人形机器人在我们为自己构建的世界中发挥着作用，但技术创新的全部潜力，将体现在更加丰富多样的设计形式中：比如能输送药物的纳米机器人、在狭小空间中穿梭的软体机器人，以及为深海或外层空间打造的机器。无论其形态如何，未来的空间智能模型都必须整合这些机器人所处的环境以及它们自身的具身感知和运动。但开发这些机器人的一个关键挑战是，缺乏适用于各种具身形式的训练数据，世界模型将在模拟数据、训练环境和基准测试任务中发挥着关键作用。

3、长远展望：科学、医疗和教育

除了创意和机器人应用外，空间智能还将对其他领域产生深远影响，尤其是在AI能够挽救生命、加速发现、增强人类能力的领域。我在下面重点介绍三个具有深刻变革性的应用领域，不过，空间智能的应用不止于此。

在科学研究中，空间智能系统可以模拟实验、并行测试假设，并探索人类无法到达的环境——从深海到遥远的行星。这项技术可以改变气候科学和材料研究等领域的计算建模。通过将多维模拟与现实世界的数据采集相结合，这些工具可以降低计算门槛，并拓展每个实验室的观测和理解范围。

在医疗健康领域，空间智能将重塑从实验室到病床边的各个环节。在斯坦福大学，我的学生和合作者多年来一直与医院、老年护理机构和家庭中的病患合作。这段经历让我深信空间智能在此领域的变革潜力。AI可以通过对分子相互作用进行多维度建模来加速药物研发，通过帮助放射科医生在医学影像中发现模式来提升诊断水平，还能实现环境监测系统，在不取代治疗所需的人际联系的前提下支持患者和护理人员，更不用说机器人在许多不同场景中帮助我们的医护人员和患者的潜力了。

在教育领域，空间智能可以实现沉浸式学习，使抽象或复杂的概念变得具体可感，并创造迭代式体验，而这种体验对于我们大脑和身体在学习中的运作方式至关重要。在AI时代，更快、更有效的学习和再培训需求对于学龄儿童和成年人来说尤为重要。学生可以探索细胞机制，或多维度地体验历史事件。教师可以通过互动环境获得个性化教学的工具。专业人士——从外科医生到工程师——可以在逼真的模拟中安全地练习复杂技能。

在所有这些领域中，可能性是无限的，但目标始终如一：AI增强人类专业知识、加速人类发现并放大人类关怀，而不是取代对人类至关重要的判断力、创造力和同理心。

结论

过去十年，AI已成为一种全球现象，并成为技术、经济乃至地缘政治的一个转折点。但作为一名研究者、教育者，以及现在的创业者，最激励我的仍然是图灵75年前那个问题背后的精神。我仍然和他一样充满好奇。正是这种好奇，让我每天都因空间智能的挑战而充满动力。

在人类历史上，我们第一次有机会打造出与现实世界高度契合的机器，让我们能够在面临重大挑战中将它们作为真正的可依靠的伙伴。无论是在实验室中加速对疾病的理解，彻底革新我们讲述故事的方式，还是在我们因疾病、受伤或衰老而最脆弱的时刻给予支持。我们正站在一项技术的风口浪尖，这项技术将提升我们最关心的生活层面。这是一幅更深刻、更丰富、更有力量的生活愿景。

近5亿年前，大自然赋予远古动物最初的空间智能萌芽，而今天，我们有幸成为即将赋予机器同样能力的一员，并有幸能够利用这些能力造福全世界的人们。如果没有空间智能，我们对真正智能机器的梦想就无法真正实现。