李飞飞的世界模型，大厂在反向操作？

A16Z 两位合伙人 Martin Casado 和 Eric Torenberg 对李飞飞进行一次深度访谈。

网上搜索，会看到片段式的观点，整体比较跳跃，难以系统理解。因此，我吸收后，重新梳理脉络，试图汇报给关注空间智能、世界模型的朋友听听：

李飞飞到底在关注什么？她创办的新公司 World Labs，究竟想做什么？这是否预示着 AI 发展的一个新方向？

一

很多人不知道这家公司，2024年，著名人工智能专家、斯坦福大学教授李飞飞创办了初创公司 World Labs；这家公司正在探索一个极具前瞻性的方向：开发具备“空间智能”的下一代 AI 系统。

短短三个月内，World Labs 完成两轮融资，累计筹集资金约 2.3亿美元，估值迅速突破 10亿美元，成为 AI 领域最新的独角兽企业。

投资方阵容也非常的强大，包括 a16z、Radical Ventures、NEA、英伟达 NVentures、AMD Ventures 和 Intel Capital 等科技与风投界的重量级玩家。

这些投资机构，国内市场有些你可能没听过，不过，不重要；关键是：李飞飞首次在这场 A16Z 的访谈中，公开讲述了 World Labs 创立背后的理念构建、研究方向和她的宏大愿景。

那么，她到底说了什么？首先，她回答了一个很尖锐的问题：AI 是否正在从语言模型迈向世界建模？

李飞飞说，是的。

自己不是特别迷恋大语言模型。因为自己以前做过法律工作，那段经历让她意识到：光靠说话和写东西，很难真正理解这个世界。

但这并不意味着，语言模型不重要。

像 GPT、BERT 这些大模型取得的进步，反而让她更加确信：我们正在走向一个更高级的 AI 阶段：这个世界不再只是靠文字描述出来的，是可以被 AI 真正“看到”、“理解”和“重建”的三维空间。

她还引用了马丁（Martin Casado） 一个观点：

人类之所以聪明，不只是因为我们会说话，更重要的是我们会“看”，会“动”，会“操作”这个三维世界。

谈到这里，她举例子说：

DNA 的结构（双螺旋），是典型的三维结构。如果你只靠文字去想象它长什么样，根本想不明白，只有当你真的把它“建出来”，才能理解它的美和复杂性。

还有碳分子，那个富勒烯，长得像个足球一样的结构，也得靠空间上的想象和建模才能搞清楚。

所以，语言模型虽然重要，但它是一个压缩过的信息版本；远远不能代表真实世界的全貌。真正的智能，要能理解和构建这个三维世界才行。

二

既然这样，我们不禁要问：世界模型为什么这么重要？

李飞飞说，很多人第一次听到这个词，觉得有点抽象、很高深。你可以把它理解成：AI 对现实世界的三维理解能力。

什么意思呢？

就像我们人一样，会说话、会思考，会看、会动、能感知这个世界的空间结构。

你看一张桌子，知道它是平的，知道上面有什么东西，还能绕过去、搬起来、放东西上去……这些动作背后，是大脑在构建一个对这个世界的“模型”。

而所谓“世界模型”，是 AI 在尝试做这件事：把视觉、空间感、动作等多个维度的信息结合起来，真正模拟出一个接近真实的世界。

她打了个特别形象的比方：

游戏里的场景生成。游戏设计师不会直接写一段话告诉你“这里有一座山、一条河、一座桥”，而会在游戏引擎里把这些元素真的“建出来”，让你可以走、可以跳、可以绕路。

AI 的世界模型，在试图做类似的事：要“理解”它的形状、位置、与其他物体的关系，甚至它的动态变化，并能预测和操作它。

接着她说了一个特别有意思的设想：

如果一个机器人只能看到二维画面，那它就像是在一个纸片世界里生活。它不知道前面的东西是近还是远，也不知道自己能不能穿过那扇门；只有当它有了三维的理解，才能真正开始在这个世界中自由行动。

所以，世界模型并不仅是技术概念，它是在回答一个更根本的问题：AI 怎样才能真正理解物理世界。

这也正是李飞飞强调的一点：

语言是高度压缩的信息，但它丢失了很多细节。要还原真实世界，必须要有空间建模的能力；换句话说，世界模型，才是 AI 实现“通用智能”的关键一步。

说到这儿，她还分享了一个亲身经历：

五年前，角膜受伤，好几个月失去了立体视觉。结果她发现，自己连开车都变得特别困难；明明知道自己车有多大、路边的车停得多近，但就是判断不了距离，不得不开得特别慢，生怕蹭到别人。

她说：那一刻才真正体会到，人类对世界的理解，是多么依赖空间感；这也让她更加确信，AI 如果没有这种空间理解能力，那就永远只能停留在“看得见”但“看不懂”的阶段。

二

理论终究要落到实处。问题是，构建一个世界模型，要哪些技术？

李飞飞说，要让 AI 真正理解、重构三维世界，是一个非常复杂的过程，目前来看，有几个关键的技术方向正在被重点探索。

首先，是从二维图像到三维重建的能力。

通俗点讲，你给 AI 几张照片，它能还原出一个立体的世界。比如，你从不同角度拍几张桌子的照片，AI 就能推断出这张桌子在空间里是怎么摆放的，甚至能“补全”你看不到的那一面。

这项技术叫 NeRF，全称是 Neural Radiance Fields，听起来有点学术，你可以把它想象成一个“会魔法的相机”；它就像你在拼图，给它几块碎片，它就能猜出整幅画面是什么样子的。

有了这个还不够。

NeRF 虽然重建得准，但它有个问题：计算量太大，运行起来很慢，不适合实时应用。于是，另一个技术就出现了，叫做高斯平面表示法。

什么是高斯平面表示法（Gaussian Splatting）？

简单讲：把空间中的每一个点看作是一个个小圆球，然后通过小球的位置和颜色，来快速描绘出整个场景的样子。

你可以想象一下，小时候玩的积木，每个积木都很小，但放在一起就能搭出一座房子。只不过这里的“积木”，是可以自由变形、移动的小光点。

这个方法的好处是速度快，渲染效率高，特别适合用来做实时交互，比如游戏、VR 或者机器人导航。

不过，这还不是全部。

还有一个特别火的技术，也在为世界模型提供支撑，那就是常听说的扩散模型（Diffusion Models）。

扩散模型最开始用于图像生成，比如你现在看到的很多 AI 绘画工具，背后都有它的影子；但它的能力不止于此。它也可以帮助 AI 更好地理解和生成三维空间内容。

举个例子：假如你有一张模糊不清的照片，扩散模型可以通过不断“去噪”的方式，逐步还原出清晰的画面。同样的道理，它也能帮 AI 把一些粗糙的空间数据变得更精细、更真实。

当然，除了模型本身的技术突破之外，还有一点也很重要：多视角的数据融合。

也就是说，AI 不应该只靠一张照片或者一个镜头看世界，而是要像人一样，能从多个角度观察同一个物体，再综合判断它的形状、位置和运动方式。

这就像，你站在房间的不同位置看一个杯子，每次看到的角度不一样，但你的大脑会自动把这些信息整合起来，形成一个完整的认知。

AI 也要做到这一点，才能真正理解它所处的环境。所以你看，技术是在一步步地让 AI 拥有类似人类的空间感知能力。

不过，这些都还是基础能力。

如果我们想让 AI 不仅看得见、建得出，还能预测这个世界的变化，那就还得引入另一个重要的方向：物理仿真与动态建模。

也就是说，不只是知道一个物体现在在哪里，还要能推测它接下来会怎么动，比如：风一吹树叶会摇摆，门被推开之后会弹回来，或者一个球滚下楼梯时会发生什么。

看似简单的常识，对 AI 来说都是巨大的挑战。

所以，构建一个世界模型，要多种方法协同工作，包括 NeRF、高斯表示法、扩散模型、多视角融合，以及物理建模等多个方向的共同推进。

听完后，我才明白，原来 AI 要理解这个世界，得像人一样，能从多个角度观察、拼接信息、推理关系、预测变化，这背后是一整套复杂的技术组合拳。

三

既然 AI 已经开始理解三维世界，那能力能落地吗？它现在已经使用了吗？

李飞飞说：是的。应用场景远比我们想象得多。

比如，游戏行业；很多游戏公司，不再靠程序员一行行写代码来建模场景了，直接让 AI 根据几张照片或者一段视频，自动生成一个逼真的三维世界。

再比如建筑行业。

以前设计师画一张效果图，可能要几天时间来建模渲染，现在借助世界模型的技术，AI 可以在几分钟内生成整个空间的立体结构，甚至还能模拟阳光从不同角度照进来时的效果。

还有机器人领域；如果一个机器人只有二维视觉，那就像是在一个纸片世界里生活，根本不知道前面的东西是近还是远，能不能穿过那扇门。

还有吗？当然。

数字孪生，也在为现实世界建立一个虚拟剧本；一座工厂、一栋大楼，甚至是一座城市，都可以通过 AI 建立出一个对应的数字世界，用来做预测、测试和优化。

比如：我们可以先在这个虚拟世界里模拟一场火灾疏散，看看哪里会出问题，然后再去现实中改进，而不是等到事情发生了才补救。

另外，她特别提到的方向是创意产业。

创造力本质上是视觉化的。很多艺术家、设计师、建筑师的灵感，是来自于他们对空间的理解和想象，而当 AI 也能拥有这种能力时，它就不仅仅是工具，而是创作者的伙伴。

所以你看，应用不只是停留在技术论文里，它们正在悄悄地改变很多行业的运作方式；李飞飞也提到，这就像是一场新的生产力革命：

过去我们靠语言描述世界，现在我们能让 AI 直接“看到”并“重建”这个世界。

四

看来世界模型应用前景比较广阔，那离真正的广泛应用还有多远？目前还面临哪些挑战？李飞飞说，方向是对的，目前还有不少难题没有解决。

关键有三点。第一是数据问题。

你要让 AI 理解三维世界，它得看到足够多的真实场景，还要有深度信息、空间结构、光照变化等等。

换句话说，AI 要“看懂”这个世界，前提是你得给它提供足够清晰、足够全面的“教材”。但现在这些数据要么很难获取，要么成本太高。

其二，算力还是个大问题。

现在的很多技术，比如 NeRF 或者高斯表示法，效果不错，但对计算资源的要求非常高；跑一个模型要花很长时间、要很贵的显卡。这在实验室里可以接受，但要大规模落地应用，显然不太现实。

还有一个挑战是泛化能力。什么意思呢？

现在大多数 AI 模型只能在特定环境下工作得很好，一旦换到陌生的场景中，就容易“看不懂”、“认错人”或者“走错路”。

就像你训练一只狗只认红色球，结果换了蓝色球，它就不认识了一样；AI 也一样，它需要更强的适应性，才能真正走进千家万户。

另外，光靠某个厉害的算法还不够，得把硬件、软件、数据、应用场景全都打通才行；这不是一个人、一家公司能完成的事，而是需要整个行业共同推动的一场变革。

所以，虽然世界模型的方向没错，前景也很诱人，但现在更像是刚起步的新手，离真正的成熟和广泛应用，还有一段不短的路要走。

既然世界模型还在路上，那凭什么你们（World Labs）能推动它往前走？

李飞飞说，要一个能融合多种能力的团队，而这也是她创办 World Labs 的初衷之一。

目前团队成员来自五湖四海，包括计算机视觉专家、图形学研究者、扩散模型开发者，还有做物理仿真和机器人控制的人才。

她还提到，AI 发展到现在，已经不是“单打独斗”就能突破的。过去是一个人写出一个算法就火了，现在要做世界模型这种系统工程，必须要有不同背景的人一起干。

她举了个例子：

团队里有一位叫 Manu 的研究人员，在 NeRF 和高斯表示法方面有很深的积累；另一位同事叫 Christophor，在扩散模型和生成式 AI 上也非常有经验。

他们不是在复制别人做过的事，是在探索一条全新的路，这条路没有现成的地图，只有靠大家边走边画。

也正是因为这样，她更加确信：未来的 AI 研究范式，正在从“单一学科”走向“多学科融合”，从“个体英雄”走向“集体智慧”。

五

有这样一个多元背景的团队，也意味着在看待 AI 的方式上，会有更多元的视角。

李飞飞作为一个科学家、创业者，同时也曾经从事过法律工作，她也谈到一些关于 AI 和人文之间的关系、AI 和教育之间的影响、以及它如何和法律、伦理这些社会系统一起演进的看法。

她说：在过去很长一段时间里，大家一提到 AI，就想到技术本身，类似于怎么训练模型、怎么提升准确率、怎么优化算法。

但其实，真正决定 AI 能走多远、走多稳的，不只是技术，还有它和社会之间的关系。

拿教育来说：很多学校教 AI 的方式，还停留在“教学生怎么写代码”、“怎么调参”的阶段。她认为，未来的 AI 教育，应该更注重培养学生的批判性思维和社会责任感。

因为 AI 不只是工具，它会影响人的决策、改变社会结构、甚至重塑就业形态。

因此，我们要培养的不只是会写模型的人，更是能思考这个模型该不该被训练、它的影响是什么的人；换句话说，AI 教育不能只教“怎么做”，还要教“为什么做”和“应不应该做”。

对于法律方面，她认为：AI 正在越来越多地参与到现实世界的判断中。比如：说招聘筛选、信用评估、甚至司法判决。那问题就来了：如果 AI 做出了错误的决定，谁来负责？

是开发者？使用者？还是 AI 本身？或许，我们必须提前为 AI 设计好规则边界，否则等到出问题了再补救，可能就来不及了。

最后，她还谈到一个特别有意思的点：很多人觉得 AI 是冷冰冰的数学和算法，她觉得，AI是人类价值观和技术能力的结合体；我们造出什么样的AI，反映的就是我们想成为什么样的社会。

所以，AI 发展到今天，它要哲学家、历史学家、社会学者、教育者、立法者的共同参与。

既然AI是整个社会系统的一场变革，那我们忍不住要问：李飞飞眼中的“空间智能”和“世界模型”，最终会走向哪里？对未来 AI 发展，又抱有什么样的愿景？

她说，内心有很多很多想法，早在做计算机视觉研究的时候就埋下了种子。

那时候就在想：

如果有一天，AI 真的能理解这个三维世界，它会怎么用这种能力？是仅仅用来玩游戏、建地图，还是可以做得更多？

她相信，未来AI 不只是“看得到”，还要“看得懂”；不只是“重建世界”，还要“参与世界”；不只是“执行任务”，还要“与人协作”。

换句话说：AI 终极目标，不是替代人类，而是成为人类在物理世界中的智能延伸。

她打了个比方：就像眼镜让我们看得更清楚，轮椅帮助我们移动得更远，而 AI 将成为我们理解和操作这个世界的新工具。

比如：

医疗领域，AI 可以帮助医生更准确地判断手术路径；在建筑行业，它可以协助设计师快速搭建虚拟模型。

教育中，它可以成为一个能“走进去”的知识空间，让学生真正“看到”分子结构、历史场景、甚至宇宙演化；这不是科幻，而是正在发生的技术演进。

关于 AGI，她也提到一个很关键的观点：

我们今天讨论的世界模型，是未来通用人工智能（AGI）的第一步；真正的 AGI，不只靠语言或文字来理解世界，而是要有空间感知、动态推理、交互能力和创造能力。

这些，才是世界模型所代表的方向。

所以，空间智能、世界模型，不仅是一场技术探索，更是一次关于人机关系、社会进步、以及未来生活方式的重新定义。

从语言到世界，从二维到三维，李飞飞所描绘一个 AI 更懂人、更贴近现实、更能与我们一起生活和工作的时代。

这一切，听起来宏观，实现起来难吗？

从上往下看，确实不容易。如果我们换个角度，从下往上看呢？在中国，像字节、腾讯、阿里、百度这些领先的企业，已经在尝试给自己的 AI ToC 产品加上一双眼睛。

当AI开了天眼之后，会不会倒逼空间智能的加速呢？换句话说，与其构建，不如先让AI先读懂世界，何尝不是一种选择？有意思的问题，我还在观察。

你怎么看？

资料参考：

[1]. a16z. (2025， June 4). How Fei-Fei Li is rebuilding AI for the real world ；YouTube：https://youtu.be/fQGu016AlVo?si=RRZe7RbVsjr3EPHF

本文来自微信公众号：王智远，作者：王智远

相关推荐

李飞飞的世界模型，大厂在反向操作？
AI教母李飞飞揭秘世界模型
看见的世界，看不见的李飞飞
还得说是李飞飞
李飞飞的历险
对标李飞飞！前华为美研CTO创业，要让机器人理解物理世界
“AI教母”李飞飞：世界是三维的，我们需要尊重这一事实
00后李飞飞学生联合创业，破解世界级机器人难题，被稚晖君投资
李飞飞：大模型没有主观感觉能力，多少亿参数都不行
李飞飞：Sora可以生成电影，但无法替代宫崎骏创造的感动

网址: 李飞飞的世界模型，大厂在反向操作？ http://www.xishuta.com/newsview137008.html