杨立昆推出 H-JEPA 世界模型，挑战主流 Agent 叙事

一个微小的动作在短期、中期和长期分别会造成什么结果？在《复仇者联盟：终局之战》中，美国队长在电梯里仅凭一句“九头蛇万岁”，便骗过特工拿走心灵宝石权杖，掩护了同伴的行动，最终影响了整个宇宙的走向。

图灵奖得主杨立昆（Yann LeCun）团队近期推出的新世界模型 H-JEPA，正是试图通过分层推理的底层逻辑，来推演此类连锁反应。

H-JEPA 到底是什么

H-JEPA 的起点是杨立昆提出的 JEPA（联合嵌入预测架构）。与当前主流的视频生成模型不同，JEPA 不去逐像素绘制下一帧画面，而是把画面压缩成一组抽象向量（潜在表征），并在抽象空间里预测未来。这就像两个人闭眼下盲棋，无需实体棋盘，仅凭口述棋步就能在脑海中推演局势并做出回应。

早在 2022 年，杨立昆就在论文《一条通往自主机器智能的路》中提出过分层 JEPA 的构想，直到四年后的今天才首次有了可复现的完整实现。

H-JEPA 将多个 JEPA 层层堆叠。每一层都配有独立的观察编码器、动作编码器和潜在预测器，在各自的表征空间里预测不同时间跨度后的状态。最底层管得最细、看得最近；越往上的层看得越远、越宏观。在规划时顺序则反过来：高层先给出粗略的目标状态，作为下一层的子目标逐级细化，直到最底层输出具体动作。

这种分层的底层逻辑源于杨立昆曾提出的出行规划概念。比如从北京去上海，人的规划必然是分层的：先想“坐高铁”，再想“怎么去车站”，最后才是“先迈哪只脚”。人在订票时只需要关注时间、价格和车次，绝不会去琢磨车站台阶有多高；迈步的那一层才需要知道重心和地面情况。

这恰恰是 Transformer 架构最头疼的地方。按每个 Token 进行扁平化预测，等于把订票、去车站、下楼梯混在同一层级思考。在长任务中，扁平单层模型需要展开大量细粒度步骤，不仅预测误差会累积，动作搜索空间也会急剧膨胀。

论文以 Visual AntMaze 迷宫任务为参照进行了测试：单层 LeWM 模型的成功率仅为 18%，而升级到三层 H-JEPA 后，成功率跃升至 73%。

不过，层数并非越多越好。在 Push-T 任务中，两层架构表现较好，加到三层、四层后成绩反而下降。论文推测，这是因为任务轨迹本身较短，限制了高层可用的训练数据——三层大约只能用到单层模型 58% 的可迁移训练数据，四层则只剩约 14%。

为什么反对主流 AI 智能体叙事？

H-JEPA 的分层概念，与当下主流的 AI 智能体（Agent）叙事截然相反。

目前 OpenAI、Anthropic 等大厂提升模型能力的方式，是在同一粒度上“向外扩张”：把长任务拆成更多步，依赖更长的上下文窗口，消耗更多 Token 去规划、调用工具、检查并重试。这也导致模型看似降价，实际使用成本却越来越高。

H-JEPA 提出的则是“向上扩张”，通过增加抽象层级，让模型在不同时间尺度上使用不同表征。高层只需在寥寥几步内决定大方向，细节交由下层处理，从而大幅降低规划的计算量。

在今年 1 月的达沃斯论坛上，杨立昆曾直言，大语言模型虽能通过律师考试、会写代码，但无法真正处理现实世界的复杂问题，这也是今天仍没有家用机器人和 L5 级自动驾驶的原因。他当时当着 Anthropic CEO 达里奥·阿莫迪（Dario Amodei）的面表示：“我无法想象，一个不能预先预测自己行动后果的系统，能被称为 Agent。”

在杨立昆看来，真正的 AI 智能体不应是“试一步、看反应、不行再换”，而应该像世界模型 H-JEPA 一样，在执行动作前先在潜在空间里“推演一遍”短期、中期和长期的状态变化。

此外，如今的编程类 AI 智能体高度依赖奖励训练（做对加分、做错扣分）。代码之所以成为主战场，正是因为编译报错、测试通过与否提供了现成的对错信号。Anthropic 也曾提到，Claude 虽能在预设标准下优化代码，但在“自主选择目标”上仍有差距。

H-JEPA 则明确“不用奖励，也不用像素重建”，从头到尾都在表征空间里学习预测下一个状态，无需外部打分。

为什么反对递归自我改进（RSI）？

近期，由前 Meta FAIR 研究总监、杨立昆昔日部下田渊栋联合创立的“递归超级智能”（Recursive Superintelligence，简称 RSI）公司走出隐身模式，融资超 6.5 亿美元，投前估值约 46.5 亿美元。该公司主张让 AI 递归地自我改进。

尽管 RSI 概念大火，但杨立昆在 H-JEPA 论文中对此只字未提。在他看来，无论是世界模型还是理想中的 AI 智能体，其缺失的核心能力都是 RSI 补不上的。

杨立昆认为，RSI 只是一个放大器，只能放大模型原本就有的能力。让大语言模型不断自我改进，最终提升的依然是语言能力，而模型缺失的多模态理解与物理世界推理能力，不会因为迭代次数变多就凭空长出来。

同时，RSI 的运作高度依赖可验证的评判标准，而物理世界并没有现成的分数。例如机器人把杯子推歪了，究竟该扣多少分？在一个没有明确分数可看的物理世界里，“自我改进”根本无从衡量。

论文中的 DROID 真实机器人遥操作视频实验也印证了这一点。由于不同视频片段的场景、灯光、物体不断变化，如果只让模型自由预测，它会走捷径去记忆“这是哪个场景”，而忽略画面中真正运动的机械臂，即出现“慢特征坍缩”（slow-feature collapse），导致模型性能直接归零。研究人员必须人为加入逆动力学约束，要求模型根据前后状态推断中间动作，规划能力才得以恢复。

这表明，让模型理解“动作造成什么后果”，靠的是人类设计的架构约束，而非模型自我迭代。决定模型成败的关键，在于每一层该保留什么信息、丢弃什么信息，以及深层结构是否有充足的数据支撑。在杨立昆的技术路线里，AI 首先要学会正确地表征世界，随后才谈得上自我改进。