AgentGarten让智能体在代码试炼场中实时进化

推开一块挡板，通道就此封闭；搬来一段坡道，高墙便有了越过的可能。

每一次行动都会改变世界，而改变后的世界，又成为AI智能体下一次决策的起点。当这样的世界可以由代码构建、由扩散模型实时绘出，AI便拥有了一座可以反复探索的“试炼场”：亲自行动，观察后果，验证猜想，再把经验带进下一轮。

MirroS团队发布的 AgentGarten 正是为此而生。它将可执行的代码环境与实时神经渲染器相连：代码定义物理规则，模型生成视觉反馈，以超过30 fps的吞吐量让智能体持续与世界交互。

智能体缺的，是一个能反复练手的世界

想让AI真正理解物理世界，仅靠观看海量视频远远不够。就像学游泳不能只看录像，智能体必须亲自在环境中采取行动，观察实际结果并持续受其物理变化约束。

当前的两条主流技术路径各有局限：

• 传统的代码与游戏引擎：状态精准、规则透明，每一次物理碰撞都清清楚楚。但场景大多是粗糙的几何白模，若让海量开放场景具备拟真光影，美术建模成本是天文数字。
• 视频生成世界模型：虽然能生成高清画面，但物理规律隐式储存在神经网络中，缺乏可查询、可干预的确定状态，极难判定任务裁判规则与精准物理接触。

MirroS的解法是：物理交给代码，光影交给神经模型。

代码推进世界，模型负责“看起来怎样”

在AgentGarten中，一次交互闭环极具条理：智能体给出动作指令；代码环境立即计算物理碰撞与状态更新，并从智能体的第一人称视角导出空间深度或表面法线等“几何草图”；随后神经渲染器结合视觉记忆，瞬间生成拟真的下一帧画面。

这种分工带来了两大优势：

1. 物理规则确定可控：接触判定与胜负逻辑完全由代码裁决，不存在幻觉物理。
2. 场景扩展轻量化：任何极简的代码场景只要能输出三维深度和法线轮廓，就能套用神经渲染器生成写实材质。无论是机械臂操作还是多车竞速，虚拟环境搭建从“美术劳动密集型”转变为“代码程序化扩展”。

更重要的是，渲染器支持流式生成，动作走一步、画面画一段，让决策像在现实中一样连贯。

捉迷藏重访：从2500万局到4轮演化

在OpenAI 2019年著名的捉迷藏实验中，AI依靠强化学习从零摸索掩体搭建耗费了约2500万局，学会借坡道翻墙经历了约1亿局。

MirroS团队在AgentGarten中采用一对一设定重做了该实验。智能体通过Python代码控制动作，完全凭眼前生成的渲染画面做决策，对空间绝对坐标和对手位置一无所知。

结果显示，躲藏者在第4轮便学会搬动挡板搭建掩体，搜寻者在第10轮掌握了借坡道翻墙。在跳跃失败后，搜寻者还会主动推近坡道、调整位置重新尝试。

边玩边记：建立经验演化闭环

快速进化的核心在于智能体自己撰写的“实验手册”。演练被划分为四个环节：

• 领受任务：明确行动目标与规则红线，不给标准答案。
• 盲盒试错：在严格步数和时限内自主行动，仅依靠相机画面决策。
• 撰写手册：每轮结束后复盘，记录尝试动作、观测现象与后续验证假设。
• 封存传代：手册归档，直接作为先验经验交给下一轮智能体。

翻阅手册可以发现严密的认知递进。例如躲藏者总结出“防守的核心在于堵住通道，而非仅挡住视线”；搜寻者则提炼出“搬东西前先微拉一下，确认抓稳而非卡死”的操作法则。

跨任务泛化与30 fps实时渲染

相同的闭环在另外四个任务中同样表现优异：

• 陪伴小狗：智能体通过适时互动维持好感度，得分从首轮13分升至第4轮19分；
• 狭桥会车：两辆车依据第一人称视野协商互让，双车通关耗时从71秒降至41秒；
• 合作牧羊：两只牧羊犬协同将四只羊全部赶入羊圈；
• 采石场装载机：重型装载机推石、送料、入库全流程，最终在时限内提前31秒完成。

为了支撑这种高频交互，团队采用Adversarial Forcing训练法与精准重放机制，解决了长序列交互的时序漂移和画面伪影问题；同时手写定制Triton融合算子，结合CUDA Graph优化调度与轻量解码器，最终实现了480p分辨率下超过30 fps的超低延迟实时渲染。