用慢速大模型打快节奏街机：延迟预算与实时系统架构

人类其实是慢思考动物。

面对刚接触的新任务，我们必须调用大量注意力去推敲分析；可一旦掌握了技能，比如日常开车，几乎全凭本能快速反应。只有遇到突发状况，我们才会重新停下来深思熟虑。

当前的大语言模型同样分化出这两种能力：一类是以慢思考、深度链式推理见长的推理模型；另一类则是响应迅速、参数量小但动作果断的决策模型。

为了验证这两类模型能否胜任实时交互场景，有开发者构建了两个终端街机实验：

• 由小参数决策模型操控的 太空侵略者（Space Invaders）；
• 由深度推理模型扮演反派大金刚的 大金刚（Donkey Kong）。

在《太空侵略者》的测试中，模型总共完成了 14,238 次决策调用，成本仅为 0.21 美元。

实时系统的生死线：延迟预算

所有实时交互系统都面临严格的截止时间（Deadline）。

以《大金刚》为例，游戏每秒刷新 20 帧，单个画面的渲染窗口仅有 50 毫秒。《太空侵略者》的节奏略微宽松，但也容不得半点迟疑。

为了测定系统对延迟的容忍极限，开发者编写了一套规则写死的「完美自动驾驶程序」，在不同的决策间隔下分别跑了 20 局游戏。

实验数据呈现出的不是缓慢下滑的斜坡，而是一道悬崖。

当决策间隔控制在 0.09 秒内时，算法几乎能百发百中；而一旦间隔放宽到 0.2 秒以上，通关率就会发生断崖式下跌。这种硬性时间约束，直接决定了底层架构必须做出取舍。

快反应与慢推理的系统解耦

面对高频刷新的外部环境，直接把复杂模型塞进实时主循环注定行不通。解决 LLM 固有延迟的核心，在于参考人类的认知分工：

1. 边缘层（System 1）：采用轻量级模型或端侧逻辑负责高频感知与即时微操，在毫秒级内输出原子动作，吃下绝大部分常规负载。
2. 认知层（System 2）：将重型推理模型置于异步主循环之外，在后台分析全局态势、规划高阶策略。慢推理的结果以「状态变量」或「策略权重」的形式下发，指导快反应层执行。

不管是打造游戏 NPC、智能体（Agent）自动化操作界面，还是构建具身智能系统的控制链路，这种快慢解耦的模式，都是在现有硬件与模型瓶颈下落地实时 AI 的务实解法。