“重新训练”模型？其实是三个选择

当预测模型连续几个季度跑偏，Airbnb数据科学团队没有急着“重训”，而是发现了一件更重要的事：这个词背后藏着三个截然不同的决策。

一个说错话的预测

Airbnb的预测团队负责很多关键预测：需求、预订、取消，覆盖数千个市场。这些预测是整个公司做计划的基础。所以预测出错并不是学术论文里那种“干净的失误”——小偏差会在大量决策中被放大。

有一次，一个预测连续两个季度与实际结果同向偏离，几次常规刷新也没修好。通常的做法是彻底重训：拉新数据、重新拟合、上线。但团队没有急着动手，而是想先搞清楚偏差从哪里来。

之前我们讲过疫情如何影响Airbnb的财务模型，也讲过如何用地理信息应对模型失灵。这篇想说的是我们后来沉淀出来的纪律：当预测开始失准时，到底该补数据、换模型，还是什么都不动。

“重新训练”不是一步棋，是三步

最常见的错误，是把“重新训练”当成一个动作。其实它是三个完全不同的动作：重拟合（refit）、改结构（respecify）、按兵不动（hold）。

重拟合最便宜。模型、结构、特征都不动，只把新数据喂进去，更新参数。这是大多数人说的“重训”。面对常见的参数漂移，它通常是对的。

但“便宜”不等于“免费”。重拟合需要验证、上线，如果碰巧最近数据反常，还可能把一个原本正常的模型搞坏。在生产环境里，每一次刷新都是一次风险选择。不过这并不反对重拟合——大多数周期里它都是正确选择，如果必须闭着眼睛选一个，我们会选它。关键是：重拟合是有代价的，意识到代价，你才能注意到哪些周期里别的选项更值得。

改结构是另一码事。你要改变模型本身：加特征、删特征、改先验、改结构。像这样重要的生产预测，改动结构是一个真正的承诺——你在拿一个自己多年观察、理解得很深的东西，换一个只了解一部分的新东西。但几乎所有真正的改进都藏在改结构里。重拟合让好模型跟上时代，改结构才能把运行逻辑出错的模型修改对。

按兵不动最不受欢迎。你看着偏差，判断不值得动手，然后什么都不干。这需要最大胆量，因为在外人看来，你就是在无视问题。“我们决定什么都不做”这句话，很难当着依赖这个预测的团队说出口。但它比你想象的更常是正确的答案。

多年运行模型的经验告诉我们，麻烦源于把三种动作当成一个词。“该重训了”这句话经常出现，但实际答案可能是其中任何一个，而这个词会把所有人拉向那个听起来最便宜的选项——因为只有它有名字。

但大多数时候，根本没人说这句话。重训练很少是因为模型漂移而做出的决定。它按计划运行，每月或每季度一次，因为固定节奏可以少想一件事。这导致三个选项之间很少被真正选择——节奏替你做了选择，而节奏每次都选重拟合。

三种“拖太久”的失败方式

“重训”包含的三个选项，各自都有一种对应的错误。这些错误背后是同一个问题：模型抓住了一次冲击或意外，即使在原因已经消失后，仍然把它当作事实。

追逐噪音

预测偏了一个季度，残差很难看，有人问要不要不等计划，提前更新模型。这个冲动就是失败。因为触发非周期重拟合的永远是意外，而你急着吸收的那个窗口，恰恰是你最不了解的窗口。

前两年，我们有个市场因为一个大型活动落入日历，把一波预订提前了，一个季度跑得比预期高。我们提前重拟合了。模型把那个反常季度当成了新水平，后面两个季度的预测都偏高，直到活动的影响淡出训练窗口才恢复。如果按照固定周期等一等，模型会把这个尖峰和后面的正常季度拟合在一起，而不是把它当成模型最后看到的东西——后面那种拉拽要弱得多。

图1：一次性尖峰。保持不动的模型平稳，重拟合反而被尖峰拉偏。

扛着幽灵

更隐蔽，是相反的错误。一个冲击期间成立的结构性假设，在冲击过后仍然开着，藏在一串看起来像例行维护的重拟合后面。我们就有一次这样的经历。疫情最严重的时候，取消时机的变化方式前所未有，模型学会了。市场恢复正常远早于假设的退役时间，而因为每次重拟合看起来都很干净，这个过时时假设一直存在，直到预测偏了很久，有人去查，发现偏差被烤进了模型，然后改结构，把这条失效假设拆掉。

图2：结构无法预见转折时，重拟合只会追着跑，误差持续同向。

把重建当恐慌

这是过度纠正的错误。真的发生了点什么——源市场的外汇汇率波动、区域扰动转移了需求——第一反应是重建。在截止日期前搭一个新的模型。

我们也差点这么干。一个主要来源市场的外汇变动让预测偏了两个月，第一反应就是围绕新环境搭一个全新模型。但我们选择加宽先验，现有模型撑了过去，避免了一个更脆弱、针对即将消失的冲击调出来的模型。

图3：临时冲击自己会过去。加宽先验让模型扛过去，重建反而加入新波动。

我们现在怎么决定

我们现在遵守的规则很容易说，很难照做。在固定节奏下，“要不要重训”基本自己会回答。所以真正的问题是：这一轮偏差应该对应哪个选项？答案取决于什么是你改变。

如果产生数据的机制还是模型假设的那个，只是参数漂移了，就重拟合。结构没问题，只是需要新数字。

如果机制已经变了，而且无论你怎么估计，模型都无法表示，那就得改结构。因为新数据帮不了一个没有语言描述当前世界的模型。标志是方向性：一个规格错误的模型会反复同向出错。

改结构有两面。可以加结构，像2020年之后借用地理相似性；也可以删结构，退役一个世界已经不需要的假设。第二种就是遗忘，团队往往跳过它，因为加东西感觉像进步，删东西像放弃。但这是需要记住并用上的工具。

如果偏差在模型已经认为正常的范围内，那就按兵不动。实践上，通常是拒绝非周期重拟合，因为一个你还没法解释的意外，是最糟糕的提前动模型的理由。固定节奏会处理它的。跳过预定重拟合是更罕见也更贵的版本，因为参数过期也有代价，只有当你明确知道窗口里有什么不想让模型吸收的东西时，才值得做。

图4：同样的决策，快速分诊。问题从来不是动不动手，而是该用哪个选项。

更正式的处理我们在另外两篇论文里展开过（论文1、论文2）。一句话版本：更新不是免费的。向新数据靠近要付出代价，原地不动也要付出代价，决定就是在两者之间比较，先比较参数层，再比较结构层。

在生产里跑真实预测时，我们不是用来算，而是按上面三个问题，依次问下去。

那次我们做对了

我们在疫情期间第二篇博文里提到的案例，正好能说明这个框架。

2020年之前，目的地市场预测依赖一套层级。有长期稳定历史的市场提供锚点，其他“较薄”的市场从它们那里借用强度，假设是：一个目的地的表现，应该和类似的目的地差不多。这种借用就是结构，多年来它真实得几乎没人注意、没人质疑。

COVID打破的不是参数，是假设。冲击之大前所未有。复苏不是所有地方同时出现，也不是同样的形状。有些市场迅速回来，有些却平了几个月。原本一起变的市场突然走在了不同的路线上。于是，一个市场的稳定性被其他市场“借用”，从稳定预测变成污染预测。市场被拉向一个已经不再描述任何市场的平均值。

第一反应是用新数据重拟合。我们试了。失败的方式恰恰成为整篇文章的教训：预测不只偏移，还失稳了，季度之间来回摆动，因为模型在试图调和那些已经不该在一个池子里的市场。在恢复窗口期，仅重拟合的错误大约是三倍于冲击前基线，而且随着新数据进来，它没有趋于稳定。

不稳定就是信号。参数问题会在边缘变吵，但保持形状；当时是形状本身散了架——这就是结构问题的样子。

图5：为什么池化会破裂，以及为什么改结构能修复。左：两个原本同向运动的市场恢复路径不同，借用强度反而有害。右：恢复窗口期的预测误差；重拟合持续高位且不稳定，改结构后回落到接近冲击前基线。

修复方法是改结构，这正是前一篇文章的主题，一句话说：我们改变了模型借用的对象。不再按固定层级分池，而是按地理相邻和共同复苏动态来借用。市场从今天真正跟它表现相似的地方吸取强度，而不是从疫情前相似的地方。在保留的恢复窗口上，改结构比重拟合的错误降低了超过一半，回到接近冲击前的基线水平。

这个故事对本文的意义是：我们的新框架，给“按兵不动”一个很显眼的位置，会告诉我们不要重拟合。那就能避免那一次代价高昂的失败重拟合。

那一次偏差是方向性的，不是噪音，所以不是“按兵不动”。新数据让它更糟而不是更好，这是结构问题而非参数问题的标志，所以答案也不是重拟合。剩下唯一的选择就是改结构。

那一次我们是靠试错走到正确答案的。把决策写下来的意义，是下次不用再试错——在那些错误会让下游团队损失一个季度准确度的预测上。

为什么在关键预测上特别难

这些道理不难理解。难在执行。而最难的恰恰是最重要的预测，原因有三个：

按兵不动看起来像失职。 当很多人盯着的预测跑偏时，“我们选择不行动”是一句不受欢迎的话，压力总是推向看得见的行动。反而是重拟合，看得见摸得着，即使错了也好看。所以我们有时会用一句略带禅味的话提醒自己：别光忙着做，先坐着。

改结构很贵，还有点吓人。 换掉一个多年稳定产出的模型结构，等于用你不了解的东西换你了解的东西，而判断失误的代价不是抽象的。这种恐惧是健康的，但它也导致团队迟迟不改结构，让幽灵越积越多。

过去几年训练出了错误的反射。 在疫情中做预测，意味着在巨大压力下改模型，而且常常改对了。疫情结束后，很多团队仍在动手就重建，但重拟合就可以解决；同时又保留了疫情时期的假设，因为没有人敢碰一个活下来的模型。

同一个时期既造出了恐慌，也留下了幽灵。现在的纪律不是如何快速反应，而是如何在有思考时间时，把三个选项重新区分开——在这些反复出错代价很高的模型上。

学会遗忘

重拟合让模型保持最新，并不会让它保持诚实。会过期的不是数字，而是数字下面的假设——重拟合恰恰对假设置之不理。

一次冲击会让你加结构来应对：升高风险、加宽区间、给反常世界加特例。冲击过去后，把这些结构拆下来，比任何重训练都难。因为它很少有一个截止日期。没有人安排它。

一个优秀的预测团队不只是从冲击中学习。它还要学会在需要时，故意忘记冲击。

如果你对这类工作感兴趣，可以看看Airbnb的相关岗位。

---

作者：Harrison Katz，负责Airbnb金融数据科学和策略。研究方向包括贝叶斯方法、决策理论和预测治理。