模型更新中的回归问题
机器学习服务中的模型持续更新通常带来整体准确率提升，但可能伴随特定场景的性能回退（即旧模型正确而新模型错误的案例）。例如，对话系统在早期交互中出现错误会导致后续对话链式崩溃。
研究方法与发现
- 回归测量：基于BERT模型在GLUE七项任务上的测试显示，即使整体准确率提升1.9%-7.6%，仍存在负翻转率（NFR，即旧正确新错误的案例比例）。
- 关键矛盾：NFR值可达准确率增益的2-8倍，表明单纯优化准确率无法消除回归。
- 随机性影响：不同随机种子会导致回归率显著波动。
解决方案：约束优化与知识蒸馏
- 问题重构：将回归控制转化为带约束的优化问题，通过KL散度度量新旧模型预测差异。
- 蒸馏实现：联合优化分类损失与知识蒸馏惩罚项，使新模型在关键上下文模仿旧模型行为。
- 效果对比：
- 语言模型升级时（如BERT-base→BERT-large），蒸馏法将平均NFR降至2.91%，优于传统更新（4.57%）和集成方法（3.63%）。
- 随机种子变更时，集成方法表现更优，推测因其降低输出方差。
扩展策略
- 模型选择法：训练20个不同随机种子的模型，选择NFR最低的版本，可在不增加运维成本下匹配集成效果。
应用价值
该技术隶属于"优雅AI"研究体系，旨在构建透明、可解释且兼容历史版本的机器学习服务，为持续演进的AI系统提供关键支撑。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码
