1. 项目概述当模型预测不再“差不多”在机器学习项目的落地过程中我们常常会面临一个尴尬的局面模型在测试集上表现优异准确率高达95%但当你满怀信心地将它部署到生产环境面对真实世界纷繁复杂、甚至略带“恶意”的数据时它的表现却可能一落千丈。一个微小的光照变化让图像分类器将猫认成了狗一个罕见的输入组合让推荐系统给出离谱的结果或者更糟的是模型对自己完全没见过的样本给出了一个看似“自信”但实则错误的预测而你对此一无所知。传统的机器学习模型无论是经典的逻辑回归、随机森林还是强大的深度神经网络其输出通常是一个点估计——一个单一的预测值如类别标签或回归数值及其对应的概率或置信度。然而这个“置信度”往往并不可靠。它衡量的是模型对自身预测的“自信程度”而非模型对“未知”的认知程度。一个经过完美校准的模型其预测概率为0.9的样本确实有90%的可能性是正确的。但这无法回答一个更根本的问题对于这个特定的输入模型预测错误的可能性边界在哪里或者说我们能否为模型的预测提供一个有理论保证的“安全边界”这就是“深度保形预测”要解决的核心问题。它不是一个全新的模型架构而是一种强大的、与模型无关的后处理框架。它的目标是为任何黑盒机器学习模型的预测附加上一个具有统计保证的“预测集”。这个预测集可能包含多个可能的输出例如对于分类任务它可能输出一个包含2-3个最可能类别的集合并且我们能够以预先设定的概率例如90%或95%保证真实的答案就落在这个集合之内。简单来说它让模型的预测从“我猜是A我有80%的把握”变成了“真实答案有95%的可能性在{A, B, C}这个集合里”。后者显然包含了更多关于不确定性的信息也为我们后续的决策如将不确定的样本交给人工审核提供了坚实、量化的依据。这个技术尤其适合对可靠性要求极高的场景比如医疗诊断模型可以给出“可能是肺炎或肺结核建议进一步CT检查”的集合、自动驾驶感知系统可以输出“前方物体可能是行人、自行车或交通锥需谨慎通过”、金融风控对高风险交易可以给出“欺诈风险高建议人工复核”的集合预测。接下来我将拆解这项技术的核心思想、实现步骤并分享在实际应用中积累的宝贵经验。2. 核心原理用“校准集”为预测穿上“防护服”保形预测的理论基础源于本世纪初的统计学习理论其核心思想优雅而有力利用一个独立于训练集和测试集的“校准集”来量化模型在新样本上的预测不确定性。整个过程不依赖于模型内部的具体结构因此可以无缝接入现有的深度学习流水线。2.1 非一致性分数衡量模型的“惊讶”程度保形预测的第一步是为每一个“输入-输出”对(x, y)定义一个非一致性分数。这个分数的核心作用是对于给定的输入x和一个候选的预测y这个分数衡量了“假设真实答案是y”这一命题与模型在已知数据上表现出的规律有多么不一致。分数越高说明假设的y与模型认知越不一致越不可能是正确答案。这个分数的设计非常灵活是保形预测与具体任务结合的桥梁。对于分类任务最常用的分数是1 - f(x)[y]其中f(x)[y]是模型对候选类别y预测的概率。如果模型认为y的概率很高比如0.95那么非一致性分数就很低0.05表示模型不“惊讶”反之如果模型认为y概率很低分数就高表示很“惊讶”。你也可以使用基于距离的分数或者考虑模型倒数第二层特征空间的几何距离。对于回归任务常用的是绝对误差|y - f(x)|其中f(x)是模型的点预测值。假设的y离模型预测值越远非一致性分数越高。实操心得分数设计是灵魂非一致性分数的设计直接决定了预测集的大小和形状。单纯用1 - predicted_probability是最简单的方式但可能不是最优的。在实践中对于图像分类我尝试过结合模型倒数第二层特征与各类别原型class prototype的余弦距离来构建分数发现对于分布外OOD样本这种基于特征的分数比单纯的概率更敏感能产生更保守更大的预测集这对于安全关键应用是更可取的。你可以把它想象成概率分数只问“你有多像猫”而特征距离分数还会问“你和所有我见过的猫的平均样子差多远”2.2 校准过程找到那个决定性的“阈值”有了非一致性分数的定义接下来就是关键的校准步骤。假设我们有一个已经训练好的模型f一个训练集用于训练f一个校准集D_cal {(x_i, y_i)}_{i1}^n以及一个我们期望的覆盖水平1 - α例如α0.1对应90%覆盖保证。校准过程如下对于校准集中的每一个真实样本(x_i, y_i)计算其非一致性分数s_i s(x_i, y_i)。注意这里使用的是真实的标签y_i。将所有计算得到的分数{s_1, s_2, ..., s_n}从小到大排序。计算分位数q_hat。通常我们取第⌈(n1)(1-α)⌉ / n个顺序统计量。一个更稳健的常用公式是q_hat 第 ⌈(n1)(1-α)⌉ 小的 s_i 值。有些实现会使用np.percentile(scores, (1-alpha)*100, methodhigher)来近似。这个q_hat就是我们的校准阈值。它的统计意义是在校准集上大约有1 - α比例的样本其真实标签对应的非一致性分数小于等于q_hat。2.3 预测过程生成有保证的预测集当面对一个新的测试样本x_test时我们进行如下操作遍历所有可能的输出y对于分类任务就是所有类别对于回归任务是一个连续的数值空间需要离散化或采用其他方法。对于每一个候选y计算非一致性分数s(x_test, y)。将所有满足s(x_test, y) q_hat的候选y收集起来构成预测集C(x_test)。保形预测的核心定理略去数学证明保证了如果校准集和测试样本都是独立同分布i.i.d.地从同一个数据分布中采样得到的那么对于新的测试样本其真实标签y_test被包含在预测集C(x_test)中的概率至少是1 - α。这是一个边际覆盖保证即概率是对所有可能的新样本(x_test, y_test)求平均。注意事项独立同分布i.i.d.假设是关键这个理论保证强烈依赖于校准集与测试数据同分布。如果你的生产环境数据分布发生了漂移协变量漂移或概念漂移那么覆盖保证将失效。因此校准集必须尽可能代表你期望模型未来会遇到的数据。在实践中我会从当前最新的、最有代表性的数据中专门划分出一部分作为校准集并且定期例如每月用新数据重新校准模型。3. 实现步骤与核心环节拆解理论听起来可能有些抽象下面我将以一个图像分类任务使用CIFAR-10数据集和ResNet模型为例详细拆解实现深度保形预测的每一步。我将使用PyTorch框架但逻辑适用于任何深度学习库。3.1 环境与数据准备首先我们需要明确数据划分。传统的训练/验证/测试集三分法需要稍作调整。import torch import torchvision import torchvision.transforms as transforms import numpy as np from sklearn.model_selection import train_test_split # 1. 加载CIFAR-10数据集 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) full_trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) testset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform) # 2. 关键步骤从原始训练集中划分出“训练集”和“校准集” # 假设我们使用 80% 的数据训练模型20% 的数据用于校准。 train_idx, cal_idx train_test_split( np.arange(len(full_trainset)), test_size0.2, random_state42, # 固定随机种子以确保可复现 stratifyfull_trainset.targets # 保持类别比例 ) trainset torch.utils.data.Subset(full_trainset, train_idx) calset torch.utils.data.Subset(full_trainset, cal_idx) # 创建数据加载器 trainloader torch.utils.data.DataLoader(trainset, batch_size128, shuffleTrue) calloader torch.utils.data.DataLoader(calset, batch_size128, shuffleFalse) testloader torch.utils.data.DataLoader(testset, batch_size128, shuffleFalse)这里有一个非常重要的细节校准集必须是从模型训练过程中“未见过的”数据中划分出来的。如果你用验证集用于调参作为校准集那么覆盖保证的理论基础将被破坏因为模型参数已经间接“见过”这些数据了。因此最干净的划分是训练集训练模型参数、校准集用于保形校准、测试集最终评估。3.2 模型训练与分数计算接下来我们训练一个标准的ResNet-18模型或任何你喜欢的模型。这部分与常规深度学习流程无异。import torch.nn as nn import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) model torchvision.models.resnet18(pretrainedFalse, num_classes10).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) # 训练模型简化版省略epoch循环细节 def train_model(model, trainloader, epochs10): model.train() for epoch in range(epochs): running_loss 0.0 for inputs, labels in trainloader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fEpoch {epoch1}, Loss: {running_loss/len(trainloader):.4f}) return model model train_model(model, trainloader, epochs20) torch.save(model.state_dict(), cifar10_resnet18.pth)模型训练好后我们在校准集上计算非一致性分数。这里我们采用最常用的分数1 - 模型对真实类别的预测概率。def compute_conformity_scores(model, calloader, device): 计算校准集上所有样本的非一致性分数基于概率 model.eval() scores [] true_labels [] with torch.no_grad(): for inputs, labels in calloader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) probabilities torch.softmax(outputs, dim1) # 获取概率 # 获取每个样本对应真实标签的概率 true_class_probs probabilities[torch.arange(len(labels)), labels] # 非一致性分数1 - P(y_true | x) batch_scores 1.0 - true_class_probs.cpu().numpy() scores.extend(batch_scores) true_labels.extend(labels.cpu().numpy()) return np.array(scores), np.array(true_labels) cal_scores, cal_labels compute_conformity_scores(model, calloader, device) print(f校准集分数计算完成共 {len(cal_scores)} 个分数。) print(f分数示例前5个: {cal_scores[:5]}) print(f对应真实标签: {cal_labels[:5]})3.3 计算校准分位数与生成预测集现在我们根据期望的覆盖水平1 - alpha来计算分位数q_hat。def compute_quantile(scores, alpha): 计算保形预测所需的分位数 q_hat。 scores: 校准集非一致性分数数组 alpha: 显著性水平期望覆盖率为 1 - alpha n len(scores) # 使用 (n1)(1-alpha) 的向上取整作为位置索引对应更保守的估计 # 另一种常见写法是 np.percentile(scores, (1-alpha)*100, methodhigher) q_level np.ceil((n 1) * (1 - alpha)) / n q_level min(q_level, 1) # 确保不超过1 q_hat np.quantile(scores, q_level, methodhigher) return q_hat alpha 0.1 # 期望90%覆盖率 q_hat compute_quantile(cal_scores, alpha) print(f期望覆盖率: {(1-alpha)*100:.1f}%) print(f计算得到的分位数阈值 q_hat: {q_hat:.4f})有了q_hat我们就可以为新的测试样本生成预测集了。def predict_with_conformal_sets(model, input_batch, q_hat, device, num_classes10): 为一批输入生成保形预测集。 返回: 预测集列表每个元素是一个包含可能类别的集合列表或位掩码 model.eval() with torch.no_grad(): inputs input_batch.to(device) outputs model(inputs) probabilities torch.softmax(outputs, dim1).cpu().numpy() # [batch_size, num_classes] prediction_sets [] for probs in probabilities: # 遍历批次中的每个样本 # 计算每个候选类别 y 的非一致性分数1 - P(y | x) scores_for_all_classes 1 - probs # 找出分数 q_hat 的类别 predicted_set np.where(scores_for_all_classes q_hat)[0].tolist() prediction_sets.append(predicted_set) return prediction_sets # 在测试集上批量测试 def evaluate_conformal_coverage(model, testloader, q_hat, device, num_classes10): model.eval() covered 0 total 0 set_sizes [] with torch.no_grad(): for inputs, labels in testloader: inputs, labels inputs.to(device), labels.cpu().numpy() sets predict_with_conformal_sets(model, inputs, q_hat, device, num_classes) for i, label in enumerate(labels): total 1 if label in sets[i]: covered 1 set_sizes.append(len(sets[i])) coverage covered / total avg_set_size np.mean(set_sizes) print(f实测覆盖率: {coverage*100:.2f}% (目标: {(1-alpha)*100:.1f}%)) print(f平均预测集大小: {avg_set_size:.2f}) return coverage, avg_set_size coverage, avg_size evaluate_conformal_coverage(model, testloader, q_hat, device)运行上述代码你通常会看到实测覆盖率非常接近90%例如89.5%-90.5%这验证了保形预测的统计保证。平均预测集大小则反映了模型的不确定性程度。一个非常自信且校准良好的模型其预测集大小通常略大于1因为要保证90%覆盖总需要一些样本的预测集包含多个类别。4. 高级技巧与实战经验基础实现能保证统计有效性但要使其在复杂现实场景中发挥最大效用还需要一些进阶技巧。4.1 类别自适应预测集与APS方法上面的方法为所有样本使用同一个阈值q_hat这可能导致“简单”样本的预测集过大包含许多不可能类别“困难”样本的预测集过小甚至为空集违反覆盖保证。自适应预测集方法试图为不同样本动态调整阈值。一种流行的方法是自适应预测集其核心思想是让阈值与模型预测的概率分布相适应。具体来说我们将候选类别按其预测概率降序排列然后依次将类别加入预测集直到累计概率超过一个与q_hat相关的阈值。这能保证预测集在满足覆盖要求的同时平均大小更小。def predict_adaptive_sets(model, input_batch, q_hat, device, num_classes10, tau0.0): 使用自适应预测集APS方法生成预测集。 tau: 一个小的平滑参数通常设为0用于处理边界情况。 model.eval() with torch.no_grad(): inputs input_batch.to(device) outputs model(inputs) probabilities torch.softmax(outputs, dim1).cpu().numpy() prediction_sets [] for probs in probabilities: # 将类别按概率降序排序 sorted_indices np.argsort(-probs) sorted_probs probs[sorted_indices] # 计算累积概率 cum_probs np.cumsum(sorted_probs) # 找到第一个满足 cum_probs 1 - q_hat 的位置 # 注意这里对q_hat的使用与标准APS定义略有简化核心逻辑一致 # 更精确的APS使用校准分数计算分位数这里为演示简化 threshold 1 - q_hat tau k np.argmax(cum_probs threshold) if k 0 and cum_probs[0] threshold: # 如果最大概率仍小于阈值 k len(sorted_probs) # 包含所有类别极端情况 else: k k 1 # 包含前k个类别 predicted_set sorted_indices[:k].tolist() prediction_sets.append(predicted_set) return prediction_setsAPS方法通常能产生更紧致的预测集尤其是对于模型很自信的样本预测集可能只包含一个类别而对于不确定的样本则会包含多个。这更符合直觉。4.2 处理分布外样本与异常检测保形预测一个迷人的特性是它可以被用来进行简单的分布外检测。如果一个测试样本x对于所有可能的类别y其非一致性分数s(x, y)都大于校准分位数q_hat那么根据我们的规则它的预测集将是空的。一个空的预测集是一个强烈的信号表明这个样本与校准集代表已知分布非常不同。模型“拒绝”做出任何有把握的预测。在实际应用中我们可以将这些样本路由到人工处理、更复杂的模型或者直接标记为异常。def predict_with_rejection(model, input_batch, q_hat, device, num_classes10): 生成预测集并标识出空集可能为OOD样本 model.eval() with torch.no_grad(): inputs input_batch.to(device) outputs model(inputs) probabilities torch.softmax(outputs, dim1).cpu().numpy() prediction_sets [] ood_flags [] for probs in probabilities: scores_for_all_classes 1 - probs predicted_set np.where(scores_for_all_classes q_hat)[0].tolist() prediction_sets.append(predicted_set) ood_flags.append(len(predicted_set) 0) # 空集标记为OOD return prediction_sets, ood_flags实操心得空集与覆盖率的权衡使用空集作为OOD检测手段时需要小心。理论保证是“真实标签在预测集内的概率≥1-α”这个保证包括了那些预测集为空的样本。也就是说允许一定比例约α的样本被错误地标为空集即其实标签不在任何集合中因为集合是空的。如果你将空集样本全部视为“异常”并丢弃那么你对剩余样本的预测覆盖率将会高于1-α。这在某些场景下是可接受的用少量拒识率换取更高可靠性但需要明确告知业务方。4.3 在线学习与滚动校准在数据流持续变化的场景如金融时序预测、实时推荐数据分布可能随时间漂移。静态的校准集会逐渐失效。此时可以采用滚动校准或在线保形预测。核心思想是维护一个固定大小的、最近期的样本池作为校准集。每收到一个新的预测请求并得到其真实反馈带标签数据后就将这个新样本加入校准池同时移除最老的样本然后重新计算分位数q_hat。这种方法能自适应数据分布的变化持续提供有效的覆盖保证但需要系统能及时获取真实标签。class RollingConformalPredictor: def __init__(self, model, initial_cal_scores, window_size, alpha): self.model model self.cal_scores list(initial_cal_scores) # 作为初始校准池 self.window_size window_size self.alpha alpha self._update_quantile() def _update_quantile(self): 根据当前校准池重新计算分位数 self.q_hat compute_quantile(np.array(self.cal_scores), self.alpha) def predict(self, x): 为输入x生成预测集简化假设已实现 # ... 使用当前 self.q_hat 生成预测集 C(x) return prediction_set def update(self, x_new, y_true): 用新观测到的带标签数据更新校准池 # 1. 计算新样本的非一致性分数 score_new compute_score_for_one(self.model, x_new, y_true) # 2. 加入新分数移除旧分数如果超出窗口 self.cal_scores.append(score_new) if len(self.cal_scores) self.window_size: self.cal_scores.pop(0) # 3. 更新分位数 self._update_quantile()5. 常见问题与排查技巧实录在实际部署保形预测时你可能会遇到以下几个典型问题。5.1 覆盖率低于预期问题描述在测试集上实测的覆盖率明显低于设定的1 - α例如设定90%实测只有85%。可能原因与排查校准集与测试集分布不一致这是最常见的原因。检查数据划分是否随机是否有时间序列特性不能用未来数据校准过去模型或是否有隐藏的混淆变量如校准集来自A医院测试集来自B医院。解决确保校准集是未来生产数据无偏的抽样。如果数据分布必然漂移考虑使用在线或滚动校准。非一致性分数设计不合理使用的分数不能有效区分“正确预测”和“错误预测”。例如模型输出概率本身校准性极差过于自信或不自信。解决在应用保形预测前先用温度缩放等方法校准模型概率。或者尝试其他分数如基于特征空间的分数。分位数计算有误代码实现中分位数q_hat的计算公式可能有误特别是样本数n较小时。解决使用标准的np.percentile(scores, (1-alpha)*100, methodhigher)或前面提到的ceil((n1)*(1-alpha))/n分位数。确保alpha定义正确。校准集太小统计保证在有限样本下是近似的。如果校准集只有几百个样本实测覆盖率波动可能较大。解决增大校准集规模。通常1000个样本以上能获得较稳定的结果。5.2 预测集平均大小过大问题描述覆盖率达标了但平均每个预测集包含3个、5个甚至更多类别失去了判别意义。可能原因与排查模型本身不确定性高模型在该任务上性能天花板低或者校准集/测试集本身难度大、类别混淆严重。解决这是根本问题需要提升模型性能更好的架构、更多数据、数据增强、集成等。保形预测只是量化不确定性不能创造确定性。覆盖水平1-α设置过高要求99%的覆盖必然比要求90%产生更大的预测集。解决根据业务风险容忍度调整α。对于高风险场景大预测集是可接受的提示人工复核对于低风险场景可以适当降低覆盖率要求以获取更精确的预测。使用了低效的非一致性分数标准概率分数可能不是最紧致的。解决尝试自适应预测集方法它通常能产生更小的集合。也可以研究基于“正则化最优传输”或“conformal risk control”的最新方法它们能以更精细的控制优化集合大小。5.3 计算效率问题问题描述对于回归任务或超大类别分类如ImageNet-1000为每个测试样本遍历所有可能输出计算分数耗时过长。可能原因与排查暴力搜索开销大回归任务中候选y是连续的无法穷举。解决分类对于K类分类计算K个分数是O(K)对于ImageNet1000类尚可接受。可优化为批量矩阵运算。回归不能穷举。常用方法有分位数回归法训练一个模型直接输出预测区间的上下界。简化搜索法利用分数函数的单调性通过二分查找快速找到预测区间边界。例如对于分数s(x, y) |y - f(x)|预测区间是[f(x) - q_hat, f(x) q_hat]可直接计算无需搜索。校准集很大时分位数计算慢每次预测都需要用全部校准分数计算q_hat。解决校准过程是离线的只需计算一次q_hat并存储。在线预测时直接使用没有额外开销。5.4 保形预测与模型校准的关系这是一个常见的概念混淆点。模型校准关注模型输出的概率是否与真实正确频率匹配。例如在所有模型给出0.8置信度的样本中是否有80%的样本确实预测正确校准良好的模型其置信度是可信的。保形预测关注的是为预测提供一个有统计保证的集合。它不要求模型概率本身校准良好虽然校准良好有助于获得更紧致的集合。即使模型概率完全不校准保形预测也能通过在校准集上“重新标定”分数分布来提供覆盖保证。最佳实践是先使用温度缩放、Platt缩放等方法校准你的深度学习模型然后再应用保形预测。这样你既能得到校准良好的概率可用于排序、决策又能得到有统计保证的预测集用于可靠决策和不确定性量化。深度保形预测为机器学习模型的可靠部署提供了一个强大、直观且具有理论保障的工具箱。它迫使我们从追求单一“正确”答案的思维转向接受并量化预测的“不确定性”。将这套框架集成到你的MLOps流水线中意味着你可以更自信地回答业务方“对于这个输入模型有95%的把握认为答案在A、B、C之中如果都不在我们会自动触发人工复核。” 这种透明和可靠正是将AI从实验室Demo推向严肃生产应用的关键一步。