1. 不平衡分类问题概述在机器学习实践中我们经常会遇到类别分布严重不均衡的数据集。比如在信用卡欺诈检测中正常交易可能占99.9%而欺诈交易仅占0.1%。这种极端不平衡的数据分布会给模型训练带来显著挑战。传统分类算法在这种场景下往往会偏向多数类导致对少数类的识别率极低。举个例子在一个99:1的数据集上即使模型简单地将所有样本预测为多数类也能获得99%的准确率但这种模型对少数类的识别完全失败。实际经验表明当类别不平衡比例超过3:1时就需要考虑采用专门的应对策略。而在医疗诊断、工业缺陷检测等领域10:1甚至100:1的不平衡比例都很常见。2. 重采样技术基础2.1 过采样与欠采样对比解决类别不平衡的常用方法分为两大类过采样(Oversampling)增加少数类样本如SMOTE算法欠采样(Undersampling)减少多数类样本如本文介绍的多种方法关键区别过采样可能引发过拟合风险特别是简单复制样本时欠采样可能丢失重要信息特别是随机删除样本时实际应用中常组合使用如SMOTEENN算法2.2 欠采样的核心挑战欠采样不是简单地随机删除多数类样本而是需要智能选择哪些样本对分类边界影响最小哪些样本可能是噪声或异常值如何保留最具代表性的多数类样本3. 保留样本的欠采样方法3.1 NearMiss系列算法NearMiss通过距离度量选择保留的多数类样本包含三个变种NearMiss-1from imblearn.under_sampling import NearMiss undersampler NearMiss(version1, n_neighbors3) X_res, y_res undersampler.fit_resample(X, y)保留距离最近的3个少数类样本平均距离最小的多数类样本适合希望强化分类边界的情况NearMiss-2undersampler NearMiss(version2, n_neighbors3)保留距离最远的3个少数类样本平均距离最小的多数类样本适合多数类内部存在多个子簇的情况NearMiss-3undersampler NearMiss(version3, n_neighbors_ver33)为每个少数类样本保留最近的N个多数类样本适合少数类样本分布稀疏的情况实测建议NearMiss-3通常表现最好但计算成本较高。在小数据集上(10万样本)可以优先尝试。3.2 压缩最近邻规则(CNN)from imblearn.under_sampling import CondensedNearestNeighbour undersampler CondensedNearestNeighbour(n_neighbors1) X_res, y_res undersampler.fit_resample(X, y)算法原理将所有少数类样本放入store逐个检查多数类样本用当前store中的样本训练1-NN分类器若该样本被错误分类则加入store最终store中的样本即为保留集合注意事项计算复杂度O(n²)只适合小型数据集可能保留部分噪声样本实际应用中常设置n_neighbors3或5而非14. 删除样本的欠采样方法4.1 Tomek Linksfrom imblearn.under_sampling import TomekLinks undersampler TomekLinks() X_res, y_res undersampler.fit_resample(X, y)识别互为最近邻且类别相反的样本对(Tomek Link)然后删除多数类样本或删除两个样本(更激进)应用场景清理边界模糊的样本常作为后处理步骤与其他方法联用4.2 编辑最近邻规则(ENN)from imblearn.under_sampling import EditedNearestNeighbours undersampler EditedNearestNeighbours(n_neighbors3) X_res, y_res undersampler.fit_resample(X, y)算法步骤对每个样本找到其3个最近邻如果多数类样本被3个最近邻误分类则删除如果少数类样本被误分类则删除其多数类最近邻优势有效去除噪声点和边界模糊点保留清晰的分类结构5. 组合策略的实际应用5.1 单边选择(OSS)from imblearn.under_sampling import OneSidedSelection undersampler OneSidedSelection(n_neighbors1, n_seeds_S200) X_res, y_res undersampler.fit_resample(X, y)组合了CNN算法选择初始种子点移除Tomek Links进一步净化参数建议n_seeds_S控制初始样本量通常设为≈少数类样本数适合中等规模数据集(1万-10万样本)5.2 邻域清洁规则(NCR)from imblearn.under_sampling import NeighbourhoodCleaningRule undersampler NeighbourhoodCleaningRule( n_neighbors3, threshold_cleaning0.5) X_res, y_res undersampler.fit_resample(X, y)三阶段处理使用ENN找出可疑样本计算每个可疑样本的类别纯度删除纯度低于阈值的邻域样本调优建议threshold_cleaning通常设为0.5-0.7对高维数据表现良好6. 实战经验与避坑指南6.1 方法选择决策树根据数据特征选择合适方法if 样本量1万: if 边界清晰: 使用Tomek LinksCNN else: 使用NearMiss-3 elif 1万≤样本量≤10万: if 计算资源充足: 使用NCR else: 使用OSS else: # 10万样本 先随机欠采样到10万再应用上述方法6.2 参数调优技巧k值选择高维数据增大k(5-10)低维数据小k(3-5)足够可通过交叉验证确定最优k采样比例初始设为1:1逐步调整到验证集F1最高极端不平衡时可分层设置(如1:2,1:3)与过采样结合from imblearn.pipeline import Pipeline from imblearn.over_sampling import SMOTE pipeline Pipeline([ (oversample, SMOTE()), (undersample, NeighbourhoodCleaningRule()) ])6.3 常见问题排查问题1欠采样后模型过拟合检查是否删除了太多多数类样本尝试增加k值或调整采样比例考虑添加正则化项问题2计算时间过长对大数据集先做随机欠采样使用近似最近邻算法(如Annoy)降低n_neighbors参数问题3少数类识别率下降检查是否过度清理了边界样本尝试组合过采样方法调整分类决策阈值7. 评估指标选择不平衡分类需用专用评估指标指标公式适用场景F1-Score2*(P*R)/(PR)平衡考量精确率与召回率G-Mean√(TPR*TNR)要求两类表现均衡MCC(TPTN-FPFN)/√[(TPFP)(TPFN)(TNFP)(TNFN)]综合评估指标实施建议from sklearn.metrics import classification_report print(classification_report(y_test, y_pred, target_names[多数类,少数类]))8. 进阶技巧与扩展8.1 聚类辅助欠采样对多数类进行聚类从每个簇中选取代表样本结合少数类样本形成新数据集from sklearn.cluster import KMeans kmeans KMeans(n_clusters100) majority_samples X[y0] kmeans.fit(majority_samples) centroids kmeans.cluster_centers_8.2 集成学习方法from imblearn.ensemble import BalancedRandomForestClassifier model BalancedRandomForestClassifier( sampling_strategyauto, replacementFalse) model.fit(X_train, y_train)优势自动处理类别不平衡保持原始数据分布通常比单次采样效果更好8.3 代价敏感学习通过class_weight参数调整误分类代价from sklearn.svm import SVC model SVC(class_weight{0:1, 1:10}) model.fit(X_train, y_train)设置原则少数类误分类代价 不平衡比例倒数可通过网格搜索优化9. 行业应用案例9.1 金融风控场景挑战欺诈交易占比0.1%误判成本不对称解决方案使用NearMiss-3初步欠采样应用NCR清理噪声训练XGBoost模型设置动态决策阈值9.2 医疗诊断系统特殊要求假阴性代价极高特征维度通常较高实施方案pipeline Pipeline([ (undersample, TomekLinks()), # 温和清理 (classifier, LogisticRegression( class_weightbalanced, penaltyl1)) ])9.3 工业质检应用特点缺陷样本获取成本高生产环境变化快策略在线增量学习动态调整采样比例定期更新清洁规则10. 工具与资源推荐10.1 Python库比较库名称特点适用场景imbalanced-learn算法全面通用场景SMOTE-variants专注过采样需要最新SMOTE变体unbalanced-dataset专注集成方法大数据集10.2 可视化工具from imblearn.visualization import plot_2d_space plot_2d_space(X_res, y_res, After Undersampling)功能2D/3D数据分布展示采样前后对比决策边界可视化10.3 基准数据集常用测试数据集Credit Card Fraud (Kaggle)NASA软件缺陷数据集KDD Cup 2008乳腺癌数据获取方式from imblearn.datasets import fetch_datasets dataset fetch_datasets()[credit_card] X, y dataset.data, dataset.target11. 性能优化策略11.1 并行计算加速from joblib import parallel_backend with parallel_backend(loky, n_jobs4): undersampler.fit_resample(X, y)配置建议大数据集n_jobs-1(使用所有核心)小数据集n_jobs2-411.2 内存优化对于超大矩阵undersampler NearMiss(version3, n_jobs4, ratiomajority) # 仅处理多数类11.3 近似算法from sklearn.neighbors import NearestNeighbors # 使用LSH近似最近邻 nn NearestNeighbors(algorithmlsh, n_neighbors3) undersampler.set_params(n_neighborsnn)12. 持续学习与更新12.1 学术前沿跟踪近年创新方向深度学习与欠采样结合自适应采样比例在线流数据欠采样12.2 实践社区推荐Kaggle不平衡分类比赛Imbalanced Learning Symposium各大学机器学习课程专题12.3 版本更新注意imbalanced-learn主要版本变化v0.6: 新增ClusterCentroidsv0.7: 改进NCR效率v0.8: 添加GPU支持升级检查import imblearn print(imblearn.__version__)