机器学习不平衡数据处理：重采样技术与实战

1. 不平衡数据机器学习中的隐形陷阱刚入行做信贷风控模型时我遇到过这样一个案例用历史贷款数据训练的分类器在测试集上准确率高达98%但实际部署后却发现根本识别不出欺诈案件。后来排查发现原始数据中正常还款样本占比99.5%欺诈样本仅占0.5%——模型只要无脑预测正常就能获得超高准确率这就是典型的不平衡数据陷阱。在实际业务场景中我们更关注少数类如医疗中的罕见病、金融中的欺诈交易、工业中的缺陷产品的识别能力。这时候就需要三类核心处理技术重采样技术通过过采样增加少数样本或下采样减少多数样本代价敏感学习调整不同类别的误分类惩罚权重集成方法结合采样技术与集成学习的优势今天我们就重点拆解最常用的重采样方案结合k折交叉验证构建稳健的评估流程。以下所有代码示例均基于Python的imbalanced-learn和scikit-learn库。2. 数据重采样技术原理剖析2.1 下采样Undersampling的数学本质下采样通过减少多数类样本使数据趋于平衡最基础的RandomUnderSampler会随机丢弃多数类样本。假设原始数据中多数类样本数为N_maj少数类为N_min下采样后的多数类样本数通常取N_maj α × N_min α常取1.0~2.0但随机丢弃会损失有用信息因此衍生出多种改进算法NearMiss系列基于距离的启发式采样NearMiss-1选择离少数类最近的多数类样本NearMiss-2选择离少数类最远的多数类样本NearMiss-3为每个少数类样本保留k个最近多数类样本Tomek Links移除构成Tomek link的样本对属于不同类别且互为最近邻ENNEdited Nearest Neighbors移除那些被其k近邻中多数样本误分类的样本提示当多数类内部存在聚类结构时推荐使用ClusterCentroids——用KMeans聚类中心代替原始样本2.2 过采样Oversampling的进阶实践基础的RandomOverSampler只是简单复制少数类样本容易导致过拟合。SMOTESynthetic Minority Oversampling Technique通过线性插值生成新样本对于少数类样本x_i找到其k个最近邻通常k5随机选择邻域样本x_zi生成新样本x_new x_i λ(x_zi - x_i)λ∈[0,1]SMOTE的变体包括BorderlineSMOTE只对边界样本过采样SVMSMOTE使用SVM支持向量决定采样区域ADASYN根据样本密度自适应调整生成数量from imblearn.over_sampling import SVMSMOTE svmsmote SVMSMOTE(k_neighbors5, m_neighbors10, svm_estimatorSVC(kernellinear)) X_res, y_res svmsmote.fit_resample(X, y)2.3 混合采样策略实际项目中常组合过采样和下采样先用SMOTE增加少数类样本再用Tomek Links清理类间边界最后用ENN移除噪声样本from imblearn.combine import SMOTEENN smote_enn SMOTEENN(smoteSMOTE(sampling_strategy0.5), ennEditedNearestNeighbours(n_neighbors3)) X_res, y_res smote_enn.fit_resample(X, y)3. K折交叉验证的工程化实现3.1 为什么必须用分层K折普通K折可能导致某些折中少数类样本极少甚至为零。解决方案from sklearn.model_selection import StratifiedKFold skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) for train_idx, test_idx in skf.split(X, y): X_train, X_test X[train_idx], X[test_idx] y_train, y_test y[train_idx], y[test_idx] # 在此处进行采样操作关键原则采样操作必须在交叉验证的每个fold内部进行。如果在划分前就采样会导致数据泄露leakage——测试集会包含训练集的人造样本信息。3.2 采样与验证的管道化封装使用Pipeline确保每次交叉验证都重新采样from imblearn.pipeline import make_pipeline from sklearn.ensemble import RandomForestClassifier model make_pipeline( SMOTE(sampling_strategy0.3, random_state42), RandomForestClassifier(n_estimators100) ) cv_scores cross_val_score(model, X, y, cvStratifiedKFold(5), scoringroc_auc)4. 实战案例信用卡欺诈检测4.1 数据集特性分析使用Kaggle信用卡欺诈数据集总样本284,807条欺诈样本492条0.172%特征V1-V28PCA处理过的数值特征import pandas as pd from collections import Counter data pd.read_csv(creditcard.csv) X data.drop(Class, axis1).values y data[Class].values print(f类别分布{Counter(y)}) # 输出Counter({0: 284315, 1: 492})4.2 评估指标选择准确率在此场景完全无效应使用Precision-Recall曲线下面积PR-AUC召回率RecallF2分数更关注召回率from sklearn.metrics import classification_report, average_precision_score def eval_model(model, X_test, y_test): y_pred model.predict(X_test) print(classification_report(y_test, y_pred)) print(fPR-AUC: {average_precision_score(y_test, y_pred):.4f})4.3 完整训练流程from sklearn.model_selection import train_test_split from imblearn.under_sampling import NearMiss from sklearn.linear_model import LogisticRegression # 初始分割 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42) # 使用NearMiss-2下采样 nm NearMiss(version2, n_neighbors3) X_res, y_res nm.fit_resample(X_train, y_train) # 训练模型 lr LogisticRegression(class_weightbalanced, max_iter1000) lr.fit(X_res, y_res) # 评估 eval_model(lr, X_test, y_test)5. 避坑指南与经验总结5.1 采样策略选择矩阵数据特点推荐方案原因说明多数类有清晰聚类结构ClusterCentroids SMOTE保留聚类代表性样本特征空间高维稀疏RandomUnderSampling距离计算不可靠类别间存在明显边界TomekLinks BorderlineSMOTE清理边界区域少数类样本极少50ADASYN自适应调整生成数量5.2 常见失误排查过采样后验证集指标虚高现象训练时PR-AUC达0.95实际业务中无效原因采样时未做K折隔离导致数据泄露解决严格在交叉验证每个fold内部分别采样SMOTE生成无意义样本现象新增样本导致模型性能下降检查可视化前两个主成分的分布改进换用SVMSMOTE或调整k_neighbors参数下采样后模型不稳定现象每次运行结果差异大原因随机下采样丢失过多信息方案改用NearMiss或集成下采样如EasyEnsemble5.3 计算资源优化技巧大数据集下采样对多数类先做KMeans聚类再从每个簇中抽样过采样加速使用kindsvm的SMOTE变体或设置n_jobs参数内存优化对于超大规模数据使用imblearn.keras的生成器式采样from imblearn.keras import BalancedBatchGenerator from tensorflow.keras import Sequential train_generator BalancedBatchGenerator(X_train, y_train, batch_size64, samplerRandomUnderSampler()) model Sequential([...]) # 构建Keras模型 model.fit(train_generator, epochs10)在实际项目中我通常会先用下采样快速验证模型结构是否合理再针对性地使用混合采样调优。记得保存每次实验的采样策略和随机种子这对复现结果至关重要。