小白一句话数据泄露就是训练时不小心用了当时还看不到的信息。后果很隐蔽——离线分数漂亮得离谱一上线全露馅。这是建模里最坑、也最该刻进肌肉记忆的一条。前面第6、7章反复念叨特征只用评分日左边、标签只用右边这一章把为什么讲透并用示例数据演示泄露长什么样。数据泄露是什么一句话模型在训练时拿到了预测时刻根本不可能知道的信息。拿到这种信息模型不是在预测未来而是在复述已知。它通常有两种长相特征泄露某个特征本身就包含了标签的答案或答案的近亲。切分泄露训练集和测试集在时间上串了导致未来混进了过去的训练数据里。两种都会让离线评估虚高但上线后用的是真实场景特征全是历史、标签还没发生模型顿时不会了。最直观的泄露把答案塞进特征我们用示例数据造一个看起来很合理的特征看看会出什么事。活跃度模型的标签是active_7d这个用户未来 7 天还会不会来领。现在假设我们手滑多加了一列特征叫未来 7 天活跃天数——也就是评分日之后 7 天里他实际领了几天。在as_of 2026-07-23下算几个用户uid未来 7 天活跃天数这个特征标签 active_7d一致吗U003671一致U000900一致U001900一致U000511一致U003011一致U004011一致U002000一致把示例里 8 个用户全算一遍结果8/8 完全一致“未来 7 天活跃天数 0” 这句话和标签 1是同一个意思。用这个特征去训模型必得 AUC 1.0——完美分类。但这分数是假的。上线后你要的是在 07-23 这一刻猜他未来 7 天来不来而那时未来 7 天活跃天数根本还没发生你算不出来。模型练的是看着答案填答题卡考试时不给答案它就傻了。这个例子夸张但真实项目里泄露往往很隐蔽比如特征里混进了本周是否已结算奖励结算在领之后含未来信息、或者统计量用了全量数据拟合把测试期的分布也吃进去了。所以铁律只有一句——特征里出现的每一个数必须是在评分日及之前就能算出来的。评分日这根轴是铁律的具象把第6章那根轴画明白铁律就不用背了时间 →→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→ ← 特征期(只看这里) →│← 标签期(只看这里) → 评分日 as_of 近7天/14天/全期汇总 未来7天(active_7d)评分日左边你能看到的全部历史用来算特征。评分日右边还没发生的事用来算标签。两侧永不越界。任何偷偷跨过评分日的数都是泄露。第7章那张特征表里的每一列新近度、近 7 天、趋势、偏好熵……当时算的时候都只用了as_of及之前的记录就是守这条线。切分不能随机要按时间外推特征干净了还不够切分训练集 / 测试集的方式也会泄露。新手容易顺手train_test_split随机打乱。这在很多表格数据里没问题但在这个项目里会出事我们的样本是不同评分日的快照随机切分等于把未来评分日的样本放进训练、过去评分日的样本放进测试——等于用未来训、考过去分数又是虚的。正确做法是时间外推切分按评分日排序训练用较早的评分日测试用较晚的评分日。这样训练集里所有信息在测试集的评分日那一刻都已经发生了和上线场景一致上线时你也是用到现在为止的数据去猜之后。用示例数据演示取评分日07-08、07-15当训练07-22当测试。训练样本105 行标签为 1 的有 92 行测试样本57 行标签为 1 的有 42 行训练评分日最早 07-08全在测试评分日07-22之前——用过去训、考未来站得住。净空期训练集和测试集之间要留白光按时间切还不够边界上还会串。看这组切分的边界训练集最后一个评分日是07-15它的标签窗口是未来 7 天07-16 ~ 07-22。测试集第一个评分日是07-22它的 14 天特征窗口往回看[07-09 ~ 07-22]。两个窗口在07-16 ~ 07-22 这 7 天重叠了。意思是训练集里某些样本的标签来源期正好被测试集样本当成了特征来源期。训练时模型从标签里学到的东西测试时又从特征里看见了——信息串了测试分数还是偏高。解决办法是净空期embargo在训练集最后一个评分日和测试集第一个评分日之间留一段谁都不用的空白日期让两边的窗口彻底错开。所需空白长度大致等于特征最长回看天数 标签前瞻天数。本项目特征最多往回看 14 天、标签看未来 7 天所以一段干净的净空大约要 21 天。坦白说这份 30 天的示例数据太短演示不出完全干净的净空要 21 天空窗样本不够长。但真实项目里数据以月、年计留出 7~21 天净空很轻松。这里的关键是理解为什么需要这段空白而不是记住某个具体天数。把评分日撑密生成可行切分是雷第6章说过评分日不是固定的今天量一下、过几天再量一下同一个人就多出一行样本。那如果干脆把每一天都当一个评分日样本不就更多了答案是可行而且这正是真实项目里把有限数据撑大成训练集的常用办法——叫滚动 / 密集评分日。用示例数据算一下规模把 07-15 ~ 07-23 里每一天都当评分日共 9 天 × 58 个用户 522 条样本如果从 07-01 起算共 23 个合法评分日 × 58 1334 条样本。这些样本全合法最晚评分日是 07-23未来 7 天窗口到 07-30 刚好没掉出数据范围第6章亲手数过。生成阶段不算泄露——只要每条样本都守第6章那条线特征只用自己评分日及之前、标签只用之后。但造完样本之后切分方式决定会不会翻车。密集评分日造出的样本有个特点相邻两天的样本高度同源。比如同一用户as_of07-15和as_of07-16两条历史几乎完全重叠只差 07-16 这一天从未来挪到过去特征长得几乎一样。这带来两条必须守的纪律第一决不能随机按样本打乱切分。新手顺手train_test_split会把近重复的双胞胎样本一个扔训练、一个扔测试。模型在训练里记下了这个人的模样测试时又见到几乎相同的它分数虚高——这本质是近重复样本造成的切分泄露和本章开头讲的切分泄露是同一种坑。正确做法始终是按时间块切分训练用早的一批评分日、测试用晚的一批和上面演示的train{07-08,07-15} / test{07-22}一个道理只是评分日排得更密。第二净空期照样不能省反而更要警觉。即便用了时间块切分训练集最后一个评分日和测试集第一个评分日之间仍可能窗口重叠。上一节算过train 07-15 / test 07-22时两窗在 07-16~07-22 重叠 7 天。评分日越密你越容易顺手把训练集推到离测试集很近的位置重叠就悄悄露出来。所以所需净空≈ 特征回看 14 天 标签前瞻 7 天 ≈ 21 天一克都不能少。还有两个边界要记评分日不能越过 07-23。再往后07-24未来 7 天窗口会掉出 07-30 的数据范围标签不全样本作废。冷启动用户早期样本近乎全空。一个 07-10 才首次出现的人在as_of07-15时特征几乎全是 0。这种样本不能硬塞进正式训练要走第10章讲的三级路由。一句话收住把评分日撑密来造样本可行且常用真正的雷在切分——必须按时间块切 留净空期否则密集造出的近重复样本会把测试分数顶虚。这还是泄露只是更隐蔽。三切分契约训练、验证、测试各司其职前面把训练 / 测试讲成两段真实项目里其实是三段而且切分要当契约来定训练最早的窗口模型在这里学。验证中间的窗口用来调超参数、选模型、拟合校准器第16章那个 sigmoid 校准严格说应该在独立验证集上拟合示例数据太短当时用训练集内部交叉验证代替。测试最晚的窗口只做一次最终评估第19章那些指标只在这上面算别来回看。三个窗口之间同样要留净空期和前面算的一样≈ 特征回看 14 天 标签前瞻 7 天。核心规则是验证和测试里看到的一切都不能反过来影响训练时的任何决定——包括超参数、特征选择、校准器。谁要是看到测试分数不好就回头调一下再测测试就废了等价于变相泄露。两条配套纪律按 split 物理分区落地禁止随机重切。数据生成时就按训练 / 验证 / 测试各写各的分区之后任何人都不许再用train_test_split重新切——“反复重切等于反复偷看测试集”是慢性的、最不容易被抓到的泄露。示例训练表附件/05_活跃度预测篇/activity_train_table.csv就是按评分日写死的07-08、07-15、07-22 三个as_of后面所有章节都用同一份、没人重切数字才对得上。训练期快照要设 UID 上限。密集评分日造出来的样本同一个用户一周可能有好几条特征高度重复——全收进训练的话高频用户会主导训练第14章讲同用户多样本加权时会从权重角度再碰一次这件事。契约的做法二选一训练期同一用户每周至多保留一个快照抽样或者训练时给每个快照按用户出现频次降权。示例数据 3 个评分日正好隔一周、天然满足每周一个所以训练表没这个问题评分日一旦撑密这条就得上。一个常见误解同一用户跨训练/测试不算泄露很多人第一次听到按时间切会紧张“那同一个用户 U0036 不就同时出现在训练和测试里了这不算作弊吗”不算。回到第6章U0036 在 07-15 和 07-23 是两个不同的样本特征、标签都可能不同代表的是他两个不同状态下的快照。训练集用他在 07-15 的状态、测试集用他在 07-22 的状态模型学到的是某种状态下的人接下来会怎样这正是我们要的泛化能力。真正该防的不是同一用户跨集而是未来的信息混进过去。只要切分守住了时间方向训练评分日全早于测试评分日、窗口不重叠同一用户跨集完全 OK。动手给你的特征表做泄露体检三件事不用跑模型也能做扫一遍特征列。把你第7章算出的特征表每一列过一遍问自己这一列在评分日那一刻真的算得出来吗只要有一列用到了评分日之后的记录就是泄露删掉。检查切分方向。假设你的样本覆盖多个评分日用下面这段 pandas 按时间切分确认训练集里最晚的评分日严格早于测试集里最早的评分日importpandasaspd samplespd.DataFrame({# 每行一个 (uid, as_of) 样本, 含特征与标签uid:[U0036]*3[U0009]*3,as_of:pd.to_datetime([2026-07-08,2026-07-15,2026-07-22]*2),label:[1,1,1,1,0,0],})samplessamples.sort_values(as_of)cutint(len(samples)*2/3)train,testsamples.iloc[:cut],samples.iloc[cut:]print(训练最晚评分日:,train.as_of.max().date(),| 测试最早评分日:,test.as_of.min().date())# 应看到 训练最晚 测试最早想一个边界题如果特征里加了本周是否已领取算泄露吗——评分日当天的领取记录是已经发生的算进去没问题但如果本周包含了评分日之后的几天就泄露了。区别就在评分日这根轴画在哪。把这三步养成习惯后面跑任何模型第一条就先查泄露。下一章开始进行为聚类无监督那时你会发现无监督模型虽然没有标签、不存在标签泄露但特征用了未来信息这种泄露照样存在铁律对两类模型都管用。