量化研究 · KAEL 编辑部
数据泄漏:模型评估中的隐形捷径

数据泄漏让模型在评估时接触了本不该知道的信息。它可能让实验分数显著提升,却无法在新的环境中复现。
从处理流程排查
如果先用全部数据计算归一化参数,再划分训练和评估集合,评估信息就可能提前进入流程。处理器的拟合范围也需要和模型训练范围保持一致。
检查样本关系
相邻时间片段或重复实体可能高度相似。简单随机划分会让相关样本出现在两侧,使评估任务比真实应用更容易。
建立隔离规则
把数据划分、特征计算和评估封装为固定流程。任何新增特征都说明可用时间与生成方式,让审查可以发生在实验之前。



