KAEL
产品体验

量化研究 · KAEL 编辑部

数据泄漏:模型评估中的隐形捷径

量化研究主题立体封面

数据泄漏让模型在评估时接触了本不该知道的信息。它可能让实验分数显著提升,却无法在新的环境中复现。

从处理流程排查

如果先用全部数据计算归一化参数,再划分训练和评估集合,评估信息就可能提前进入流程。处理器的拟合范围也需要和模型训练范围保持一致。

检查样本关系

相邻时间片段或重复实体可能高度相似。简单随机划分会让相关样本出现在两侧,使评估任务比真实应用更容易。

建立隔离规则

把数据划分、特征计算和评估封装为固定流程。任何新增特征都说明可用时间与生成方式,让审查可以发生在实验之前。

更多洞察

查看全部