定量調査・KAEL編集部
データ漏洩: モデル評価における目に見えないショートカット
データ漏洩により、モデルが評価中に知っておくべきではない情報にさらされてしまいます。実験スコアが大幅に向上する可能性がありますが、新しい環境で再現することはできません。
処理の流れからトラブルシューティングを行う
最初にすべてのデータを使用して正規化パラメータを計算し、次にトレーニング セットと評価セットを分割する場合、評価情報が事前にプロセスに入力される可能性があります。プロセッサのフィッティング範囲もモデルのトレーニング範囲と一致している必要があります。
サンプルの関係性を確認する
隣接する時間セグメントまたは繰り返しエンティティは非常に類似している場合があります。単純なランダム分割により、関連するサンプルが両側に表示されるため、実際のアプリケーションよりも評価タスクが簡単になります。
隔離ルールを作成する
データの分割、特徴の計算、評価を固定プロセスにカプセル化します。追加された機能には、いつ利用可能になるか、どのように生成されたかが示されているため、実験前に確認することができます。
