정량적 연구 · KAEL 편집부
데이터 유출: 모델 평가의 보이지 않는 지름길
데이터 유출로 인해 모델은 평가 중에 인식해서는 안 되는 정보에 노출됩니다. 실험 점수를 크게 향상시킬 수 있지만 새로운 환경에서는 재현할 수 없습니다.
처리 흐름에서 문제 해결
모든 데이터를 이용하여 먼저 정규화 매개변수를 계산한 후 훈련 세트와 평가 세트를 나누어서 평가 정보를 미리 프로세스에 입력할 수 있다. 프로세서의 피팅 범위도 모델 훈련 범위와 일치해야 합니다.
샘플 관계 확인
인접한 시간 세그먼트나 반복되는 엔터티는 매우 유사할 수 있습니다. 단순 무작위 분할을 통해 관련 샘플이 양쪽에 나타나므로 실제 응용 프로그램보다 평가 작업이 더 쉬워집니다.
격리 규칙 만들기
데이터 분할, 기능 계산 및 평가를 고정된 프로세스로 캡슐화합니다. 추가된 모든 기능은 해당 기능을 사용할 수 있는 시기와 생성 방법을 나타내므로 실험 전에 검토할 수 있습니다.
