Quantitative Forschung · KAEL-Redaktion
Datenleck: Unsichtbare Abkürzungen bei der Modellbewertung
Durch Datenlecks werden Modelle Informationen ausgesetzt, die ihnen bei der Auswertung nicht bekannt sein sollten. Es kann die experimentellen Ergebnisse erheblich verbessern, kann jedoch nicht in neuen Umgebungen reproduziert werden.
Fehlerbehebung aus dem Verarbeitungsablauf
Wenn zunächst alle Daten zur Berechnung der Normalisierungsparameter verwendet werden und dann die Trainings- und Bewertungssätze aufgeteilt werden, können die Bewertungsinformationen im Voraus in den Prozess einfließen. Der Anpassungsbereich des Prozessors muss außerdem mit dem Trainingsbereich des Modells übereinstimmen.
Überprüfen Sie Beispielbeziehungen
Benachbarte Zeitabschnitte oder sich wiederholende Einheiten können sehr ähnlich sein. Eine einfache zufällige Partitionierung führt dazu, dass relevante Proben auf beiden Seiten angezeigt werden, was die Bewertungsaufgabe einfacher macht als bei echten Anwendungen.
Erstellen Sie Quarantäneregeln
Kapseln Sie Datenpartitionierung, Merkmalsberechnung und Auswertung in feste Prozesse. Alle hinzugefügten Funktionen geben an, wann sie verfügbar sein werden und wie sie generiert wurden, sodass eine Überprüfung vor dem Experimentieren möglich ist.
