Вычислительная мощность искусственного интеллекта · Редакционный отдел KAEL
Сделайте эксперименты по машинному обучению воспроизводимыми
Результатом исследования является не просто оценка, но и шаги, которые другие могут повторить. Воспроизводимость делает сравнение моделей более достоверным и снижает затраты на смену персонала.
Полный контекст документа
Сохраняйте версии кода, зависимости, случайные начальные значения, параметры и диапазоны данных. Сохранение только файла окончательной модели часто не может объяснить, почему она вела себя иначе, чем в последнем эксперименте.
единые условия сравнения
Сравните сценарии, используя один и тот же процесс разделения данных и оценки. Если функции, модель и метрики оценки изменяются одновременно, даже если оценка улучшается, трудно понять, откуда это улучшение.
Объяснение колебаний результатов
Запустите несколько запусков процесса, в котором существует случайность, и сообщите о диапазоне результатов, а не только о лучшем. Обращение внимания на стабильность производительности зачастую более полезно при принятии последующих инженерных решений, чем погоня за одним пиком.
