Вычислительная мощность искусственного интеллекта · Редакционный отдел KAEL
Обучение и вывод: две разные вычислительные задачи
Обучение определяет, как модель обучается, а вывод определяет, как модель используется. Различение этих двух этапов помогает понять требования к вычислительной мощности и позволяет избежать непосредственного восприятия производительности экспериментальной среды как реальных возможностей обслуживания.
Обучение фокусируется на итерациях
Обучение требует сохранения промежуточных состояний и многократного обновления параметров. Размер пакета, длина входных данных и метод оптимизации будут влиять на использование ресурсов, поэтому при сравнении различных решений необходимо поддерживать согласованность условий эксперимента.
Служба рассуждения внимания
Вывод обычно не обновляет параметры, но сталкивается с неравномерным временем прибытия запросов, различной длиной входных данных и ограничениями задержки. Одиночный тест выполняется быстро, но это не означает, что он по-прежнему стабилен, когда одновременно поступает несколько запросов.
Установите индикаторы отдельно
Фаза исследования может быть сосредоточена на времени завершения эксперимента, а фаза обслуживания должна фиксировать распределение задержек, коэффициент отказов и стоимость ресурсов. Оцените оба этапа по отдельности, а затем обсудите компромисс между общим оборудованием и изолированным развертыванием.
