AIコンピューティングパワー・KAEL編集部
トレーニングと推論: 2 つの異なるコンピューティング タスク
トレーニングはモデルがどのように学習するかを決定し、推論はモデルがどのように使用されるかを決定します。これら 2 つの段階を区別することは、コンピューティング能力要件を理解するのに役立ち、実験環境のパフォーマンスを実際のサービス能力として直接受け取ることを避けます。
トレーニングは反復に重点を置いています
トレーニングでは、中間状態を保存し、パラメーターを繰り返し更新する必要があります。バッチ サイズ、入力長、最適化方法はリソースの使用量に影響するため、異なるソリューションを比較する場合は、実験条件を一貫させる必要があります。
推理注意サービス
通常、推論ではパラメーターは更新されませんが、リクエストの到着時間は不均一で、入力長は異なり、レイテンシの制約に直面します。単一のテストは高速ですが、複数のリクエストが同時に受信された場合に安定しているとは限りません。
インジケーターを個別に設定する
研究フェーズでは実験の完了時間に焦点を当てることができ、サービスフェーズでは遅延分布、失敗率、リソースコストを記録する必要があります。両方のフェーズを個別に評価し、共有機器と分離された導入の間のトレードオフについて話し合います。
