Puissance de calcul de l'IA · Département éditorial de KAEL
Formation et inférence : deux tâches informatiques différentes
La formation détermine la manière dont le modèle apprend et l'inférence détermine la manière dont le modèle est utilisé. Distinguer ces deux étapes permet de comprendre les besoins en puissance de calcul et évite de considérer directement les performances de l'environnement expérimental comme des capacités réelles de service.
La formation se concentre sur l’itération
La formation nécessite de sauvegarder les états intermédiaires et de mettre à jour les paramètres à plusieurs reprises. La taille du lot, la longueur d'entrée et la méthode d'optimisation affecteront l'utilisation des ressources. Ainsi, lorsque vous comparez différentes solutions, vous devez maintenir la cohérence des conditions expérimentales.
Service d’attention au raisonnement
L'inférence ne met généralement pas à jour les paramètres, mais est confrontée à des temps d'arrivée de requêtes inégaux, à des longueurs d'entrée variables et à des contraintes de latence. Un seul test est rapide, mais cela ne signifie pas qu’il reste stable lorsque plusieurs requêtes arrivent en même temps.
Définir les indicateurs séparément
La phase de recherche peut se concentrer sur le temps de réalisation de l'expérience, et la phase de service doit enregistrer la répartition des retards, le taux d'échec et le coût des ressources. Évaluez les deux phases séparément, puis discutez du compromis entre un équipement partagé ou un déploiement isolé.
