AI 算力 · KAEL 编辑部
训练与推理：两种不同的计算任务
训练决定模型如何学习，推理决定模型如何被使用。区分这两个阶段，有助于理解算力需求，也能避免把实验环境的表现直接当作实际服务能力。
训练关注迭代
训练需要保存中间状态并反复更新参数。批次大小、输入长度和优化方法会影响资源占用，因此比较不同方案时，需要保持实验条件一致。
推理关注服务
推理通常不更新参数，但要面对请求到达时间不均、输入长度变化和延迟约束。单次测试很快，并不代表多个请求同时进入时仍然稳定。
分别设定指标
研究阶段可以关注实验完成时间，服务阶段应记录延迟分布、失败比例与资源成本。两个阶段分别评估，再讨论共用设备或隔离部署的取舍。
