AI 컴퓨팅 파워 · KAEL 편집부
훈련과 추론: 두 가지 다른 컴퓨팅 작업
훈련은 모델이 학습하는 방법을 결정하고 추론은 모델이 사용되는 방법을 결정합니다. 이 두 단계를 구별하면 컴퓨팅 성능 요구 사항을 이해하는 데 도움이 되며 실험 환경의 성능을 실제 서비스 기능으로 직접 취하는 것을 방지할 수 있습니다.
교육은 반복에 중점을 둡니다.
훈련하려면 중간 상태를 저장하고 매개변수를 반복적으로 업데이트해야 합니다. 배치 크기, 입력 길이 및 최적화 방법은 리소스 사용량에 영향을 미치므로 다양한 솔루션을 비교할 때 실험 조건을 일관되게 유지해야 합니다.
추리 주목 서비스
추론은 일반적으로 매개변수를 업데이트하지 않지만 고르지 못한 요청 도착 시간, 다양한 입력 길이 및 대기 시간 제약 조건에 직면합니다. 단일 테스트는 빠르지만 동시에 여러 요청이 들어올 때 여전히 안정적이라는 의미는 아닙니다.
지표를 별도로 설정
연구 단계에서는 실험 완료 시간에 중점을 둘 수 있으며, 서비스 단계에서는 지연 분포, 실패율 및 리소스 비용을 기록해야 합니다. 두 단계를 개별적으로 평가한 다음 공유 장비와 격리된 배포 간의 장단점을 논의합니다.
