1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 AI 모델 효율적으로 학습시키기
Connected

연습 문제

옵티마이저 크기 계산하기

모델 학습에 사용할 여러 옵티마이저를 비교하기 위해 메모리 사용량을 정량적으로 측정하려고 합니다. 테스트를 위해 DistilBERT 모델과 AdamW 옵티마이저를 불러왔으며, 이제 메모리 사용량을 계산해 보겠습니다. 옵티마이저의 크기를 계산하는 compute_optimizer_size 함수를 작성해 보세요.

AdamW optimizer는 Trainer 없이 직접 정의되었으며, 학습이 완료된 상태입니다.

지침

100 XP
  • for 루프 안에서 각 tensor의 요소 수와 요소 크기를 계산하세요.
  • optimizer의 전체 크기를 메가바이트 단위로 계산하세요.
  • optimizer.state의 적절한 메서드를 사용하여 옵티마이저 상태 딕셔너리에 접근하세요.