Trainer와 AdamW 활용

Transformer 모델을 사용해 언어 번역을 단순화하는 훈련을 시작하려고 합니다. 첫 번째 단계로, AdamW 옵티마이저를 기준점으로 삼고 Trainer 인터페이스를 활용해 빠르게 설정해 보겠습니다. AdamW optimizer를 사용하도록 Trainer를 구성하세요.

AdamW는 torch.optim에서 미리 임포트되어 있습니다. 다음 훈련 객체들도 미리 로드되어 있습니다: model, training_args, train_dataset, validation_dataset, compute_metrics.

이 연습은 강의의 일부입니다

PyTorch로 AI 모델 효율적으로 학습시키기

강의 보기

연습 안내

model의 파라미터를 AdamW optimizer에 전달하세요.
optimizer를 Trainer에 전달하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

코드 편집 및 실행