Trainer를 활용한 그래디언트 누적
언어 번역 모델에 그래디언트 누적(gradient accumulation)을 적용하기 위해 Trainer를 설정합니다. 이를 통해 더 큰 배치로 효과적인 훈련이 가능합니다. 이 모델은 MRPC 데이터셋의 패러프레이즈(paraphrase)를 학습하여 번역을 간소화합니다. 그래디언트를 누적하도록 훈련 인수를 구성해 보세요! trainer.train() 호출로 인해 실행에 다소 시간이 걸릴 수 있습니다.
model, dataset, 그리고 compute_metrics() 함수는 미리 정의되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
- 그래디언트 누적 단계 수를 2로 설정하세요.
- 훈련 인수를
Trainer에 전달하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()