Trainer를 활용한 8-bit Adam
8-bit Adam 옵티마이저 설정을 완료했으니, 이제 학습에 적용할 차례입니다. Trainer에 8-bit Adam을 연결해 보세요!
다음 데이터가 미리 로드되어 있습니다:
adam_bnb_optim옵티마이저model,train_dataset,training_args등의 학습 객체
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
- 8-bit Adam 옵티마이저를
Trainer에 전달하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
optimizers=(____, None))