TrainingArguments 설정하기

언어 모델의 학습 과정을 구성해 보겠습니다. TrainingArguments는 Trainer에 전달할 입력 매개변수를 지정합니다. 이 연습 문제에서는 각 매개변수의 값을 직접 제공합니다. 실제 환경에서는 모델에 맞게 매개변수를 조정해야 합니다. Trainer를 사용할 수 있도록 모델에 필요한 인수를 준비해 보세요!

일부 데이터는 미리 로드되어 있습니다:

output_dir은 사전 정의된 디렉터리입니다.
TrainingArguments 클래스는 이미 임포트되어 있습니다.

이 연습은 강의의 일부입니다

PyTorch로 AI 모델 효율적으로 학습시키기

강의 보기

연습 안내

TrainingArguments 클래스를 사용하여 training_args를 정의하세요.
사전 학습된 모델 가중치를 파인튜닝하기 위해 learning_rate를 2e-5로 설정하세요.
각 디바이스의 학습 배치 크기를 16으로 설정하세요.
에포크마다 평가 체크포인트를 생성하도록 evaluation_strategy를 설정하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

코드 편집 및 실행