Llama 학습 인자 설정하기
여러분은 고객 지원 챗봇에 사용되는 Llama 모델을, 질의응답에 맞춰 제작한 고객 지원 데이터로 미세 조정해야 합니다. 최고의 성능을 확보하기 위해 팀에서는 bitext 데이터셋을 사용해 이 작업에 맞게 Llama 모델을 미세 조정할 예정입니다.
먼저 학습 스크립트가 정상 작동하는지 확인하기 위해 학습 루프를 시험 실행하려고 합니다. 따라서 학습 인자에서 학습률을 작게 설정하고, 학습 스텝 수도 소수로 제한해 시작해 보세요.
이 연습은 강의의 일부입니다
Llama 3 미세 조정(Fine-Tuning)
연습 안내
- 학습 인자를 저장할 헬퍼 클래스를 임포트하고 인스턴스화하세요.
- 학습률 인자를
2e-3값으로 설정하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)