Reward Trainer 설정하기

프로젝트를 계속 진행하면서 이제 보상 모델 학습을 시작할 준비가 된 model과 config 객체가 준비되어 있어요.

학습 및 평가 데이터셋은 각각 train_data와 eval_data로 미리 로드되어 있습니다. RewardTrainer는 trl에서 이미 가져왔어요.

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

강의 보기

연습 안내

모델, 토크나이저, 학습 데이터셋, 평가 데이터셋, 보상 구성을 속성으로 지정해 RewardTrainer()를 초기화하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
model = AutoModelForSequenceClassification.from_pretrained('openai-gpt')
config = RewardConfig(output_dir='output_dir', max_length=60)

# Initialize the reward trainer
trainer = ____

코드 편집 및 실행

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

307 reviews

무료로 강의 시작하기

이 챕터에서는 Reinforcement Learning with Human Feedback(RLHF)의 기초를 소개합니다. RLHF는 인간의 입력을 활용해 AI 모델이 더 효과적으로 학습하도록 돕는 기법입니다. 전통적인 강화학습과의 차이점, 그리고 인간 피드백이 다양한 분야에서 AI 성능을 어떻게 높이는지 이해하며 RLHF를 시작해 보세요.

Exercise 1: RLHF 소개 Exercise 2: RLHF로 텍스트 생성 Exercise 3: RLHF를 위한 생성 텍스트 분류하기 Exercise 4: RL vs. RLHF Exercise 5: 사전 학습된 LLM 탐색하기 Exercise 6: 텍스트 데이터셋 토크나이즈하기 Exercise 7: 리뷰 분류를 위한 파인튜닝 Exercise 8: RLHF를 위한 데이터 준비 Exercise 9: 선호도 데이터셋 준비하기 Exercise 10: 프롬프트 추출하기

이 챕터에서는 인간 피드백을 수집하는 시스템을 구축하는 방법을 알아봅니다. 쌍대 비교부터 불확실성 샘플링까지, 고품질 데이터를 수집하기 위한 모범 사례를 배우고, 데이터 수집을 강화하는 전략도 살펴봅니다.

Exercise 1: 고품질 피드백 수집 방법 Exercise 2: RLHF에서 비교와 평점 이해하기 Exercise 3: 헬스장 캠페인 슬로건 비교하기 Exercise 4: 피드백의 품질과 관련성 측정 Exercise 5: 낮은 신뢰도 Exercise 6: 피드백 클러스터링을 위한 K-means Exercise 7: 능동 학습 Exercise 8: 액티브 러닝 파이프라인 구현 Exercise 9: Active learning 루프

이 챕터에서는 Reinforcement Learning from Human Feedback 학습의 핵심을 다룹니다. PPO를 활용한 파인튜닝, 효율적인 학습 기법, 그리고 지표 목표에서 발생할 수 있는 일탈을 다루는 방법을 포함합니다.

Exercise 1: 리워드 모델 살펴보기 Exercise 2: 보상 초기화하기 Exercise 3: Reward Trainer 설정하기

현재 연습

Exercise 4: PPO로 학습하기 Exercise 5: PPO 트레이너 초기화 Exercise 6: PPO 미세 조정 Exercise 7: RLHF에서 효율적으로 파인튜닝하기 Exercise 8: 8비트 학습 준비 Exercise 9: LoRA로 학습하기

이 마지막 챕터에서는 Reinforcement Learning from Human Feedback(RLHF)에서 모델 성능을 평가하고 개선하는 핵심 기법을 살펴봅니다. 파인튜닝 지표부터 다양한 피드백 소스의 통합까지, 모델을 효과적으로 다듬는 데 필요한 포괄적인 도구 모음을 제공합니다.

Exercise 1: 모델 지표와 조정 Exercise 2: 음의 KL 발산 완화하기 Exercise 3: 리워드 모델 점검하기 Exercise 4: 다양한 피드백 소스 통합하기 Exercise 5: 여러 데이터 소스에서 다수결 투표하기 Exercise 6: 신뢰할 수 없는 데이터 소스 식별 Exercise 7: RLHF 모델 평가하기 Exercise 8: 곡선 해석하기 Exercise 9: 지표로 RLHF 평가하기 Exercise 10: RLHF 여정을 마무리하기