보상 초기화하기

여러분은 온라인 서점을 위한 개인화 추천을 제공하는 생성 모델의 배포 막바지 단계에 있습니다. 이 모델을 사람 선호도에 맞추려면, 수집한 선호 데이터로 보상 모델을 학습해야 해요. 첫 단계는 모델과 구성 매개변수를 초기화하는 일입니다.

AutoTokenizer와 AutoModelForSequenceClassification은 transformers에서 미리 로드되어 있고, RewardConfig는 trl에서 미리 로드되어 있습니다.

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

연습 안내

Hugging Face의 AutoModelForSequenceClassification을 사용해 시퀀스 분류 작업용 GPT-1 모델 "openai-gpt"를 로드하세요.
"output_dir"를 출력 디렉터리로 사용해 보상 구성을 초기화하고, 토큰 최대 길이를 60으로 설정하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Load the pre-trained GPT-1 model for text classification
model = ____

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")

# Initialize the reward configuration and set max_length
config = ____(output_dir=____, max_length=____)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 챕터에서는 Reinforcement Learning with Human Feedback(RLHF)의 기초를 소개합니다. RLHF는 인간의 입력을 활용해 AI 모델이 더 효과적으로 학습하도록 돕는 기법입니다. 전통적인 강화학습과의 차이점, 그리고 인간 피드백이 다양한 분야에서 AI 성능을 어떻게 높이는지 이해하며 RLHF를 시작해 보세요.

Exercise 1: RLHF 소개 Exercise 2: RLHF로 텍스트 생성 Exercise 3: RLHF를 위한 생성 텍스트 분류하기 Exercise 4: RL vs. RLHF Exercise 5: 사전 학습된 LLM 탐색하기 Exercise 6: 텍스트 데이터셋 토크나이즈하기 Exercise 7: 리뷰 분류를 위한 파인튜닝 Exercise 8: RLHF를 위한 데이터 준비 Exercise 9: 선호도 데이터셋 준비하기 Exercise 10: 프롬프트 추출하기

이 챕터에서는 인간 피드백을 수집하는 시스템을 구축하는 방법을 알아봅니다. 쌍대 비교부터 불확실성 샘플링까지, 고품질 데이터를 수집하기 위한 모범 사례를 배우고, 데이터 수집을 강화하는 전략도 살펴봅니다.

Exercise 1: 고품질 피드백 수집 방법 Exercise 2: RLHF에서 비교와 평점 이해하기 Exercise 3: 헬스장 캠페인 슬로건 비교하기 Exercise 4: 피드백의 품질과 관련성 측정 Exercise 5: 낮은 신뢰도 Exercise 6: 피드백 클러스터링을 위한 K-means Exercise 7: 능동 학습 Exercise 8: 액티브 러닝 파이프라인 구현 Exercise 9: Active learning 루프

이 챕터에서는 Reinforcement Learning from Human Feedback 학습의 핵심을 다룹니다. PPO를 활용한 파인튜닝, 효율적인 학습 기법, 그리고 지표 목표에서 발생할 수 있는 일탈을 다루는 방법을 포함합니다.

Exercise 1: 리워드 모델 살펴보기 Exercise 2: 보상 초기화하기

현재 연습

Exercise 3: Reward Trainer 설정하기 Exercise 4: PPO로 학습하기 Exercise 5: PPO 트레이너 초기화 Exercise 6: PPO 미세 조정 Exercise 7: RLHF에서 효율적으로 파인튜닝하기 Exercise 8: 8비트 학습 준비 Exercise 9: LoRA로 학습하기

이 마지막 챕터에서는 Reinforcement Learning from Human Feedback(RLHF)에서 모델 성능을 평가하고 개선하는 핵심 기법을 살펴봅니다. 파인튜닝 지표부터 다양한 피드백 소스의 통합까지, 모델을 효과적으로 다듬는 데 필요한 포괄적인 도구 모음을 제공합니다.

Exercise 1: 모델 지표와 조정 Exercise 2: 음의 KL 발산 완화하기 Exercise 3: 리워드 모델 점검하기 Exercise 4: 다양한 피드백 소스 통합하기 Exercise 5: 여러 데이터 소스에서 다수결 투표하기 Exercise 6: 신뢰할 수 없는 데이터 소스 식별 Exercise 7: RLHF 모델 평가하기 Exercise 8: 곡선 해석하기 Exercise 9: 지표로 RLHF 평가하기 Exercise 10: RLHF 여정을 마무리하기