헬스장 캠페인 슬로건 비교하기

여러분은 광고 대행사와 협업해 헬스장 캠페인 슬로건을 생성하는 두 개 모델을 평가하고 있어요. 각 모델은 슬로건 목록과 해당 효과성 점수를 생성했습니다. 여러분의 과제는 각 모델이 만든 슬로건을 비교해 전반적으로 어떤 모델이 더 우수한지 판단하고, 각 모델의 성공률을 계산하는 거예요.

슬로건은 slogans_X와 slogans_Y로 미리 로드되어 있으며, 슬로건과 점수로 이루어진 튜플 리스트입니다.

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

연습 안내

각 슬로건 쌍에 대해, 슬로건 X의 점수가 더 높으면 wins_X를 1 증가시키고, 슬로건 Y의 점수가 더 높으면 wins_Y를 1 증가시키세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

def evaluate_slogans(slogans_X, slogans_Y):
    wins_X, wins_Y = 0, 0
    for (slogan_X, score_X), (slogan_Y, score_Y) in zip(slogans_X, slogans_Y):
        # Assign one point to X if score X is higher, otherwise to Y
        ____
    success_rate_X = (wins_X / len(slogans_X)) * 100
    success_rate_Y = (wins_Y / len(slogans_Y)) * 100
    return success_rate_X, success_rate_Y

results = evaluate_slogans(slogans_X, slogans_Y)
print(f"The resulting scores are {results}")

코드 편집 및 실행

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 챕터에서는 Reinforcement Learning with Human Feedback(RLHF)의 기초를 소개합니다. RLHF는 인간의 입력을 활용해 AI 모델이 더 효과적으로 학습하도록 돕는 기법입니다. 전통적인 강화학습과의 차이점, 그리고 인간 피드백이 다양한 분야에서 AI 성능을 어떻게 높이는지 이해하며 RLHF를 시작해 보세요.

Exercise 1: RLHF 소개 Exercise 2: RLHF로 텍스트 생성 Exercise 3: RLHF를 위한 생성 텍스트 분류하기 Exercise 4: RL vs. RLHF Exercise 5: 사전 학습된 LLM 탐색하기 Exercise 6: 텍스트 데이터셋 토크나이즈하기 Exercise 7: 리뷰 분류를 위한 파인튜닝 Exercise 8: RLHF를 위한 데이터 준비 Exercise 9: 선호도 데이터셋 준비하기 Exercise 10: 프롬프트 추출하기

이 챕터에서는 인간 피드백을 수집하는 시스템을 구축하는 방법을 알아봅니다. 쌍대 비교부터 불확실성 샘플링까지, 고품질 데이터를 수집하기 위한 모범 사례를 배우고, 데이터 수집을 강화하는 전략도 살펴봅니다.

Exercise 1: 고품질 피드백 수집 방법 Exercise 2: RLHF에서 비교와 평점 이해하기 Exercise 3: 헬스장 캠페인 슬로건 비교하기

현재 연습

Exercise 4: 피드백의 품질과 관련성 측정 Exercise 5: 낮은 신뢰도 Exercise 6: 피드백 클러스터링을 위한 K-means Exercise 7: 능동 학습 Exercise 8: 액티브 러닝 파이프라인 구현 Exercise 9: Active learning 루프

이 챕터에서는 Reinforcement Learning from Human Feedback 학습의 핵심을 다룹니다. PPO를 활용한 파인튜닝, 효율적인 학습 기법, 그리고 지표 목표에서 발생할 수 있는 일탈을 다루는 방법을 포함합니다.

Exercise 1: 리워드 모델 살펴보기 Exercise 2: 보상 초기화하기 Exercise 3: Reward Trainer 설정하기 Exercise 4: PPO로 학습하기 Exercise 5: PPO 트레이너 초기화 Exercise 6: PPO 미세 조정 Exercise 7: RLHF에서 효율적으로 파인튜닝하기 Exercise 8: 8비트 학습 준비 Exercise 9: LoRA로 학습하기

이 마지막 챕터에서는 Reinforcement Learning from Human Feedback(RLHF)에서 모델 성능을 평가하고 개선하는 핵심 기법을 살펴봅니다. 파인튜닝 지표부터 다양한 피드백 소스의 통합까지, 모델을 효과적으로 다듬는 데 필요한 포괄적인 도구 모음을 제공합니다.

Exercise 1: 모델 지표와 조정 Exercise 2: 음의 KL 발산 완화하기 Exercise 3: 리워드 모델 점검하기 Exercise 4: 다양한 피드백 소스 통합하기 Exercise 5: 여러 데이터 소스에서 다수결 투표하기 Exercise 6: 신뢰할 수 없는 데이터 소스 식별 Exercise 7: RLHF 모델 평가하기 Exercise 8: 곡선 해석하기 Exercise 9: 지표로 RLHF 평가하기 Exercise 10: RLHF 여정을 마무리하기