여러 데이터 소스에서 다수결 투표하기

여러분의 팀은 스마트폰 품질 관리(QC) 보고서를 자동 생성하는 AI 모델을 개발하고 있어요. 이를 위해 세 가지 품질 관리 소스—"Automated Vision System", "Human Inspector", "Customer Feedback"—에서 선호도 데이터를 수집했어요. 각 소스는 페어로 구성된 텍스트 샘플에 'chosen'과 'rejected' 라벨을 부여했어요. 각 페어에는 고유한 'id'가 있으며, 각 항목은 선호되는 QC 리뷰를 보여줍니다.

quality_df는 pandas로 불러온 통합 DataFrame으로, 세 가지 서로 다른 데이터 소스의 데이터를 담고 있어요. 추가로, collections 모듈에서 Counter 클래스가 미리 임포트되어 있어요.

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

연습 안내

vote 함수에서 각 (chosen, rejected) 페어의 발생 횟수를 세세요.
표 수가 가장 높은 (chosen, rejected) 페어를 찾으세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

def majority_vote(df):
  	# Count occurrences of each (chosen, rejected) pair
    votes = ____
    # Find the (chosen, rejected) pair with the highest vote count
    winner = ____
    return winner

final_preferences = quality_df.groupby(['id']).apply(majority_vote)

print(final_preferences)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 챕터에서는 Reinforcement Learning with Human Feedback(RLHF)의 기초를 소개합니다. RLHF는 인간의 입력을 활용해 AI 모델이 더 효과적으로 학습하도록 돕는 기법입니다. 전통적인 강화학습과의 차이점, 그리고 인간 피드백이 다양한 분야에서 AI 성능을 어떻게 높이는지 이해하며 RLHF를 시작해 보세요.

Exercise 1: RLHF 소개 Exercise 2: RLHF로 텍스트 생성 Exercise 3: RLHF를 위한 생성 텍스트 분류하기 Exercise 4: RL vs. RLHF Exercise 5: 사전 학습된 LLM 탐색하기 Exercise 6: 텍스트 데이터셋 토크나이즈하기 Exercise 7: 리뷰 분류를 위한 파인튜닝 Exercise 8: RLHF를 위한 데이터 준비 Exercise 9: 선호도 데이터셋 준비하기 Exercise 10: 프롬프트 추출하기

이 챕터에서는 인간 피드백을 수집하는 시스템을 구축하는 방법을 알아봅니다. 쌍대 비교부터 불확실성 샘플링까지, 고품질 데이터를 수집하기 위한 모범 사례를 배우고, 데이터 수집을 강화하는 전략도 살펴봅니다.

Exercise 1: 고품질 피드백 수집 방법 Exercise 2: RLHF에서 비교와 평점 이해하기 Exercise 3: 헬스장 캠페인 슬로건 비교하기 Exercise 4: 피드백의 품질과 관련성 측정 Exercise 5: 낮은 신뢰도 Exercise 6: 피드백 클러스터링을 위한 K-means Exercise 7: 능동 학습 Exercise 8: 액티브 러닝 파이프라인 구현 Exercise 9: Active learning 루프

이 챕터에서는 Reinforcement Learning from Human Feedback 학습의 핵심을 다룹니다. PPO를 활용한 파인튜닝, 효율적인 학습 기법, 그리고 지표 목표에서 발생할 수 있는 일탈을 다루는 방법을 포함합니다.

Exercise 1: 리워드 모델 살펴보기 Exercise 2: 보상 초기화하기 Exercise 3: Reward Trainer 설정하기 Exercise 4: PPO로 학습하기 Exercise 5: PPO 트레이너 초기화 Exercise 6: PPO 미세 조정 Exercise 7: RLHF에서 효율적으로 파인튜닝하기 Exercise 8: 8비트 학습 준비 Exercise 9: LoRA로 학습하기

이 마지막 챕터에서는 Reinforcement Learning from Human Feedback(RLHF)에서 모델 성능을 평가하고 개선하는 핵심 기법을 살펴봅니다. 파인튜닝 지표부터 다양한 피드백 소스의 통합까지, 모델을 효과적으로 다듬는 데 필요한 포괄적인 도구 모음을 제공합니다.

Exercise 1: 모델 지표와 조정 Exercise 2: 음의 KL 발산 완화하기 Exercise 3: 리워드 모델 점검하기 Exercise 4: 다양한 피드백 소스 통합하기 Exercise 5: 여러 데이터 소스에서 다수결 투표하기

현재 연습

Exercise 6: 신뢰할 수 없는 데이터 소스 식별 Exercise 7: RLHF 모델 평가하기 Exercise 8: 곡선 해석하기 Exercise 9: 지표로 RLHF 평가하기 Exercise 10: RLHF 여정을 마무리하기