신뢰할 수 없는 데이터 소스 식별

여러분의 팀은 자동차 안전 분야에서 정확한 보고서 생성을 지원하는 모델을 개발하고 있어요. 세 가지 데이터 소스, 즉 "GlobalDrive Safety Institute", "AutoTech Safety Alliance", "QuickScan Auto Review"에서 선호도 데이터를 수집했습니다. 최근 데이터 무결성에 대한 우려가 제기되어, 신뢰할 수 없는 데이터 소스가 있는지 평가해 달라는 요청을 받았습니다.

automotive_df는 미리 임포트된 pandas 라이브러리를 사용해 로드된 결합 DataFrame으로, 세 소스의 데이터를 포함하고 있어요. 미리 임포트된 majority_vote 함수는 각 'id'에 대해 다수결로 선택된 (chosen, rejected) 쌍을 담은 사전과 유사한 객체를 생성합니다.

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

연습 안내

특정 데이터 소스에 대해 다수결과 한 번의 불일치를 계산하는 조건을 정의하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

def detect_unreliable_source(merged_df):
    df_majority = df.groupby('id').apply(majority_vote)
    disagreements = {source: 0 for source in df['source'].unique()}
    for _, row in df.iterrows():
        # Condition to find a disagreement with majority vote
        ____
    unreliable_source = max(disagreements, key=disagreements.get)
    return unreliable_source

disagreement = detect_unreliable_source(automotive_df)
print("Unreliable Source:", disagreement)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 챕터에서는 Reinforcement Learning with Human Feedback(RLHF)의 기초를 소개합니다. RLHF는 인간의 입력을 활용해 AI 모델이 더 효과적으로 학습하도록 돕는 기법입니다. 전통적인 강화학습과의 차이점, 그리고 인간 피드백이 다양한 분야에서 AI 성능을 어떻게 높이는지 이해하며 RLHF를 시작해 보세요.

Exercise 1: RLHF 소개 Exercise 2: RLHF로 텍스트 생성 Exercise 3: RLHF를 위한 생성 텍스트 분류하기 Exercise 4: RL vs. RLHF Exercise 5: 사전 학습된 LLM 탐색하기 Exercise 6: 텍스트 데이터셋 토크나이즈하기 Exercise 7: 리뷰 분류를 위한 파인튜닝 Exercise 8: RLHF를 위한 데이터 준비 Exercise 9: 선호도 데이터셋 준비하기 Exercise 10: 프롬프트 추출하기

이 챕터에서는 인간 피드백을 수집하는 시스템을 구축하는 방법을 알아봅니다. 쌍대 비교부터 불확실성 샘플링까지, 고품질 데이터를 수집하기 위한 모범 사례를 배우고, 데이터 수집을 강화하는 전략도 살펴봅니다.

Exercise 1: 고품질 피드백 수집 방법 Exercise 2: RLHF에서 비교와 평점 이해하기 Exercise 3: 헬스장 캠페인 슬로건 비교하기 Exercise 4: 피드백의 품질과 관련성 측정 Exercise 5: 낮은 신뢰도 Exercise 6: 피드백 클러스터링을 위한 K-means Exercise 7: 능동 학습 Exercise 8: 액티브 러닝 파이프라인 구현 Exercise 9: Active learning 루프

이 챕터에서는 Reinforcement Learning from Human Feedback 학습의 핵심을 다룹니다. PPO를 활용한 파인튜닝, 효율적인 학습 기법, 그리고 지표 목표에서 발생할 수 있는 일탈을 다루는 방법을 포함합니다.

Exercise 1: 리워드 모델 살펴보기 Exercise 2: 보상 초기화하기 Exercise 3: Reward Trainer 설정하기 Exercise 4: PPO로 학습하기 Exercise 5: PPO 트레이너 초기화 Exercise 6: PPO 미세 조정 Exercise 7: RLHF에서 효율적으로 파인튜닝하기 Exercise 8: 8비트 학습 준비 Exercise 9: LoRA로 학습하기

이 마지막 챕터에서는 Reinforcement Learning from Human Feedback(RLHF)에서 모델 성능을 평가하고 개선하는 핵심 기법을 살펴봅니다. 파인튜닝 지표부터 다양한 피드백 소스의 통합까지, 모델을 효과적으로 다듬는 데 필요한 포괄적인 도구 모음을 제공합니다.

Exercise 1: 모델 지표와 조정 Exercise 2: 음의 KL 발산 완화하기 Exercise 3: 리워드 모델 점검하기 Exercise 4: 다양한 피드백 소스 통합하기 Exercise 5: 여러 데이터 소스에서 다수결 투표하기 Exercise 6: 신뢰할 수 없는 데이터 소스 식별

현재 연습

Exercise 7: RLHF 모델 평가하기 Exercise 8: 곡선 해석하기 Exercise 9: 지표로 RLHF 평가하기 Exercise 10: RLHF 여정을 마무리하기