이 챕터에서는 Reinforcement Learning with Human Feedback(RLHF)의 기초를 소개합니다. RLHF는 인간의 입력을 활용해 AI 모델이 더 효과적으로 학습하도록 돕는 기법입니다. 전통적인 강화학습과의 차이점, 그리고 인간 피드백이 다양한 분야에서 AI 성능을 어떻게 높이는지 이해하며 RLHF를 시작해 보세요.

RLHF 소개

RLHF로 텍스트 생성

RLHF를 위한 생성 텍스트 분류하기

RL vs. RLHF

사전 학습된 LLM 탐색하기

텍스트 데이터셋 토크나이즈하기

리뷰 분류를 위한 파인튜닝

RLHF를 위한 데이터 준비

선호도 데이터셋 준비하기

프롬프트 추출하기

핵심 개념

이 챕터에서는 인간 피드백을 수집하는 시스템을 구축하는 방법을 알아봅니다. 쌍대 비교부터 불확실성 샘플링까지, 고품질 데이터를 수집하기 위한 모범 사례를 배우고, 데이터 수집을 강화하는 전략도 살펴봅니다.

고품질 피드백 수집 방법

RLHF에서 비교와 평점 이해하기

헬스장 캠페인 슬로건 비교하기

피드백의 품질과 관련성 측정

낮은 신뢰도

피드백 클러스터링을 위한 K-means

능동 학습

액티브 러닝 파이프라인 구현

Active learning 루프

인간 피드백 수집

이 챕터에서는 Reinforcement Learning from Human Feedback 학습의 핵심을 다룹니다. PPO를 활용한 파인튜닝, 효율적인 학습 기법, 그리고 지표 목표에서 발생할 수 있는 일탈을 다루는 방법을 포함합니다.

리워드 모델 살펴보기

보상 초기화하기

Reward Trainer 설정하기

PPO로 학습하기

PPO 트레이너 초기화

PPO 미세 조정

RLHF에서 효율적으로 파인튜닝하기

8비트 학습 준비

LoRA로 학습하기

인간 피드백으로 모델 튜닝

이 마지막 챕터에서는 Reinforcement Learning from Human Feedback(RLHF)에서 모델 성능을 평가하고 개선하는 핵심 기법을 살펴봅니다. 파인튜닝 지표부터 다양한 피드백 소스의 통합까지, 모델을 효과적으로 다듬는 데 필요한 포괄적인 도구 모음을 제공합니다.

모델 지표와 조정

음의 KL 발산 완화하기

리워드 모델 점검하기

다양한 피드백 소스 통합하기

여러 데이터 소스에서 다수결 투표하기

신뢰할 수 없는 데이터 소스 식별

RLHF 모델 평가하기

곡선 해석하기

지표로 RLHF 평가하기

RLHF 여정을 마무리하기

모델 평가

이 강의에서는 Generative AI의 효율성과 인간 전문성의 통찰을 결합한 Reinforcement Learning from Human Feedback를 다룹니다. GenAI 모델이 인간의 가치와 선호를 충실히 반영하도록 만드는 방법을 배우고, LLM을 직접 다루며 실습해 보세요. 또한 보상 모델의 복잡성을 이해하고, LLM을 기반으로 실제 환경에 잘 학습하고 적응하는 AI를 구축하는 방법을 익힙니다.

Deep Reinforcement Learning in Python

고급 LLM을 통해 인간 가치를 반영하는 GenAI 모델을 배우고 실습 경험을 쌓으세요.

Reinforcement Learning from Human Feedback (RLHF)

인간적 가치를 충실히 반영하는 GenAI 모델을 설계하고, 최신 LLM을 직접 다루며 실무 역량을 키우십시오.

대형 언어 모델 개발

강화 학습 in Python

AI Engineer

RLHF에서 효율적 미세 조정

매개변수 효율적 미세 조정

1단계: 활성 모델을 8비트 정밀도로 로드

2단계: peft로 학습 가능한 어댑터 추가

3단계: 하나의 모델로 참조와 활성 로짓 사용

연습해 봅시다!

인간 피드백으로 모델 튜닝 - RLHF에서 효율적으로 파인튜닝하기

RLHF에서 효율적으로 파인튜닝하기

Create Your Free Account