Bab ini memperkenalkan dasar-dasar Reinforcement Learning with Human Feedback (RLHF), sebuah teknik yang menggunakan masukan manusia untuk membantu model AI belajar lebih efektif. Mulailah dengan RLHF dengan memahami perbedaannya dari reinforcement learning tradisional dan mengapa umpan balik manusia dapat meningkatkan kinerja AI di berbagai domain.

Pengantar RLHF

Generasi teks dengan RLHF

Mengklasifikasikan teks yang dihasilkan untuk RLHF

RL vs. RLHF

Menjelajahi LLM pralatih

Tokenisasi himpunan data teks

Fine-tuning untuk klasifikasi ulasan

Menyiapkan data untuk RLHF

Menyiapkan himpunan data preferensi

Mengekstrak prompt

Konsep Dasar

Pelajari cara menyiapkan sistem untuk mengumpulkan umpan balik manusia dalam Bab ini. Kuasai praktik terbaik untuk mengumpulkan data berkualitas tinggi, dari perbandingan berpasangan hingga pengambilan sampel berbasis ketidakpastian, serta jelajahi strategi untuk meningkatkan pengumpulan data Anda.

Metode untuk Mengumpulkan Umpan Balik Berkualitas Tinggi

Opsi

Perbandingan

Pemberian rating

Memahami perbandingan dan pemberian rating dalam RLHF

Membandingkan slogan untuk kampanye gym

Mengukur kualitas dan relevansi umpan balik

Keyakinan rendah

K-means untuk pengelompokan umpan balik

Active learning

Mengimplementasikan pipeline active learning

Siklus active learning

Mengumpulkan Umpan Balik Manusia

Dalam Bab ini, Anda akan masuk ke inti pelatihan Reinforcement Learning from Human Feedback. Ini mencakup penjelajahan fine-tuning dengan PPO, teknik untuk melatih secara efisien, dan menangani potensi penyimpangan dari tujuan metrik Anda.

Menjelajahi reward model

Menginisialisasi reward

Menyiapkan reward trainer

Pelatihan dengan PPO

Inisialisasi pelatih PPO

Penyetelan halus dengan PPO

Fine-tuning yang efisien dalam RLHF

Siapkan untuk Pelatihan 8-bit

Latih dengan LoRA

 Penyelarasan Model dengan Umpan Balik Manusia

Jelajahi teknik-teknik kunci untuk menilai dan meningkatkan kinerja model dalam Bab terakhir Reinforcement Learning from Human Feedback (RLHF): mulai dari penyetelan metrik hingga mengintegrasikan beragam sumber umpan balik, Anda akan mendapatkan seperangkat alat komprehensif untuk menyempurnakan model secara efektif.

Metrik dan penyesuaian model

Mengurangi dampak KL divergence negatif

Memeriksa reward model

Mengintegrasikan beragam sumber umpan balik

Voting mayoritas pada beberapa sumber data

Identifikasi sumber data yang tidak andal

Evaluasi model RLHF

Menafsirkan kurva

Mengevaluasi RLHF dengan metrik

Menutup perjalanan RLHF Anda

Evaluasi Model

Padukan efisiensi Generative AI dengan pemahaman keahlian manusia dalam kursus Reinforcement Learning from Human Feedback ini. Anda akan mempelajari cara membuat model GenAI benar-benar mencerminkan nilai dan preferensi manusia sekaligus mendapatkan pengalaman langsung dengan LLM. Anda juga akan menavigasi kompleksitas model penghargaan dan mempelajari cara membangun di atas LLM untuk menghasilkan AI yang tidak hanya belajar, tetapi juga beradaptasi dengan skenario dunia nyata.

Deep Reinforcement Learning in Python

Pelajari cara membuat model GenAI mencerminkan nilai manusia sambil berlatih dengan LLM canggih.

Reinforcement Learning from Human Feedback (RLHF)

Pengembangan Model Bahasa Besar

Pembelajaran Penguatan dalam Python

Pilih film mana yang terbaik: "Interstellar", atau "Oppenheimer"

Berikan setiap film skor 1 sampai 5 berdasarkan tingkat kepentingan: "Titanic", "Gladiator", "Interstellar"

Memahami perbandingan dan pemberian rating dalam RLHF

Reinforcement Learning from Human Feedback (RLHF)

Latihan interaktif langsung