Generasi teks dengan RLHF

Dalam latihan ini, Anda akan bekerja dengan model yang telah dilatih awal menggunakan RLHF bernama lvwerra/gpt2-imdb-pos-v2. Latihan ini merupakan kesempatan untuk meninjau cara membangun pipeline Hugging Face dan menggunakannya untuk menguji salah satu kasus penggunaan model terlatih RLHF: menghasilkan ulasan film.

Objek pipeline, AutoModelForCausalLM, and AutoTokenizer telah diimpor sebelumnya dari transformers. tokenizer telah dimuat sebelumnya

Latihan ini merupakan bagian dari kursus

Reinforcement Learning from Human Feedback (RLHF)

Instruksi latihan

Atur nama model ke lvwerra/gpt2-imdb-pos-v2, model yang telah dilatih awal dengan RLHF.
Gunakan fungsi pipeline untuk membuat pipeline text-generation.
Gunakan pipeline generasi teks untuk menghasilkan kelanjutan dari ulasan yang disediakan.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Set the model name
model_name = ____
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Create a text generation pipeline
text_generator = pipeline(____, model=model, tokenizer=tokenizer)

review_prompt = "Surprisingly, the film"

# Generate a continuation of the review
generated_text = text_generator(____, max_length=10)
print(f"Generated Review Continuation: {generated_text[0]['generated_text']}")

Edit dan Jalankan Kode

Latihan ini merupakan bagian dari kursus

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Mulai Kursus Gratis

Bab ini memperkenalkan dasar-dasar Reinforcement Learning with Human Feedback (RLHF), sebuah teknik yang menggunakan masukan manusia untuk membantu model AI belajar lebih efektif. Mulailah dengan RLHF dengan memahami perbedaannya dari reinforcement learning tradisional dan mengapa umpan balik manusia dapat meningkatkan kinerja AI di berbagai domain.

Exercise 1: Pengantar RLHF Exercise 2: Generasi teks dengan RLHF

Latihan Saat Ini

Exercise 3: Mengklasifikasikan teks yang dihasilkan untuk RLHF Exercise 4: RL vs. RLHF Exercise 5: Menjelajahi LLM pralatih Exercise 6: Tokenisasi himpunan data teks Exercise 7: Fine-tuning untuk klasifikasi ulasan Exercise 8: Menyiapkan data untuk RLHF Exercise 9: Menyiapkan himpunan data preferensi Exercise 10: Mengekstrak prompt

Pelajari cara menyiapkan sistem untuk mengumpulkan umpan balik manusia dalam Bab ini. Kuasai praktik terbaik untuk mengumpulkan data berkualitas tinggi, dari perbandingan berpasangan hingga pengambilan sampel berbasis ketidakpastian, serta jelajahi strategi untuk meningkatkan pengumpulan data Anda.

Exercise 1: Metode untuk Mengumpulkan Umpan Balik Berkualitas Tinggi Exercise 2: Memahami perbandingan dan pemberian rating dalam RLHF Exercise 3: Membandingkan slogan untuk kampanye gym Exercise 4: Mengukur kualitas dan relevansi umpan balik Exercise 5: Keyakinan rendah Exercise 6: K-means untuk pengelompokan umpan balik Exercise 7: Active learning Exercise 8: Mengimplementasikan pipeline active learning Exercise 9: Siklus active learning

Dalam Bab ini, Anda akan masuk ke inti pelatihan Reinforcement Learning from Human Feedback. Ini mencakup penjelajahan fine-tuning dengan PPO, teknik untuk melatih secara efisien, dan menangani potensi penyimpangan dari tujuan metrik Anda.

Exercise 1: Menjelajahi reward model Exercise 2: Menginisialisasi reward Exercise 3: Menyiapkan reward trainer Exercise 4: Pelatihan dengan PPO Exercise 5: Inisialisasi pelatih PPO Exercise 6: Penyetelan halus dengan PPO Exercise 7: Fine-tuning yang efisien dalam RLHF Exercise 8: Siapkan untuk Pelatihan 8-bit Exercise 9: Latih dengan LoRA

Jelajahi teknik-teknik kunci untuk menilai dan meningkatkan kinerja model dalam Bab terakhir Reinforcement Learning from Human Feedback (RLHF): mulai dari penyetelan metrik hingga mengintegrasikan beragam sumber umpan balik, Anda akan mendapatkan seperangkat alat komprehensif untuk menyempurnakan model secara efektif.

Exercise 1: Metrik dan penyesuaian model Exercise 2: Mengurangi dampak KL divergence negatif Exercise 3: Memeriksa reward model Exercise 4: Mengintegrasikan beragam sumber umpan balik Exercise 5: Voting mayoritas pada beberapa sumber data Exercise 6: Identifikasi sumber data yang tidak andal Exercise 7: Evaluasi model RLHF Exercise 8: Menafsirkan kurva Exercise 9: Mengevaluasi RLHF dengan metrik Exercise 10: Menutup perjalanan RLHF Anda