Fine-tuning để phân loại đánh giá

Dự án của bạn tiếp tục và bây giờ bạn muốn phân loại các đánh giá thành tích cực, trung tính hoặc tiêu cực. Bạn sẽ dùng một mô hình đã fine-tune để tự động phân loại các đánh giá.

Các lớp TrainingArguments và Trainer đã được import từ transformers. training_args, model, và tokenized_datasets cũng đã được import sẵn.

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

Xem khóa học

Hướng dẫn bài tập

Tạo các tập dữ liệu train và test bằng các tập con "train" và "test" từ tập tokenized_datasets.
Khởi tạo lớp trainer.
Thêm các tham số huấn luyện vào lớp.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Define the train and test datasets
training_dataset = ____
testing_dataset = ____

# Initialize the trainer class
trainer = ____(
# Add arguments to the class
    model=model,
    args=training_args,
    train_dataset=____,
    eval_dataset=____
)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này giới thiệu những điều cơ bản về Reinforcement Learning with Human Feedback (RLHF), một kỹ thuật sử dụng đầu vào của con người để giúp mô hình AI học hiệu quả hơn. Bắt đầu với RLHF bằng cách hiểu cách nó khác với học tăng cường truyền thống và vì sao phản hồi của con người có thể nâng cao hiệu suất AI trong nhiều lĩnh vực.

Exercise 1: Giới thiệu về RLHF Exercise 2: Sinh văn bản với RLHF Exercise 3: Phân loại văn bản sinh ra cho RLHF Exercise 4: RL vs. RLHF Exercise 5: Khám phá các LLM được huấn luyện sẵn Exercise 6: Token hóa một tập dữ liệu văn bản Exercise 7: Fine-tuning để phân loại đánh giá

Bài tập hiện tại

Exercise 8: Chuẩn bị dữ liệu cho RLHF Exercise 9: Chuẩn bị tập dữ liệu ưu tiên Exercise 10: Trích xuất prompt

Khám phá cách thiết lập hệ thống để thu thập phản hồi của con người trong Chương này. Tìm hiểu các phương pháp hay nhất để thu thập dữ liệu chất lượng cao, từ so sánh cặp đôi đến lấy mẫu theo độ bất định, và khám phá các chiến lược để tăng cường hoạt động thu thập dữ liệu của bạn.

Exercise 1: Phương pháp thu thập phản hồi chất lượng cao Exercise 2: Hiểu về so sánh và chấm điểm trong RLHF Exercise 3: So sánh khẩu hiệu cho chiến dịch phòng gym Exercise 4: Đo lường chất lượng và mức độ liên quan của phản hồi Exercise 5: Độ tự tin thấp Exercise 6: K-means để phân cụm phản hồi Exercise 7: Active learning Exercise 8: Triển khai một pipeline active learning Exercise 9: Vòng lặp active learning

Trong Chương này, bạn sẽ đi vào phần cốt lõi của quá trình huấn luyện Reinforcement Learning from Human Feedback. Nội dung bao gồm tìm hiểu fine-tuning với PPO, các kỹ thuật huấn luyện hiệu quả, và cách xử lý khả năng lệch khỏi mục tiêu của các thước đo.

Exercise 1: Khám phá các mô hình thưởng Exercise 2: Khởi tạo reward Exercise 3: Thiết lập reward trainer Exercise 4: Huấn luyện với PPO Exercise 5: Khởi tạo PPO trainer Exercise 6: Fine-tune bằng PPO Exercise 7: Tinh chỉnh hiệu quả trong RLHF Exercise 8: Chuẩn bị cho huấn luyện 8-bit Exercise 9: Huấn luyện với LoRA

Khám phá các kỹ thuật chủ chốt để đánh giá và cải thiện hiệu suất mô hình trong Chương cuối của Reinforcement Learning from Human Feedback (RLHF): từ tinh chỉnh thước đo đến tích hợp nhiều nguồn phản hồi, bạn sẽ có một bộ công cụ toàn diện để tối ưu mô hình một cách hiệu quả.

Exercise 1: Chỉ số mô hình và điều chỉnh Exercise 2: Giảm thiểu phân kỳ KL âm Exercise 3: Kiểm tra reward model Exercise 4: Kết hợp nhiều nguồn phản hồi đa dạng Exercise 5: Bỏ phiếu đa số trên nhiều nguồn dữ liệu Exercise 6: Nhận diện nguồn dữ liệu không đáng tin cậy Exercise 7: Đánh giá các mô hình RLHF Exercise 8: Diễn giải các đường cong Exercise 9: Đánh giá RLHF bằng các thước đo Exercise 10: Khép lại hành trình RLHF của bạn