Bỏ phiếu đa số trên nhiều nguồn dữ liệu

Nhóm của bạn đang phát triển một mô hình AI để tự động tạo báo cáo kiểm soát chất lượng (QC) cho smartphone. Để phục vụ mục đích này, bạn đã thu thập dữ liệu ưu tiên từ ba nguồn QC khác nhau — một "Automated Vision System", một "Human Inspector", và "Customer Feedback". Mỗi nguồn đã gán nhãn cho các cặp mẫu văn bản là 'chosen' và 'rejected'. Mỗi cặp có một 'id' duy nhất, và mỗi bản ghi thể hiện một bài đánh giá QC được ưu tiên.

quality_df là một DataFrame tổng hợp được tải bằng pandas. Nó chứa dữ liệu từ ba nguồn khác nhau. Ngoài ra, lớp Counter đã được nhập sẵn từ mô-đun collections.

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

Xem khóa học

Hướng dẫn bài tập

Đếm số lần xuất hiện của từng cặp (chosen, rejected) trong hàm vote.
Tìm cặp (chosen, rejected) có số phiếu cao nhất.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

def majority_vote(df):
  	# Count occurrences of each (chosen, rejected) pair
    votes = ____
    # Find the (chosen, rejected) pair with the highest vote count
    winner = ____
    return winner

final_preferences = quality_df.groupby(['id']).apply(majority_vote)

print(final_preferences)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này giới thiệu những điều cơ bản về Reinforcement Learning with Human Feedback (RLHF), một kỹ thuật sử dụng đầu vào của con người để giúp mô hình AI học hiệu quả hơn. Bắt đầu với RLHF bằng cách hiểu cách nó khác với học tăng cường truyền thống và vì sao phản hồi của con người có thể nâng cao hiệu suất AI trong nhiều lĩnh vực.

Exercise 1: Giới thiệu về RLHF Exercise 2: Sinh văn bản với RLHF Exercise 3: Phân loại văn bản sinh ra cho RLHF Exercise 4: RL vs. RLHF Exercise 5: Khám phá các LLM được huấn luyện sẵn Exercise 6: Token hóa một tập dữ liệu văn bản Exercise 7: Fine-tuning để phân loại đánh giá Exercise 8: Chuẩn bị dữ liệu cho RLHF Exercise 9: Chuẩn bị tập dữ liệu ưu tiên Exercise 10: Trích xuất prompt

Khám phá cách thiết lập hệ thống để thu thập phản hồi của con người trong Chương này. Tìm hiểu các phương pháp hay nhất để thu thập dữ liệu chất lượng cao, từ so sánh cặp đôi đến lấy mẫu theo độ bất định, và khám phá các chiến lược để tăng cường hoạt động thu thập dữ liệu của bạn.

Exercise 1: Phương pháp thu thập phản hồi chất lượng cao Exercise 2: Hiểu về so sánh và chấm điểm trong RLHF Exercise 3: So sánh khẩu hiệu cho chiến dịch phòng gym Exercise 4: Đo lường chất lượng và mức độ liên quan của phản hồi Exercise 5: Độ tự tin thấp Exercise 6: K-means để phân cụm phản hồi Exercise 7: Active learning Exercise 8: Triển khai một pipeline active learning Exercise 9: Vòng lặp active learning

Trong Chương này, bạn sẽ đi vào phần cốt lõi của quá trình huấn luyện Reinforcement Learning from Human Feedback. Nội dung bao gồm tìm hiểu fine-tuning với PPO, các kỹ thuật huấn luyện hiệu quả, và cách xử lý khả năng lệch khỏi mục tiêu của các thước đo.

Exercise 1: Khám phá các mô hình thưởng Exercise 2: Khởi tạo reward Exercise 3: Thiết lập reward trainer Exercise 4: Huấn luyện với PPO Exercise 5: Khởi tạo PPO trainer Exercise 6: Fine-tune bằng PPO Exercise 7: Tinh chỉnh hiệu quả trong RLHF Exercise 8: Chuẩn bị cho huấn luyện 8-bit Exercise 9: Huấn luyện với LoRA

Khám phá các kỹ thuật chủ chốt để đánh giá và cải thiện hiệu suất mô hình trong Chương cuối của Reinforcement Learning from Human Feedback (RLHF): từ tinh chỉnh thước đo đến tích hợp nhiều nguồn phản hồi, bạn sẽ có một bộ công cụ toàn diện để tối ưu mô hình một cách hiệu quả.

Exercise 1: Chỉ số mô hình và điều chỉnh Exercise 2: Giảm thiểu phân kỳ KL âm Exercise 3: Kiểm tra reward model Exercise 4: Kết hợp nhiều nguồn phản hồi đa dạng Exercise 5: Bỏ phiếu đa số trên nhiều nguồn dữ liệu

Bài tập hiện tại

Exercise 6: Nhận diện nguồn dữ liệu không đáng tin cậy Exercise 7: Đánh giá các mô hình RLHF Exercise 8: Diễn giải các đường cong Exercise 9: Đánh giá RLHF bằng các thước đo Exercise 10: Khép lại hành trình RLHF của bạn