Nhận diện nguồn dữ liệu không đáng tin cậy

Nhóm của bạn đang phát triển một mô hình hỗ trợ tạo báo cáo chính xác trong ngành an toàn ô tô. Bạn đã thu thập dữ liệu sở thích từ ba nguồn dữ liệu — "GlobalDrive Safety Institute", "AutoTech Safety Alliance" và "QuickScan Auto Review". Gần đây, có những lo ngại về tính toàn vẹn của dữ liệu, và bạn được yêu cầu đánh giá để xác định bất kỳ nguồn dữ liệu nào không đáng tin cậy.

automotive_df là một DataFrame tổng hợp được nạp bằng thư viện pandas đã nhập sẵn. Nó chứa dữ liệu từ cả ba nguồn. Hàm majority_vote đã nhập sẵn tạo ra một đối tượng giống từ điển với cặp (chosen, rejected) theo đa số cho mỗi 'id'.

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

Xem khóa học

Hướng dẫn bài tập

Xác định điều kiện để đếm một trường hợp bất đồng với kết quả bỏ phiếu đa số cho một nguồn dữ liệu nhất định.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

def detect_unreliable_source(merged_df):
    df_majority = df.groupby('id').apply(majority_vote)
    disagreements = {source: 0 for source in df['source'].unique()}
    for _, row in df.iterrows():
        # Condition to find a disagreement with majority vote
        ____
    unreliable_source = max(disagreements, key=disagreements.get)
    return unreliable_source

disagreement = detect_unreliable_source(automotive_df)
print("Unreliable Source:", disagreement)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này giới thiệu những điều cơ bản về Reinforcement Learning with Human Feedback (RLHF), một kỹ thuật sử dụng đầu vào của con người để giúp mô hình AI học hiệu quả hơn. Bắt đầu với RLHF bằng cách hiểu cách nó khác với học tăng cường truyền thống và vì sao phản hồi của con người có thể nâng cao hiệu suất AI trong nhiều lĩnh vực.

Exercise 1: Giới thiệu về RLHF Exercise 2: Sinh văn bản với RLHF Exercise 3: Phân loại văn bản sinh ra cho RLHF Exercise 4: RL vs. RLHF Exercise 5: Khám phá các LLM được huấn luyện sẵn Exercise 6: Token hóa một tập dữ liệu văn bản Exercise 7: Fine-tuning để phân loại đánh giá Exercise 8: Chuẩn bị dữ liệu cho RLHF Exercise 9: Chuẩn bị tập dữ liệu ưu tiên Exercise 10: Trích xuất prompt

Khám phá cách thiết lập hệ thống để thu thập phản hồi của con người trong Chương này. Tìm hiểu các phương pháp hay nhất để thu thập dữ liệu chất lượng cao, từ so sánh cặp đôi đến lấy mẫu theo độ bất định, và khám phá các chiến lược để tăng cường hoạt động thu thập dữ liệu của bạn.

Exercise 1: Phương pháp thu thập phản hồi chất lượng cao Exercise 2: Hiểu về so sánh và chấm điểm trong RLHF Exercise 3: So sánh khẩu hiệu cho chiến dịch phòng gym Exercise 4: Đo lường chất lượng và mức độ liên quan của phản hồi Exercise 5: Độ tự tin thấp Exercise 6: K-means để phân cụm phản hồi Exercise 7: Active learning Exercise 8: Triển khai một pipeline active learning Exercise 9: Vòng lặp active learning

Trong Chương này, bạn sẽ đi vào phần cốt lõi của quá trình huấn luyện Reinforcement Learning from Human Feedback. Nội dung bao gồm tìm hiểu fine-tuning với PPO, các kỹ thuật huấn luyện hiệu quả, và cách xử lý khả năng lệch khỏi mục tiêu của các thước đo.

Exercise 1: Khám phá các mô hình thưởng Exercise 2: Khởi tạo reward Exercise 3: Thiết lập reward trainer Exercise 4: Huấn luyện với PPO Exercise 5: Khởi tạo PPO trainer Exercise 6: Fine-tune bằng PPO Exercise 7: Tinh chỉnh hiệu quả trong RLHF Exercise 8: Chuẩn bị cho huấn luyện 8-bit Exercise 9: Huấn luyện với LoRA

Khám phá các kỹ thuật chủ chốt để đánh giá và cải thiện hiệu suất mô hình trong Chương cuối của Reinforcement Learning from Human Feedback (RLHF): từ tinh chỉnh thước đo đến tích hợp nhiều nguồn phản hồi, bạn sẽ có một bộ công cụ toàn diện để tối ưu mô hình một cách hiệu quả.

Exercise 1: Chỉ số mô hình và điều chỉnh Exercise 2: Giảm thiểu phân kỳ KL âm Exercise 3: Kiểm tra reward model Exercise 4: Kết hợp nhiều nguồn phản hồi đa dạng Exercise 5: Bỏ phiếu đa số trên nhiều nguồn dữ liệu Exercise 6: Nhận diện nguồn dữ liệu không đáng tin cậy

Bài tập hiện tại

Exercise 7: Đánh giá các mô hình RLHF Exercise 8: Diễn giải các đường cong Exercise 9: Đánh giá RLHF bằng các thước đo Exercise 10: Khép lại hành trình RLHF của bạn