K-means để phân cụm phản hồi

Bạn có một tập dữ liệu các phản hồi, và bạn đã dùng một mô hình GPT để tính điểm độ tin cậy cho từng phản hồi. Để phát hiện các phản hồi bất thường hoặc ngoại lai, bạn áp dụng phân cụm k-means cho các phản hồi có độ tin cậy thấp.

Thuật toán KMeans, các biến reviews và confidences, cùng thư viện np đã được nạp sẵn.

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

Xem khóa học

Hướng dẫn bài tập

Khởi tạo thuật toán k-means. Đặt random_state là 42 để đảm bảo khả năng tái lập kết quả.
Tính khoảng cách từ các tâm cụm để xác định điểm ngoại lai bằng cách lấy hiệu giữa data và các tâm cụm tương ứng.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

def detect_anomalies(data, n_clusters=3):
    # Initialize k-means
    ____
    clusters = kmeans.fit_predict(data)
    centers = kmeans.cluster_centers_

    # Calculate distances from cluster centers
    ____
    return distances
  
anomalies = detect_anomalies(confidences)
print(anomalies)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này giới thiệu những điều cơ bản về Reinforcement Learning with Human Feedback (RLHF), một kỹ thuật sử dụng đầu vào của con người để giúp mô hình AI học hiệu quả hơn. Bắt đầu với RLHF bằng cách hiểu cách nó khác với học tăng cường truyền thống và vì sao phản hồi của con người có thể nâng cao hiệu suất AI trong nhiều lĩnh vực.

Exercise 1: Giới thiệu về RLHF Exercise 2: Sinh văn bản với RLHF Exercise 3: Phân loại văn bản sinh ra cho RLHF Exercise 4: RL vs. RLHF Exercise 5: Khám phá các LLM được huấn luyện sẵn Exercise 6: Token hóa một tập dữ liệu văn bản Exercise 7: Fine-tuning để phân loại đánh giá Exercise 8: Chuẩn bị dữ liệu cho RLHF Exercise 9: Chuẩn bị tập dữ liệu ưu tiên Exercise 10: Trích xuất prompt

Khám phá cách thiết lập hệ thống để thu thập phản hồi của con người trong Chương này. Tìm hiểu các phương pháp hay nhất để thu thập dữ liệu chất lượng cao, từ so sánh cặp đôi đến lấy mẫu theo độ bất định, và khám phá các chiến lược để tăng cường hoạt động thu thập dữ liệu của bạn.

Exercise 1: Phương pháp thu thập phản hồi chất lượng cao Exercise 2: Hiểu về so sánh và chấm điểm trong RLHF Exercise 3: So sánh khẩu hiệu cho chiến dịch phòng gym Exercise 4: Đo lường chất lượng và mức độ liên quan của phản hồi Exercise 5: Độ tự tin thấp Exercise 6: K-means để phân cụm phản hồi

Bài tập hiện tại

Exercise 7: Active learning Exercise 8: Triển khai một pipeline active learning Exercise 9: Vòng lặp active learning

Trong Chương này, bạn sẽ đi vào phần cốt lõi của quá trình huấn luyện Reinforcement Learning from Human Feedback. Nội dung bao gồm tìm hiểu fine-tuning với PPO, các kỹ thuật huấn luyện hiệu quả, và cách xử lý khả năng lệch khỏi mục tiêu của các thước đo.

Exercise 1: Khám phá các mô hình thưởng Exercise 2: Khởi tạo reward Exercise 3: Thiết lập reward trainer Exercise 4: Huấn luyện với PPO Exercise 5: Khởi tạo PPO trainer Exercise 6: Fine-tune bằng PPO Exercise 7: Tinh chỉnh hiệu quả trong RLHF Exercise 8: Chuẩn bị cho huấn luyện 8-bit Exercise 9: Huấn luyện với LoRA

Khám phá các kỹ thuật chủ chốt để đánh giá và cải thiện hiệu suất mô hình trong Chương cuối của Reinforcement Learning from Human Feedback (RLHF): từ tinh chỉnh thước đo đến tích hợp nhiều nguồn phản hồi, bạn sẽ có một bộ công cụ toàn diện để tối ưu mô hình một cách hiệu quả.

Exercise 1: Chỉ số mô hình và điều chỉnh Exercise 2: Giảm thiểu phân kỳ KL âm Exercise 3: Kiểm tra reward model Exercise 4: Kết hợp nhiều nguồn phản hồi đa dạng Exercise 5: Bỏ phiếu đa số trên nhiều nguồn dữ liệu Exercise 6: Nhận diện nguồn dữ liệu không đáng tin cậy Exercise 7: Đánh giá các mô hình RLHF Exercise 8: Diễn giải các đường cong Exercise 9: Đánh giá RLHF bằng các thước đo Exercise 10: Khép lại hành trình RLHF của bạn