Khám phá dữ liệu giới tính

Dữ liệu gender chứa các chỉ số Weight, Height và BMI của 10.000 người. Dữ liệu gốc có nhãn Gender cho 5.000 người tự nhận là nữ và 5.000 người còn lại là nam. Các nhãn này sẽ hữu ích sau này để kiểm tra mức độ hoạt động của phân cụm so với nhãn thực. Tuy nhiên, trong tập con của bộ dữ liệu này, các nhãn không được cung cấp.

Dữ liệu gender_with_probs cũng chứa xác suất mỗi điểm dữ liệu thuộc về một cụm. Vì chúng ta quan tâm đến hai cụm, các xác suất gần 1 tương ứng với một cụm và gần 0 với cụm còn lại.

Mục tiêu của bài tập này là giúp bạn hình dung dữ liệu phân cụm điển hình trông như thế nào trước và sau khi phân cụm.

Bài tập này là một phần của khóa học

Các Mô hình Hỗn hợp trong R

Xem khóa học

Hướng dẫn bài tập

Dùng hàm head để xem 6 quan sát đầu tiên của gender.
Dùng hàm head để xem 6 quan sát đầu tiên của gender_with_probs.
Vẽ biểu đồ phân tán với Weight trên trục x và BMI trên trục y. Tô màu các điểm theo xác suất của chúng.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Have a look to gender (before clustering)
head(___)

# Have a look to gender_with_probs (after clustering)
head(___)

# Scatterplot with probabilities
gender_with_probs %>% 
  ggplot(aes(x = ___, y = ___, col = ___))+
  geom_point(alpha = 0.5)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Các Mô hình Hỗn hợp trong R

SkillTag.level.intermediateSkillTag.label

4.7+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ được giới thiệu các khái niệm nền tảng trong phân cụm dựa trên mô hình và cách tiếp cận này khác gì so với các kỹ thuật phân cụm khác. Bạn sẽ học quy trình sinh của Gaussian Mixture Models cũng như cách trực quan hóa các cụm.

Exercise 1: Giới thiệu về phân cụm dựa trên mô hình Exercise 2: Các phương pháp phân cụm Exercise 3: Khám phá dữ liệu giới tính

Bài tập hiện tại

Exercise 4: Phân phối Gaussian Exercise 5: Lấy mẫu từ phân phối Gaussian Exercise 6: (không tốt lắm) Ước lượng trung bình và độ lệch chuẩn Exercise 7: Mô hình trộn Gaussian (GMM)Exercise 8: Mô phỏng hỗn hợp của hai phân phối Gaussian Exercise 9: Vẽ biểu đồ histogram cho Gaussian Mixture Exercise 10: Hỗn hợp của ba phân phối Gaussian

Trong chương này, bạn sẽ được giới thiệu cấu trúc chính của Mixture Models, cách xử lý các loại dữ liệu khác nhau với phương pháp này và cách ước lượng các tham số liên quan. Để thực hiện việc ước lượng, bạn sẽ học một phương pháp lặp gọi là thuật toán Expectation-Maximization.

Exercise 1: Cấu trúc của mô hình trộn (mixture models)Exercise 2: Nên dùng phân phối xác suất nào?Exercise 3: Bộ dữ liệu chữ số viết tay Exercise 4: Ước lượng tham số Exercise 5: Ước lượng khi đã biết xác suất Exercise 6: Tính các xác suất Exercise 7: Thuật toán EM Exercise 8: Hàm kỳ vọng Exercise 9: Hàm tối đa hóa Exercise 10: Áp dụng hai bước Exercise 11: Vẽ biểu đồ các cụm ước lượng

Chương này minh họa cách khớp Gaussian Mixture Models trong 1 và 2 chiều với gói `flexmix`. Dữ liệu sử dụng gồm 10.000 quan sát về cân nặng, chiều cao, chỉ số khối cơ thể và giới tính tự khai báo của con người.

Exercise 1: Mô hình hỗn hợp Gaussian một biến Exercise 2: Số lượng cụm Exercise 3: Số lượng tham số Exercise 4: Mô hình Hỗn hợp Gaussian một biến với flexmix Exercise 5: Trường hợp đơn biến với flexmix Exercise 6: Trích xuất tham số cho trường hợp đơn biến Exercise 7: Trực quan hóa Mô hình Hỗn hợp Gaussian một biến Exercise 8: So sánh kết quả Exercise 9: Mô hình Hỗn hợp Gauss hai biến Exercise 10: Hệ số chéo trong ma trận hiệp phương sai Exercise 11: Tham số trong trường hợp hai biến Exercise 12: Mô hình Hỗn hợp Gaussian hai biến với flexmix Exercise 13: Ước lượng mô hình với các hạng chéo Exercise 14: Lấy các thành phần Exercise 15: Tạo các ellipse Exercise 16: Trực quan hóa các cụm

Trong mô-đun này, bạn sẽ học cách Mixture Models mở rộng để xét các phân phối xác suất khác với Gaussian và cách khớp các mô hình này với `flexmix`. Các tập dữ liệu sử dụng là ảnh chữ số viết tay và số vụ phạm tội ở thành phố Chicago. Với tập dữ liệu đầu tiên, bạn sẽ tìm các cụm tóm tắt các chữ số viết tay; với tập dữ liệu thứ hai, bạn sẽ tìm các cụm cộng đồng nơi mức độ an toàn khác nhau (nguy hiểm hơn hoặc an toàn hơn để sinh sống).

Exercise 1: Mô hình trộn Bernoulli Exercise 2: Ảnh nhị phân Exercise 3: Bao nhiêu giá trị?Exercise 4: Mô hình trộn Bernoulli với flexmix Exercise 5: Chữ số viết tay với `flexmix`Exercise 6: Mô hình trộn Poisson Exercise 7: Khám phá lambda Exercise 8: Lấy mẫu từ phân phối Poisson Exercise 9: Mô hình trộn Poisson với flexmix Exercise 10: Dữ liệu tội phạm với `flexmix`