Tạo bộ dữ liệu cho phân loại

Tìm một bộ dữ liệu thực tế đáp ứng mọi tổ hợp tiêu chí mong muốn có thể rất phức tạp và, nếu được thu thập, có thể phát sinh lo ngại về quyền riêng tư. Giải pháp là bạn có thể dùng các bộ tạo dữ liệu để cho ra gần đúng tốt với dữ liệu thế giới thực.

Trong bài tập này, bạn sẽ tạo một bộ dữ liệu lớn cho bài toán phân loại 3 lớp. Để dễ trực quan hóa dữ liệu được tạo dưới dạng biểu đồ phân tán, một hàm tùy chỉnh đã được cung cấp là plot_data_points().

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

Xem khóa học

Hướng dẫn bài tập

Import hàm tương ứng từ sklearn.datasets để tạo bộ dữ liệu phân loại.
Tạo 5000 mẫu với 4 đặc trưng, 1 cụm mỗi lớp, 3 lớp, và độ tách lớp 2.
In kích thước (shape) của dữ liệu đã tạo.
Xem biểu đồ phân tán kết quả.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import the function for generating classification datasets
from sklearn.datasets import ____

# Generate 5000 samples with 4 features, 1 cluster per class, 3 classes, and class separation of 2
x, y = ____

# Inspect the generated data shape
print(____)

# Inspect the resulting data points in a 2 dimensional scatter plot
plot_data_points(x, y)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng áp dụng các kỹ thuật ẩn danh như loại bỏ dữ liệu, che giấu, tạo dữ liệu tổng hợp và khái quát hóa. Trong chương này, bạn sẽ học cách phân biệt giữa thông tin nhận dạng cá nhân (PII) nhạy cảm và không nhạy cảm, các bộ nhận dạng gần đúng (quasi-identifier), cùng những kiến thức cơ bản về GDPR. Bạn cũng sẽ gặp các ví dụ thực tế về những rủi ro có thể xảy ra nếu không tuân thủ các thực tiễn tốt nhất này.

Exercise 1: Thông tin nào là riêng tư, và vì sao chúng ta cần quan tâm?Exercise 2: Quyền riêng tư là sức mạnh Exercise 3: Nhạy cảm hay không nhạy cảm?Exercise 4: Loại bỏ (suppression) thuộc tính nhạy cảm Exercise 5: Ẩn dữ liệu và tạo dữ liệu bằng Faker Exercise 6: Che giấu (mask) PII nhạy cảm Exercise 7: Xóa tên thật bằng faker Exercise 8: Ẩn danh bằng cách tổng quát hóa dữ liệu Exercise 9: Giảm rủi ro định danh bằng khái quát hóa (generalization)Exercise 10: Tổng hợp dữ liệu và khái quát hóa dữ liệu Exercise 11: Top code và bottom code lương của Nhà Trắng

Khám phá cách ẩn danh dữ liệu bằng cách lấy mẫu từ các tập dữ liệu theo phân phối xác suất của từng cột. Tiếp đó, bạn sẽ học cách áp dụng mô hình bảo mật k-anonymity để ngăn chặn các cuộc tấn công liên kết hoặc tái nhận dạng và sử dụng hệ phân cấp để khái quát hóa dữ liệu ở các biến phân loại.

Exercise 1: Ẩn danh dữ liệu phân loại Exercise 2: Khám phá phân phối của dữ liệu Exercise 3: Lấy mẫu theo cùng một phân phối xác suất Exercise 4: Ẩn danh dữ liệu liên tục Exercise 5: Các phân phối khác nhau Exercise 6: Lấy mẫu từ phân phối liên tục phù hợp nhất Exercise 7: Giới thiệu về k-anonymity Exercise 8: Thuộc tính quyền riêng tư Exercise 9: Khái quát hóa thành các khoảng Exercise 10: Khái quát hóa dữ liệu bằng hệ phân cấp Exercise 11: Dùng hệ phân cấp cho dữ liệu phân loại Exercise 12: K-anonymizing a dataset

Tìm hiểu về differential privacy, mô hình được sử dụng bởi các công ty công nghệ lớn như Apple, Google và Uber. Trong chương này, bạn sẽ khám phá dữ liệu bằng cách tạo biểu đồ tần suất riêng tư và tính trung bình riêng tư. Bạn cũng sẽ tạo các mô hình Machine Learning tuân thủ differential privacy, giúp doanh nghiệp gia tăng tính hữu dụng của dữ liệu.

Exercise 1: Giới thiệu về differential privacy Exercise 2: Epsilon (ϵ): con số kỳ diệu Exercise 3: Biểu đồ tần suất với differential privacy Exercise 4: Ngân sách quyền riêng tư Exercise 5: Sử dụng ngân sách quyền riêng tư Exercise 6: Khi hết sạch ngân sách Exercise 7: Khám phá dữ liệu với bộ quản lý ngân sách quyền riêng tư Exercise 8: Các mô hình Machine Learning bảo toàn vi sai Exercise 9: Xây dựng bộ phân loại đảm bảo quyền riêng tư vi phân Exercise 10: Dự đoán mức lương Exercise 11: Mô hình phân cụm đảm bảo quyền riêng tư vi phân Exercise 12: Tiền xử lý dữ liệu Exercise 13: Phân khúc khách hàng

Trong chương cuối, bạn sẽ học cách áp dụng các phương pháp giảm chiều như phân tích thành phần chính (PCA) để ẩn danh các tập dữ liệu lớn nhiều cột. Sau đó, bạn sẽ dùng Faker để tạo ra các tập dữ liệu chân thực và nhất quán, và scikit-learn để tạo dữ liệu tổng hợp theo phân phối chuẩn. Cuối cùng, bạn sẽ tổng hợp mọi thứ đã học trong khóa để kết hợp nhiều kỹ thuật, qua đó phát hành dữ liệu ra công chúng một cách an toàn.

Exercise 1: PCA để ẩn danh dữ liệu Exercise 2: Ẩn danh dữ liệu có số chiều lớn Exercise 3: Che giấu dữ liệu với PCA Exercise 4: Tạo bộ dữ liệu chân thực với Faker Exercise 5: Bộ dữ liệu tổng hợp nhất quán Exercise 6: Các tập dữ liệu có cùng phân phối xác suất Exercise 7: Tạo bộ dữ liệu tổng hợp bằng scikit-learn Exercise 8: Tạo bộ dữ liệu cho phân loại

Bài tập hiện tại

Exercise 9: Tạo dữ liệu cho phân cụm Exercise 10: Phát hành bộ dữ liệu ra công chúng một cách an toàn Exercise 11: Khám phá và gắn bí danh cho một tập dữ liệu Exercise 12: Chuẩn bị dữ liệu nhân viên để phát hành an toàn Exercise 13: Làm tốt lắm!