Dự đoán mức lương

Trong bài tập này, bạn sẽ dùng bộ dữ liệu thu nhập dân số để dự đoán liệu một cá nhân có mức lương trên $50K/năm hay không.

Hãy nhớ rằng bạn nên chỉ định bounds như một tham số khi tạo mô hình riêng tư để đảm bảo không có thêm tổn thất quyền riêng tư hoặc rò rỉ thông tin. Thông thường, bạn có thể chọn bounds độc lập với dữ liệu dựa trên hiểu biết miền hoặc tìm kiếm bằng biểu đồ DP (DP histogram).

Bộ dữ liệu đã được nạp và tách thành X_train, y_train, X_test và y_test. Bộ phân loại có sẵn dưới tên dp_GaussianNB.

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

Xem khóa học

Hướng dẫn bài tập

Thiết lập bounds cho mô hình bằng cách tính giá trị min và max trên dữ liệu huấn luyện rồi thêm nhiễu ngẫu nhiên bằng cách trừ và cộng các số ngẫu nhiên trong khoảng từ 5 đến 40 cho 5 cột trong dữ liệu của chúng ta.
Tạo một bộ phân loại dp_GaussianNB với epsilon bằng 0.5 và bounds đã tạo ở bước trước.
Fit mô hình với dữ liệu và xem điểm số.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Set the min and max of bounds for the data and add noise using random
bounds = (X_train.____(axis=0) - random.____(range(5, 40), 5), 
          ____)

# Built the classifier with epsilon of 0.5
dp_clf = ____(epsilon=____, bounds=____)

# Fit the model to the data and print the score
____
print("The accuracy of the differentially private model is ",
       dp_clf.score(X_test, y_test))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng áp dụng các kỹ thuật ẩn danh như loại bỏ dữ liệu, che giấu, tạo dữ liệu tổng hợp và khái quát hóa. Trong chương này, bạn sẽ học cách phân biệt giữa thông tin nhận dạng cá nhân (PII) nhạy cảm và không nhạy cảm, các bộ nhận dạng gần đúng (quasi-identifier), cùng những kiến thức cơ bản về GDPR. Bạn cũng sẽ gặp các ví dụ thực tế về những rủi ro có thể xảy ra nếu không tuân thủ các thực tiễn tốt nhất này.

Exercise 1: Thông tin nào là riêng tư, và vì sao chúng ta cần quan tâm?Exercise 2: Quyền riêng tư là sức mạnh Exercise 3: Nhạy cảm hay không nhạy cảm?Exercise 4: Loại bỏ (suppression) thuộc tính nhạy cảm Exercise 5: Ẩn dữ liệu và tạo dữ liệu bằng Faker Exercise 6: Che giấu (mask) PII nhạy cảm Exercise 7: Xóa tên thật bằng faker Exercise 8: Ẩn danh bằng cách tổng quát hóa dữ liệu Exercise 9: Giảm rủi ro định danh bằng khái quát hóa (generalization)Exercise 10: Tổng hợp dữ liệu và khái quát hóa dữ liệu Exercise 11: Top code và bottom code lương của Nhà Trắng

Khám phá cách ẩn danh dữ liệu bằng cách lấy mẫu từ các tập dữ liệu theo phân phối xác suất của từng cột. Tiếp đó, bạn sẽ học cách áp dụng mô hình bảo mật k-anonymity để ngăn chặn các cuộc tấn công liên kết hoặc tái nhận dạng và sử dụng hệ phân cấp để khái quát hóa dữ liệu ở các biến phân loại.

Exercise 1: Ẩn danh dữ liệu phân loại Exercise 2: Khám phá phân phối của dữ liệu Exercise 3: Lấy mẫu theo cùng một phân phối xác suất Exercise 4: Ẩn danh dữ liệu liên tục Exercise 5: Các phân phối khác nhau Exercise 6: Lấy mẫu từ phân phối liên tục phù hợp nhất Exercise 7: Giới thiệu về k-anonymity Exercise 8: Thuộc tính quyền riêng tư Exercise 9: Khái quát hóa thành các khoảng Exercise 10: Khái quát hóa dữ liệu bằng hệ phân cấp Exercise 11: Dùng hệ phân cấp cho dữ liệu phân loại Exercise 12: K-anonymizing a dataset

Tìm hiểu về differential privacy, mô hình được sử dụng bởi các công ty công nghệ lớn như Apple, Google và Uber. Trong chương này, bạn sẽ khám phá dữ liệu bằng cách tạo biểu đồ tần suất riêng tư và tính trung bình riêng tư. Bạn cũng sẽ tạo các mô hình Machine Learning tuân thủ differential privacy, giúp doanh nghiệp gia tăng tính hữu dụng của dữ liệu.

Exercise 1: Giới thiệu về differential privacy Exercise 2: Epsilon (ϵ): con số kỳ diệu Exercise 3: Biểu đồ tần suất với differential privacy Exercise 4: Ngân sách quyền riêng tư Exercise 5: Sử dụng ngân sách quyền riêng tư Exercise 6: Khi hết sạch ngân sách Exercise 7: Khám phá dữ liệu với bộ quản lý ngân sách quyền riêng tư Exercise 8: Các mô hình Machine Learning bảo toàn vi sai Exercise 9: Xây dựng bộ phân loại đảm bảo quyền riêng tư vi phân Exercise 10: Dự đoán mức lương

Bài tập hiện tại

Exercise 11: Mô hình phân cụm đảm bảo quyền riêng tư vi phân Exercise 12: Tiền xử lý dữ liệu Exercise 13: Phân khúc khách hàng

Trong chương cuối, bạn sẽ học cách áp dụng các phương pháp giảm chiều như phân tích thành phần chính (PCA) để ẩn danh các tập dữ liệu lớn nhiều cột. Sau đó, bạn sẽ dùng Faker để tạo ra các tập dữ liệu chân thực và nhất quán, và scikit-learn để tạo dữ liệu tổng hợp theo phân phối chuẩn. Cuối cùng, bạn sẽ tổng hợp mọi thứ đã học trong khóa để kết hợp nhiều kỹ thuật, qua đó phát hành dữ liệu ra công chúng một cách an toàn.

Exercise 1: PCA để ẩn danh dữ liệu Exercise 2: Ẩn danh dữ liệu có số chiều lớn Exercise 3: Che giấu dữ liệu với PCA Exercise 4: Tạo bộ dữ liệu chân thực với Faker Exercise 5: Bộ dữ liệu tổng hợp nhất quán Exercise 6: Các tập dữ liệu có cùng phân phối xác suất Exercise 7: Tạo bộ dữ liệu tổng hợp bằng scikit-learn Exercise 8: Tạo bộ dữ liệu cho phân loại Exercise 9: Tạo dữ liệu cho phân cụm Exercise 10: Phát hành bộ dữ liệu ra công chúng một cách an toàn Exercise 11: Khám phá và gắn bí danh cho một tập dữ liệu Exercise 12: Chuẩn bị dữ liệu nhân viên để phát hành an toàn Exercise 13: Làm tốt lắm!