Giảm rủi ro định danh bằng khái quát hóa (generalization)

Trong bài tập này, bạn sẽ áp dụng phép khái quát hóa trên tập dữ liệu IBM HR Analytics Employee Attrition & Performance.

Cụ thể hơn, bạn sẽ biến đổi biến monthly_income thành một cột nhị phân. Ngưỡng dùng cho phép biến đổi sẽ là giá trị trung bình của lương sau khi làm tròn lên. Giá trị mới sẽ là 0 cho các mục nhỏ hơn hoặc bằng giá trị trung bình dạng số nguyên, và 1 cho các mục lớn hơn.

Tập dữ liệu đã được nạp dưới dạng pandas DataFrame hr.

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

Xem khóa học

Hướng dẫn bài tập

Tính giá trị trung bình của cột monthly_income bằng .mean() và làm tròn về số nguyên. Lưu lại vào mean_income.
Áp dụng một hàm lambda lên hr['monthly_income'] để khái quát hóa thu nhập: gán 0 cho các giá trị nhỏ hơn hoặc bằng mean_income, và 1 cho các giá trị lớn hơn.
Khám phá 5 dòng đầu tiên của DataFrame hr sau khi xử lý.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Calculate the mean value of incomes
mean_income = ____

# Apply generalization by transforming to binary data
hr['monthly_income'] = ____

# See resulting DataFrame
print(____)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng áp dụng các kỹ thuật ẩn danh như loại bỏ dữ liệu, che giấu, tạo dữ liệu tổng hợp và khái quát hóa. Trong chương này, bạn sẽ học cách phân biệt giữa thông tin nhận dạng cá nhân (PII) nhạy cảm và không nhạy cảm, các bộ nhận dạng gần đúng (quasi-identifier), cùng những kiến thức cơ bản về GDPR. Bạn cũng sẽ gặp các ví dụ thực tế về những rủi ro có thể xảy ra nếu không tuân thủ các thực tiễn tốt nhất này.

Exercise 1: Thông tin nào là riêng tư, và vì sao chúng ta cần quan tâm?Exercise 2: Quyền riêng tư là sức mạnh Exercise 3: Nhạy cảm hay không nhạy cảm?Exercise 4: Loại bỏ (suppression) thuộc tính nhạy cảm Exercise 5: Ẩn dữ liệu và tạo dữ liệu bằng Faker Exercise 6: Che giấu (mask) PII nhạy cảm Exercise 7: Xóa tên thật bằng faker Exercise 8: Ẩn danh bằng cách tổng quát hóa dữ liệu Exercise 9: Giảm rủi ro định danh bằng khái quát hóa (generalization)

Bài tập hiện tại

Exercise 10: Tổng hợp dữ liệu và khái quát hóa dữ liệu Exercise 11: Top code và bottom code lương của Nhà Trắng

Khám phá cách ẩn danh dữ liệu bằng cách lấy mẫu từ các tập dữ liệu theo phân phối xác suất của từng cột. Tiếp đó, bạn sẽ học cách áp dụng mô hình bảo mật k-anonymity để ngăn chặn các cuộc tấn công liên kết hoặc tái nhận dạng và sử dụng hệ phân cấp để khái quát hóa dữ liệu ở các biến phân loại.

Exercise 1: Ẩn danh dữ liệu phân loại Exercise 2: Khám phá phân phối của dữ liệu Exercise 3: Lấy mẫu theo cùng một phân phối xác suất Exercise 4: Ẩn danh dữ liệu liên tục Exercise 5: Các phân phối khác nhau Exercise 6: Lấy mẫu từ phân phối liên tục phù hợp nhất Exercise 7: Giới thiệu về k-anonymity Exercise 8: Thuộc tính quyền riêng tư Exercise 9: Khái quát hóa thành các khoảng Exercise 10: Khái quát hóa dữ liệu bằng hệ phân cấp Exercise 11: Dùng hệ phân cấp cho dữ liệu phân loại Exercise 12: K-anonymizing a dataset

Tìm hiểu về differential privacy, mô hình được sử dụng bởi các công ty công nghệ lớn như Apple, Google và Uber. Trong chương này, bạn sẽ khám phá dữ liệu bằng cách tạo biểu đồ tần suất riêng tư và tính trung bình riêng tư. Bạn cũng sẽ tạo các mô hình Machine Learning tuân thủ differential privacy, giúp doanh nghiệp gia tăng tính hữu dụng của dữ liệu.

Exercise 1: Giới thiệu về differential privacy Exercise 2: Epsilon (ϵ): con số kỳ diệu Exercise 3: Biểu đồ tần suất với differential privacy Exercise 4: Ngân sách quyền riêng tư Exercise 5: Sử dụng ngân sách quyền riêng tư Exercise 6: Khi hết sạch ngân sách Exercise 7: Khám phá dữ liệu với bộ quản lý ngân sách quyền riêng tư Exercise 8: Các mô hình Machine Learning bảo toàn vi sai Exercise 9: Xây dựng bộ phân loại đảm bảo quyền riêng tư vi phân Exercise 10: Dự đoán mức lương Exercise 11: Mô hình phân cụm đảm bảo quyền riêng tư vi phân Exercise 12: Tiền xử lý dữ liệu Exercise 13: Phân khúc khách hàng

Trong chương cuối, bạn sẽ học cách áp dụng các phương pháp giảm chiều như phân tích thành phần chính (PCA) để ẩn danh các tập dữ liệu lớn nhiều cột. Sau đó, bạn sẽ dùng Faker để tạo ra các tập dữ liệu chân thực và nhất quán, và scikit-learn để tạo dữ liệu tổng hợp theo phân phối chuẩn. Cuối cùng, bạn sẽ tổng hợp mọi thứ đã học trong khóa để kết hợp nhiều kỹ thuật, qua đó phát hành dữ liệu ra công chúng một cách an toàn.

Exercise 1: PCA để ẩn danh dữ liệu Exercise 2: Ẩn danh dữ liệu có số chiều lớn Exercise 3: Che giấu dữ liệu với PCA Exercise 4: Tạo bộ dữ liệu chân thực với Faker Exercise 5: Bộ dữ liệu tổng hợp nhất quán Exercise 6: Các tập dữ liệu có cùng phân phối xác suất Exercise 7: Tạo bộ dữ liệu tổng hợp bằng scikit-learn Exercise 8: Tạo bộ dữ liệu cho phân loại Exercise 9: Tạo dữ liệu cho phân cụm Exercise 10: Phát hành bộ dữ liệu ra công chúng một cách an toàn Exercise 11: Khám phá và gắn bí danh cho một tập dữ liệu Exercise 12: Chuẩn bị dữ liệu nhân viên để phát hành an toàn Exercise 13: Làm tốt lắm!