Top code và bottom code lương của Nhà Trắng

Top code và bottom code giúp ẩn các giá trị ngoại lai và giảm rủi ro nhận dạng mà vẫn giữ được tính hữu ích của dữ liệu.

Trong bài tập này, bạn sẽ dùng dữ liệu lương của Nhà Trắng (Mỹ) trong các năm 2019 và 2020. Hãy áp dụng kỹ thuật top và bottom cho cột salary.

Bạn sẽ bắt đầu bằng cách khám phá dữ liệu lương để thấy phần lớn giá trị nằm ở trung tâm của phân phối. Dựa trên việc khám phá này, bạn sẽ chọn các ngưỡng top và bottom hợp lý.

DataFrame đã được nạp với tên wh2020.

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Plot a histogram of salaries
____
plt.show()

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng áp dụng các kỹ thuật ẩn danh như loại bỏ dữ liệu, che giấu, tạo dữ liệu tổng hợp và khái quát hóa. Trong chương này, bạn sẽ học cách phân biệt giữa thông tin nhận dạng cá nhân (PII) nhạy cảm và không nhạy cảm, các bộ nhận dạng gần đúng (quasi-identifier), cùng những kiến thức cơ bản về GDPR. Bạn cũng sẽ gặp các ví dụ thực tế về những rủi ro có thể xảy ra nếu không tuân thủ các thực tiễn tốt nhất này.

Exercise 1: Thông tin nào là riêng tư, và vì sao chúng ta cần quan tâm?Exercise 2: Quyền riêng tư là sức mạnh Exercise 3: Nhạy cảm hay không nhạy cảm?Exercise 4: Loại bỏ (suppression) thuộc tính nhạy cảm Exercise 5: Ẩn dữ liệu và tạo dữ liệu bằng Faker Exercise 6: Che giấu (mask) PII nhạy cảm Exercise 7: Xóa tên thật bằng faker Exercise 8: Ẩn danh bằng cách tổng quát hóa dữ liệu Exercise 9: Giảm rủi ro định danh bằng khái quát hóa (generalization)Exercise 10: Tổng hợp dữ liệu và khái quát hóa dữ liệu Exercise 11: Top code và bottom code lương của Nhà Trắng

Bài tập hiện tại

Khám phá cách ẩn danh dữ liệu bằng cách lấy mẫu từ các tập dữ liệu theo phân phối xác suất của từng cột. Tiếp đó, bạn sẽ học cách áp dụng mô hình bảo mật k-anonymity để ngăn chặn các cuộc tấn công liên kết hoặc tái nhận dạng và sử dụng hệ phân cấp để khái quát hóa dữ liệu ở các biến phân loại.

Exercise 1: Ẩn danh dữ liệu phân loại Exercise 2: Khám phá phân phối của dữ liệu Exercise 3: Lấy mẫu theo cùng một phân phối xác suất Exercise 4: Ẩn danh dữ liệu liên tục Exercise 5: Các phân phối khác nhau Exercise 6: Lấy mẫu từ phân phối liên tục phù hợp nhất Exercise 7: Giới thiệu về k-anonymity Exercise 8: Thuộc tính quyền riêng tư Exercise 9: Khái quát hóa thành các khoảng Exercise 10: Khái quát hóa dữ liệu bằng hệ phân cấp Exercise 11: Dùng hệ phân cấp cho dữ liệu phân loại Exercise 12: K-anonymizing a dataset

Tìm hiểu về differential privacy, mô hình được sử dụng bởi các công ty công nghệ lớn như Apple, Google và Uber. Trong chương này, bạn sẽ khám phá dữ liệu bằng cách tạo biểu đồ tần suất riêng tư và tính trung bình riêng tư. Bạn cũng sẽ tạo các mô hình Machine Learning tuân thủ differential privacy, giúp doanh nghiệp gia tăng tính hữu dụng của dữ liệu.

Exercise 1: Giới thiệu về differential privacy Exercise 2: Epsilon (ϵ): con số kỳ diệu Exercise 3: Biểu đồ tần suất với differential privacy Exercise 4: Ngân sách quyền riêng tư Exercise 5: Sử dụng ngân sách quyền riêng tư Exercise 6: Khi hết sạch ngân sách Exercise 7: Khám phá dữ liệu với bộ quản lý ngân sách quyền riêng tư Exercise 8: Các mô hình Machine Learning bảo toàn vi sai Exercise 9: Xây dựng bộ phân loại đảm bảo quyền riêng tư vi phân Exercise 10: Dự đoán mức lương Exercise 11: Mô hình phân cụm đảm bảo quyền riêng tư vi phân Exercise 12: Tiền xử lý dữ liệu Exercise 13: Phân khúc khách hàng

Trong chương cuối, bạn sẽ học cách áp dụng các phương pháp giảm chiều như phân tích thành phần chính (PCA) để ẩn danh các tập dữ liệu lớn nhiều cột. Sau đó, bạn sẽ dùng Faker để tạo ra các tập dữ liệu chân thực và nhất quán, và scikit-learn để tạo dữ liệu tổng hợp theo phân phối chuẩn. Cuối cùng, bạn sẽ tổng hợp mọi thứ đã học trong khóa để kết hợp nhiều kỹ thuật, qua đó phát hành dữ liệu ra công chúng một cách an toàn.

Exercise 1: PCA để ẩn danh dữ liệu Exercise 2: Ẩn danh dữ liệu có số chiều lớn Exercise 3: Che giấu dữ liệu với PCA Exercise 4: Tạo bộ dữ liệu chân thực với Faker Exercise 5: Bộ dữ liệu tổng hợp nhất quán Exercise 6: Các tập dữ liệu có cùng phân phối xác suất Exercise 7: Tạo bộ dữ liệu tổng hợp bằng scikit-learn Exercise 8: Tạo bộ dữ liệu cho phân loại Exercise 9: Tạo dữ liệu cho phân cụm Exercise 10: Phát hành bộ dữ liệu ra công chúng một cách an toàn Exercise 11: Khám phá và gắn bí danh cho một tập dữ liệu Exercise 12: Chuẩn bị dữ liệu nhân viên để phát hành an toàn Exercise 13: Làm tốt lắm!