Dùng hệ phân cấp cho dữ liệu phân loại

Trong bài tập này, bạn sẽ tạo và sử dụng hệ phân cấp để tổng quát hóa dữ liệu trên cột bachelors của bộ dữ liệu US Adult Income.

Một dictionary khởi tạo sẵn chứa các hệ phân cấp được cung cấp cho bạn dưới tên hierarchies. Nó có ba nhóm cho các loại trình độ học vấn: Primary, Secondary và Higher; mỗi nhóm đi kèm danh sách các giá trị học vấn tương ứng trong dữ liệu. Bạn có thể khám phá nó trong bảng điều khiển tương tác.

Chúng ta sẽ tạo một dictionary mới để lưu thông tin học vấn đã được tổng quát hóa và dùng nó để thay thế các giá trị gốc.

Bộ dữ liệu có sẵn dưới tên income_df.

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

Xem khóa học

Hướng dẫn bài tập

Khởi tạo education_hierarchy là một dictionary rỗng.
Hoàn thiện vòng lặp bên trong để gán loại học vấn key làm giá trị. Ví dụ {'Some-college': 'Higher education'}.
Áp dụng tổng quát hóa theo hệ phân cấp học vấn cho cột bachelors, gán kết quả vào cột mới bachelors_generalized.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Initialize dictionary for each education category value
education_hierarchy = ____

# Create hierachy for each of the education category values
for (key,education_values) in hierarchies.items():
    for education in education_values:
        education_hierarchy[education] = ____

# Apply education_hierarchy generalization to bachelors
income_df['bachelors_generalized'] = ____

# See resulting dataset
print(income_df.head())

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Bảo mật dữ liệu và Ẩn danh trong Python

SkillTag.level.advancedSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng áp dụng các kỹ thuật ẩn danh như loại bỏ dữ liệu, che giấu, tạo dữ liệu tổng hợp và khái quát hóa. Trong chương này, bạn sẽ học cách phân biệt giữa thông tin nhận dạng cá nhân (PII) nhạy cảm và không nhạy cảm, các bộ nhận dạng gần đúng (quasi-identifier), cùng những kiến thức cơ bản về GDPR. Bạn cũng sẽ gặp các ví dụ thực tế về những rủi ro có thể xảy ra nếu không tuân thủ các thực tiễn tốt nhất này.

Exercise 1: Thông tin nào là riêng tư, và vì sao chúng ta cần quan tâm?Exercise 2: Quyền riêng tư là sức mạnh Exercise 3: Nhạy cảm hay không nhạy cảm?Exercise 4: Loại bỏ (suppression) thuộc tính nhạy cảm Exercise 5: Ẩn dữ liệu và tạo dữ liệu bằng Faker Exercise 6: Che giấu (mask) PII nhạy cảm Exercise 7: Xóa tên thật bằng faker Exercise 8: Ẩn danh bằng cách tổng quát hóa dữ liệu Exercise 9: Giảm rủi ro định danh bằng khái quát hóa (generalization)Exercise 10: Tổng hợp dữ liệu và khái quát hóa dữ liệu Exercise 11: Top code và bottom code lương của Nhà Trắng

Khám phá cách ẩn danh dữ liệu bằng cách lấy mẫu từ các tập dữ liệu theo phân phối xác suất của từng cột. Tiếp đó, bạn sẽ học cách áp dụng mô hình bảo mật k-anonymity để ngăn chặn các cuộc tấn công liên kết hoặc tái nhận dạng và sử dụng hệ phân cấp để khái quát hóa dữ liệu ở các biến phân loại.

Exercise 1: Ẩn danh dữ liệu phân loại Exercise 2: Khám phá phân phối của dữ liệu Exercise 3: Lấy mẫu theo cùng một phân phối xác suất Exercise 4: Ẩn danh dữ liệu liên tục Exercise 5: Các phân phối khác nhau Exercise 6: Lấy mẫu từ phân phối liên tục phù hợp nhất Exercise 7: Giới thiệu về k-anonymity Exercise 8: Thuộc tính quyền riêng tư Exercise 9: Khái quát hóa thành các khoảng Exercise 10: Khái quát hóa dữ liệu bằng hệ phân cấp Exercise 11: Dùng hệ phân cấp cho dữ liệu phân loại

Bài tập hiện tại

Exercise 12: K-anonymizing a dataset

Tìm hiểu về differential privacy, mô hình được sử dụng bởi các công ty công nghệ lớn như Apple, Google và Uber. Trong chương này, bạn sẽ khám phá dữ liệu bằng cách tạo biểu đồ tần suất riêng tư và tính trung bình riêng tư. Bạn cũng sẽ tạo các mô hình Machine Learning tuân thủ differential privacy, giúp doanh nghiệp gia tăng tính hữu dụng của dữ liệu.

Exercise 1: Giới thiệu về differential privacy Exercise 2: Epsilon (ϵ): con số kỳ diệu Exercise 3: Biểu đồ tần suất với differential privacy Exercise 4: Ngân sách quyền riêng tư Exercise 5: Sử dụng ngân sách quyền riêng tư Exercise 6: Khi hết sạch ngân sách Exercise 7: Khám phá dữ liệu với bộ quản lý ngân sách quyền riêng tư Exercise 8: Các mô hình Machine Learning bảo toàn vi sai Exercise 9: Xây dựng bộ phân loại đảm bảo quyền riêng tư vi phân Exercise 10: Dự đoán mức lương Exercise 11: Mô hình phân cụm đảm bảo quyền riêng tư vi phân Exercise 12: Tiền xử lý dữ liệu Exercise 13: Phân khúc khách hàng

Trong chương cuối, bạn sẽ học cách áp dụng các phương pháp giảm chiều như phân tích thành phần chính (PCA) để ẩn danh các tập dữ liệu lớn nhiều cột. Sau đó, bạn sẽ dùng Faker để tạo ra các tập dữ liệu chân thực và nhất quán, và scikit-learn để tạo dữ liệu tổng hợp theo phân phối chuẩn. Cuối cùng, bạn sẽ tổng hợp mọi thứ đã học trong khóa để kết hợp nhiều kỹ thuật, qua đó phát hành dữ liệu ra công chúng một cách an toàn.

Exercise 1: PCA để ẩn danh dữ liệu Exercise 2: Ẩn danh dữ liệu có số chiều lớn Exercise 3: Che giấu dữ liệu với PCA Exercise 4: Tạo bộ dữ liệu chân thực với Faker Exercise 5: Bộ dữ liệu tổng hợp nhất quán Exercise 6: Các tập dữ liệu có cùng phân phối xác suất Exercise 7: Tạo bộ dữ liệu tổng hợp bằng scikit-learn Exercise 8: Tạo bộ dữ liệu cho phân loại Exercise 9: Tạo dữ liệu cho phân cụm Exercise 10: Phát hành bộ dữ liệu ra công chúng một cách an toàn Exercise 11: Khám phá và gắn bí danh cho một tập dữ liệu Exercise 12: Chuẩn bị dữ liệu nhân viên để phát hành an toàn Exercise 13: Làm tốt lắm!