백악관 급여의 상/하한 코딩 적용하기

상한 코딩과 하한 코딩은 이상치를 숨기고 식별 위험을 줄이면서도 데이터 활용성을 유지하는 데 도움이 됩니다.

이 연습 문제에서는 2019년과 2020년 미국 백악관 급여 데이터를 사용해 salary 열에 상/하한 코딩 기법을 적용해 보겠습니다.

먼저 급여 분포를 탐색해 값의 대부분이 분포의 중앙에 모여 있음을 확인하세요. 탐색 결과를 바탕으로 합리적인 상한과 하한 값을 선택합니다.

DataFrame은 wh2020으로 로드되어 있습니다.

이 연습은 강의의 일부입니다

Python으로 배우는 데이터 프라이버시와 익명화

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Plot a histogram of salaries
____
plt.show()

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 데이터 프라이버시와 익명화

SkillTag.level.advancedSkillTag.label

4.9+

무료로 강의 시작하기

데이터 억제(suppression), 마스킹(masking), 합성 데이터 생성, 일반화 같은 익명화 기법을 직접 적용할 준비를 해 보세요. 이 장에서는 민감 및 비민감 식별정보(PII), 준식별자(quasi-identifiers)를 구분하는 방법과 GDPR의 기초를 배웁니다. 또한 이러한 모범 사례를 지키지 않았을 때 실제로 어떤 문제가 생길 수 있는지 사례를 통해 확인합니다.

Exercise 1: 무엇이 개인 정보이고, 왜 중요할까요?Exercise 2: Privacy is power Exercise 3: 민감한 정보일까요, 비민감 정보일까요?Exercise 4: 민감 속성의 억제(Suppression)Exercise 5: Faker로 데이터 마스킹과 데이터 생성 Exercise 6: 민감한 PII 마스킹하기 Exercise 7: faker로 이름 제거하기 Exercise 8: 데이터 일반화를 활용한 익명화 Exercise 9: 일반화를 통한 식별 위험 낮추기 Exercise 10: 데이터 집계와 데이터 일반화 Exercise 11: 백악관 급여의 상/하한 코딩 적용하기

현재 연습

열의 확률 분포를 따르도록 데이터셋에서 샘플링해 데이터를 익명화하는 방법을 알아봅니다. 그런 다음 연결 공격이나 재식별 공격을 방지하기 위해 k-anonymity 프라이버시 모델을 적용하고, 범주형 변수에서 계층(hierarchy)을 사용해 데이터 일반화를 수행하는 방법을 배웁니다.

Exercise 1: 범주형 데이터 익명화 Exercise 2: 데이터 분포 살펴보기 Exercise 3: 동일한 확률 분포에서 표본 추출하기 Exercise 4: 연속형 데이터 익명화하기 Exercise 5: 서로 다른 분포 Exercise 6: 가장 적합한 연속형 분포에서 샘플링하기 Exercise 7: k-익명성 소개 Exercise 8: 프라이버시 속성 Exercise 9: 구간으로 일반화하기 Exercise 10: 계층을 사용한 데이터 일반화 Exercise 11: 범주형 데이터에 계층 적용하기 Exercise 12: 데이터셋 K-익명화하기

Apple, Google, Uber와 같은 주요 기술 기업이 사용하는 모델인 차등 프라이버시에 대해 학습합니다. 이 장에서는 프라이빗 히스토그램을 생성하고 프라이빗 평균을 계산해 데이터를 탐색해 봅니다. 또한 기업이 데이터 효용성을 높일 수 있도록 지원하는 차등 프라이빗 Machine Learning 모델을 만들어 봅니다.

Exercise 1: 차등 개인정보 보호 소개 Exercise 2: 엡실론(ϵ): 마법의 숫자 Exercise 3: 차등 프라이버시를 적용한 히스토그램 Exercise 4: 프라이버시 예산(Privacy budgets)Exercise 5: 프라이버시 예산 사용하기 Exercise 6: 예산이 남지 않았을 때 Exercise 7: 프라이버시 예산 회계 도구로 데이터 탐색하기 Exercise 8: 차등 개인정보 보호 Machine Learning 모델 Exercise 9: 차등 개인정보 보호 분류기 만들기 Exercise 10: 연봉 예측 Exercise 11: 차등 개인정보 보호 클러스터링 모델 Exercise 12: 데이터 전처리 Exercise 13: 고객 세분화

마지막 장에서는 주성분분석(PCA)과 같은 차원 축소 기법을 적용해 다수 열을 가진 대규모 데이터셋을 익명화하는 방법을 배웁니다. 이어서 Faker를 사용해 현실적이고 일관된 데이터셋을 생성하고, scikit-learn으로 정규 분포를 따르는 합성 데이터셋을 만듭니다. 마지막으로, 강의 전반에서 학습한 내용을 종합해 여러 기법을 결합하고 데이터셋을 안전하게 대중에 공개하는 과정을 마무리합니다.

Exercise 1: 익명화를 위한 PCA Exercise 2: 고차원 데이터의 익명화 Exercise 3: PCA로 데이터 마스킹 Exercise 4: Faker로 현실감 있는 데이터셋 생성하기 Exercise 5: 일관된 합성 데이터셋 Exercise 6: 동일한 확률 분포를 가진 데이터셋 Exercise 7: scikit-learn으로 합성 데이터셋 만들기 Exercise 8: 분류용 데이터셋 생성하기 Exercise 9: 클러스터링용 데이터셋 생성하기 Exercise 10: 데이터셋을 안전하게 공개하기 Exercise 11: 데이터셋 탐색 및 가명 처리(pseudonymization)Exercise 12: 데이터 안전 공개를 위한 직원 데이터 준비 Exercise 13: 잘하셨어요!