Reducerea riscului de identificare prin generalizare

În acest exercițiu, vei aplica generalizarea pe setul de date IBM HR Analytics Employee Attrition & Performance.

Mai concret, vei transforma variabila monthly_income într-o coloană binară. Pragul folosit pentru transformare va fi media salariilor, rotunjită în sus la număr întreg. Noile valori vor fi 0 pentru salariile mai mici sau egale cu media întreagă și 1 pentru cele mai mari.

Setul de date este încărcat ca DataFrame pandas hr.

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

Instrucțiuni pentru exercițiu

Calculează valoarea medie a coloanei monthly_income folosind .mean() și rotunjește-o la un număr întreg. Salvează rezultatul ca mean_income.
Aplică o funcție lambda pe hr['monthly_income'] pentru a generaliza veniturile: 0 pentru valorile mai mici sau egale cu mean_income și 1 pentru cele mai mari.
Explorează primele cinci rânduri ale DataFrame-ului rezultat hr.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Calculate the mean value of incomes
mean_income = ____

# Apply generalization by transforming to binary data
hr['monthly_income'] = ____

# See resulting DataFrame
print(____)

Editează și rulează codul

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Pregătește-te să aplici tehnici de anonimizare precum suprimarea datelor, mascarea, generarea de date sintetice și generalizarea. În acest capitol, vei învăța să faci distincția între informațiile de identificare personală (PII) sensibile și cele non-sensibile, să recunoști cvasi-identificatorii și să înțelegi elementele de bază ale GDPR. Vei întâlni și exemple din viața reală despre ce se poate întâmpla dacă nu respecți aceste bune practici.

Exercise 1: Ce este privat și de ce contează?Exercise 2: Confidențialitatea înseamnă putere Exercise 3: Sensibil sau non-sensibil?Exercise 4: Suprimarea atributelor sensibile Exercise 5: Mascarea datelor și generarea de date cu Faker Exercise 6: Mascarea datelor PII sensibile Exercise 7: Eliminarea numelor cu faker Exercise 8: Anonimizare prin generalizarea datelor Exercise 9: Reducerea riscului de identificare prin generalizare

Exercițiul curent

Exercise 10: Agregarea datelor și generalizarea datelor Exercise 11: Codificarea superioară și inferioară a salariilor de la Casa Albă

Descoperă cum să anonimizezi date prin eșantionare din seturi de date care urmează distribuția de probabilitate a coloanelor. Vei învăța apoi să aplici modelul de confidențialitate k-anonimitate pentru a preveni atacurile de conectare sau re-identificare și să folosești ierarhii pentru a realiza generalizarea datelor în variabile categorice.

Exercise 1: Anonimizarea datelor categorice Exercise 2: Explorează distribuția datelor Exercise 3: Eșantionare din aceeași distribuție de probabilitate Exercise 4: Anonimizarea datelor continue Exercise 5: Distribuții diferite Exercise 6: Eșantionare din cea mai potrivită distribuție continuă Exercise 7: Introducere în K-anonimitate Exercise 8: Atribute de confidențialitate Exercise 9: Generalizare în intervale Exercise 10: Generalizarea datelor cu ajutorul ierarhiilor Exercise 11: Folosirea ierarhiilor pentru date categorice Exercise 12: Aplicarea k-anonimității unui set de date

Află despre confidențialitatea diferențială, modelul folosit de companii tehnologice importante precum Apple, Google și Uber. În acest capitol, vei explora date prin generarea de histograme private și calcularea mediilor private. Vei crea și modele de învățare automată cu confidențialitate diferențială, care permit companiilor să crească utilitatea datelor lor.

Exercise 1: Introducere în confidențialitatea diferențială Exercise 2: Epsilon (ϵ): numărul magic Exercise 3: Histograme cu confidențialitate diferențială Exercise 4: Bugete de confidențialitate Exercise 5: Utilizarea bugetelor de confidențialitate Exercise 6: Când bugetul de confidențialitate s-a epuizat Exercise 7: Explorarea datelor cu un contabil al bugetului de confidențialitate Exercise 8: Modele de machine learning cu confidențialitate diferențială Exercise 9: Construiește un clasificator cu confidențialitate diferențială Exercise 10: Predicția salariilor Exercise 11: Modele de clustering cu confidențialitate diferențială Exercise 12: Preprocesarea datelor Exercise 13: Segmentarea clienților

În acest capitol final, vei învăța să aplici metode de reducere a dimensionalității, precum analiza componentelor principale (PCA), pentru a anonimiza seturi de date mari cu multe coloane. Vei folosi apoi Faker pentru a genera seturi de date realiste și coerente, și scikit-learn pentru a crea seturi de date sintetice care urmează o distribuție normală. În final, vei combina toate tehnicile învățate în acest curs pentru a publica seturi de date în mod sigur.

Exercise 1: PCA pentru anonimizare Exercise 2: Anonimizarea datelor de înaltă dimensionalitate Exercise 3: Mascarea datelor cu PCA Exercise 4: Generarea seturilor de date realiste cu Faker Exercise 5: Set de date sintetic consistent Exercise 6: Seturi de date cu aceeași distribuție probabilistică Exercise 7: Crearea seturilor de date sintetice cu scikit-learn Exercise 8: Generarea seturilor de date pentru clasificare Exercise 9: Generarea seturilor de date pentru clustering Exercise 10: Publică seturi de date în siguranță Exercise 11: Explorarea și pseudonimizarea unui set de date Exercise 12: Pregătirea datelor despre angajați pentru publicare în siguranță Exercise 13: Excelent!