Explorarea datelor cu un contabil al bugetului de confidențialitate

Sistemele de explorare a datelor care oferă confidențialitate diferențială trebuie să gestioneze un buget de confidențialitate ce măsoară cantitatea de confidențialitate pierdută în urma mai multor interogări.

În acest exercițiu, vei explora setul de date IBM HR Analytics Employee Attrition & Performance urmărind în același timp bugetul de confidențialitate. Reține că, dacă o interogare depășește bugetul specificat în contabil, apare o eroare.

Histograma este un instrument util pentru a vizualiza datele într-un mod compatibil cu confidențialitatea diferențială. Sintaxa este aceeași ca pentru funcția corespunzătoare din numpy, cu un parametru epsilon.

Setul complet de date este disponibil ca hr, iar atributul de vârstă al angajaților ca ages. O funcție personalizată a fost creată și încărcată ca show_histogram() pentru a reprezenta grafic histograma, la fel cum ai făcut anterior în curs.

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

Instrucțiuni pentru exercițiu

Creează un BudgetAccountant de confidențialitate cu un epsilon de 1.5, folosind constructorul acestuia.
Generează un histogram privat din coloana ages cu o valoare epsilon de 0.1.
Calculează și afișează media privată a coloanei ages, folosind un epsilon de 0.9 și limite de la 10 la 100 sub formă de tuplu.
Afișează bugetul de confidențialitate rămas pentru următoarele două interogări noi.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create the privacy Budget Accountant with epsilon of 1.5
acc = ____

# Use the Budget Accountant acc to draw a private histogram of ages with epsilon 0.1
dp_hist, dp_bins = tools.___(____, epsilon=____, range=[10,100], accountant=____)
show_histogram(dp_hist, dp_bins)

# Get and show the private average of the age variable
print("Mean: ", tools.mean(____))

# Show privacy budget remaining for 2 queries
print("Remaining budget for 2 queries: ", ____)
print("Number of queries recorded: ", len(acc))

Editează și rulează codul

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Pregătește-te să aplici tehnici de anonimizare precum suprimarea datelor, mascarea, generarea de date sintetice și generalizarea. În acest capitol, vei învăța să faci distincția între informațiile de identificare personală (PII) sensibile și cele non-sensibile, să recunoști cvasi-identificatorii și să înțelegi elementele de bază ale GDPR. Vei întâlni și exemple din viața reală despre ce se poate întâmpla dacă nu respecți aceste bune practici.

Exercise 1: Ce este privat și de ce contează?Exercise 2: Confidențialitatea înseamnă putere Exercise 3: Sensibil sau non-sensibil?Exercise 4: Suprimarea atributelor sensibile Exercise 5: Mascarea datelor și generarea de date cu Faker Exercise 6: Mascarea datelor PII sensibile Exercise 7: Eliminarea numelor cu faker Exercise 8: Anonimizare prin generalizarea datelor Exercise 9: Reducerea riscului de identificare prin generalizare Exercise 10: Agregarea datelor și generalizarea datelor Exercise 11: Codificarea superioară și inferioară a salariilor de la Casa Albă

Descoperă cum să anonimizezi date prin eșantionare din seturi de date care urmează distribuția de probabilitate a coloanelor. Vei învăța apoi să aplici modelul de confidențialitate k-anonimitate pentru a preveni atacurile de conectare sau re-identificare și să folosești ierarhii pentru a realiza generalizarea datelor în variabile categorice.

Exercise 1: Anonimizarea datelor categorice Exercise 2: Explorează distribuția datelor Exercise 3: Eșantionare din aceeași distribuție de probabilitate Exercise 4: Anonimizarea datelor continue Exercise 5: Distribuții diferite Exercise 6: Eșantionare din cea mai potrivită distribuție continuă Exercise 7: Introducere în K-anonimitate Exercise 8: Atribute de confidențialitate Exercise 9: Generalizare în intervale Exercise 10: Generalizarea datelor cu ajutorul ierarhiilor Exercise 11: Folosirea ierarhiilor pentru date categorice Exercise 12: Aplicarea k-anonimității unui set de date

Află despre confidențialitatea diferențială, modelul folosit de companii tehnologice importante precum Apple, Google și Uber. În acest capitol, vei explora date prin generarea de histograme private și calcularea mediilor private. Vei crea și modele de învățare automată cu confidențialitate diferențială, care permit companiilor să crească utilitatea datelor lor.

Exercise 1: Introducere în confidențialitatea diferențială Exercise 2: Epsilon (ϵ): numărul magic Exercise 3: Histograme cu confidențialitate diferențială Exercise 4: Bugete de confidențialitate Exercise 5: Utilizarea bugetelor de confidențialitate Exercise 6: Când bugetul de confidențialitate s-a epuizat Exercise 7: Explorarea datelor cu un contabil al bugetului de confidențialitate

Exercițiul curent

Exercise 8: Modele de machine learning cu confidențialitate diferențială Exercise 9: Construiește un clasificator cu confidențialitate diferențială Exercise 10: Predicția salariilor Exercise 11: Modele de clustering cu confidențialitate diferențială Exercise 12: Preprocesarea datelor Exercise 13: Segmentarea clienților

În acest capitol final, vei învăța să aplici metode de reducere a dimensionalității, precum analiza componentelor principale (PCA), pentru a anonimiza seturi de date mari cu multe coloane. Vei folosi apoi Faker pentru a genera seturi de date realiste și coerente, și scikit-learn pentru a crea seturi de date sintetice care urmează o distribuție normală. În final, vei combina toate tehnicile învățate în acest curs pentru a publica seturi de date în mod sigur.

Exercise 1: PCA pentru anonimizare Exercise 2: Anonimizarea datelor de înaltă dimensionalitate Exercise 3: Mascarea datelor cu PCA Exercise 4: Generarea seturilor de date realiste cu Faker Exercise 5: Set de date sintetic consistent Exercise 6: Seturi de date cu aceeași distribuție probabilistică Exercise 7: Crearea seturilor de date sintetice cu scikit-learn Exercise 8: Generarea seturilor de date pentru clasificare Exercise 9: Generarea seturilor de date pentru clustering Exercise 10: Publică seturi de date în siguranță Exercise 11: Explorarea și pseudonimizarea unui set de date Exercise 12: Pregătirea datelor despre angajați pentru publicare în siguranță Exercise 13: Excelent!