Explorează distribuția datelor

Când vrem să anonimizăm un set de date prin eșantionare realistă, trebuie să cunoaștem domeniul și să înțelegem statistic datele. Așa cum am văzut, identificarea distribuției de probabilitate a coloanei de interes este esențială.

În acest exercițiu, vei explora coloana business_travel dintr-o versiune simplificată a setului de date IBM HR.

DataFrame-ul a fost importat ca hr, iar numpy ca np. Așa cum s-a menționat în capitolul anterior, pandas a fost importat ca pd pentru acest exercițiu și pentru restul cursului.

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Print the absolute frequencies of each unique value
print(____)

Editează și rulează codul

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Pregătește-te să aplici tehnici de anonimizare precum suprimarea datelor, mascarea, generarea de date sintetice și generalizarea. În acest capitol, vei învăța să faci distincția între informațiile de identificare personală (PII) sensibile și cele non-sensibile, să recunoști cvasi-identificatorii și să înțelegi elementele de bază ale GDPR. Vei întâlni și exemple din viața reală despre ce se poate întâmpla dacă nu respecți aceste bune practici.

Exercise 1: Ce este privat și de ce contează?Exercise 2: Confidențialitatea înseamnă putere Exercise 3: Sensibil sau non-sensibil?Exercise 4: Suprimarea atributelor sensibile Exercise 5: Mascarea datelor și generarea de date cu Faker Exercise 6: Mascarea datelor PII sensibile Exercise 7: Eliminarea numelor cu faker Exercise 8: Anonimizare prin generalizarea datelor Exercise 9: Reducerea riscului de identificare prin generalizare Exercise 10: Agregarea datelor și generalizarea datelor Exercise 11: Codificarea superioară și inferioară a salariilor de la Casa Albă

Descoperă cum să anonimizezi date prin eșantionare din seturi de date care urmează distribuția de probabilitate a coloanelor. Vei învăța apoi să aplici modelul de confidențialitate k-anonimitate pentru a preveni atacurile de conectare sau re-identificare și să folosești ierarhii pentru a realiza generalizarea datelor în variabile categorice.

Exercise 1: Anonimizarea datelor categorice Exercise 2: Explorează distribuția datelor

Exercițiul curent

Exercise 3: Eșantionare din aceeași distribuție de probabilitate Exercise 4: Anonimizarea datelor continue Exercise 5: Distribuții diferite Exercise 6: Eșantionare din cea mai potrivită distribuție continuă Exercise 7: Introducere în K-anonimitate Exercise 8: Atribute de confidențialitate Exercise 9: Generalizare în intervale Exercise 10: Generalizarea datelor cu ajutorul ierarhiilor Exercise 11: Folosirea ierarhiilor pentru date categorice Exercise 12: Aplicarea k-anonimității unui set de date

Află despre confidențialitatea diferențială, modelul folosit de companii tehnologice importante precum Apple, Google și Uber. În acest capitol, vei explora date prin generarea de histograme private și calcularea mediilor private. Vei crea și modele de învățare automată cu confidențialitate diferențială, care permit companiilor să crească utilitatea datelor lor.

Exercise 1: Introducere în confidențialitatea diferențială Exercise 2: Epsilon (ϵ): numărul magic Exercise 3: Histograme cu confidențialitate diferențială Exercise 4: Bugete de confidențialitate Exercise 5: Utilizarea bugetelor de confidențialitate Exercise 6: Când bugetul de confidențialitate s-a epuizat Exercise 7: Explorarea datelor cu un contabil al bugetului de confidențialitate Exercise 8: Modele de machine learning cu confidențialitate diferențială Exercise 9: Construiește un clasificator cu confidențialitate diferențială Exercise 10: Predicția salariilor Exercise 11: Modele de clustering cu confidențialitate diferențială Exercise 12: Preprocesarea datelor Exercise 13: Segmentarea clienților

În acest capitol final, vei învăța să aplici metode de reducere a dimensionalității, precum analiza componentelor principale (PCA), pentru a anonimiza seturi de date mari cu multe coloane. Vei folosi apoi Faker pentru a genera seturi de date realiste și coerente, și scikit-learn pentru a crea seturi de date sintetice care urmează o distribuție normală. În final, vei combina toate tehnicile învățate în acest curs pentru a publica seturi de date în mod sigur.

Exercise 1: PCA pentru anonimizare Exercise 2: Anonimizarea datelor de înaltă dimensionalitate Exercise 3: Mascarea datelor cu PCA Exercise 4: Generarea seturilor de date realiste cu Faker Exercise 5: Set de date sintetic consistent Exercise 6: Seturi de date cu aceeași distribuție probabilistică Exercise 7: Crearea seturilor de date sintetice cu scikit-learn Exercise 8: Generarea seturilor de date pentru clasificare Exercise 9: Generarea seturilor de date pentru clustering Exercise 10: Publică seturi de date în siguranță Exercise 11: Explorarea și pseudonimizarea unui set de date Exercise 12: Pregătirea datelor despre angajați pentru publicare în siguranță Exercise 13: Excelent!