Seturi de date cu aceeași distribuție probabilistică

Scopul datelor sintetice este de a crea un set de date cât mai realist posibil, fără a pune în pericol informații personale importante. De exemplu, o echipă de la Deloitte Consulting a generat 80% din datele de antrenament pentru un model de machine learning prin sintetizarea datelor. Acuratețea modelului rezultat a fost similară cu cea a unui model antrenat pe date reale.

În acest exercițiu, vei genera un set de date sintetic de la zero folosind Faker, care urmează o distribuție probabilistică încărcată ca p.

Generatorul Faker fake_data a fost deja inițializat, iar numpy este importat ca np.

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Obtain or specify the probabilities
p = (0.46, 0.26, 0.16, 0.1, 0.02)

# Generate 5 random cities 
cities = ____

# See the generated cities
print(cities)

Editează și rulează codul

Acest exercițiu face parte din cursul

Confidențialitatea datelor și anonimizarea în Python

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Pregătește-te să aplici tehnici de anonimizare precum suprimarea datelor, mascarea, generarea de date sintetice și generalizarea. În acest capitol, vei învăța să faci distincția între informațiile de identificare personală (PII) sensibile și cele non-sensibile, să recunoști cvasi-identificatorii și să înțelegi elementele de bază ale GDPR. Vei întâlni și exemple din viața reală despre ce se poate întâmpla dacă nu respecți aceste bune practici.

Exercise 1: Ce este privat și de ce contează?Exercise 2: Confidențialitatea înseamnă putere Exercise 3: Sensibil sau non-sensibil?Exercise 4: Suprimarea atributelor sensibile Exercise 5: Mascarea datelor și generarea de date cu Faker Exercise 6: Mascarea datelor PII sensibile Exercise 7: Eliminarea numelor cu faker Exercise 8: Anonimizare prin generalizarea datelor Exercise 9: Reducerea riscului de identificare prin generalizare Exercise 10: Agregarea datelor și generalizarea datelor Exercise 11: Codificarea superioară și inferioară a salariilor de la Casa Albă

Descoperă cum să anonimizezi date prin eșantionare din seturi de date care urmează distribuția de probabilitate a coloanelor. Vei învăța apoi să aplici modelul de confidențialitate k-anonimitate pentru a preveni atacurile de conectare sau re-identificare și să folosești ierarhii pentru a realiza generalizarea datelor în variabile categorice.

Exercise 1: Anonimizarea datelor categorice Exercise 2: Explorează distribuția datelor Exercise 3: Eșantionare din aceeași distribuție de probabilitate Exercise 4: Anonimizarea datelor continue Exercise 5: Distribuții diferite Exercise 6: Eșantionare din cea mai potrivită distribuție continuă Exercise 7: Introducere în K-anonimitate Exercise 8: Atribute de confidențialitate Exercise 9: Generalizare în intervale Exercise 10: Generalizarea datelor cu ajutorul ierarhiilor Exercise 11: Folosirea ierarhiilor pentru date categorice Exercise 12: Aplicarea k-anonimității unui set de date

Află despre confidențialitatea diferențială, modelul folosit de companii tehnologice importante precum Apple, Google și Uber. În acest capitol, vei explora date prin generarea de histograme private și calcularea mediilor private. Vei crea și modele de învățare automată cu confidențialitate diferențială, care permit companiilor să crească utilitatea datelor lor.

Exercise 1: Introducere în confidențialitatea diferențială Exercise 2: Epsilon (ϵ): numărul magic Exercise 3: Histograme cu confidențialitate diferențială Exercise 4: Bugete de confidențialitate Exercise 5: Utilizarea bugetelor de confidențialitate Exercise 6: Când bugetul de confidențialitate s-a epuizat Exercise 7: Explorarea datelor cu un contabil al bugetului de confidențialitate Exercise 8: Modele de machine learning cu confidențialitate diferențială Exercise 9: Construiește un clasificator cu confidențialitate diferențială Exercise 10: Predicția salariilor Exercise 11: Modele de clustering cu confidențialitate diferențială Exercise 12: Preprocesarea datelor Exercise 13: Segmentarea clienților

În acest capitol final, vei învăța să aplici metode de reducere a dimensionalității, precum analiza componentelor principale (PCA), pentru a anonimiza seturi de date mari cu multe coloane. Vei folosi apoi Faker pentru a genera seturi de date realiste și coerente, și scikit-learn pentru a crea seturi de date sintetice care urmează o distribuție normală. În final, vei combina toate tehnicile învățate în acest curs pentru a publica seturi de date în mod sigur.

Exercise 1: PCA pentru anonimizare Exercise 2: Anonimizarea datelor de înaltă dimensionalitate Exercise 3: Mascarea datelor cu PCA Exercise 4: Generarea seturilor de date realiste cu Faker Exercise 5: Set de date sintetic consistent Exercise 6: Seturi de date cu aceeași distribuție probabilistică

Exercițiul curent

Exercise 7: Crearea seturilor de date sintetice cu scikit-learn Exercise 8: Generarea seturilor de date pentru clasificare Exercise 9: Generarea seturilor de date pentru clustering Exercise 10: Publică seturi de date în siguranță Exercise 11: Explorarea și pseudonimizarea unui set de date Exercise 12: Pregătirea datelor despre angajați pentru publicare în siguranță Exercise 13: Excelent!