Sampling från samma sannolikhetsfördelning

Många organisationer, till exempel U.S. Census, publicerar dataurval som de har samlat in om privatpersoner. Dessa datamängder anonymiseras först med olika tekniker, varefter en liten andel – vanligtvis 1–5 % – släpps för att möjliggöra beräkningar. Sampling bevarar datans statistiska egenskaper, vilket gör det möjligt att studera och förstå den underliggande populationen.

I den här övningen anonymiserar du kolumnen department i IBM HR-datamängden genom att sampla från den ursprungliga datamängdens fördelningar.

Datamängden har laddats in som hr.

Den här övningen är en del av kursen

Dataintegritet och anonymisering i Python

Övningsinstruktioner

Hämta de relativa frekvenserna för varje unikt värde i kolumnen department.
Extrahera sannolikheterna från counts och lagra dem i en variabel kallad distributions.
Sampla från de tidigare beräknade sannolikhetsfördelningarna. Urvalets storlek ska vara densamma som hr-datamängdens storlek.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Obtain the probability distribution counts 
counts = ____

# Get the probability distribution values 
distributions = ____

# Sample from the calculated probability distributions
hr['department'] = np.random.choice(counts.index, 
                                    p=____, 
                                    size=len(____))

# See the resulting DataFrame
print(hr.head())

Redigera och kör kod

Den här övningen är en del av kursen

Dataintegritet och anonymisering i Python

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Här får du öva på anonymiseringstekniker som datasuppression, maskering, generering av syntetiska data och generalisering. Du lär dig att skilja mellan känslig och icke-känslig personligt identifierbar information (PII), kvasiidentifierare och grunderna i GDPR. Du kommer även att se verkliga exempel på vad som kan gå fel om dessa bästa praxis inte följs.

Exercise 1: Vad är privat, och varför spelar det roll?Exercise 2: Integritet är makt Exercise 3: Känslig eller icke-känslig?Exercise 4: Undertryckning av känsliga attribut Exercise 5: Datamaskering och datagenerering med Faker Exercise 6: Maskera känsliga personuppgifter Exercise 7: Ta bort namn med faker Exercise 8: Anonymisering med datageneralisering Exercise 9: Minska identifieringsrisken med generalisering Exercise 10: Dataaggregering och datageneralisering Exercise 11: Top- och bottomkodning av Vita husets löner

Lär dig att anonymisera data genom att sampla från datamängder utifrån kolumnernas sannolikhetsfördelning. Därefter lär du dig att tillämpa integritetsmodellen k-anonymitet för att förhindra länknings- eller återidentifieringsattacker, och att använda hierarkier för att utföra datageneralisering i kategoriska variabler.

Exercise 1: Anonymisering av kategoriska data Exercise 2: Utforska datats fördelning Exercise 3: Sampling från samma sannolikhetsfördelning

Aktuell övning

Exercise 4: Anonymisering av kontinuerliga data Exercise 5: Olika fördelningar Exercise 6: Sampling från den bäst passande kontinuerliga fördelningen Exercise 7: Introduktion till K-anonymitet Exercise 8: Integritetsattribut Exercise 9: Generalisering till intervall Exercise 10: Generalisering av data med hjälp av hierarkier Exercise 11: Använda hierarkier för kategoriska variabler Exercise 12: K-anonymisering av ett dataset

Utforska differentiell integritet – modellen som används av stora teknikföretag som Apple, Google och Uber. I det här kapitlet analyserar du data genom att generera privata histogram och beräkna privata medelvärden. Du skapar även differentiellt privata maskininlärningsmodeller som hjälper företag att öka nyttan av sina data.

Exercise 1: Introduktion till differentiell integritet Exercise 2: Epsilon (ϵ): det avgörande talet Exercise 3: Histogram med differentiell integritet Exercise 4: Integritetsbudgetar Exercise 5: Använda integritetsbudgetar Exercise 6: När budgeten är slut Exercise 7: Utforska data med en integritetsbudget Exercise 8: Differentiellt privata maskininlärningsmodeller Exercise 9: Bygg en differentiellt privat klassificerare Exercise 10: Förutsäga löner Exercise 11: Differentiellt privata klustringsmodeller Exercise 12: Förbehandling av data Exercise 13: Segmentera kunder

I det här sista kapitlet lär du dig att tillämpa dimensionalitetsreduceringsmetoder som principalkomponentanalys (PCA) för att anonymisera stora datamängder med många kolumner. Du använder sedan Faker för att generera realistiska och konsekventa datamängder, och scikit-learn för att skapa syntetiska datamängder som följer en normalfördelning. Avslutningsvis knyter du ihop allt du lärt dig i kursen genom att kombinera flera tekniker för att på ett säkert sätt publicera datamängder offentligt.

Exercise 1: PCA för anonymisering Exercise 2: Anonymisering av högdimensionell data Exercise 3: Datamaskering med PCA Exercise 4: Generera realistiska datamängder med Faker Exercise 5: Konsekvent syntetisk datamängd Exercise 6: Datamängder med samma sannolikhetsfördelning Exercise 7: Skapa syntetiska datamängder med scikit-learn Exercise 8: Generera datamängder för klassificering Exercise 9: Generera datamängder för klustring Exercise 10: Släpp datamängder säkert till allmänheten Exercise 11: Utforska och pseudonymisera en datamängd Exercise 12: Förbereda medarbetardata för säker publicering Exercise 13: Bra jobbat!