Sampling från den bäst passande kontinuerliga fördelningen

Slumpmässigt urval från en välpassande sannolikhetsfördelning bidrar till att bevara integriteten. Samtidigt gör det det möjligt för behöriga parter att genomföra en noggrann statistisk analys av data.

I den här övningen anonymiserar du kolumnen monthly_income från IBM-datamängden. I föregående lektion fastställde du att den kontinuerliga fördelningen exponnorm passar bäst. Använd den för att modellera inkomsterna.

Datamängden är tillgänglig som hr.

Den här övningen är en del av kursen

Dataintegritet och anonymisering i Python

Övningsinstruktioner

Importera modulen stats från paketet scipy.
Anpassa exponnorm-fördelningen till den kontinuerliga variabeln monthly_income för att hämta fördelningens parametrar och sedan generera samplen.
Sampla från exponnorm-fördelningen och ersätt monthly_income med hjälp av .rvs()-metoden. Ange storleken till samma längd som kolumnen.
Avrunda lönerna till närmaste heltal.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import stats from scipy
____

# Fit the exponnorm distribution to the continuous variable monthly income
params = ____

# Sample from the exponnorm distribution and replace monthly income
hr['monthly_income'] = ____

# Round the salaries to their closest integer
hr['monthly_income'] = ____

# See the resulting dataset
print(hr.head())

Redigera och kör kod

Den här övningen är en del av kursen

Dataintegritet och anonymisering i Python

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Här får du öva på anonymiseringstekniker som datasuppression, maskering, generering av syntetiska data och generalisering. Du lär dig att skilja mellan känslig och icke-känslig personligt identifierbar information (PII), kvasiidentifierare och grunderna i GDPR. Du kommer även att se verkliga exempel på vad som kan gå fel om dessa bästa praxis inte följs.

Exercise 1: Vad är privat, och varför spelar det roll?Exercise 2: Integritet är makt Exercise 3: Känslig eller icke-känslig?Exercise 4: Undertryckning av känsliga attribut Exercise 5: Datamaskering och datagenerering med Faker Exercise 6: Maskera känsliga personuppgifter Exercise 7: Ta bort namn med faker Exercise 8: Anonymisering med datageneralisering Exercise 9: Minska identifieringsrisken med generalisering Exercise 10: Dataaggregering och datageneralisering Exercise 11: Top- och bottomkodning av Vita husets löner

Lär dig att anonymisera data genom att sampla från datamängder utifrån kolumnernas sannolikhetsfördelning. Därefter lär du dig att tillämpa integritetsmodellen k-anonymitet för att förhindra länknings- eller återidentifieringsattacker, och att använda hierarkier för att utföra datageneralisering i kategoriska variabler.

Exercise 1: Anonymisering av kategoriska data Exercise 2: Utforska datats fördelning Exercise 3: Sampling från samma sannolikhetsfördelning Exercise 4: Anonymisering av kontinuerliga data Exercise 5: Olika fördelningar Exercise 6: Sampling från den bäst passande kontinuerliga fördelningen

Aktuell övning

Exercise 7: Introduktion till K-anonymitet Exercise 8: Integritetsattribut Exercise 9: Generalisering till intervall Exercise 10: Generalisering av data med hjälp av hierarkier Exercise 11: Använda hierarkier för kategoriska variabler Exercise 12: K-anonymisering av ett dataset

Utforska differentiell integritet – modellen som används av stora teknikföretag som Apple, Google och Uber. I det här kapitlet analyserar du data genom att generera privata histogram och beräkna privata medelvärden. Du skapar även differentiellt privata maskininlärningsmodeller som hjälper företag att öka nyttan av sina data.

Exercise 1: Introduktion till differentiell integritet Exercise 2: Epsilon (ϵ): det avgörande talet Exercise 3: Histogram med differentiell integritet Exercise 4: Integritetsbudgetar Exercise 5: Använda integritetsbudgetar Exercise 6: När budgeten är slut Exercise 7: Utforska data med en integritetsbudget Exercise 8: Differentiellt privata maskininlärningsmodeller Exercise 9: Bygg en differentiellt privat klassificerare Exercise 10: Förutsäga löner Exercise 11: Differentiellt privata klustringsmodeller Exercise 12: Förbehandling av data Exercise 13: Segmentera kunder

I det här sista kapitlet lär du dig att tillämpa dimensionalitetsreduceringsmetoder som principalkomponentanalys (PCA) för att anonymisera stora datamängder med många kolumner. Du använder sedan Faker för att generera realistiska och konsekventa datamängder, och scikit-learn för att skapa syntetiska datamängder som följer en normalfördelning. Avslutningsvis knyter du ihop allt du lärt dig i kursen genom att kombinera flera tekniker för att på ett säkert sätt publicera datamängder offentligt.

Exercise 1: PCA för anonymisering Exercise 2: Anonymisering av högdimensionell data Exercise 3: Datamaskering med PCA Exercise 4: Generera realistiska datamängder med Faker Exercise 5: Konsekvent syntetisk datamängd Exercise 6: Datamängder med samma sannolikhetsfördelning Exercise 7: Skapa syntetiska datamängder med scikit-learn Exercise 8: Generera datamängder för klassificering Exercise 9: Generera datamängder för klustring Exercise 10: Släpp datamängder säkert till allmänheten Exercise 11: Utforska och pseudonymisera en datamängd Exercise 12: Förbereda medarbetardata för säker publicering Exercise 13: Bra jobbat!