Utforska datats fördelning

När vi vill anonymisera en datamängd genom att sampla data på ett realistiskt sätt behöver vi ha viss domän- och statistikkunskap om datan. Som vi har sett är det avgörande att hitta sannolikhetsfördelningen för den kolumn vi är intresserade av.

I den här övningen utforskar du kolumnen business_travel från en förenklad version av IBM HR-datamängden.

DataFrame:en har importerats som hr och numpy som np. Som nämndes i föregående kapitel har pandas importerats som pd för den här och resten av kursen.

Den här övningen är en del av kursen

Dataintegritet och anonymisering i Python

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Print the absolute frequencies of each unique value
print(____)

Redigera och kör kod

Den här övningen är en del av kursen

Dataintegritet och anonymisering i Python

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Här får du öva på anonymiseringstekniker som datasuppression, maskering, generering av syntetiska data och generalisering. Du lär dig att skilja mellan känslig och icke-känslig personligt identifierbar information (PII), kvasiidentifierare och grunderna i GDPR. Du kommer även att se verkliga exempel på vad som kan gå fel om dessa bästa praxis inte följs.

Exercise 1: Vad är privat, och varför spelar det roll?Exercise 2: Integritet är makt Exercise 3: Känslig eller icke-känslig?Exercise 4: Undertryckning av känsliga attribut Exercise 5: Datamaskering och datagenerering med Faker Exercise 6: Maskera känsliga personuppgifter Exercise 7: Ta bort namn med faker Exercise 8: Anonymisering med datageneralisering Exercise 9: Minska identifieringsrisken med generalisering Exercise 10: Dataaggregering och datageneralisering Exercise 11: Top- och bottomkodning av Vita husets löner

Lär dig att anonymisera data genom att sampla från datamängder utifrån kolumnernas sannolikhetsfördelning. Därefter lär du dig att tillämpa integritetsmodellen k-anonymitet för att förhindra länknings- eller återidentifieringsattacker, och att använda hierarkier för att utföra datageneralisering i kategoriska variabler.

Exercise 1: Anonymisering av kategoriska data Exercise 2: Utforska datats fördelning

Aktuell övning

Exercise 3: Sampling från samma sannolikhetsfördelning Exercise 4: Anonymisering av kontinuerliga data Exercise 5: Olika fördelningar Exercise 6: Sampling från den bäst passande kontinuerliga fördelningen Exercise 7: Introduktion till K-anonymitet Exercise 8: Integritetsattribut Exercise 9: Generalisering till intervall Exercise 10: Generalisering av data med hjälp av hierarkier Exercise 11: Använda hierarkier för kategoriska variabler Exercise 12: K-anonymisering av ett dataset

Utforska differentiell integritet – modellen som används av stora teknikföretag som Apple, Google och Uber. I det här kapitlet analyserar du data genom att generera privata histogram och beräkna privata medelvärden. Du skapar även differentiellt privata maskininlärningsmodeller som hjälper företag att öka nyttan av sina data.

Exercise 1: Introduktion till differentiell integritet Exercise 2: Epsilon (ϵ): det avgörande talet Exercise 3: Histogram med differentiell integritet Exercise 4: Integritetsbudgetar Exercise 5: Använda integritetsbudgetar Exercise 6: När budgeten är slut Exercise 7: Utforska data med en integritetsbudget Exercise 8: Differentiellt privata maskininlärningsmodeller Exercise 9: Bygg en differentiellt privat klassificerare Exercise 10: Förutsäga löner Exercise 11: Differentiellt privata klustringsmodeller Exercise 12: Förbehandling av data Exercise 13: Segmentera kunder

I det här sista kapitlet lär du dig att tillämpa dimensionalitetsreduceringsmetoder som principalkomponentanalys (PCA) för att anonymisera stora datamängder med många kolumner. Du använder sedan Faker för att generera realistiska och konsekventa datamängder, och scikit-learn för att skapa syntetiska datamängder som följer en normalfördelning. Avslutningsvis knyter du ihop allt du lärt dig i kursen genom att kombinera flera tekniker för att på ett säkert sätt publicera datamängder offentligt.

Exercise 1: PCA för anonymisering Exercise 2: Anonymisering av högdimensionell data Exercise 3: Datamaskering med PCA Exercise 4: Generera realistiska datamängder med Faker Exercise 5: Konsekvent syntetisk datamängd Exercise 6: Datamängder med samma sannolikhetsfördelning Exercise 7: Skapa syntetiska datamängder med scikit-learn Exercise 8: Generera datamängder för klassificering Exercise 9: Generera datamängder för klustring Exercise 10: Släpp datamängder säkert till allmänheten Exercise 11: Utforska och pseudonymisera en datamängd Exercise 12: Förbereda medarbetardata för säker publicering Exercise 13: Bra jobbat!