Konzistentní syntetická datová sada

Jedním z případů, kdy firmy využívají syntetická data, je trénování modelů umělé inteligence a strojového učení. Reálná data jsou někdy nákladná na sběr nebo se k nim prostě těžko dostává. Pokud jsou trénovací data silně nevyvážená (například více než 90 % instancí patří do jedné třídy), generování syntetických dat může pomoci vytvořit přesné modely strojového učení.

V tomto cvičení vygeneruješ datovou sadu hodnocení mobilní aplikace pomocí Faker.

Výchozí DataFrame je načtený jako ratings se dvěma sloupci: rating a gender. Generátor Faker() je už pro tebe inicializovaný jako fake_data.

Toto cvičení je součástí kurzu

Ochrana soukromí a anonymizace dat v Pythonu

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Generate a name according to the gender that will be unique in the dataset
ratings['name'] = [____ if x == "Female" 
                   else ____
                   for x in ratings['gender']]

Upravit a spustit kód

Toto cvičení je součástí kurzu

Ochrana soukromí a anonymizace dat v Pythonu

SkillTag.level.advancedSkillTag.label

4.9+

Začněte kurz zdarma

Připrav se na práci s anonymizačními technikami, jako jsou potlačení dat, maskování, generování syntetických dat a generalizace. V této kapitole se naučíš rozlišovat mezi citlivými a necitlivými osobními údaji (PII), kvazi-identifikátory a základy nařízení GDPR. Podíváme se také na reálné příklady toho, co se může pokazit, když tyto osvědčené postupy nedodržíš.

Exercise 1: Co je soukromé a proč nám na tom záleží?Exercise 2: Soukromí je moc Exercise 3: Citlivé, nebo necitlivé?Exercise 4: Potlačení citlivých atributů Exercise 5: Maskování dat a generování syntetických dat pomocí Faker Exercise 6: Maskování citlivých osobních údajů Exercise 7: Odstraňování jmen pomocí Fakeru Exercise 8: Anonymizace pomocí datové generalizace Exercise 9: Snížení rizika identifikace pomocí generalizace Exercise 10: Agregace dat a generalizace dat Exercise 11: Top a bottom coding platů v Bílém domě

Zjisti, jak anonymizovat data vzorkováním z datových sad podle pravděpodobnostního rozdělení sloupců. Pak se naučíš aplikovat model ochrany soukromí k-anonymita, který chrání před útoky na základě propojení nebo re-identifikace, a používat hierarchie ke generalizaci kategorických proměnných.

Exercise 1: Anonymizace kategorických dat Exercise 2: Prozkoumej rozložení dat Exercise 3: Vzorkování ze stejného pravděpodobnostního rozložení Exercise 4: Anonymizace spojitých dat Exercise 5: Různé distribuce Exercise 6: Vzorkování z nejlepší spojité distribuce Exercise 7: Úvod do K-anonymity Exercise 8: Atributy soukromí Exercise 9: Generalizace do rozsahů Exercise 10: Generalizace dat pomocí hierarchií Exercise 11: Použití hierarchií pro kategorická data Exercise 12: Anonymizace datasetu pomocí k-anonymity

Seznám se s diferenciálním soukromím – modelem, který využívají velké technologické společnosti jako Apple, Google nebo Uber. V této kapitole budeš zkoumat data pomocí soukromých histogramů a výpočtu soukromých průměrů. Vytvoříš také modely strojového učení s diferenciálním soukromím, díky nimž mohou firmy lépe využívat potenciál svých dat.

Exercise 1: Úvod do diferenciálního soukromí Exercise 2: Epsilon (ϵ): magické číslo Exercise 3: Histogramy s diferenciálním soukromím Exercise 4: Rozpočty soukromí Exercise 5: Používání rozpočtů ochrany soukromí Exercise 6: Když dojde rozpočet Exercise 7: Průzkum dat s účetní knihou ochrany soukromí Exercise 8: Diferenciálně soukromé modely strojového učení Exercise 9: Sestav klasifikátor s diferenciálním soukromím Exercise 10: Předpovídání platů Exercise 11: Diferenciálně soukromé modely shlukování Exercise 12: Předzpracování dat Exercise 13: Segmentace zákazníků

V této závěrečné kapitole se naučíš používat metody redukce dimenzionality, jako je analýza hlavních komponent (PCA), k anonymizaci rozsáhlých vícerozměrných datových sad. Pak využiješ knihovnu Faker k vytváření realistických a konzistentních datových sad a scikit-learn ke generování syntetických dat s normálním rozdělením. Na závěr propojíš vše, co jsi se v kurzu naučil/a, a zkombinuješ několik technik pro bezpečné zveřejnění datových sad.

Exercise 1: PCA pro anonymizaci Exercise 2: Anonymizace vysoce dimenzionálních dat Exercise 3: Maskování dat pomocí PCA Exercise 4: Generování realistických datasetů pomocí Fakeru Exercise 5: Konzistentní syntetická datová sada

Aktuální cvičení

Exercise 6: Datasety se stejným pravděpodobnostním rozdělením Exercise 7: Vytváření syntetických datasetů pomocí scikit-learn Exercise 8: Generování datasetů pro klasifikaci Exercise 9: Generování datasetů pro shlukování Exercise 10: Bezpečné zveřejnění datových sad Exercise 11: Prozkoumání a pseudonymizace datasetu Exercise 12: Příprava dat o zaměstnancích pro bezpečné zveřejnění Exercise 13: Skvělá práce!