Jeu de données synthétique cohérent

Les entreprises utilisent des données synthétiques, entre autres, pour entraîner des modèles d'intelligence artificielle et de Machine Learning. Les données réelles sont parfois coûteuses à recueillir ou simplement difficiles à obtenir. Lorsque les données d'entraînement sont très déséquilibrées (p. ex., plus de 90 % des instances appartiennent à une seule classe), la génération de données synthétiques peut aider à bâtir des modèles de Machine Learning précis.

Dans cet exercice, vous allez générer un jeu de données d'évaluations d'une application mobile à l'aide de Faker.

Le DataFrame initial est chargé sous le nom ratings avec deux colonnes : rating et gender. Un générateur Faker() a déjà été initialisé pour vous sous le nom fake_data.

Cette activité fait partie du cours

Confidentialité des données et anonymisation en Python

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Generate a name according to the gender that will be unique in the dataset
ratings['name'] = [____ if x == "Female" 
                   else ____
                   for x in ratings['gender']]

Modifier et exécuter le code

Cette activité fait partie du cours

Confidentialité des données et anonymisation en Python

SkillTag.level.advancedSkillTag.label

4.9+

Commencer le cours gratuitement

Préparez-vous à appliquer des techniques d'anonymisation comme la suppression de données, le masquage, la génération de données synthétiques et la généralisation. Dans ce chapitre, vous apprendrez à distinguer les renseignements personnels identifiables (PII) sensibles et non sensibles, les quasi-identifiants, ainsi que les notions de base du RGPD. Vous verrez aussi des exemples réels de ce qui peut mal tourner si ces pratiques exemplaires ne sont pas suivies.

Exercise 1: Qu'est-ce qui est privé, et pourquoi est-ce important ?Exercise 2: La vie privée, c'est le pouvoir Exercise 3: Est-ce sensible ou non sensible ?Exercise 4: Suppression des attributs sensibles Exercise 5: Masquage des données et génération de données avec Faker Exercise 6: Masquage des RRI sensibles Exercise 7: Supprimer les noms avec faker Exercise 8: Anonymiser par généralisation des données Exercise 9: Réduire le risque d'identification par généralisation Exercise 10: Agrégation de données et généralisation des données Exercise 11: Censurer par le haut et par le bas les salaires de la Maison-Blanche

Découvrez comment anonymiser des données en échantillonnant à partir de jeux de données selon la distribution de probabilité des colonnes. Vous apprendrez ensuite à appliquer le modèle de confidentialité de la k-anonymité pour prévenir les attaques par appariement ou réidentification et à utiliser des hiérarchies pour effectuer la généralisation des données dans les variables catégorielles.

Exercise 1: Anonymiser des données catégorielles Exercise 2: Explorer la distribution des données Exercise 3: Échantillonner à partir de la même distribution de probabilité Exercise 4: Anonymiser des données continues Exercise 5: Différentes distributions Exercise 6: Échantillonnage à partir de la meilleure distribution continue Exercise 7: Introduction à la k-anonymité Exercise 8: Attributs de confidentialité Exercise 9: Généraliser en intervalles Exercise 10: Généraliser des données à l'aide de hiérarchies Exercise 11: Utiliser des hiérarchies pour des données catégorielles Exercise 12: Appliquer la k-anonymité à un jeu de données

Découvrez la confidentialité différentielle, le modèle utilisé par de grandes entreprises technologiques comme Apple, Google et Uber. Dans ce chapitre, vous explorerez les données en générant des histogrammes privés et en calculant des moyennes privées. Vous créerez aussi des modèles de machine learning différentiellement privés qui permettent aux entreprises d'augmenter l'utilité de leurs données.

Exercise 1: Introduction à la confidentialité différentielle Exercise 2: Epsilon (ϵ) : le nombre magique Exercise 3: Histogrammes avec confidentialité différentielle Exercise 4: Budgets de confidentialité Exercise 5: Utiliser les budgets de confidentialité Exercise 6: Quand il ne reste plus de budget Exercise 7: Explorer des données avec un contrôleur de budget de confidentialité Exercise 8: Modèles de Machine Learning à confidentialité différentielle Exercise 9: Créer un classificateur différentiellement privé Exercise 10: Prédire les salaires Exercise 11: Regroupement avec confidentialité différentielle Exercise 12: Prétraitement des données Exercise 13: Segmenter les clients

Dans ce dernier chapitre, vous apprendrez à appliquer des méthodes de réduction de la dimensionnalité comme l'analyse en composantes principales (ACP) pour anonymiser de grands jeux de données comportant de nombreuses colonnes. Vous utiliserez ensuite Faker pour générer des jeux de données réalistes et cohérents, et scikit-learn pour créer des jeux de données synthétiques qui suivent une distribution normale. Enfin, vous rassemblerez tout ce que vous avez appris dans ce cours en combinant plusieurs techniques pour publier en toute sécurité des jeux de données destinés au public.

Exercise 1: ACP pour l'anonymisation Exercise 2: Anonymisation de données à forte dimensionnalité Exercise 3: Masquage de données avec la PCA Exercise 4: Générer des jeux de données réalistes avec Faker Exercise 5: Jeu de données synthétique cohérent

Exercice en cours

Exercise 6: Ensembles de données avec la même distribution probabiliste Exercise 7: Créer des ensembles de données synthétiques avec scikit-learn Exercise 8: Générer des jeux de données pour la classification Exercise 9: Générer des jeux de données pour le regroupement Exercise 10: Publier des jeux de données en toute sécurité Exercise 11: Explorer et pseudonymiser un jeu de données Exercise 12: Préparer des données d'employés pour une diffusion sécuritaire Exercise 13: Excellent travail !