Изучение распределения данных

Когда мы хотим анонимизировать набор данных, выбирая данные максимально реалистичным способом, нам нужно получить определённые предметные и статистические знания о данных. Как мы уже видели, ключевым шагом является нахождение вероятностного распределения интересующего столбца.

В этом упражнении вы исследуете столбец business_travel из упрощённой версии набора данных IBM HR.

DataFrame импортирован как hr, а numpy — как np. Как было отмечено в предыдущей главе, pandas импортирован как pd — это справедливо для данного и всех последующих упражнений курса.

Это упражнение является частью курса

Конфиденциальность данных и анонимизация в Python

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Print the absolute frequencies of each unique value
print(____)

Редактировать и запускать код

Это упражнение является частью курса

Конфиденциальность данных и анонимизация в Python

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Приготовьтесь применять методы анонимизации: подавление данных, маскирование, генерацию синтетических данных и обобщение. В этой главе вы научитесь различать чувствительные и нечувствительные персональные данные (PII), квазиидентификаторы, а также познакомитесь с основами GDPR. Кроме того, вы рассмотрите реальные примеры последствий несоблюдения этих методов.

Exercise 1: Что является личными данными и почему это важно?Exercise 2: Конфиденциальность как ценность Exercise 3: Чувствительные или нечувствительные данные?Exercise 4: Подавление чувствительных атрибутов Exercise 5: Маскирование данных и генерация данных с помощью Faker Exercise 6: Маскирование конфиденциальных персональных данных Exercise 7: Удаление имён с помощью faker Exercise 8: Анонимизация с помощью обобщения данных Exercise 9: Снижение риска идентификации с помощью обобщения Exercise 10: Агрегация и обобщение данных Exercise 11: Верхнее и нижнее кодирование зарплат в Белом доме

Узнайте, как анонимизировать данные путём выборки из наборов данных с учётом вероятностного распределения столбцов. Затем вы научитесь применять модель конфиденциальности k-анонимность для защиты от атак связывания и повторной идентификации, а также использовать иерархии для обобщения категориальных переменных.

Exercise 1: Анонимизация категориальных данных Exercise 2: Изучение распределения данных

Текущее упражнение

Exercise 3: Выборка из того же вероятностного распределения Exercise 4: Анонимизация непрерывных данных Exercise 5: Различные распределения Exercise 6: Выборка из наилучшего непрерывного распределения Exercise 7: Введение в K-анонимность Exercise 8: Атрибуты конфиденциальности Exercise 9: Обобщение в диапазоны Exercise 10: Обобщение данных с помощью иерархий Exercise 11: Использование иерархий для категориальных данных Exercise 12: K-анонимизация набора данных

Изучите дифференциальную приватность — модель, которую применяют крупнейшие технологические компании, такие как Apple, Google и Uber. В этой главе вы исследуете данные с помощью построения приватных гистограмм и вычисления приватных средних значений, а также создадите модели машинного обучения с дифференциальной приватностью, позволяющие компаниям повысить ценность своих данных.

Exercise 1: Введение в дифференциальную приватность Exercise 2: Эпсилон (ϵ): ключевой параметр Exercise 3: Гистограммы с дифференциальной приватностью Exercise 4: Бюджеты приватности Exercise 5: Использование бюджетов приватности Exercise 6: Когда бюджет исчерпан Exercise 7: Изучение данных с помощью счётчика приватного бюджета Exercise 8: Модели машинного обучения с дифференциальной приватностью Exercise 9: Создание классификатора с дифференциальной приватностью Exercise 10: Прогнозирование зарплаты Exercise 11: Модели кластеризации с дифференциальной приватностью Exercise 12: Предобработка данных Exercise 13: Сегментация клиентов

В заключительной главе вы научитесь применять методы снижения размерности, например метод главных компонент (PCA), для анонимизации многомерных наборов данных. Затем воспользуетесь Faker для генерации реалистичных и согласованных наборов данных, а scikit-learn — для создания синтетических данных с нормальным распределением. В завершение вы объедините всё, что узнали в этом курсе, и применёте несколько методов в совокупности, чтобы безопасно публиковать наборы данных.

Exercise 1: Метод главных компонент для анонимизации Exercise 2: Анонимизация многомерных данных Exercise 3: Маскирование данных с помощью PCA Exercise 4: Генерация реалистичных наборов данных с помощью Faker Exercise 5: Последовательный синтетический набор данных Exercise 6: Наборы данных с одинаковым вероятностным распределением Exercise 7: Создание синтетических наборов данных с помощью scikit-learn Exercise 8: Генерация наборов данных для классификации Exercise 9: Генерация наборов данных для кластеризации Exercise 10: Безопасная публикация наборов данных Exercise 11: Изучение и псевдонимизация набора данных Exercise 12: Подготовка данных о сотрудниках к безопасной публикации Exercise 13: Отличная работа!