Снижение риска идентификации с помощью обобщения

В этом упражнении вы примените обобщение к набору данных IBM HR Analytics Employee Attrition & Performance.

Конкретнее: вы преобразуете переменную monthly_income в бинарный столбец. В качестве порога для преобразования будет использоваться среднее значение зарплат, округлённое до целого. Новые значения: 0 — для тех, кто получает меньше среднего или равно ему, и 1 — для тех, кто получает больше.

Набор данных загружен как DataFrame hr библиотеки pandas.

Это упражнение является частью курса

Конфиденциальность данных и анонимизация в Python

Посмотреть курс

Инструкции к упражнению

Вычислите среднее значение столбца monthly_income с помощью .mean() и округлите его до целого числа. Сохраните результат в переменную mean_income.
Примените лямбда-функцию к hr['monthly_income'], чтобы обобщить значения доходов: 0 — для значений, меньших или равных mean_income, и 1 — для значений, превышающих его.
Изучите первые пять строк результирующего DataFrame hr.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Calculate the mean value of incomes
mean_income = ____

# Apply generalization by transforming to binary data
hr['monthly_income'] = ____

# See resulting DataFrame
print(____)

Редактировать и запускать код

Это упражнение является частью курса

Конфиденциальность данных и анонимизация в Python

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Приготовьтесь применять методы анонимизации: подавление данных, маскирование, генерацию синтетических данных и обобщение. В этой главе вы научитесь различать чувствительные и нечувствительные персональные данные (PII), квазиидентификаторы, а также познакомитесь с основами GDPR. Кроме того, вы рассмотрите реальные примеры последствий несоблюдения этих методов.

Exercise 1: Что является личными данными и почему это важно?Exercise 2: Конфиденциальность как ценность Exercise 3: Чувствительные или нечувствительные данные?Exercise 4: Подавление чувствительных атрибутов Exercise 5: Маскирование данных и генерация данных с помощью Faker Exercise 6: Маскирование конфиденциальных персональных данных Exercise 7: Удаление имён с помощью faker Exercise 8: Анонимизация с помощью обобщения данных Exercise 9: Снижение риска идентификации с помощью обобщения

Текущее упражнение

Exercise 10: Агрегация и обобщение данных Exercise 11: Верхнее и нижнее кодирование зарплат в Белом доме

Узнайте, как анонимизировать данные путём выборки из наборов данных с учётом вероятностного распределения столбцов. Затем вы научитесь применять модель конфиденциальности k-анонимность для защиты от атак связывания и повторной идентификации, а также использовать иерархии для обобщения категориальных переменных.

Exercise 1: Анонимизация категориальных данных Exercise 2: Изучение распределения данных Exercise 3: Выборка из того же вероятностного распределения Exercise 4: Анонимизация непрерывных данных Exercise 5: Различные распределения Exercise 6: Выборка из наилучшего непрерывного распределения Exercise 7: Введение в K-анонимность Exercise 8: Атрибуты конфиденциальности Exercise 9: Обобщение в диапазоны Exercise 10: Обобщение данных с помощью иерархий Exercise 11: Использование иерархий для категориальных данных Exercise 12: K-анонимизация набора данных

Изучите дифференциальную приватность — модель, которую применяют крупнейшие технологические компании, такие как Apple, Google и Uber. В этой главе вы исследуете данные с помощью построения приватных гистограмм и вычисления приватных средних значений, а также создадите модели машинного обучения с дифференциальной приватностью, позволяющие компаниям повысить ценность своих данных.

Exercise 1: Введение в дифференциальную приватность Exercise 2: Эпсилон (ϵ): ключевой параметр Exercise 3: Гистограммы с дифференциальной приватностью Exercise 4: Бюджеты приватности Exercise 5: Использование бюджетов приватности Exercise 6: Когда бюджет исчерпан Exercise 7: Изучение данных с помощью счётчика приватного бюджета Exercise 8: Модели машинного обучения с дифференциальной приватностью Exercise 9: Создание классификатора с дифференциальной приватностью Exercise 10: Прогнозирование зарплаты Exercise 11: Модели кластеризации с дифференциальной приватностью Exercise 12: Предобработка данных Exercise 13: Сегментация клиентов

В заключительной главе вы научитесь применять методы снижения размерности, например метод главных компонент (PCA), для анонимизации многомерных наборов данных. Затем воспользуетесь Faker для генерации реалистичных и согласованных наборов данных, а scikit-learn — для создания синтетических данных с нормальным распределением. В завершение вы объедините всё, что узнали в этом курсе, и применёте несколько методов в совокупности, чтобы безопасно публиковать наборы данных.

Exercise 1: Метод главных компонент для анонимизации Exercise 2: Анонимизация многомерных данных Exercise 3: Маскирование данных с помощью PCA Exercise 4: Генерация реалистичных наборов данных с помощью Faker Exercise 5: Последовательный синтетический набор данных Exercise 6: Наборы данных с одинаковым вероятностным распределением Exercise 7: Создание синтетических наборов данных с помощью scikit-learn Exercise 8: Генерация наборов данных для классификации Exercise 9: Генерация наборов данных для кластеризации Exercise 10: Безопасная публикация наборов данных Exercise 11: Изучение и псевдонимизация набора данных Exercise 12: Подготовка данных о сотрудниках к безопасной публикации Exercise 13: Отличная работа!