Анонимизация многомерных данных

По мере роста размерности данных обеспечение конфиденциальности становится всё менее эффективным — это явление называют проклятием размерности. Оно описывает комплекс проблем, возникающих при работе с многомерными данными. Чем больше признаков или измерений, тем экспоненциально больше данных требуется для точного обобщения. Особенно это проявляется при k-анонимности: чем больше столбцов, тем сложнее достичь k-анонимного набора данных.

Как метод главных компонент (PCA) связан с анонимизацией наборов данных и их публичным раскрытием?

Это упражнение является частью курса

Конфиденциальность данных и анонимизация в Python

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Конфиденциальность данных и анонимизация в Python

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Приготовьтесь применять методы анонимизации: подавление данных, маскирование, генерацию синтетических данных и обобщение. В этой главе вы научитесь различать чувствительные и нечувствительные персональные данные (PII), квазиидентификаторы, а также познакомитесь с основами GDPR. Кроме того, вы рассмотрите реальные примеры последствий несоблюдения этих методов.

Exercise 1: Что является личными данными и почему это важно?Exercise 2: Конфиденциальность как ценность Exercise 3: Чувствительные или нечувствительные данные?Exercise 4: Подавление чувствительных атрибутов Exercise 5: Маскирование данных и генерация данных с помощью Faker Exercise 6: Маскирование конфиденциальных персональных данных Exercise 7: Удаление имён с помощью faker Exercise 8: Анонимизация с помощью обобщения данных Exercise 9: Снижение риска идентификации с помощью обобщения Exercise 10: Агрегация и обобщение данных Exercise 11: Верхнее и нижнее кодирование зарплат в Белом доме

Узнайте, как анонимизировать данные путём выборки из наборов данных с учётом вероятностного распределения столбцов. Затем вы научитесь применять модель конфиденциальности k-анонимность для защиты от атак связывания и повторной идентификации, а также использовать иерархии для обобщения категориальных переменных.

Exercise 1: Анонимизация категориальных данных Exercise 2: Изучение распределения данных Exercise 3: Выборка из того же вероятностного распределения Exercise 4: Анонимизация непрерывных данных Exercise 5: Различные распределения Exercise 6: Выборка из наилучшего непрерывного распределения Exercise 7: Введение в K-анонимность Exercise 8: Атрибуты конфиденциальности Exercise 9: Обобщение в диапазоны Exercise 10: Обобщение данных с помощью иерархий Exercise 11: Использование иерархий для категориальных данных Exercise 12: K-анонимизация набора данных

Изучите дифференциальную приватность — модель, которую применяют крупнейшие технологические компании, такие как Apple, Google и Uber. В этой главе вы исследуете данные с помощью построения приватных гистограмм и вычисления приватных средних значений, а также создадите модели машинного обучения с дифференциальной приватностью, позволяющие компаниям повысить ценность своих данных.

Exercise 1: Введение в дифференциальную приватность Exercise 2: Эпсилон (ϵ): ключевой параметр Exercise 3: Гистограммы с дифференциальной приватностью Exercise 4: Бюджеты приватности Exercise 5: Использование бюджетов приватности Exercise 6: Когда бюджет исчерпан Exercise 7: Изучение данных с помощью счётчика приватного бюджета Exercise 8: Модели машинного обучения с дифференциальной приватностью Exercise 9: Создание классификатора с дифференциальной приватностью Exercise 10: Прогнозирование зарплаты Exercise 11: Модели кластеризации с дифференциальной приватностью Exercise 12: Предобработка данных Exercise 13: Сегментация клиентов

В заключительной главе вы научитесь применять методы снижения размерности, например метод главных компонент (PCA), для анонимизации многомерных наборов данных. Затем воспользуетесь Faker для генерации реалистичных и согласованных наборов данных, а scikit-learn — для создания синтетических данных с нормальным распределением. В завершение вы объедините всё, что узнали в этом курсе, и применёте несколько методов в совокупности, чтобы безопасно публиковать наборы данных.

Exercise 1: Метод главных компонент для анонимизации Exercise 2: Анонимизация многомерных данных

Текущее упражнение

Exercise 3: Маскирование данных с помощью PCA Exercise 4: Генерация реалистичных наборов данных с помощью Faker Exercise 5: Последовательный синтетический набор данных Exercise 6: Наборы данных с одинаковым вероятностным распределением Exercise 7: Создание синтетических наборов данных с помощью scikit-learn Exercise 8: Генерация наборов данных для классификации Exercise 9: Генерация наборов данных для кластеризации Exercise 10: Безопасная публикация наборов данных Exercise 11: Изучение и псевдонимизация набора данных Exercise 12: Подготовка данных о сотрудниках к безопасной публикации Exercise 13: Отличная работа!