Tworzenie syntetycznych zbiorów danych za pomocą scikit-learn

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

To ćwiczenie jest częścią kursu

Prywatność danych i anonimizacja w Pythonie

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zapoznaj się z technikami anonimizacji, takimi jak usuwanie danych, maskowanie, generowanie danych syntetycznych i generalizacja. W tym rozdziale nauczysz się odróżniać wrażliwe i niewrażliwe dane osobowe (PII), quasi-identyfikatory oraz poznasz podstawy RODO. Zobaczysz też przykłady z życia wzięte – co może pójść nie tak, jeśli zignoruje się te dobre praktyki.

Exercise 1: Co jest prywatne i dlaczego to ważne?Exercise 2: Prywatność to potęga Exercise 3: Wrażliwe czy niewrażliwe?Exercise 4: Usuwanie wrażliwych atrybutów Exercise 5: Maskowanie danych i generowanie danych za pomocą Faker Exercise 6: Maskowanie wrażliwych danych osobowych Exercise 7: Usuwanie imion i nazwisk za pomocą faker Exercise 8: Anonimizacja z użyciem generalizacji danych Exercise 9: Zmniejszanie ryzyka identyfikacji za pomocą generalizacji Exercise 10: Agregacja danych a generalizacja danych Exercise 11: Kodowanie górne i dolne wynagrodzeń w Białym Domu

Dowiedz się, jak anonimizować dane poprzez próbkowanie ze zbiorów danych zgodnie z rozkładem prawdopodobieństwa kolumn. Następnie nauczysz się stosować model prywatności k-anonimowości, aby zapobiegać atakom polegającym na łączeniu lub ponownej identyfikacji danych, oraz używać hierarchii do generalizacji danych w zmiennych kategorycznych.

Exercise 1: Anonimizacja danych kategorycznych Exercise 2: Eksploracja rozkładu danych Exercise 3: Próbkowanie z zachowaniem tego samego rozkładu prawdopodobieństwa Exercise 4: Anonimizacja danych ciągłych Exercise 5: Różne rozkłady Exercise 6: Próbkowanie z najlepiej dopasowanego rozkładu ciągłego Exercise 7: Wprowadzenie do k-anonimowości Exercise 8: Atrybuty prywatności Exercise 9: Uogólnianie do przedziałów Exercise 10: Generalizacja danych przy użyciu hierarchii Exercise 11: Stosowanie hierarchii dla danych kategorycznych Exercise 12: Anonimizacja zbioru danych metodą k-anonimowości

Poznaj prywatność różniczkową – model stosowany przez największe firmy technologiczne, takie jak Apple, Google i Uber. W tym rozdziale będziesz eksplorować dane, generując prywatne histogramy i obliczając prywatne średnie. Stworzysz też modele uczenia maszynowego z prywatnością różniczkową, które pozwalają firmom zwiększyć użyteczność ich danych.

Exercise 1: Wprowadzenie do prywatności różnicowej Exercise 2: Epsilon (ϵ): kluczowa liczba Exercise 3: Histogramy z prywatnością różnicową Exercise 4: Budżety prywatności Exercise 5: Korzystanie z budżetów prywatności Exercise 6: Gdy budżet prywatności się wyczerpie Exercise 7: Eksploracja danych z użyciem księgowego budżetu prywatności Exercise 8: Różniczkowo prywatne modele uczenia maszynowego Exercise 9: Zbuduj klasyfikator z prywatnością różnicową Exercise 10: Przewidywanie wynagrodzeń Exercise 11: Różniczkowo prywatne modele klastrowania Exercise 12: Wstępne przetwarzanie danych Exercise 13: Segmentacja klientów

W tym ostatnim rozdziale nauczysz się stosować metody redukcji wymiarowości, takie jak analiza głównych składowych (PCA), do anonimizacji dużych zbiorów danych z wieloma kolumnami. Następnie użyjesz biblioteki Faker do generowania realistycznych i spójnych zbiorów danych oraz scikit-learn do tworzenia syntetycznych zbiorów danych o rozkładzie normalnym. Na koniec połączysz wszystko, czego się nauczyłeś w tym kursie, łącząc wiele technik, aby bezpiecznie udostępniać zbiory danych publicznie.

Exercise 1: PCA do anonimizacji Exercise 2: Anonimizacja danych wysokowymiarowych Exercise 3: Maskowanie danych za pomocą PCA Exercise 4: Generowanie realistycznych zbiorów danych za pomocą Faker Exercise 5: Spójny syntetyczny zbiór danych Exercise 6: Zbiory danych z takim samym rozkładem prawdopodobieństwa Exercise 7: Tworzenie syntetycznych zbiorów danych za pomocą scikit-learn

Bieżące ćwiczenie

Exercise 8: Generowanie zbiorów danych do klasyfikacji Exercise 9: Generowanie zbiorów danych do klasteryzacji Exercise 10: Bezpieczne udostępnianie zbiorów danych publicznie Exercise 11: Eksploracja i pseudonimizacja zbioru danych Exercise 12: Przygotowanie danych pracowników do bezpiecznego udostępnienia Exercise 13: Świetna robota!