Eksploracja rozkładu danych

Kiedy chcemy zanonimizować zbiór danych poprzez próbkowanie w realistyczny sposób, musimy zdobyć pewną wiedzę dziedzinową i statystyczną na temat tych danych. Jak już wiemy, kluczowe jest znalezienie rozkładu prawdopodobieństwa interesującej nas kolumny.

W tym ćwiczeniu przyjrzysz się kolumnie business_travel z uproszczonej wersji zbioru danych IBM HR.

DataFrame został zaimportowany jako hr, a numpy jako np. Jak wspomniano w poprzednim rozdziale, pandas został zaimportowany jako pd – dotyczy to tego i wszystkich kolejnych ćwiczeń w kursie.

To ćwiczenie jest częścią kursu

Prywatność danych i anonimizacja w Pythonie

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Print the absolute frequencies of each unique value
print(____)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Prywatność danych i anonimizacja w Pythonie

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zapoznaj się z technikami anonimizacji, takimi jak usuwanie danych, maskowanie, generowanie danych syntetycznych i generalizacja. W tym rozdziale nauczysz się odróżniać wrażliwe i niewrażliwe dane osobowe (PII), quasi-identyfikatory oraz poznasz podstawy RODO. Zobaczysz też przykłady z życia wzięte – co może pójść nie tak, jeśli zignoruje się te dobre praktyki.

Exercise 1: Co jest prywatne i dlaczego to ważne?Exercise 2: Prywatność to potęga Exercise 3: Wrażliwe czy niewrażliwe?Exercise 4: Usuwanie wrażliwych atrybutów Exercise 5: Maskowanie danych i generowanie danych za pomocą Faker Exercise 6: Maskowanie wrażliwych danych osobowych Exercise 7: Usuwanie imion i nazwisk za pomocą faker Exercise 8: Anonimizacja z użyciem generalizacji danych Exercise 9: Zmniejszanie ryzyka identyfikacji za pomocą generalizacji Exercise 10: Agregacja danych a generalizacja danych Exercise 11: Kodowanie górne i dolne wynagrodzeń w Białym Domu

Dowiedz się, jak anonimizować dane poprzez próbkowanie ze zbiorów danych zgodnie z rozkładem prawdopodobieństwa kolumn. Następnie nauczysz się stosować model prywatności k-anonimowości, aby zapobiegać atakom polegającym na łączeniu lub ponownej identyfikacji danych, oraz używać hierarchii do generalizacji danych w zmiennych kategorycznych.

Exercise 1: Anonimizacja danych kategorycznych Exercise 2: Eksploracja rozkładu danych

Bieżące ćwiczenie

Exercise 3: Próbkowanie z zachowaniem tego samego rozkładu prawdopodobieństwa Exercise 4: Anonimizacja danych ciągłych Exercise 5: Różne rozkłady Exercise 6: Próbkowanie z najlepiej dopasowanego rozkładu ciągłego Exercise 7: Wprowadzenie do k-anonimowości Exercise 8: Atrybuty prywatności Exercise 9: Uogólnianie do przedziałów Exercise 10: Generalizacja danych przy użyciu hierarchii Exercise 11: Stosowanie hierarchii dla danych kategorycznych Exercise 12: Anonimizacja zbioru danych metodą k-anonimowości

Poznaj prywatność różniczkową – model stosowany przez największe firmy technologiczne, takie jak Apple, Google i Uber. W tym rozdziale będziesz eksplorować dane, generując prywatne histogramy i obliczając prywatne średnie. Stworzysz też modele uczenia maszynowego z prywatnością różniczkową, które pozwalają firmom zwiększyć użyteczność ich danych.

Exercise 1: Wprowadzenie do prywatności różnicowej Exercise 2: Epsilon (ϵ): kluczowa liczba Exercise 3: Histogramy z prywatnością różnicową Exercise 4: Budżety prywatności Exercise 5: Korzystanie z budżetów prywatności Exercise 6: Gdy budżet prywatności się wyczerpie Exercise 7: Eksploracja danych z użyciem księgowego budżetu prywatności Exercise 8: Różniczkowo prywatne modele uczenia maszynowego Exercise 9: Zbuduj klasyfikator z prywatnością różnicową Exercise 10: Przewidywanie wynagrodzeń Exercise 11: Różniczkowo prywatne modele klastrowania Exercise 12: Wstępne przetwarzanie danych Exercise 13: Segmentacja klientów

W tym ostatnim rozdziale nauczysz się stosować metody redukcji wymiarowości, takie jak analiza głównych składowych (PCA), do anonimizacji dużych zbiorów danych z wieloma kolumnami. Następnie użyjesz biblioteki Faker do generowania realistycznych i spójnych zbiorów danych oraz scikit-learn do tworzenia syntetycznych zbiorów danych o rozkładzie normalnym. Na koniec połączysz wszystko, czego się nauczyłeś w tym kursie, łącząc wiele technik, aby bezpiecznie udostępniać zbiory danych publicznie.

Exercise 1: PCA do anonimizacji Exercise 2: Anonimizacja danych wysokowymiarowych Exercise 3: Maskowanie danych za pomocą PCA Exercise 4: Generowanie realistycznych zbiorów danych za pomocą Faker Exercise 5: Spójny syntetyczny zbiór danych Exercise 6: Zbiory danych z takim samym rozkładem prawdopodobieństwa Exercise 7: Tworzenie syntetycznych zbiorów danych za pomocą scikit-learn Exercise 8: Generowanie zbiorów danych do klasyfikacji Exercise 9: Generowanie zbiorów danych do klasteryzacji Exercise 10: Bezpieczne udostępnianie zbiorów danych publicznie Exercise 11: Eksploracja i pseudonimizacja zbioru danych Exercise 12: Przygotowanie danych pracowników do bezpiecznego udostępnienia Exercise 13: Świetna robota!