1. Nauka
  2. /
  3. Kursy
  4. /
  5. Inżynieria cech z PySpark

Connected

ćwiczenie

Weryfikacja typów danych

W erze danych mamy dostęp do większej liczby atrybutów niż kiedykolwiek wcześniej. Aby sprawnie nimi zarządzać, będziemy budować wiele mechanizmów automatyzacji – a ich podstawowym wymogiem jest poprawność typów danych. W tym ćwiczeniu zweryfikujesz słownik atrybutów i ich typów danych, aby sprawdzić, czy są poprawne. Słownik ten jest przechowywany w zmiennej validation_dict i jest dostępny w twoim środowisku pracy.

Instrukcje

100 XP
  • Używając df, utwórz listę krotek zawierających atrybuty i ich typy danych za pomocą dtypes – zapisz ją jako actual_dtypes_list.
  • Iteruj przez actual_dtypes_list, sprawdzając, czy nazwy kolumn istnieją w słowniku oczekiwanych typów danych validation_dict.
  • Dla kluczy, które istnieją w słowniku, sprawdź ich typy danych i wypisz te, które się zgadzają.