Weryfikacja typów danych
W erze danych mamy dostęp do większej liczby atrybutów niż kiedykolwiek wcześniej. Aby sprawnie nimi zarządzać, będziemy budować wiele mechanizmów automatyzacji – a ich podstawowym wymogiem jest poprawność typów danych. W tym ćwiczeniu zweryfikujesz słownik atrybutów i ich typów danych, aby sprawdzić, czy są poprawne. Słownik ten jest przechowywany w zmiennej validation_dict i jest dostępny w twoim środowisku pracy.
To ćwiczenie jest częścią kursu
Inżynieria cech z PySpark
Instrukcje do ćwiczenia
- Używając
df, utwórz listę krotek zawierających atrybuty i ich typy danych za pomocądtypes– zapisz ją jakoactual_dtypes_list. - Iteruj przez
actual_dtypes_list, sprawdzając, czy nazwy kolumn istnieją w słowniku oczekiwanych typów danychvalidation_dict. - Dla kluczy, które istnieją w słowniku, sprawdź ich typy danych i wypisz te, które się zgadzają.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# create list of actual dtypes to check
actual_dtypes_list = df.____
print(actual_dtypes_list)
# Iterate through the list of actual dtypes tuples
for attribute_tuple in ____:
# Check if column name is dictionary of expected dtypes
col_name = attribute_tuple[____]
if col_name in ____:
# Compare attribute types
col_type = attribute_tuple[____]
if col_type == validation_dict[____]:
print(col_name + ' has expected dtype.')