Перевірка типів даних
У добу даних ми маємо доступ до більшої кількості атрибутів, ніж будь-коли раніше. Щоб упоратися з ними, ми створюємо чимало автоматизацій, але мінімальна вимога — щоб їхні типи даних були правильними. У цій вправі ви перевірите словник атрибутів і їхніх типів даних, щоб визначити, чи все коректно. Цей словник збережено у змінній validation_dict і він доступний у вашому робочому середовищі.
Ця вправа є частиною курсу
Опрацювання ознак у PySpark
Інструкції до вправи
- Використайте
df, щоб створити список кортежів «атрибут — тип даних» за допомогоюdtypesі назвіть йогоactual_dtypes_list. - Ітеруйте по
actual_dtypes_list, перевіряючи, чи існують назви стовпців у словнику очікуваних типів данихvalidation_dict. - Для ключів, що є у словнику, звірте їхні типи даних і виведіть ті, що збігаються.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# create list of actual dtypes to check
actual_dtypes_list = df.____
print(actual_dtypes_list)
# Iterate through the list of actual dtypes tuples
for attribute_tuple in ____:
# Check if column name is dictionary of expected dtypes
col_name = attribute_tuple[____]
if col_name in ____:
# Compare attribute types
col_type = attribute_tuple[____]
if col_type == validation_dict[____]:
print(col_name + ' has expected dtype.')