Xác minh DataType
Trong thời đại dữ liệu, chúng ta có nhiều thuộc tính hơn bao giờ hết. Để xử lý tất cả, bạn sẽ cần tự động hóa rất nhiều, nhưng yêu cầu tối thiểu là kiểu dữ liệu (datatype) của chúng phải chính xác. Trong bài tập này, bạn sẽ kiểm tra một dictionary gồm các thuộc tính và kiểu dữ liệu tương ứng để xem chúng có đúng không. Dictionary này được lưu trong biến validation_dict và đã có sẵn trong không gian làm việc của bạn.
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Sử dụng
dfđể tạo danh sách các tuple (thuộc tính, kiểu dữ liệu) vớidtypes, đặt tên làactual_dtypes_list. - Duyệt qua
actual_dtypes_list, kiểm tra xem tên cột có tồn tại trong dictionary kiểu dữ liệu kỳ vọngvalidation_dictkhông. - Với các khóa có trong dictionary, đối chiếu kiểu dữ liệu và in ra những mục khớp.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# create list of actual dtypes to check
actual_dtypes_list = df.____
print(actual_dtypes_list)
# Iterate through the list of actual dtypes tuples
for attribute_tuple in ____:
# Check if column name is dictionary of expected dtypes
col_name = attribute_tuple[____]
if col_name in ____:
# Compare attribute types
col_type = attribute_tuple[____]
if col_type == validation_dict[____]:
print(col_name + ' has expected dtype.')