Loại bỏ dữ liệu hỏng
Một bước lặp lại thường gặp trong giai đoạn transform là dọn sạch những dữ liệu chưa đầy đủ. Trong bài tập này, bạn sẽ xem dữ liệu khóa học với định dạng như sau:
| course_id | title | description | programming_language |
|---|---|---|---|
| 1 | Some Course | … | r |
Bạn sẽ kiểm tra DataFrame này và đảm bảo không còn giá trị bị thiếu bằng cách dùng các phương thức .isnull().sum() của DataFrame pandas. Bạn sẽ thấy cột programming_language có một số giá trị bị thiếu.
Vì vậy, bạn sẽ hoàn thiện hàm transform_fill_programming_language() bằng cách dùng phương thức .fillna() để điền các giá trị bị thiếu.
Bài tập này là một phần của khóa học
Introduction to Data Engineering
Hướng dẫn bài tập
- In ra số lượng giá trị bị thiếu trong
course_data. - Giá trị bị thiếu của
programming_languagenên được điền là ngôn ngữ "R". - In lại số lượng giá trị bị thiếu theo từng cột, lần này cho
transformed.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
course_data = extract_course_data(db_engines)
# Print out the number of missing values per column
print(____.____().____())
# The transformation should fill in the missing values
def transform_fill_programming_language(course_data):
imputed = course_data.____({"programming_language": "____"})
return imputed
transformed = transform_fill_programming_language(course_data)
# Print out the number of missing values per column of transformed
print(____)