Lọc nội dung cột với Python
Bạn đã xem qua cách dùng các phép thao tác khác nhau trên các cột của DataFrame — giờ là lúc chỉnh sửa một tập dữ liệu thực tế. DataFrame voter_df chứa thông tin về các cử tri trong Hội đồng Thành phố Dallas vài năm gần đây. Bản rút gọn này có ngày bỏ phiếu, cùng tên và chức danh của người bỏ phiếu. Quản lý của bạn yêu cầu làm sạch dữ liệu này để sau đó tích hợp vào các báo cáo. Nhiệm vụ chính là loại bỏ mọi giá trị null hoặc ký tự lạ và trả về một tập con cử tri cụ thể để bạn có thể xác minh thông tin của họ.
Đây thường là một trong những bước đầu tiên khi làm sạch dữ liệu — loại bỏ bất cứ thứ gì rõ ràng là sai định dạng. Với tập dữ liệu này, hãy xem dữ liệu gốc và xem điều gì có vẻ không đúng ở cột VOTER_NAME.
Thư viện pyspark.sql.functions đã được import với bí danh F.
Bài tập này là một phần của khóa học
Làm sạch dữ liệu với PySpark
Hướng dẫn bài tập
- Hiển thị các giá trị
VOTER_NAMEduy nhất. - Lọc
voter_dfnơiVOTER_NAMEcó độ dài 1–20 ký tự. - Lọc bỏ
voter_dfnơiVOTER_NAMEchứa_. - Tiếp tục hiển thị lại các giá trị
VOTER_NAMEduy nhất.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Show the distinct VOTER_NAME entries
voter_df.select(____).distinct().show(40, truncate=False)
# Filter voter_df where the VOTER_NAME is 1-20 characters in length
voter_df = ____('length(VOTER_NAME) > 0 and length(VOTER_NAME) < 20')
# Filter out voter_df where the VOTER_NAME contains an underscore
voter_df = voter_df.filter(~ F.col('VOTER_NAME').____)
# Show the distinct VOTER_NAME entries again
voter_df.____(____).____().____(40, truncate=False)