Nhị phân hóa ngày trong tuần
Trong một video trước, bạn đã thấy khả năng một căn nhà được đăng vào cuối tuần là rất thấp. Hãy tạo một trường mới cho biết căn nhà được đăng bán vào ngày trong tuần hay không. Trong ví dụ này có trường List_Day_of_Week với Monday là 1.0 và Sunday là 7.0. Hãy chuyển trường này thành nhị phân với ngày trong tuần là 0 và cuối tuần là 1. Ta có thể dùng bộ biến đổi đặc trưng Binarizer của PySpark để thực hiện.
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Import bộ biến đổi đặc trưng
Binarizertừpysparkvà mô-đunml.feature. - Tạo transformer bằng
Binarizer()với ngưỡng để đặt giá trị thành 1 là bất kỳ thứ gì sau Friday, 5.0; sau đó đặt cột đầu vào làList_Day_of_Weekvà cột đầu ra làListed_On_Weekend. - Áp dụng phép biến đổi binarizer lên
dfbằngtransform(). - Kiểm tra phép biến đổi hoạt động đúng bằng cách chọn các cột
List_Day_of_WeekvàListed_On_Weekendrồi dùngshow().
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import transformer
from pyspark.____.____ import ____
# Create the transformer
binarizer = ____(threshold=____ inputCol=____, outputCol=____)
# Apply the transformation to df
df = binarizer.____(____)
# Verify transformation
df[[____, ____]].____()