Ghép các cột
Bước cuối của phần chuẩn bị dữ liệu là gộp tất cả các cột dự báo vào một cột duy nhất.
Một phiên bản đã cập nhật của dữ liệu flights, đã tính đến mọi thay đổi từ vài bài trước, có các cột dự báo sau:
mon,domvàdowcarrier_idx(giá trị đã đánh chỉ mục từcarrier)org_idx(giá trị đã đánh chỉ mục từorg)kmdepartduration
Lưu ý: Tham số truncate=False cho phương thức show() sẽ ngăn không cho dữ liệu bị cắt ngắn trong đầu ra.
Bài tập này là một phần của khóa học
Machine Learning với PySpark
Hướng dẫn bài tập
- Import lớp sẽ ghép các biến dự báo.
- Tạo một đối tượng assembler cho phép bạn gộp các cột dự báo vào một cột duy nhất.
- Dùng assembler để tạo một cột tổng hợp mới.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the necessary class
from pyspark.ml.feature import ____
# Create an assembler object
assembler = ____(inputCols=[
____
], outputCol='features')
# Consolidate predictor columns
flights_assembled = assembler.____(____)
# Check the resulting column
flights_assembled.select('features', 'delay').show(5, truncate=False)