Chia dữ liệu
Sau khi đã hoàn tất các thao tác xử lý, bước cuối cùng trước khi mô hình hóa là chia dữ liệu!
Bài tập này là một phần của khóa học
Nền tảng về PySpark
Hướng dẫn bài tập
- Dùng phương thức DataFrame
.randomSplit()để chiapiped_datathành hai phần:trainingvới 60% dữ liệu vàtestvới 40% dữ liệu bằng cách truyền danh sách[.6, .4]vào phương thức.randomSplit().
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)