Розбийте дані
Тепер, коли ви виконали всі перетворення, останній крок перед моделюванням — розбити дані!
Ця вправа є частиною курсу
Основи PySpark
Інструкції до вправи
- Скористайтеся методом датафрейму
.randomSplit(), щоб розбитиpiped_dataна дві частини:trainingіз 60% даних таtestіз 40% даних, передавши список[.6, .4]до методу.randomSplit().
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)