Разделение данных
Все преобразования выполнены — осталось разделить данные перед построением модели!
Это упражнение является частью курса
Основы PySpark
Инструкции к упражнению
- Используйте метод DataFrame
.randomSplit(), чтобы разделитьpiped_dataна две части:training— 60% данных иtest— 40% данных. Для этого передайте список[.6, .4]в метод.randomSplit().
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)