Împarte datele
Acum că ai efectuat toate transformările, ultimul pas înainte de modelare este să împarți datele!
Acest exercițiu face parte din cursul
Fundamente PySpark
Instrucțiuni pentru exercițiu
- Folosește metoda
.randomSplit()a DataFrame-ului pentru a împărțipiped_dataîn două seturi:trainingcu 60% din date șitestcu 40% din date, transmițând lista[.6, .4]metodei.randomSplit().
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)