Podział danych
Wszystkie przekształcenia masz już za sobą – ostatnim krokiem przed modelowaniem jest podział danych!
To ćwiczenie jest częścią kursu
Podstawy PySpark
Instrukcje do ćwiczenia
- Użyj metody DataFrame
.randomSplit(), aby podzielićpiped_datana dwie części:trainingzawierającą 60% danych oraztestzawierającą 40% danych. W tym celu przekaż listę[.6, .4]do metody.randomSplit().
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)