Dela upp data
Nu när du har gjort alla dina transformationer är sista steget innan modellering att dela upp data!
Den här övningen är en del av kursen
Grunderna i PySpark
Övningsinstruktioner
- Använd DataFrame-metoden
.randomSplit()för att dela upppiped_datai två delar:trainingmed 60 % av datan ochtestmed 40 % av datan, genom att skicka listan[.6, .4]till metoden.randomSplit().
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)