Divida os dados
Agora que você já fez todas as manipulações, a última etapa antes da modelagem é dividir os dados!
Este exercicio faz parte do curso
Fundamentos do PySpark
Instruções do exercicio
- Use o método de DataFrames
.randomSplit()para dividirpiped_dataem duas partes,trainingcom 60% dos dados etestcom 40% dos dados, passando a lista[.6, .4]para o método.randomSplit().
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)