Crea tu pipeline de validación cruzada
Ahora que ya tenemos los datos, las particiones de entrenamiento/prueba, el modelo y los valores de hiperparámetros, vamos a indicarle a Spark cómo validar cruzadamente nuestro modelo para que encuentre la mejor combinación de hiperparámetros y nos la devuelva.
Este ejercicio forma parte del curso
Creación de motores de recomendación con PySpark
Instrucciones del ejercicio
- Crea un
CrossValidatorllamadocvcon nuestro modeloalscomo estimator, estableciendoestimatorParamMapsalparam_gridque acabas de construir. Indícale a Spark que elevaluatora usar es el"evaluator"que construimos antes. DefinenumFoldsen 5. - Confirma que
cvse creó imprimiendocv.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)
# Confirm cv was built
print(____)