Genera le predizioni e calcola l'RMSE
Ora che abbiamo un modello addestrato sui nostri dati e ottimizzato tramite cross validation, possiamo vedere come si comporta sul dataframe test. Per farlo, calcoleremo l'RMSE.
Nota: con questo insieme di dati la generazione delle predizioni sul test richiede più di qualche minuto. Per questo motivo, le predizioni di test sono già state generate e sono fornite qui come dataframe chiamato test_predictions. Per riferimento, sono state generate con questo codice: test_predictions = best_model.transform(test).
Questo esercizio fa parte del corso
Costruire motori di raccomandazione con PySpark
Istruzioni dell'esercizio
- Il dataframe
test_predictionscontiene le predizioni che il nostro modello ALS con cross validation ha generato usando il settestcreato in precedenza. Usa il metodo.show()per dargli un'occhiata e valutare se le predizioni sembrano vicine. - Usa l'
evaluatorche hai costruito in precedenza per calcolare l'RMSEchiamando il metodo.evaluate()sutest_predictions. Chiama questo valoreRMSE. - Stampa l'
RMSE.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# View the predictions
test_predictions.____()
# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)