ÎncepețiÎncepe gratuit

Generează predicții și calculează RMSE

Acum că avem un model antrenat pe datele noastre și ajustat prin validare încrucișată, putem vedea cum se comportă pe dataframe-ul test. Pentru aceasta, vom calcula RMSE-ul.

O mențiune importantă: generarea predicțiilor pe setul de test durează mai mult de câteva minute cu acest set de date. Din acest motiv, predicțiile au fost generate deja și îți sunt furnizate sub forma unui dataframe numit test_predictions. Ca referință, acestea sunt generate folosind codul: test_predictions = best_model.transform(test).

Acest exercițiu face parte din cursul

Construiește motoare de recomandare cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

  • Dataframe-ul test_predictions conține predicțiile generate de modelul nostru ALS cu validare încrucișată, folosind setul test creat anterior. Folosește metoda .show() pentru a-l examina și a vedea dacă predicțiile par apropiate de valorile reale.
  • Folosește evaluator-ul construit anterior pentru a calcula RMSE-ul, apelând metoda .evaluate() pe test_predictions. Stochează rezultatul în variabila RMSE.
  • Afișează RMSE-ul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# View the predictions 
test_predictions.____()

# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)
Editează și rulează codul