Confrontare le prestazioni dei modelli
Un grafico ti dà una buona idea di dove il modello funziona bene e dove no. A volte è utile avere una statistica che fornisca un punteggio del modello. In questo modo puoi quantificare quanto è buono un modello e confrontarlo con molti altri. Una statistica comune è la root mean square error (spesso abbreviata in "RMSE"), che eleva al quadrato i residui, poi ne calcola la media e infine la radice quadrata. Un RMSE piccolo per un dato insieme di dati implica previsioni migliori. (Per impostazione predefinita, non puoi confrontare modelli su insiemi di dati diversi, solo modelli diversi sullo stesso insieme di dati. A volte è possibile normalizzare gli insiemi di dati per consentire il confronto tra loro.)
Qui confronterai i modelli gradient boosted trees e random forest.
Questo esercizio fa parte del corso
Introduzione a Spark con sparklyr in R
Istruzioni dell'esercizio
both_responses, che contiene l’anno previsto e quello reale della traccia per entrambi i modelli, è stato predefinito come tibble locale.
- Crea un dataset con la somma dei quadrati dei residui.
- Aggiungi una colonna
residual, uguale alla risposta prevista meno la risposta reale. - Raggruppa i dati per
model. - Calcola una statistica di riepilogo,
rmse, uguale alla radice quadrata della media deiresidualal quadrato.
- Aggiungi una colonna
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# both_responses has been pre-defined
both_responses
# Create a residual sum of squares dataset
___