Eroarea medie pătratică

Să ne întoarcem la predicțiile NBA din 2017. În fiecare an, există cel puțin câteva echipe NBA care câștigă mult mai multe meciuri decât era de așteptat. Dacă folosești MAE, această metrică de acuratețe nu reflectă predicțiile slabe la fel de bine ca MSE. Ridicarea la pătrat a erorilor mari provenite din predicțiile greșite va face ca acuratețea să pară mai slabă.

În acest exemplu, directorii NBA doresc să prezică mai bine numărul de victorii ale echipelor. Vei folosi eroarea medie pătratică pentru a calcula eroarea de predicție. Victoriile reale sunt încărcate ca y_test, iar predicțiile ca predictions.

Acest exercițiu face parte din cursul

Validarea modelelor în Python

Instrucțiuni pentru exercițiu

Calculează manual MSE. $$ MSE = \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i ) ^2 }{n} $$
Calculează MSE folosind sklearn.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

from sklearn.metrics import ____

n = ___(predictions)
# Finish the manual calculation of the MSE
mse_one = sum((y_test - predictions)____) / n
print('With a manual calculation, the error is {}'.format(mse_one))

# Use the scikit-learn function to calculate MSE
mse_two = ____
print('Using scikit-learn, the error is {}'.format(mse_two))

Editează și rulează codul

Acest exercițiu face parte din cursul

Validarea modelelor în Python

SkillTag.level.intermediateSkillTag.label

4.9+

Începe cursul gratuit

Înainte de a putea valida modele, trebuie să înțelegem cum se creează și cum se lucrează cu ele. Acest capitol oferă o introducere în rularea modelelor de regresie și clasificare în scikit-learn. Această bază de construire a modelelor o vom folosi pe parcursul tuturor capitolelor următoare.

Exercise 1: Introducere în validarea modelelor Exercise 2: Pașii de modelare Exercise 3: Date văzute vs. date nevăzute Exercise 4: Modele de regresie Exercise 5: Setează parametrii și antrenează un model Exercise 6: Importanța atributelor Exercise 7: Modele de clasificare Exercise 8: Predicții de clasificare Exercise 9: Reutilizarea parametrilor modelului Exercise 10: Clasificator random forest

Acest capitol se concentrează pe noțiunile de bază ale validării modelelor. De la împărțirea datelor în seturi de antrenament, validare și testare, până la înțelegerea compromisului bias-varianță, construim fundația pentru tehnicile de validare K-Fold și Leave-One-Out practicate în capitolul trei.

Exercise 1: Crearea seturilor de date de antrenament, testare și validare Exercise 2: Creează un set de validare holdout Exercise 3: Creează două seturi de validare holdout Exercise 4: De ce să folosești seturi de excludere Exercise 5: Metrici de acuratețe: modele de regresie Exercise 6: Eroarea medie absolută Exercise 7: Eroarea medie pătratică

Exercițiul curent

Exercise 8: Performanța pe subseturi de date Exercise 9: Metrici de clasificare Exercise 10: Matrici de confuzie Exercise 11: Matrice de confuzie, din nou Exercise 12: Precizie vs. recuperare Exercise 13: Compromisul bias-varianță Exercise 14: Eroare din cauza sub/supra-antrenării Exercise 15: Subantrenez modelul?

Seturile de reținere reprezintă un bun punct de plecare pentru validarea modelelor. Totuși, utilizarea unui singur set de antrenament și testare nu este adesea suficientă. Validarea încrucișată este considerată standardul de aur în validarea performanței modelelor și este aproape întotdeauna folosită la ajustarea hiperparametrilor. Acest capitol se concentrează pe aplicarea validării încrucișate pentru a evalua performanța modelelor.

Exercise 1: Problemele cu seturile holdout Exercise 2: Două eșantioane Exercise 3: Probleme potențiale Exercise 4: Validare încrucișată Exercise 5: KFold() din scikit-learn Exercise 6: Folosirea indicilor KFold Exercise 7: cross_val_score() din sklearn Exercise 8: Metodele din scikit-learn Exercise 9: Implementează cross_val_score()Exercise 10: Validarea încrucișată cu excludere individuală (LOOCV)Exercise 11: Când să folosești LOOCV Exercise 12: Validare încrucișată leave-one-out

Primele trei capitole s-au axat pe tehnicile de validare a modelelor. În capitolul 4 aplicăm aceste tehnici – în special validarea încrucișată – în timp ce învățăm despre ajustarea hiperparametrilor. La urma urmei, validarea modelelor face posibilă ajustarea și ne ajută să selectăm cel mai bun model în ansamblu.

Exercise 1: Introducere în reglarea hiperparametrilor Exercise 2: Crearea hiperparametrilor Exercise 3: Rularea unui model cu intervale de valori Exercise 4: RandomizedSearchCV Exercise 5: Pregătirea pentru RandomizedSearch Exercise 6: Implementarea RandomizedSearchCV Exercise 7: Selectarea modelului final Exercise 8: Cea mai bună acuratețe de clasificare Exercise 9: Selectarea celui mai bun model bazat pe precizie Exercise 10: Curs finalizat!