Matrici de confuzie

Matricile de confuzie sunt un punct de plecare excelent pentru a evalua acuratețea modelului tău. Ele furnizează valorile necesare pentru a calcula o gamă largă de metrici, inclusiv sensibilitatea, specificitatea și scorul F1.

Ai construit un model de clasificare pentru a prezice dacă o persoană are brațul fracturat, pe baza unei imagini de tip radiografie. Pe setul de testare, ai obținut următoarea matrice de confuzie:

	Predicție: 0	Predicție: 1
Real: 0	324 (TN)	15 (FP)
Real: 1	123 (FN)	491 (TP)

Acest exercițiu face parte din cursul

Validarea modelelor în Python

Instrucțiuni pentru exercițiu

Folosește matricea de confuzie pentru a calcula acuratețea generală.
Folosește matricea de confuzie pentru a calcula precizia și recall-ul.
Folosește cele trei instrucțiuni print pentru a afișa fiecare valoare de acuratețe.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Calculate and print the accuracy
accuracy = (____ + ____) / (953)
print("The overall accuracy is {0: 0.2f}".format(accuracy))

# Calculate and print the precision
precision = (____) / (____ + ____)
print("The precision is {0: 0.2f}".format(precision))

# Calculate and print the recall
recall = (____) / (____ + ____)
print("The recall is {0: 0.2f}".format(recall))

Editează și rulează codul

Acest exercițiu face parte din cursul

Validarea modelelor în Python

SkillTag.level.intermediateSkillTag.label

4.9+

Începe cursul gratuit

Înainte de a putea valida modele, trebuie să înțelegem cum se creează și cum se lucrează cu ele. Acest capitol oferă o introducere în rularea modelelor de regresie și clasificare în scikit-learn. Această bază de construire a modelelor o vom folosi pe parcursul tuturor capitolelor următoare.

Exercise 1: Introducere în validarea modelelor Exercise 2: Pașii de modelare Exercise 3: Date văzute vs. date nevăzute Exercise 4: Modele de regresie Exercise 5: Setează parametrii și antrenează un model Exercise 6: Importanța atributelor Exercise 7: Modele de clasificare Exercise 8: Predicții de clasificare Exercise 9: Reutilizarea parametrilor modelului Exercise 10: Clasificator random forest

Acest capitol se concentrează pe noțiunile de bază ale validării modelelor. De la împărțirea datelor în seturi de antrenament, validare și testare, până la înțelegerea compromisului bias-varianță, construim fundația pentru tehnicile de validare K-Fold și Leave-One-Out practicate în capitolul trei.

Exercise 1: Crearea seturilor de date de antrenament, testare și validare Exercise 2: Creează un set de validare holdout Exercise 3: Creează două seturi de validare holdout Exercise 4: De ce să folosești seturi de excludere Exercise 5: Metrici de acuratețe: modele de regresie Exercise 6: Eroarea medie absolută Exercise 7: Eroarea medie pătratică Exercise 8: Performanța pe subseturi de date Exercise 9: Metrici de clasificare Exercise 10: Matrici de confuzie

Exercițiul curent

Exercise 11: Matrice de confuzie, din nou Exercise 12: Precizie vs. recuperare Exercise 13: Compromisul bias-varianță Exercise 14: Eroare din cauza sub/supra-antrenării Exercise 15: Subantrenez modelul?

Seturile de reținere reprezintă un bun punct de plecare pentru validarea modelelor. Totuși, utilizarea unui singur set de antrenament și testare nu este adesea suficientă. Validarea încrucișată este considerată standardul de aur în validarea performanței modelelor și este aproape întotdeauna folosită la ajustarea hiperparametrilor. Acest capitol se concentrează pe aplicarea validării încrucișate pentru a evalua performanța modelelor.

Exercise 1: Problemele cu seturile holdout Exercise 2: Două eșantioane Exercise 3: Probleme potențiale Exercise 4: Validare încrucișată Exercise 5: KFold() din scikit-learn Exercise 6: Folosirea indicilor KFold Exercise 7: cross_val_score() din sklearn Exercise 8: Metodele din scikit-learn Exercise 9: Implementează cross_val_score()Exercise 10: Validarea încrucișată cu excludere individuală (LOOCV)Exercise 11: Când să folosești LOOCV Exercise 12: Validare încrucișată leave-one-out

Primele trei capitole s-au axat pe tehnicile de validare a modelelor. În capitolul 4 aplicăm aceste tehnici – în special validarea încrucișată – în timp ce învățăm despre ajustarea hiperparametrilor. La urma urmei, validarea modelelor face posibilă ajustarea și ne ajută să selectăm cel mai bun model în ansamblu.

Exercise 1: Introducere în reglarea hiperparametrilor Exercise 2: Crearea hiperparametrilor Exercise 3: Rularea unui model cu intervale de valori Exercise 4: RandomizedSearchCV Exercise 5: Pregătirea pentru RandomizedSearch Exercise 6: Implementarea RandomizedSearchCV Exercise 7: Selectarea modelului final Exercise 8: Cea mai bună acuratețe de clasificare Exercise 9: Selectarea celui mai bun model bazat pe precizie Exercise 10: Curs finalizat!