Implementează cross_val_score()

Compania ta a creat mai multe bomboane noi pe care dorește să le comercializeze, însă nu este sigură dacă ar trebui să le lanseze pe toate cinci. Pentru a prezice popularitatea acestor bomboane noi, ți s-a cerut să construiești un model de regresie folosind setul de date despre bomboane. Reține că valoarea răspuns reprezintă procentul de victorii în confruntări directe față de alte bomboane.

Înainte de a încerca diferite modele de regresie, ai decis să aplici validarea încrucișată pe un model simplu de tip random forest, pentru a obține o eroare de referință cu care să compari rezultatele viitoare.

Acest exercițiu face parte din cursul

Validarea modelelor în Python

Instrucțiuni pentru exercițiu

Completează funcția cross_val_score().
- Folosește X_train pentru datele de antrenament și y_train pentru răspuns.
- Folosește rfc ca model, validare încrucișată cu 10 segmente și mse ca funcție de evaluare.
Afișează media rezultatelor din cv.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

rfc = RandomForestRegressor(n_estimators=25, random_state=1111)
mse = make_scorer(mean_squared_error)

# Set up cross_val_score
cv = cross_val_score(estimator=____,
                     X=____,
                     y=____,
                     cv=____,
                     scoring=____)

# Print the mean error
print(cv.____())

Editează și rulează codul

Acest exercițiu face parte din cursul

Validarea modelelor în Python

SkillTag.level.intermediateSkillTag.label

4.9+

Începe cursul gratuit

Înainte de a putea valida modele, trebuie să înțelegem cum se creează și cum se lucrează cu ele. Acest capitol oferă o introducere în rularea modelelor de regresie și clasificare în scikit-learn. Această bază de construire a modelelor o vom folosi pe parcursul tuturor capitolelor următoare.

Exercise 1: Introducere în validarea modelelor Exercise 2: Pașii de modelare Exercise 3: Date văzute vs. date nevăzute Exercise 4: Modele de regresie Exercise 5: Setează parametrii și antrenează un model Exercise 6: Importanța atributelor Exercise 7: Modele de clasificare Exercise 8: Predicții de clasificare Exercise 9: Reutilizarea parametrilor modelului Exercise 10: Clasificator random forest

Acest capitol se concentrează pe noțiunile de bază ale validării modelelor. De la împărțirea datelor în seturi de antrenament, validare și testare, până la înțelegerea compromisului bias-varianță, construim fundația pentru tehnicile de validare K-Fold și Leave-One-Out practicate în capitolul trei.

Exercise 1: Crearea seturilor de date de antrenament, testare și validare Exercise 2: Creează un set de validare holdout Exercise 3: Creează două seturi de validare holdout Exercise 4: De ce să folosești seturi de excludere Exercise 5: Metrici de acuratețe: modele de regresie Exercise 6: Eroarea medie absolută Exercise 7: Eroarea medie pătratică Exercise 8: Performanța pe subseturi de date Exercise 9: Metrici de clasificare Exercise 10: Matrici de confuzie Exercise 11: Matrice de confuzie, din nou Exercise 12: Precizie vs. recuperare Exercise 13: Compromisul bias-varianță Exercise 14: Eroare din cauza sub/supra-antrenării Exercise 15: Subantrenez modelul?

Seturile de reținere reprezintă un bun punct de plecare pentru validarea modelelor. Totuși, utilizarea unui singur set de antrenament și testare nu este adesea suficientă. Validarea încrucișată este considerată standardul de aur în validarea performanței modelelor și este aproape întotdeauna folosită la ajustarea hiperparametrilor. Acest capitol se concentrează pe aplicarea validării încrucișate pentru a evalua performanța modelelor.

Exercise 1: Problemele cu seturile holdout Exercise 2: Două eșantioane Exercise 3: Probleme potențiale Exercise 4: Validare încrucișată Exercise 5: KFold() din scikit-learn Exercise 6: Folosirea indicilor KFold Exercise 7: cross_val_score() din sklearn Exercise 8: Metodele din scikit-learn Exercise 9: Implementează cross_val_score()

Exercițiul curent

Exercise 10: Validarea încrucișată cu excludere individuală (LOOCV)Exercise 11: Când să folosești LOOCV Exercise 12: Validare încrucișată leave-one-out

Primele trei capitole s-au axat pe tehnicile de validare a modelelor. În capitolul 4 aplicăm aceste tehnici – în special validarea încrucișată – în timp ce învățăm despre ajustarea hiperparametrilor. La urma urmei, validarea modelelor face posibilă ajustarea și ne ajută să selectăm cel mai bun model în ansamblu.

Exercise 1: Introducere în reglarea hiperparametrilor Exercise 2: Crearea hiperparametrilor Exercise 3: Rularea unui model cu intervale de valori Exercise 4: RandomizedSearchCV Exercise 5: Pregătirea pentru RandomizedSearch Exercise 6: Implementarea RandomizedSearchCV Exercise 7: Selectarea modelului final Exercise 8: Cea mai bună acuratețe de clasificare Exercise 9: Selectarea celui mai bun model bazat pe precizie Exercise 10: Curs finalizat!