Données vues vs non vues

Les modèles ont tendance à être plus précis sur les observations qu'ils ont déjà vues. Dans l'ensemble de données sur les friandises, prédire la popularité des Skittles sera probablement plus précis que prédire celle des Andes Mints; Skittles figure dans l'ensemble de données, alors que Andes Mints n'y figure pas.

Vous avez entraîné un modèle à partir de 50 friandises en utilisant l'ensemble X_train et vous devez indiquer à quel point le modèle est précis pour prédire la popularité des 50 friandises sur lesquelles il a été entraîné, ainsi que celle des 35 friandises (X_test) qu'il n'a jamais vues. Vous utiliserez l'erreur absolue moyenne, mae(), comme mesure de précision.

Cette activité fait partie du cours

Validation de modèles en Python

Instructions de l’exercice

En utilisant X_train et X_test comme données d'entrée, créez des tableaux de prédictions avec model.predict().
Calculez la précision du modèle à la fois sur des données qu'il a vues et sur des données qu'il n'a jamais vues.
Utilisez les instructions d'impression pour afficher les données vues et non vues.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# The model is fit using X_train and y_train
model.fit(X_train, y_train)

# Create vectors of predictions
train_predictions = model.predict(____)
test_predictions = model.predict(____)

# Train/Test Errors
train_error = mae(y_true=y_train, y_pred=____)
test_error = mae(y_true=y_test, y_pred=____)

# Print the accuracy for seen and unseen data
print("Model error on seen data: {0:.2f}.".format(____))
print("Model error on unseen data: {0:.2f}.".format(____))

Modifier et exécuter le code

Cette activité fait partie du cours

Validation de modèles en Python

SkillTag.level.intermediateSkillTag.label

4.9+

Commencer le cours gratuitement

Avant de pouvoir valider des modèles, il faut savoir comment les créer et les utiliser. Ce chapitre présente une introduction à l'exécution de modèles de régression et de classification avec scikit-learn. Nous nous appuierons sur ces bases de construction de modèles dans les chapitres suivants.

Exercise 1: Introduction à la validation de modèles Exercise 2: Étapes de modélisation Exercise 3: Données vues vs non vues

Exercice en cours

Exercise 4: Modèles de régression Exercise 5: Définir des paramètres et entraîner un modèle Exercise 6: Importances des caractéristiques Exercise 7: Modèles de classification Exercise 8: Prédictions de classification Exercise 9: Réutiliser les paramètres du modèle Exercise 10: Classificateur par forêt aléatoire

Ce chapitre porte sur les fondements de la validation de modèles. De la division des données en ensembles d'entraînement, de validation et de test à la compréhension du compromis biais-variance, nous préparons le terrain pour les techniques de validation K-Fold et Leave-One-Out mises en pratique au chapitre trois.

Exercise 1: Créer des jeux de données d'entraînement, de test et de validation Exercise 2: Créer un seul ensemble de validation (holdout)Exercise 3: Créer deux ensembles de validation externe Exercise 4: Pourquoi utiliser des ensembles de retenue (holdout)Exercise 5: Mesures de précision : modèles de régression Exercise 6: Erreur absolue moyenne Exercise 7: Erreur quadratique moyenne Exercise 8: Performance sur des sous-ensembles de données Exercise 9: Mesures de classification Exercise 10: Matrices de confusion Exercise 11: Matrices de confusion, encore Exercise 12: Précision vs rappel Exercise 13: Le compromis biais-variance Exercise 14: Erreur due au sous/apprentissage excessif Exercise 15: Suis-je en sous-apprentissage?

Les ensembles de retenue constituent un excellent point de départ pour la validation. Toutefois, utiliser un seul ensemble d'entraînement et de test est souvent insuffisant. La validation croisée est considérée comme la référence pour valider la performance d'un modèle et est presque toujours utilisée lors de l'ajustement des hyperparamètres. Ce chapitre se concentre sur la réalisation de validations croisées pour évaluer la performance des modèles.

Exercise 1: Les limites des jeux de validation (holdout)Exercise 2: Deux échantillons Exercise 3: Problèmes potentiels Exercise 4: Validation croisée Exercise 5: `KFold()` de scikit-learn Exercise 6: Utiliser les indices KFold Exercise 7: cross_val_score() de sklearn Exercise 8: Méthodes de scikit-learn Exercise 9: Implanter cross_val_score()Exercise 10: Validation croisée « leave-one-out » (LOOCV)Exercise 11: Quand utiliser la LOOCV Exercise 12: Leave-one-out cross-validation

Les trois premiers chapitres portaient sur des techniques de validation de modèles. Au chapitre 4, nous appliquons ces techniques, en particulier la validation croisée, tout en apprenant l'optimisation des hyperparamètres. Après tout, la validation rend l'ajustement possible et nous aide à choisir le meilleur modèle global.

Exercise 1: Introduction à l'ajustement des hyperparamètres Exercise 2: Créer des hyperparamètres Exercise 3: Exécuter un modèle à l'aide d'intervalles Exercise 4: RandomizedSearchCV Exercise 5: Préparer RandomizedSearch Exercise 6: Mettre en œuvre RandomizedSearchCV Exercise 7: Choisir votre modèle final Exercise 8: Meilleure précision de classification Exercise 9: Choisir le meilleur modèle en précision Exercise 10: Cours terminé !