Générer une répartition aléatoire train/test

Dans les prochains exercices, vous allez utiliser les données mpg du package ggplot2. Ces données décrivent les caractéristiques de plusieurs marques et modèles de voitures sur différentes années. L’objectif est de prédire la consommation en ville à partir de la consommation sur autoroute.

Dans cet exercice, vous allez scinder mpg en un ensemble d’entraînement mpg_train (75 % des données) et un ensemble de test mpg_test (25 % des données). Une façon de procéder est de générer une colonne de nombres aléatoires uniformes entre 0 et 1, avec la fonction runif() (docs).

Si vous avez un jeu de données dframe de taille \(N\), et que vous souhaitez un sous-ensemble aléatoire d’environ \(100 * X\) % de \(N\) (où \(X\) est compris entre 0 et 1), alors :

Générez un vecteur de nombres aléatoires uniformes : gp = runif(N).
dframe[gp < X,] aura à peu près la bonne taille.
dframe[gp >= X,] sera le complément.

Cet exercice fait partie du cours

<cours>Apprentissage supervisé en R : Régression</cours>

Instructions de l’exercice

Utilisez la fonction nrow (docs) pour obtenir le nombre de lignes du data frame mpg. Affectez cette valeur à la variable N et affichez-la.
Calculez le nombre de lignes correspondant à environ 75 % de N. Affectez-le à la variable target et affichez-la.
Utilisez runif() pour générer un vecteur de N nombres aléatoires uniformes, nommé gp.
Utilisez gp pour scinder mpg en mpg_train et mpg_test (avec mpg_train contenant environ 75 % des données).
Utilisez nrow() pour vérifier la taille de mpg_train et mpg_test. Sont-elles à peu près de la bonne taille ?

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# mpg is available
summary(mpg)
dim(mpg)

# Use nrow to get the number of rows in mpg (N) and print it
(N <- ___)

# Calculate how many rows 75% of N should be and print it
# Hint: use round() to get an integer
(target <- ___)

# Create the vector of N uniform random variables: gp
gp <- ___

# Use gp to create the training set: mpg_train (75% of data) and mpg_test (25% of data)
mpg_train <- ___
mpg_test <- ___

# Use nrow() to examine mpg_train and mpg_test
___
___

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Apprentissage supervisé en R : Régression</cours>

IntermédiaireNiveau de compétence

4.7+

Commencer le cours gratuitement

Dans ce chapitre, nous présentons la régression sous l’angle du Machine Learning. Nous introduirons la méthode fondamentale : la régression linéaire. Nous verrons comment ajuster un modèle de régression linéaire et comment l’utiliser pour faire des prédictions.

Exercise 1: Bienvenue et introduction Exercise 2: Identifier les tâches de régression Exercise 3: Régression linéaire – la méthode fondamentale Exercise 4: Coder une régression simple à une variable Exercise 5: Examiner un modèle Exercise 6: Prédire une fois le modèle ajusté Exercise 7: Prédire à partir du modèle de chômage Exercise 8: Régression linéaire multivariée (Partie 1)Exercise 9: Régression linéaire multivariée (Partie 2)Exercise 10: Pour conclure sur la régression linéaire

Maintenant que nous savons ajuster des modèles de régression linéaire simples, nous allons apprendre à évaluer leurs performances. Nous passerons en revue l’évaluation visuelle d’un modèle et examinerons deux métriques de base pour les modèles de régression. Nous verrons aussi comment entraîner un modèle qui se comporte bien en conditions réelles, et pas seulement sur les données d’entraînement. Bien que nous démontrions ces techniques avec la régression linéaire, tous ces concepts s’appliquent à des modèles ajustés avec n’importe quel algorithme de régression.

Exercise 1: Évaluer un modèle graphiquement Exercise 2: Évaluer graphiquement le modèle de chômage Exercise 3: La courbe de gain pour évaluer le modèle de chômage Exercise 4: Erreur quadratique moyenne (RMSE)Exercise 5: Calculer la RMSE Exercise 6: R-carré Exercise 7: Calculer R-squared Exercise 8: Corrélation et R-carré Exercise 9: Bien entraîner un modèle Exercise 10: Générer une répartition aléatoire train/test

Exercice actuel

Exercise 11: Entraîner un modèle avec une séparation train/test Exercise 12: Évaluer un modèle avec une séparation entraînement/test Exercise 13: Créer un plan de validation croisée Exercise 14: Évaluer une procédure de modélisation avec une validation croisée en n plis

Avant de passer à des techniques de régression plus avancées, nous aborderons d’autres aspects de modélisation : l’utilisation de variables catégorielles, les interactions entre variables et les cas où il peut être pertinent de transformer les entrées et la sortie avant la modélisation. Même si des techniques plus sophistiquées prennent en charge une partie de ces points automatiquement, il est important de les connaître pour comprendre quelles méthodes gèrent le mieux chaque situation — et lesquelles vous devez encore traiter vous‑même.

Exercise 1: Variables catégorielles en entrée Exercise 2: Examiner la structure des variables catégorielles en entrée Exercise 3: Modéliser avec des variables catégorielles Exercise 4: Interactions Exercise 5: Modéliser une interaction Exercise 6: Modéliser une interaction (2)Exercise 7: Transformer la variable réponse avant la modélisation Exercise 8: Erreur relative Exercise 9: Modéliser une variable monétaire transformée en log Exercise 10: Comparer la RMSE et la racine de l’erreur quadratique moyenne relative Exercise 11: Transformer les variables d’entrée avant la modélisation Exercise 12: Transformations des entrées : la « crosse de hockey »Exercise 13: Transformations d’entrées : la « crosse de hockey » (2)

Maintenant que nous maîtrisons les modèles linéaires, nous allons explorer des techniques adaptées aux situations qui ne respectent pas les hypothèses de linéarité. Cela inclut la prédiction de probabilités et de fréquences (valeurs comprises entre 0 et 1), la prédiction de comptages (entiers naturels et taux associés), ainsi que des réponses non linéaires mais additives par rapport aux entrées. Ces algorithmes sont des variantes du modèle linéaire standard.

Exercise 1: Régression logistique pour prédire des probabilités Exercise 2: Ajuster un modèle de probabilité de survie du moineau Exercise 3: Prédire la survie des moineaux Exercise 4: Régressions de Poisson et quasi-Poisson pour prédire des décomptes Exercise 5: Poisson ou quasipoisson Exercise 6: Ajuster un modèle pour prédire le nombre de locations de vélos Exercise 7: Prédire les locations de vélos sur de nouvelles données Exercise 8: Visualiser les prédictions de location de vélos Exercise 9: GAM pour apprendre des transformations non linéaires Exercise 10: Écrire des formules pour les modèles GAM Exercise 11: Écrire des formules pour les modèles GAM (2)Exercise 12: Modéliser la croissance du soja avec un GAM Exercise 13: Prédire avec le modèle soybean sur des données de test

Dans ce chapitre, nous étudierons des algorithmes de modélisation qui n’imposent ni linéarité ni additivité, et qui peuvent apprendre certains types d’interactions entre variables d’entrée. Ces algorithmes sont des méthodes à base d’arbres, qui fonctionnent en combinant des ensembles d’arbres de décision appris à partir des données d’entraînement.

Exercise 1: L’intuition derrière les méthodes à base d’arbres Exercise 2: Prédire avec un arbre de décision Exercise 3: Forêts aléatoires Exercise 4: Créer un modèle de random forest pour les locations de vélos Exercise 5: Prédire les locations de vélos avec le modèle de random forest Exercise 6: Visualiser les prédictions du modèle random forest pour les vélos Exercise 7: Encodage one-hot des variables catégorielles Exercise 8: vtreat sur un petit exemple Exercise 9: Nouveaux niveaux Exercise 10: Appliquer vtreat aux données de location de vélos Exercise 11: Gradient boosting machines Exercise 12: Trouver le bon nombre d’arbres pour une gradient boosting machine Exercise 13: Ajuster un modèle xgboost pour la location de vélos et prédire Exercise 14: Évaluer le modèle xgboost de location de vélos Exercise 15: Visualiser le modèle xgboost des locations de vélos