Découpage entraînement/test
Pour évaluer objectivement un modèle de Machine Learning, vous devez le tester sur un ensemble de données indépendant. Vous ne pouvez pas utiliser les mêmes données que celles ayant servi à l'entraînement : le modèle y obtiendra forcément des résultats (relativement) bons !
Vous allez scinder les données en deux volets :
- données d'entraînement (pour entraîner le modèle) et
- données de test (pour tester le modèle).
Remarque : À partir de maintenant, vous travaillerez avec un sous-ensemble plus petit des données de vols, ce qui permet d'exécuter les exercices plus rapidement.
Cette activité fait partie du cours
Machine Learning avec PySpark
Instructions de l’exercice
- Séparez aléatoirement les données
flightsen deux ensembles selon des proportions de 80:20. Pour assurer la reproductibilité, utilisez une graine aléatoire de 43 pour le découpage. - Vérifiez que les données d'entraînement contiennent environ 80 % des enregistrements des données d'origine.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Split into training and testing sets in a 80:20 ratio
flights_train, flights_test = flights.____(____, ____)
# Check that training set has around 80% of records
training_ratio = flights_train.____() / ____.____()
print(training_ratio)