Charger les données de vols

Dans cet exercice, vous allez charger des données de vols d'une compagnie aérienne à partir d'un fichier CSV. Pour que l'exécution soit rapide, ces données ont été réduites à seulement 50 000 enregistrements. Vous pouvez obtenir un jeu de données plus volumineux au même format ici.

Notes sur le format CSV :

les champs sont séparés par une virgule (c'est le séparateur par défaut) et
les données manquantes sont indiquées par la chaîne « NA ».

Dictionnaire des données :

mon — mois (entier entre 1 et 12)
dom — jour du mois (entier entre 1 et 31)
dow — jour de la semaine (entier; 1 = lundi et 7 = dimanche)
carrier — transporteur (code IATA)
flight — numéro de vol
org — aéroport d'origine (code IATA)
mile — distance (milles)
depart — heure de départ (heure décimale)
duration — durée prévue (minutes)
delay — retard (minutes)

pyspark a été importé pour vous et la session a été initialisée.

Nota : Les données ont été fortement sous-échantillonnées.

Cette activité fait partie du cours

Machine Learning avec PySpark

Voir le cours

Instructions de l’exercice

Lisez les données à partir d'un fichier CSV nommé flights.csv. Attribuez automatiquement des types aux colonnes. Gérez les données manquantes.
Combien d'enregistrements le jeu de données contient-il?
Affichez les cinq premiers enregistrements.
Quels types de données ont été attribués aux colonnes? Est-ce que cela semble correct?

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Read data from CSV file
flights = spark.____.____(____,
                         sep=____,
                         header=____,
                         inferSchema=____,
                         nullValue=____)

# Get number of records
print("The data contain %d records." % flights.____())

# View the first five records
flights.____(5)

# Check column data types
print(flights.____)

Modifier et exécuter le code