Analyse des chiens
Vous avez déjà effectué un bon nettoyage du jeu de données initial, mais vous devez maintenant analyser les données plus en profondeur. Plusieurs questions se posent sur le type de chiens visibles dans une image et sur certains détails liés aux images. Vous réalisez que, pour y répondre, vous devez transformer les données vers un type précis. Avant de pouvoir les utiliser, vous devez créer un schéma ou type pour représenter les détails des chiens.
Le DataFrame joined_df est tel que vous l'avez défini en dernier, et les pyspark.sql.types ont tous été importés.
Cette activité fait partie du cours
Nettoyer des données avec PySpark
Instructions de l’exercice
- Sélectionnez la colonne qui représente les détails des chiens à partir du DataFrame et affichez les 10 premières lignes sans troncature.
- Créez un nouveau schéma comme vous l'avez déjà fait, en utilisant breed, start_x, start_y, end_x et end_y comme noms. Assurez-vous d'indiquer les types de données appropriés pour chaque champ du schéma (toute valeur numérique est un entier).
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Select the dog details and show 10 untruncated rows
print(joined_df.____.show(____, truncate=____))
# Define a schema type for the details in the dog list
DogType = ____([
StructField("breed", ____, False),
StructField("start_x", ____, False),
____,
____,
____
])