Inspecter les données dans un DataFrame PySpark
Inspecter les données est une étape essentielle avant toute analyse comme la visualisation, la modélisation, l'entraînement, etc. Dans cet exercice simple, vous allez examiner les données du DataFrame people_df que vous avez créé à l'exercice précédent en utilisant des opérateurs de base de DataFrame.
Rappelez-vous que vous avez déjà une SparkSession spark et un DataFrame people_df disponibles dans votre espace de travail.
Cette activité fait partie du cours
Principes de Big Data avec PySpark
Instructions de l’exercice
- Affichez les 10 premières observations du DataFrame
people_df. - Comptez le nombre de lignes du DataFrame
people_df. - Combien de colonnes le DataFrame
people_dfcontient-il et quels sont leurs noms?
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Print the first 10 observations
people_df.____(10)
# Count the number of rows
print("There are {} rows in the people_df DataFrame.".format(people_df.____()))
# Count the number of columns and print their names
print("There are {} columns in the people_df DataFrame and their names are {}".format(len(people_df.____), people_df.____))