Partitions dans vos données
La méthode textFile() de SparkContext accepte un deuxième argument facultatif appelé minPartitions pour préciser le nombre minimal de partitions. Dans cet exercice, vous allez créer un RDD nommé fileRDD_part avec 5 partitions, puis le comparer à fileRDD que vous avez créé à l'exercice précédent. Consultez la diapo « Understanding Partition » dans la vidéo 2.1 pour connaître les méthodes de création et d'obtention du nombre de partitions d'un RDD.
N'oubliez pas : vous avez déjà un SparkContext sc, ainsi que file_path et fileRDD disponibles dans votre espace de travail.
Cette activité fait partie du cours
Principes de Big Data avec PySpark
Instructions de l’exercice
- Trouvez le nombre de partitions qui soutiennent le RDD
fileRDD. - Créez un RDD nommé
fileRDD_partà partir du chemin de fichier, mais avec 5 partitions. - Vérifiez le nombre de partitions dans le nouveau RDD
fileRDD_part.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)
# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)
# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)