Partiții în datele tale

Metoda textFile() din SparkContext acceptă un al doilea argument opțional, numit minPartitions, pentru a specifica numărul minim de partiții. În acest exercițiu, vei crea un RDD numit fileRDD_part cu 5 partiții și îl vei compara cu fileRDD, creat în exercițiul anterior. Consultă slide-ul „Înțelegerea partițiilor" din videoclipul 2.1 pentru a afla metodele de creare și de obținere a numărului de partiții dintr-un RDD.

Reține că ai deja disponibile în spațiul de lucru un SparkContext sc, file_path și fileRDD.

Acest exercițiu face parte din cursul

Fundamentele Big Data cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Află numărul de partiții care susțin RDD-ul fileRDD.
Creează un RDD numit fileRDD_part din calea fișierului, specificând 5 partiții.
Confirmă numărul de partiții din noul RDD fileRDD_part.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

Editează și rulează codul