Oddíly v datech

Metoda textFile() třídy SparkContext přijímá volitelný druhý argument minPartitions, kterým určíš minimální počet oddílů. V tomto cvičení vytvoříš RDD s názvem fileRDD_part s 5 oddíly a porovnáš ho s fileRDD, které jsi vytvořil/a v předchozím cvičení. Jak vytvořit oddíly a zjistit jejich počet v RDD se dozvíš na snímku „Understanding Partition" ve videu 2.1.

Nezapomeň, že v pracovním prostředí už máš k dispozici SparkContext sc, file_path a fileRDD.

Toto cvičení je součástí kurzu

Big Data Fundamentals with PySpark

Zobrazit kurz

Pokyny k cvičení

Zjisti počet oddílů, na kterých je fileRDD RDD rozloženo.
Vytvoř RDD s názvem fileRDD_part ze stejné cesty k souboru, ale s 5 oddíly.
Ověř počet oddílů v novém RDD fileRDD_part.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

Upravit a spustit kód