データのパーティション

SparkContext の textFile() メソッドには、最小パーティション数を指定するオプションの第2引数 minPartitions があります。この演習では、5つのパーティションを持つ RDD fileRDD_part を作成し、前の演習で作成した fileRDD と比較します。RDD のパーティション数を作成・取得する方法は、ビデオ 2.1 の「Understanding Partition」スライドを参照してください。

作業スペースにはすでに SparkContext sc、file_path、fileRDD が用意されています。

この演習はコースの一部です

PySparkで学ぶBig Data入門

コースを見る

演習の手順

fileRDD RDD を支えるパーティションの数を確認します。
ファイルパスから RDD fileRDD_part を作成し、パーティション数を 5 にします。
新しい RDD fileRDD_part のパーティション数を確認します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

コードを編集して実行