RDDの作成
PySparkでは、RDD(Resilient Distributed Dataset)をいくつかの方法で作成できます。すでにDataFrameに慣れているので、ここではDataFrameを使ってこれを設定します。忘れないでください。ワークスペースには SparkSession という名前の spark がすでにあります!
この演習はコースの一部です
PySpark 入門
演習の手順
- 提供されたリストから
dfというDataFrameを作成します。 - DataFrameをRDDに変換します。
- 変換したRDDを収集して表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create a DataFrame
df = spark.____("salaries.csv", header=True, inferSchema=True)
# Convert DataFrame to RDD
rdd = df.____
# Show the RDD's contents
rdd.____
print(rdd)