RDD と同様に、DataFrame も Spark における不変かつ分散したデータ構造です。RDD は Spark の基本的なデータ構造ですが、実務では RDD よりも DataFrame のほうが扱いやすい場面が多いです。したがって、RDD を DataFrame に変換する方法を理解しておくことが重要です。

この演習では、まずすでに用意されている sample_list から RDD を作成します。この RDD は、各タプルに人名と年齢を含む ('Mona',20), ('Jennifer',34),('John',20), ('Jim',26) のリストです。次に、この RDD とスキーマ（'Name' と 'Age' のリスト）を使って DataFrame を作成し、最後に出力が PySpark の DataFrame であることを確認します。

作業スペースにはすでに SparkContext sc と SparkSession spark が用意されています。

PySpark SQL を使って DataFrame と対話する

Create Your Free Account