仲介役を省こう
pandas を使って Spark にデータを取り込む方法は分かりましたが、「そもそもなぜ pandas を介するの？」と思うかもしれません。テキストファイルをそのまま Spark に読み込めたら簡単ですよね。もちろん、その通りです！
幸い、SparkSession には .read という属性があり、さまざまなデータソースを Spark の DataFrame に読み込むためのメソッドが用意されています。これらを使えば、通常の pandas の DataFrame と同じように、.csv ファイルから DataFrame を作成できます！
変数 file_path には、airports.csv へのパスを表す文字列が入っています。このファイルには、世界各地の空港に関する情報が含まれています。
ワークスペースには spark という名前の SparkSession が用意されています。
この演習はコースの一部です
PySpark入門
演習の手順
.read.csv()メソッドを使って、airportsという Spark DataFrame を作成します- 最初の引数は
file_pathです - 引数
header=Trueを渡し、ファイルの先頭行を列名として認識させます。
- 最初の引数は
.show()を呼び出して、この DataFrame を表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Don't change this file path
file_path = "/usr/local/share/datasets/airports.csv"
# Read in the airports data
airports = ____.____.____(____, ____=____)
# Show the data
____.____()