dataframe から SQL テーブルを作成する
dataframe から 一時テーブル を作成できます。 一時 テーブルは、セッション終了後には残らないテーブルです。 Spark のドキュメントでは、この種のテーブルを SQL temporary view とも呼びます。 ドキュメントでは、これを dataframe を SQL temporary view として登録する と表現しています。 このコマンドは dataframe 自身に対して呼び出し、テーブルが存在しなければ作成し、既に存在する場合は dataframe の現在のデータで置き換えます。
この演習はコースの一部です
Pythonで学ぶ Spark SQL 入門
演習の手順
- ファイル
trainsched.txtから csv データを読み込み、変数dfに格納された dataframe を作成してください。 dfから一時テーブルを作成し、テーブル名は "table1" としてください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)
# Create temporary table called table1
df.____(____)