SQL と Parquet
Parquet ファイルは、Spark で SQL クエリを実行するためのバックエンドデータストアとして最適です。 同じクエリを Spark の Python 関数で直接実行することもできますが、Python の選択肢と並行して SQL クエリを使ったほうが簡単な場合もあります。
この例では、前の演習で作成した Parquet ファイルを読み込み、SQL テーブルとして登録します。 登録ができたら、そのテーブル（＝Parquet ファイル）に対して簡単なクエリを実行します。
spark オブジェクトと AA_DFW_ALL.parquet ファイルは自動的に利用できます。
この演習はコースの一部です
PySpark でデータをクレンジングする
演習の手順
AA_DFW_ALL.parquetファイルをflights_dfに読み込みます。createOrReplaceTempViewメソッドを使って、flightsという別名でテーブルを登録します。flightsテーブルに対して Spark SQL クエリを実行します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Read the Parquet file into flights_df
flights_df = spark.read.____(____)
# Register the temp table
flights_df.____('flights')
# Run a SQL query of the average flight duration
avg_duration = spark.____('SELECT avg(flight_duration) from flights').collect()[0]
print('The average flight time is: %d' % avg_duration)