1. 学ぶ
    2. /
  2. コース
    3. /
  3. Pythonで学ぶ Spark SQL 入門
Connected

演習

ドット記法での集計 SQL

次のコードは、SQL を使って df というデータフレームに値を設定しています。

df = spark.sql("""
SELECT *, 
LEAD(time,1) OVER(PARTITION BY train_id ORDER BY time) AS time_next 
FROM schedule
""")
  • LEAD 句には、pyspark.sql.functions に同等の関数があります。
  • PARTITION BY と ORDER BY 句には、それぞれ Window オブジェクトに対して呼び出す同等のドット記法の関数があります。
  • 次のインポートが使用できます：
    • from pyspark.sql import Window
    • from pyspark.sql.functions import lead

指示

100 XP
  • SQL の代わりにドット記法を使って、df と同一の結果を含む dot_df というデータフレームを作成してください。