依序排序的唯一 5-tuples
先前的課程介紹了移除重複以取得唯一紀錄的操作。在上一個練習中,你已取得常見的 5-tuples。我們要結合這兩個能力,找出按字母順序由大到小排序的唯一 5-tuples。
資料表 text 包含《福爾摩斯》文本的前 4 章。它具有以下欄位:word、id 與 part。
本練習屬於課程
Python Spark SQL 入門
練習說明
- 取回按字母順序由大到小排序後的最後 10 個唯一 5-tuples。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Unique 5-tuples sorted in descending order
query = """
SELECT ____ w1, w2, w3, w4, w5 FROM (
SELECT word AS w1,
____(word,____) OVER(PARTITION BY ____ ORDER BY ____ ) AS w2,
____(word,____) OVER(PARTITION BY ____ ORDER BY ____ ) AS w3,
____(word,____) OVER(PARTITION BY ____ ORDER BY ____ ) AS w4,
____(word,____) OVER(PARTITION BY ____ ORDER BY ____ ) AS w5
FROM text
)
ORDER BY w1 DESC, w2 DESC, ____ DESC, w4 ____, ____ ____
LIMIT 10
"""
df = spark.sql(query)
df.show()