從 dataframe 建立 SQL 資料表
你可以用 dataframe 建立一個暫存資料表。 所謂的「暫存」資料表,是指在工作階段結束後就不會存在的資料表。 Spark 文件也把這種類型的資料表稱為「SQL 暫時檢視(SQL temporary view)」。 在文件中,這個動作稱為「將 dataframe 註冊為 SQL 暫時檢視」。 這個指令是直接呼叫在 dataframe 本身上:如果資料表尚不存在就會建立;若已存在,則會以目前 dataframe 的資料加以取代。
本練習屬於課程
Python Spark SQL 入門
練習說明
- 從檔案
trainsched.txt以 csv 格式讀取資料到 dataframe,並存入名為df的變數中。 - 從
df建立一個暫存資料表,將資料表命名為「table1」。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)
# Create temporary table called table1
df.____(____)