เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ส่วนที่ 2: SQL Query บน DataFrame

DataFrame fifa_df ที่สร้างขึ้นมีข้อมูลเพิ่มเติมเกี่ยวกับชนิดข้อมูลและชื่อคอลัมน์ต่าง ๆ ซึ่งช่วยให้ PySpark SQL รัน SQL query บน DataFrame ได้ SQL query มีความกระชับและใช้งานง่ายกว่าการดำเนินการแบบ DataFrame อย่างไรก็ตาม ก่อนจะใช้ SQL query กับ DataFrame ได้ ต้องสร้าง temporary view ของ DataFrame ให้เป็นตารางก่อน แล้วจึงรัน SQL query บนตารางนั้น (การรัน SQL Query แบบ Programmatic)

ในส่วนที่สอง จะสร้างตารางชั่วคราวจาก DataFrame fifa_df และรัน SQL query เพื่อดึงคอลัมน์ 'Age' ของผู้เล่นจากเยอรมนี

มี SparkContext spark และ fifa_df พร้อมใช้งานใน workspace ของคุณแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้างตารางชั่วคราว fifa_df_table จาก DataFrame fifa_df
  • สร้าง "query" เพื่อดึงคอลัมน์ "Age" ของผู้เล่นจากเยอรมนีใน fifa_df_table
  • นำ SQL "query" ไปใช้งานและสร้าง DataFrame ใหม่ชื่อ fifa_df_germany_age
  • คำนวณสถิติพื้นฐานของ DataFrame ที่สร้างขึ้น

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')

# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''

# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)

# Generate basic statistics
fifa_df_germany_age.____().show()
แก้ไขและรันโค้ด