เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การคิวรีข้อมูลบน Temp View

ในแบบฝึกหัดนี้ จะได้ฝึกลงทะเบียน DataFrame เป็น temporary SQL view ใน PySpark Temporary view เป็นเครื่องมือที่มีประสิทธิภาพ ช่วยให้สามารถคิวรีข้อมูลด้วย SQL syntax ได้ ทำให้การจัดการข้อมูลที่ซับซ้อนเป็นเรื่องง่ายและตรงไปตรงมายิ่งขึ้น เป้าหมายคือการสร้าง view จาก DataFrame ที่เตรียมไว้ แล้วรันคิวรี SQL กับ view นั้น ซึ่งเป็นงานที่พบบ่อยในกระบวนการ ETL และ ELT

มี SparkContext ชื่อ spark และ PySpark DataFrame ชื่อ df พร้อมใช้งานใน workspace ของคุณแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

PySpark เบื้องต้น

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ลงทะเบียน view ใหม่ชื่อ "data_view" จาก DataFrame df
  • รันคิวรี SQL ที่เตรียมไว้เพื่อคำนวณเงินเดือนรวมตามตำแหน่งงาน

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Register as a view
df.____("data_view")

# Advanced SQL query: Calculate total salary by Position
result = ____("""
    SELECT Position, SUM(Salary) AS Total_Salary
    FROM data_view
    GROUP BY Position
    ORDER BY Total_Salary DESC
    """
)
result.show()
แก้ไขและรันโค้ด