ฝึกการแคช: รวมทุกอย่างเข้าด้วยกัน
วิธีใดในการแคช df1 และ df2 ที่ให้ผลดีที่สุด และเพราะอะไร?
ผลลัพธ์อาจแตกต่างกันไปในแต่ละครั้ง แต่นี่คือตัวอย่างผลลัพธ์ (แบบสุ่ม) สำหรับแต่ละแนวทาง:
แนวทางแรก (แคช df1):
df1_1st : 2.4s
df1_2nd : 0.1s
df2_1st : 0.3s
df2_2nd : 0.2s
Overall elapsed : 3.9
แนวทางที่สอง (แคช df2):
df1_1st : 2.3s
df1_2nd : 1.1s
df2_1st : 1.7s
df2_2nd : 0.1s
Overall elapsed : 6.4
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Introduction to Spark SQL in Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด