แบ่งข้อมูล
เมื่อปรับแต่งข้อมูลครบทุกขั้นตอนแล้ว สิ่งที่ต้องทำก่อนสร้างโมเดลคือการแบ่งข้อมูล
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
- ใช้เมธอด
.randomSplit()ของ DataFrame เพื่อแบ่งpiped_dataออกเป็นสองส่วน โดยส่งลิสต์[.6, .4]ให้กับเมธอด.randomSplit()เพื่อให้ได้trainingที่มีข้อมูล 60% และtestที่มีข้อมูล 40%
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)