ประเภทข้อมูล

เก่งมาก! ก่อนเริ่มสร้างโมเดล สิ่งสำคัญที่ต้องรู้คือ Spark รองรับเฉพาะข้อมูลตัวเลขเท่านั้น นั่นหมายความว่าทุกคอลัมน์ใน DataFrame ต้องเป็น integer หรือทศนิยม (ที่ Spark เรียกว่า 'double')

เมื่อนำเข้าข้อมูล เราให้ Spark เดาประเภทของข้อมูลในแต่ละคอลัมน์เอง แต่ Spark ไม่ได้เดาถูกเสมอไป จะเห็นว่าบางคอลัมน์ใน DataFrame ถูกระบุเป็น string ทั้งที่มีเนื้อหาเป็นตัวเลข

วิธีแก้ไขคือใช้เมธอด .cast() ร่วมกับ .withColumn() โดยสังเกตว่า .cast() ทำงานกับคอลัมน์ ส่วน .withColumn() ทำงานกับ DataFrame

อาร์กิวเมนต์ที่ต้องส่งให้ .cast() คือประเภทค่าที่ต้องการในรูปแบบ string ตัวอย่างเช่น หากต้องการสร้างเป็น integer ให้ส่ง "integer" และสำหรับทศนิยมให้ใช้ "double"

สามารถเรียก .cast() ไว้ภายใน .withColumn() เพื่อเขียนทับคอลัมน์เดิมได้เลย เช่นเดียวกับที่ทำในบทที่แล้ว!

Spark ต้องการข้อมูลประเภทใดในการสร้างโมเดล?