รวมข้อมูลเข้าด้วยกัน

ฟีเจอร์สำหรับโมเดลที่จะรันอยู่ใน dataset timbre แต่ตัวแปรตอบสนอง (response) ซึ่งก็คือปีที่ออกเพลง อยู่ใน dataset track_metadata ก่อนรันโมเดล จึงต้องนำ dataset ทั้งสองมารวมกันก่อน โดยแต่ละแถวในสอง dataset มีความสัมพันธ์แบบ one-to-one จึงใช้ inner join

นอกจากนี้ยังมีขั้นตอนการทำความสะอาดข้อมูลอีกหนึ่งอย่าง คอลัมน์ year เก็บข้อมูลเป็น integer แต่ฟังก์ชันสร้างโมเดลใน Spark ต้องการตัวเลขแบบ real number จึงต้องแปลงคอลัมน์ year ให้เป็น numeric

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

แนะนำ Spark ด้วย sparklyr ใน R

ดูคอร์ส

คำแนะนำการฝึกหัด

ได้สร้าง Spark connection ไว้ให้แล้วในชื่อ spark_conn และได้กำหนด tibble ที่เชื่อมต่อกับข้อมูล track metadata และข้อมูล timbre ที่เก็บใน Spark ไว้ล่วงหน้าแล้วในชื่อ track_metadata_tbl และ timbre_tbl ตามลำดับ

Inner join ข้อมูล track metadata กับข้อมูล timbre โดยใช้คอลัมน์ track_id
แปลงคอลัมน์ year ให้เป็น numeric

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# track_metadata_tbl, timbre_tbl pre-defined
track_metadata_tbl
timbre_tbl

track_metadata_tbl %>%
  # Inner join to timbre_tbl
  ___ %>%
  # Convert year to numeric
  ___

แก้ไขและรันโค้ด