การสรุปค่าของคอลัมน์
ฟังก์ชัน mutate() ที่เห็นในแบบฝึกหัดก่อนหน้านั้นรับคอลัมน์เป็น input และคืนค่าเป็นคอลัมน์ แต่หากต้องการคำนวณสถิติสรุป เช่น ค่าเฉลี่ย ค่าสูงสุด หรือส่วนเบี่ยงเบนมาตรฐาน ซึ่งรับคอลัมน์เป็น input แต่คืนค่าเพียงค่าเดียว ให้ใช้ฟังก์ชัน summarize() แทน
a_tibble %>%
summarize(
mean_x = mean(x),
sd_x_times_y = sd(x * y)
)
สังเกตว่า dplyr มีแนวคิด (ที่ส่งต่อมายัง sparklyr) ในการเก็บข้อมูลไว้ใน tibble เสมอ ดังนั้นค่าที่คืนกลับมาจึงเป็น tibble ที่มีหนึ่งแถว และหนึ่งคอลัมน์สำหรับแต่ละสถิติสรุปที่คำนวณได้
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
แนะนำ Spark ด้วย sparklyr ใน R
คำแนะนำการฝึกหัด
Spark connection ถูกสร้างไว้ให้แล้วในชื่อ spark_conn และ tibble ที่เชื่อมต่อกับข้อมูล metadata ของเพลงที่จัดเก็บใน Spark ได้ถูกกำหนดไว้ล่วงหน้าในชื่อ track_metadata_tbl
- เลือกฟิลด์
titleและduration - ส่งผลลัพธ์ที่ได้ผ่าน pipe เพื่อสร้างฟิลด์ใหม่ชื่อ
duration_minutesที่เก็บระยะเวลาของเพลงในหน่วยนาที - ส่งผลลัพธ์ที่ได้ผ่าน pipe ไปยัง
summarize()เพื่อคำนวณระยะเวลาเฉลี่ยในหน่วยนาที โดยเก็บไว้ในฟิลด์ชื่อmean_duration_minutes
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# track_metadata_tbl has been pre-defined
track_metadata_tbl
# Manipulate the track metadata
track_metadata_tbl %>%
# Select columns
___ %>%
# Mutate columns
___ %>%
# Summarize columns
___