or
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ในบทนี้จะเรียนรู้วิธีสร้างและค้นหาข้อมูลในตาราง SQL บน Spark Spark SQL นำความสามารถในการแสดงออกของ SQL มาสู่ Spark นอกจากนี้ยังจะได้เรียนรู้การใช้ SQL window function ใน Spark ซึ่ง window function จะคำนวณข้ามแถวที่เกี่ยวข้องกับแถวปัจจุบัน ช่วยลดความซับซ้อนในการได้ผลลัพธ์ที่ยากต่อการแสดงออกโดยใช้เพียง join และการรวมกลุ่มแบบดั้งเดิม จะใช้ window function เพื่อคำนวณ running sum, running difference และการดำเนินการอื่น ๆ ที่ทำได้ยากใน SQL ขั้นพื้นฐาน
ในบทนี้จะโหลดข้อความภาษาธรรมชาติ จากนั้นนำการวิเคราะห์ด้วย moving window มาใช้เพื่อค้นหาลำดับคำที่พบบ่อย
บทก่อนหน้าได้เรียนรู้การใช้ความสามารถในการแสดงออกของ window function SQL แล้ว อย่างไรก็ตาม ความสามารถนี้ทำให้การทำความเข้าใจวิธี cache DataFrame และตาราง SQL อย่างถูกต้องเป็นเรื่องสำคัญ รวมถึงการประเมินประสิทธิภาพของแอปพลิเคชันด้วย Spark UI จะได้เรียนรู้แนวทางปฏิบัติที่ดีที่สุดสำหรับการ logging ใน Spark นอกจากนี้ Spark SQL ยังมีเครื่องมือที่มีประโยชน์สำหรับปรับแต่งประสิทธิภาพคิวรี ได้แก่ query execution plan ซึ่งจะได้เรียนรู้วิธีใช้เพื่อประเมินที่มาของ DataFrame
บทก่อนหน้าให้เครื่องมือสำหรับโหลดข้อความดิบ tokenize และดึงลำดับคำมาแล้ว ซึ่งมีประโยชน์มากสำหรับการวิเคราะห์ และยังใช้กับ machine learning ได้ด้วย ในบทนี้สิ่งที่เรียนมาจะถูกนำมารวมกันโดยใช้ logistic regression จำแนกประเภทข้อความ เมื่อจบบทนี้จะได้โหลดข้อมูลข้อความภาษาธรรมชาติดิบและนำไปฝึก text classifier
แบบฝึกหัดปัจจุบัน