การจัดการข้อมูลใน Delta Lake

ต่อยอดจากงานจัดการข้อมูลผู้ป่วยที่ผ่านมา ตอนนี้คุณจะต้องจัดการข้อมูลใบสั่งยาให้กับ HealthInc

ในแบบฝึกหัดนี้ คุณจะสร้างตาราง Delta Lake จากไฟล์ prescriptions.csv ลบเรคอร์ดที่ล้าสมัย และตรวจสอบให้แน่ใจว่าการอัปเดตทั้งหมดเป็นไปตามคุณสมบัติ ACID เพื่อการจัดการข้อมูลที่สอดคล้องกัน

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การจัดการข้อมูลใน Databricks

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การจัดการข้อมูลใน Databricks

SkillTag.level.beginnerSkillTag.label

4.8+

เริ่มคอร์สฟรี

บทนี้จะสำรวจการจัดการตารางใน Databricks โดยเน้นความแตกต่างระหว่าง managed table และ unmanaged table รวมถึงวิธีที่แต่ละประเภทจัดการพื้นที่จัดเก็บและวงจรชีวิตของข้อมูล จะได้เรียนรู้การสร้างและรีเฟรช persistent views พร้อมเจาะลึกฟีเจอร์ของ Delta Lake ได้แก่ ACID transactions, schema enforcement และ time travel เพื่อการจัดการข้อมูลที่เชื่อถือได้ นอกจากนี้ยังจะได้ทำความเข้าใจกลไกการจัดระเบียบและการเข้าถึงข้อมูลภายใน Databricks อย่างลึกซึ้งยิ่งขึ้น

Exercise 1: ทำความเข้าใจ Delta Lake Exercise 2: ความน่าเชื่อถือของข้อมูลใน Delta Lake Exercise 3: การรับประกันคุณสมบัติ ACID Exercise 4: การจัดการข้อมูลใน Delta Lake

แบบฝึกหัดปัจจุบัน

Exercise 5: การ Optimize ตาราง Exercise 6: ความคงอยู่และขอบเขตของตาราง Exercise 7: Managed vs. Unmanaged Tables Exercise 8: เปรียบเทียบประเภทตาราง Exercise 9: การลบตาราง Exercise 10: การสร้าง Unmanaged Table

บทนี้จะเจาะลึกการสร้างและจัดการ views และ temp views ใน Databricks จะได้เรียนรู้ว่า persistent views ช่วยบันทึก logic ของคิวรีเพื่อนำกลับมาใช้ใหม่ข้ามเซสชันได้อย่างไร ในขณะที่ temp views เหมาะสำหรับงานที่ใช้เฉพาะในเซสชันนั้น รวมถึงสถานการณ์จริงที่แต่ละประเภทช่วยเพิ่มประสิทธิภาพและทำให้การจัดการข้อมูลคล่องตัวขึ้น

Exercise 1: การสร้างและจัดการตาราง Exercise 2: การกำหนดที่จัดเก็บข้อมูลแบบกำหนดเองอย่างถูกต้อง Exercise 3: พื้นที่จัดเก็บตาราง Exercise 4: การย้ายตาราง Exercise 5: Management หรือ Movement?Exercise 6: การล้างข้อมูลด้วย Vacuum Exercise 7: Views และ Temp Views Exercise 8: ถาวรหรือชั่วคราว?Exercise 9: ทบทวนเรื่อง Views Exercise 10: สร้าง Persistent View อย่างมืออาชีพ Exercise 11: View ที่มีอายุสั้น Exercise 12: ความสามารถของ Persistent View

ในบทสุดท้าย จะได้เรียนรู้การใช้ Data Explorer เพื่อดูตัวอย่าง วิเคราะห์ และรักษาความปลอดภัยของชุดข้อมูล เนื้อหาครอบคลุมความเป็นเจ้าของตาราง ความรับผิดชอบ และแนวปฏิบัติด้าน governance รวมถึงการจัดการสิทธิ์การเข้าถึงและการจัดการข้อมูลส่วนบุคคล (PII) อย่างปลอดภัยด้วยกลยุทธ์ที่สอดคล้องกับข้อกำหนดด้านการปฏิบัติตามกฎระเบียบ พร้อมแบบฝึกหัดปฏิบัติ

Exercise 1: การสำรวจข้อมูลด้วย Data Explorer Exercise 2: เส้นทางการใช้งาน Data Explorer Exercise 3: การสำรวจชุดข้อมูล Exercise 4: บันทึกและความปลอดภัย Exercise 5: การจัดการสิทธิ์การเข้าถึงและการทำความเข้าใจ PII Exercise 6: การปกป้อง PII Exercise 7: การปกป้องชื่อผู้ป่วย Exercise 8: การจัดการสิทธิ์Exercise 9: ยินดีด้วย!