Bab ini membahas pengelolaan tabel di Databricks, dengan fokus pada tabel terkelola vs. tidak terkelola dan bagaimana keduanya menangani penyimpanan serta siklus hidup. Anda akan belajar membuat dan me-refresh view persisten serta mendalami fitur Delta Lake seperti transaksi ACID, pemaksaan skema, dan time travel untuk manajemen data yang andal. Anda juga akan memperoleh pemahaman lebih dalam tentang mekanisme pengorganisasian dan akses data di dalam Databricks.

Memahami Delta Lake

Keandalan data di Delta Lake

Memastikan properti ACID

Mengelola data di Delta Lake

Mengoptimalkan tabel

Persistensi dan cakupan tabel

Tabel Terkelola vs. Tidak Terkelola

Adu tabel

Menghapus tabel

Membuat tabel unmanaged

Pengantar Delta Lake

Bab ini membahas pembuatan dan pengelolaan view dan temp view di Databricks. Anda akan mempelajari bagaimana view persisten menyimpan logika kueri untuk digunakan kembali lintas sesi, sementara temp view cocok untuk tugas cepat yang spesifik untuk satu sesi. Pembahasan juga menyoroti skenario praktis di mana masing-masing jenis dapat meningkatkan efisiensi dan merapikan penanganan data.

Membuat dan mengelola tabel

Penyimpanan kustom yang tepat

Penyimpanan tabel

Memindahkan tabel

Opsi

Manajemen Data

Perpindahan Data

Manajemen atau perpindahan?

Praktik Terbaik untuk Mengelola Tabel Besar

Membersihkan data dengan Vacuum

View dan Temp view

View

Temp View

Persisten atau sementara?

Menjalankan melalui view

Persisten seperti profesional

View berumur pendek

Keajaiban persistent view

Bekerja dengan Tabel di Databricks

Pada bab terakhir, Anda akan mempelajari cara menggunakan Data Explorer untuk melakukan pratinjau, menganalisis, dan mengamankan himpunan data. Materi mencakup kepemilikan tabel, tanggung jawab, dan praktik tata kelola terbaik. Bab ini juga membahas pengelolaan hak akses serta penanganan Personally Identifiable Information (PII) secara aman dengan strategi berfokus pada kepatuhan dan latihan praktis.

Eksplorasi data dengan Data Explorer

Jalur Data Explorer

Menjelajahi himpunan data

Log dan keamanan

Mengelola akses dan memahami PII

Melindungi PII

Melindungi nama pasien

Mengelola izin

Selamat!

Eksplorasi Data dan Keamanan

Siap meningkatkan keterampilan Databricks Anda? Dalam kursus ini, Anda akan menguasai keterampilan Manajemen Data di Databricks, memanfaatkan fitur Delta Lake seperti transaksi ACID, pemaksaan skema, dan time travel untuk manajemen data yang andal. Pelajari cara membuat dan mengelola tabel serta temp view untuk merampingkan alur kerja. Lalu, jelajahi Data Explorer di Databricks untuk meninjau pratinjau himpunan data, menetapkan kepemilikan tabel, dan melindungi data sensitif dengan praktik keamanan terbaik. Baik saat menyusun kueri yang dapat digunakan kembali maupun mengelola Personally Identifiable Information (PII), kursus ini menyediakan latihan langsung dan strategi praktis agar data Anda tetap aman, mudah diakses, dan dioptimalkan untuk berbagai skenario.

<h2>Bangun Fondasi yang Kuat dengan Delta Lake</h2>
Kursus ini membekali Anda dengan keterampilan untuk mengelola data secara efektif di Databricks, dengan memanfaatkan alat seperti Delta Lake dan Databricks’ Data Explorer. Anda akan mempelajari konsep dasar seperti tabel yang dikelola dan tidak dikelola, serta cara mereka mengelola penyimpanan dan siklus hidup, sambil menjelajahi fitur-fitur lanjutan Delta Lake seperti transaksi ACID, penegakan skema, dan perjalanan waktu. Teknik-teknik ini memastikan konsistensi dan keandalan data, yang menjadi landasan untuk alur kerja data yang tangguh.
<h2>Optimalkan Alur Kerja dengan Tampilan dan Tampilan Sementara</h2>
Anda juga akan belajar cara membuat dan mengelola tampilan (views) dan tampilan sementara (temp views) untuk mengoptimalkan proses data. Pandangan yang persisten memungkinkan Anda menyimpan logika kueri untuk digunakan berulang kali di seluruh sesi, sehingga mempermudah alur kerja dan meningkatkan efisiensi. Pandangan sementara, di sisi lain, menyediakan solusi ringan untuk tugas-tugas cepat yang spesifik untuk sesi tertentu. Contoh praktis menunjukkan bagaimana masing-masing dapat diterapkan untuk meningkatkan aksesibilitas dan organisasi data, menjadikannya alat yang tak ternilai harganya dalam merancang solusi yang efisien dan fleksibel.
<h2>Lindungi dan Kelola Data Anda dengan Percaya Diri</h2>
Akhirnya, Anda akan memanfaatkan Databricks’ Data Explorer untuk melihat pratinjau, menganalisis, dan melindungi dataset. Dari penugasan kepemilikan tabel hingga pengelolaan hak akses, Anda akan memperoleh pemahaman yang komprehensif tentang praktik terbaik dalam tata kelola. Penekanan khusus diberikan pada penanganan informasi pribadi yang dapat diidentifikasi (PII) secara aman dengan strategi yang berfokus pada kepatuhan. Melalui latihan praktis, Anda akan mengembangkan keahlian untuk memelihara dataset yang aman dan teroptimalkan, memastikan data Anda tetap dapat diakses, dikelola dengan baik, dan terlindungi dalam situasi apa pun.

Introduction to Databricks

Manajemen data utama di Databricks dengan Delta Lake, termasuk transaksi ACID, penegakan skema, dan fitur keamanan.

Manajemen Data di Databricks

Pelajari manajemen data di Databricks dengan Delta Lake, termasuk transaksi ACID, penegakan skema, dan keamanan.

Associate Data Engineer in Databricks

Analis Data di Databricks

Disimpan di database dan persisten lintas sesi

Ideal untuk kueri yang dapat digunakan kembali dan sering dibutuhkan

Memerlukan tindakan eksplisit untuk di-drop

Secara otomatis di-drop ketika sesi berakhir

Paling cocok untuk analisis cepat dan ad-hoc dalam satu sesi

Digunakan untuk menyiapkan data perantara dalam sebuah pipeline

Persisten atau sementara?

Manajemen Data di Databricks

Latihan interaktif langsung