Bersiaplah untuk mempelajari bagaimana data dikumpulkan, diproses, dan dipindahkan menggunakan pipeline data. Anda akan mengeksplorasi karakteristik pipeline data terbaik, serta bersiap untuk merancang dan membangun pipeline Anda sendiri.

Pengantar Pipeline ETL dan ELT

Menjalankan Pipeline ETL

ELT dalam Praktik

Pipeline ETL dan ELT

Membangun Pipeline ETL dan ELT

Membangun Pipeline ETL

Huruf "T" dalam ELT

Mengekstrak, Mentransformasi, dan Memuat Data Nilai Siswa

Pengantar Pipeline Data

Dalami pemanfaatan pandas untuk mengekstrak, mentransformasi, dan memuat data saat Anda membangun pipeline data pertama Anda. Pelajari cara membuat logika ETL dapat digunakan kembali, serta terapkan logging dan penanganan pengecualian pada pipeline Anda.

Mengekstrak data dari sumber terstruktur

Mengekstrak data dari file parquet

Mengambil data dari database SQL

Membangun fungsi untuk mengekstrak data

Mentransformasikan data dengan pandas

Memfilter DataFrame pandas

Mentransformasi data penjualan dengan pandas

Memvalidasi transformasi data

Menyimpan data dengan pandas

Memuat data penjualan ke file CSV

Menyesuaikan file CSV

Menyimpan data ke berkas

Memantau pipeline data

Pencatatan log di dalam pipeline data

Menangani pengecualian saat memuat data

Pemantauan dan peringatan dalam sebuah pipeline data

Tingkatkan alur kerja Anda dengan teknik pemipaan data lanjutan, seperti bekerja dengan data non-tabel dan menyimpan DataFrame ke basis data SQL. Temukan perangkat untuk menangani transformasi lanjutan dengan pandas, dan gali praktik terbaik saat bekerja dengan data kompleks.

Mengekstrak data non-tabel

Mengimpor data JSON dengan pandas

Membaca data JSON ke dalam memori

Transformasi data non-tabel

Melakukan iterasi pada dictionary

Mengurai data dari dictionary

Transformasi data JSON

Transformasi dan pembersihan DataFrame

Transformasi data lanjutan dengan pandas

Mengisi nilai hilang dengan pandas

Mengelompokkan data dengan pandas

Menerapkan transformasi lanjutan pada DataFrame

Memuat data ke database SQL dengan pandas

Memuat data ke basis data Postgres

Memvalidasi data yang dimuat ke Database Postgres

Teknik ETL Lanjutan

Pada bab terakhir ini, Anda akan membuat kerangka kerja untuk memvalidasi dan menguji pipeline data sebelum mengirimkannya ke produksi. Setelah menguji pipeline, Anda akan mengeksplorasi teknik untuk menjalankan pipeline data secara menyeluruh, sambil tetap memberikan visibilitas terhadap kinerja pipeline.

Menguji pipeline data secara manual

Menguji data pipeline

Memvalidasi data pipeline pada "checkpoint"

Menguji pipeline data secara end-to-end

Pengujian unit untuk sebuah pipeline data

Memvalidasi pipeline data dengan assert

Menulis unit test dengan pytest

Membuat fixture dengan pytest

Pengujian unit data pipeline dengan fixtures

Menjalankan pipeline data di lingkungan produksi

Alat orkestrasi dan ETL

Pola arsitektur data pipeline

Menjalankan pipeline data end-to-end

Selamat!

Mendeploy dan Memelihara Pipeline Data

amazon_sales_cleaned_sql.csv

schools_modified.csv

Course Glossary

tax_rate_cleaned.csv

scores.csv

Pipeline data adalah fondasi dari setiap platform data yang kuat. Membangun pipeline ini merupakan keterampilan penting bagi data engineer, yang memberikan nilai luar biasa bagi bisnis yang siap melangkah ke masa depan berbasis data. Kursus pengantar ini akan membantu Anda mengasah keterampilan untuk membangun pipeline data yang efektif, berkinerja tinggi, dan andal.

Video dilengkapi transkrip langsung yang dapat Anda tampilkan dengan mengeklik "Show transcript" di kiri bawah video.
Glosarium kursus dapat ditemukan di sebelah kanan pada bagian sumber daya.
Untuk memperoleh kredit CPE, Anda perlu menyelesaikan kursus dan mencapai skor 70% pada asesmen berkualifikasi. Anda dapat menuju ke asesmen dengan mengeklik seruan kredit CPE di sebelah kanan.

Data Warehousing Concepts

Streamlined Data Ingestion with pandas

Pelajari cara membangun pipeline data yang efektif, cepat, dan andal dengan prinsip ETL.

ETL dan ELT di Python

Pelajari cara membangun data pipeline yang efektif, memiliki performa tinggi, dan andal menggunakan prinsip Extract, Transform, dan Load.

Selamat!

Create Your Free Account