Bersiaplah untuk mempelajari bagaimana data dikumpulkan, diproses, dan dipindahkan menggunakan pipa data. Anda akan menelusuri karakteristik pipa data terbaik, serta bersiap untuk merancang dan membangun pipa Anda sendiri.

Pengantar Pipeline ETL dan ELT

Menjalankan Pipeline ETL

ELT dalam Praktik

Pipeline ETL dan ELT

Membangun Pipeline ETL dan ELT

Membangun Pipeline ETL

Huruf "T" dalam ELT

Mengekstrak, Mentransformasi, dan Memuat Data Nilai Siswa

Pengantar Pipa Data

Pelajari cara memanfaatkan pandas untuk mengekstrak, mentransformasi, dan memuat data saat Anda membangun pipa data pertama Anda. Ketahui cara membuat logika ETL yang dapat digunakan kembali, serta menerapkan pencatatan (logging) dan penanganan pengecualian pada pipa Anda.

Mengekstrak data dari sumber terstruktur

Mengekstrak data dari file parquet

Mengambil data dari basis data SQL

Membangun fungsi untuk mengekstrak data

Transformasi data dengan pandas

Menyaring DataFrame pandas

Mentransformasikan data penjualan dengan pandas

Memvalidasi transformasi data

Menyimpan data dengan pandas

Memuat data penjualan ke file CSV

Menyesuaikan file CSV

Menyimpan data ke berkas

Memantau pipeline data

Pencatatan log dalam sebuah pipeline data

Menangani exception saat memuat data

Pemantauan dan pemberitahuan dalam sebuah pipeline data

Membangun Pipa ETL

Tingkatkan alur kerja Anda dengan teknik pemipaan data lanjutan, seperti bekerja dengan data non-tabel dan menyimpan DataFrame ke database SQL. Temukan perangkat untuk menangani transformasi tingkat lanjut dengan pandas, serta praktik terbaik untuk bekerja dengan data kompleks.

Mengekstrak data non-tabular

Mengambil data JSON dengan pandas

Membaca data JSON ke memori

Transformasi data non-tabel

Melakukan iterasi pada dictionary

Mengurai data dari dictionary

Mentransformasi data JSON

Transformasi dan pembersihan DataFrame

Transformasi data tingkat lanjut dengan pandas

Mengisi nilai hilang dengan pandas

Mengelompokkan data dengan pandas

Menerapkan transformasi lanjutan pada DataFrame

Memuat data ke basis data SQL dengan pandas

Memuat data ke database Postgres

Memvalidasi data yang dimuat ke Database Postgres

Teknik ETL Lanjutan

Pada bab terakhir ini, Anda akan membuat kerangka kerja untuk memvalidasi dan menguji pipa data sebelum mengirimkannya ke produksi. Setelah menguji pipa Anda, Anda akan menelusuri teknik untuk menjalankan pipa data dari ujung ke ujung, sekaligus memungkinkan visibilitas terhadap kinerja pipa.

Menguji pipeline data secara manual

Menguji data pipeline

Memvalidasi pipeline data pada "checkpoint"

Menguji pipeline data secara end-to-end

Pengujian unit untuk sebuah pipeline data

Memvalidasi data pipeline dengan assert

Menulis unit test dengan pytest

Membuat fixture dengan pytest

Pengujian unit untuk data pipeline dengan fixtures

Menjalankan pipeline data di produksi

Alat orkestrasi dan ETL

Pola arsitektur data pipeline

Menjalankan pipeline data end-to-end

Selamat!

Menerapkan dan Memelihara Pipa Data

scores.csv

schools_modified.csv

amazon_sales_cleaned_sql.csv

tax_rate_cleaned.csv

Course Glossary

Pipa data adalah fondasi dari setiap platform data yang kuat. Membangun pipa ini merupakan keterampilan penting bagi data engineer, yang memberikan nilai luar biasa bagi bisnis yang siap melangkah ke masa depan berbasis data. Kursus pengantar ini akan membantu Anda mengasah keterampilan untuk membangun pipa data yang efektif, berkinerja baik, dan andal.

Video berisi transkrip langsung yang dapat Anda tampilkan dengan mengeklik "Show transcript" di kiri bawah video.
Glosarium kursus dapat ditemukan di sebelah kanan pada bagian sumber daya.
Untuk memperoleh kredit CPE Anda harus menyelesaikan kursus dan mencapai skor 70% pada penilaian yang memenuhi syarat. Anda dapat membuka penilaian dengan mengeklik sorotan kredit CPE di sebelah kanan.

Data Warehousing Concepts

Streamlined Data Ingestion with pandas

Pelajari cara membangun pipeline data yang efektif, cepat, dan andal dengan prinsip ETL.

ETL dan ELT di Python

Pelajari cara membangun data pipeline yang efektif, memiliki performa tinggi, dan andal menggunakan prinsip Extract, Transform, dan Load.

Selamat!

Create Your Free Account