Pada bab pertama ini, Anda akan diperkenalkan pada dunia data engineering! Jelajahi perbedaan antara data engineer dan data scientist, dapatkan gambaran umum tentang berbagai alat yang digunakan data engineer, serta perluas pemahaman Anda mengenai peran teknologi cloud dalam data engineering.

Apa itu rekayasa data?

Tugas data engineer

Data engineer atau data scientist?

Masalah data engineering

Perangkat data engineer

Jenis-jenis database

Tugas pemrosesan

Alat penjadwalan

Penyedia cloud

Mengapa komputasi awan?

Pemain besar dalam komputasi awan

Layanan cloud

Pengantar Data Engineering

Kini setelah Anda memahami perbedaan utama antara data engineer dan data scientist, saatnya menjelajahi perkakas data engineer! Pelajari secara mendalam berbagai jenis basis data yang digunakan data engineer, bagaimana komputasi paralel menjadi landasan perangkat data engineer, dan cara menjadwalkan pekerjaan pemrosesan data menggunakan kerangka penjadwalan.

Database

SQL vs NoSQL

Skema basis data

Menggabungkan berdasarkan relasi

Diagram star schema

Apa itu komputasi paralel

Mengapa komputasi paralel?

Dari tugas ke sub-tugas

Menggunakan DataFrame

Kerangka komputasi paralel

Spark, Hadoop, dan Hive

GroupBy di PySpark

Menjalankan berkas PySpark

Kerangka kerja penjadwalan alur kerja

Airflow, Luigi, dan cron

DAG Airflow

Perkakas data engineering

Setelah mempelajari perkakas data engineer, kini saatnya masuk ke inti alur kerja seorang data engineer! Melalui ETL, Anda akan belajar cara mengekstrak data mentah dari berbagai sumber, mentransformasikan data mentah ini menjadi wawasan yang dapat ditindaklanjuti, serta memuatnya ke dalam basis data yang relevan dan siap digunakan!

Ekstraksi

Sumber data

Mengambil dari sebuah API

Membaca dari database

Transformasi

Memisahkan rental rate

Persiapkan untuk transformasi

Melakukan join dengan ratings

Memuat

OLAP atau OLTP

Menulis ke berkas

Muat ke Postgres

Menggabungkan semuanya

Mendefinisikan DAG

Menyiapkan Airflow

Menafsirkan DAG

Extract, Transform, and Load (ETL)

Tuntaskan semua yang telah Anda pelajari pada tiga bab sebelumnya dengan menyelesaikan studi kasus data engineering dunia nyata dari DataCamp! Anda akan menjalankan dan menjadwalkan proses ETL yang mentransformasikan data penilaian kursus mentah menjadi rekomendasi kursus yang dapat ditindaklanjuti untuk para pelajar DataCamp!

Penilaian kursus

Menjelajahi skema

Mengkueri tabel

Rata-rata penilaian per course

Dari penilaian menjadi rekomendasi

Saring data yang korup

Menggunakan transformasi rekomendasi

Menjadwalkan tugas harian

Tabel target

Aktifkan DAG

Mengkueri rekomendasi

Selamat

Studi Kasus: DataCamp

datacamp_application.sql

Pernah mendengar orang membicarakan data engineer dan bertanya-tanya apa yang mereka kerjakan? Sudah tahu peran data engineer tetapi belum yakin bagaimana menjadi salah satunya? Kursus ini adalah pengantar yang tepat. Anda akan mempelajari seluruh hal yang perlu diketahui untuk merampingkan pemrosesan data Anda. Kursus pengantar ini memberi cukup konteks untuk mulai menjelajahi dunia data engineering. Kursus ini ideal bagi Anda yang bekerja di perusahaan dengan banyak sumber data namun belum memiliki gambaran jelas tentang cara memanfaatkan semua sumber tersebut secara terukur. Jadilah yang pertama memperkenalkan teknik-teknik ini di perusahaan Anda dan raih predikat karyawan bintang.

<h2>Mulai Karier di Data Engineering</h2> 
Apakah Anda penasaran tentang karier di data engineering tetapi tidak tahu harus mulai dari mana? Atau mungkin Anda ingin informasi lebih lanjut tentang apa yang dilakukan oleh data engineer sebelum Anda mengambil langkah selanjutnya? Kursus empat jam ini adalah pengenalan tentang data engineering dan konsep inti, teknik, serta alat yang perlu Anda pahami untuk menjalankan pekerjaan ini.
<br><br> 
<h2>Pelajari Konsep dan Teknik Data Engineering</h2> 
Anda akan mulai dengan mempelajari perbedaan antara data engineer dan data scientist (serta bagaimana mereka bekerja sama) sebelum mengetahui lebih lanjut tentang alat-alat yang digunakan dalam bidang ini, khususnya membahas tentang cloud computing dan parallel computing. Pada akhir bab kedua, Anda akan memahami aplikasi SQL dan NoSQL, penggunaan DataFrame, dan mengapa komputasi paralel sangat penting.
<br><br> 
<h2>Lakukan ETL dalam Latihan Praktis</h2> 
Proses ETL adalah inti dari alur kerja data engineer. Anda akan belajar bagaimana data diekstraksi, diubah, dan dimuat agar siap untuk analisis dan menghasilkan wawasan. Di akhir kursus, Anda akan mempraktikkan semua pengetahuan ini dengan melakukan dan menjadwalkan proses ETL sendiri menggunakan data dunia nyata.
<br><br> 
Latihan dan tes interaktif kami memungkinkan Anda meninjau dan memperkuat pengetahuan baru Anda, sehingga Anda yakin untuk mendiskusikan dan menerapkannya setelah Anda menerima Statement of Accomplishment.
<br><br> 
Kursus pengantar ini adalah bagian dari Jalur data engineering, yang menawarkan Anda jalur untuk meningkatkan pemahaman Anda tentang data engineering dan serangkaian langkah berikutnya yang jelas untuk menjadi seorang data engineer profesional.

Intermediate Python

Intermediate SQL

Mulailah langkah pertama menjadi insinyur data. Pelajari dunia rekayasa data dalam kursus 4 jam ini.

Pelajari dunia rekayasa data dalam kursus singkat ini, mencakup alat dan topik seperti ETL dan komputasi awan. 

Menafsirkan DAG

Pengantar Data Engineering

Latihan interaktif langsung