In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

Apa itu rekayasa data?

Tugas data engineer

Tugas

Data Engineer

Data Scientist

Data engineer atau data scientist?

Masalah data engineering

Perangkat data engineer

Jenis-jenis database

Tugas pemrosesan

Alat penjadwalan

Penyedia cloud

Mengapa komputasi awan?

Penyedia layanan cloud

Pemain besar dalam komputasi awan

Layanan

Storage

Compute

Database

Layanan cloud

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Databases

SQL vs NoSQL

The database schema

Joining on relations

Star schema diagram

What is parallel computing

Why parallel computing?

From task to subtasks

Using a DataFrame

Parallel computation frameworks

Spark, Hadoop and Hive

A PySpark groupby

Running PySpark files

Workflow scheduling frameworks

Airflow, Luigi and cron

Airflow DAGs

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Course ratings

Exploring the schema

Querying the table

Average rating per course

From ratings to recommendations

Filter out corrupt data

Using the recommender transformation

Scheduling daily jobs

The target table

Defining the DAG

Enable the DAG

Querying the recommendations

Congratulations

Case Study: DataCamp

datacamp_application.sql

Pernah mendengar orang membicarakan data engineer dan bertanya-tanya apa yang mereka kerjakan? Sudah tahu peran data engineer tetapi belum yakin bagaimana menjadi salah satunya? Kursus ini adalah pengantar yang tepat. Anda akan mempelajari seluruh hal yang perlu diketahui untuk merampingkan pemrosesan data Anda. Kursus pengantar ini memberi cukup konteks untuk mulai menjelajahi dunia data engineering. Kursus ini ideal bagi Anda yang bekerja di perusahaan dengan banyak sumber data namun belum memiliki gambaran jelas tentang cara memanfaatkan semua sumber tersebut secara terukur. Jadilah yang pertama memperkenalkan teknik-teknik ini di perusahaan Anda dan raih predikat karyawan bintang.

<h2>Mulai Karier di Data Engineering</h2> 
Apakah Anda penasaran tentang karier di data engineering tetapi tidak tahu harus mulai dari mana? Atau mungkin Anda ingin informasi lebih lanjut tentang apa yang dilakukan oleh data engineer sebelum Anda mengambil langkah selanjutnya? Kursus empat jam ini adalah pengenalan tentang data engineering dan konsep inti, teknik, serta alat yang perlu Anda pahami untuk menjalankan pekerjaan ini.
<br><br> 
<h2>Pelajari Konsep dan Teknik Data Engineering</h2> 
Anda akan mulai dengan mempelajari perbedaan antara data engineer dan data scientist (serta bagaimana mereka bekerja sama) sebelum mengetahui lebih lanjut tentang alat-alat yang digunakan dalam bidang ini, khususnya membahas tentang cloud computing dan parallel computing. Pada akhir bab kedua, Anda akan memahami aplikasi SQL dan NoSQL, penggunaan DataFrame, dan mengapa komputasi paralel sangat penting.
<br><br> 
<h2>Lakukan ETL dalam Latihan Praktis</h2> 
Proses ETL adalah inti dari alur kerja data engineer. Anda akan belajar bagaimana data diekstraksi, diubah, dan dimuat agar siap untuk analisis dan menghasilkan wawasan. Di akhir kursus, Anda akan mempraktikkan semua pengetahuan ini dengan melakukan dan menjadwalkan proses ETL sendiri menggunakan data dunia nyata.
<br><br> 
Latihan dan tes interaktif kami memungkinkan Anda meninjau dan memperkuat pengetahuan baru Anda, sehingga Anda yakin untuk mendiskusikan dan menerapkannya setelah Anda menerima Statement of Accomplishment.
<br><br> 
Kursus pengantar ini adalah bagian dari Jalur data engineering, yang menawarkan Anda jalur untuk meningkatkan pemahaman Anda tentang data engineering dan serangkaian langkah berikutnya yang jelas untuk menjadi seorang data engineer profesional.

Intermediate Python

Intermediate SQL

Pengantar Data Engineering

Pelajari dunia rekayasa data dalam kursus singkat ini, mencakup alat dan topik seperti ETL dan komputasi awan. 

Alat penjadwalan

Pengantar Data Engineering

Latihan interaktif langsung