In this chapter, you’ll learn what data engineering is and why demand for them is increasing. You’ll then discover where data engineering sits in relation to the data science lifecycle, how data engineers differ from data scientists, and have an introduction to your first complete data pipeline.

Data engineering and big data

Go with the flow

Not responsible

Big time

Data engineers vs. data scientists

Tell me the truth

Who is it

The data pipeline

It's not true

Pipeline

What is data engineering?

It’s time to talk about data storage—one of the main responsibilities for a data engineer. In this chapter, you’ll learn how data engineers manage different data structures, work in SQL—the programming language of choice for querying and storing data, and implement appropriate data storage solutions with data lakes and data warehouses.

Data structures

Structures

What's the difference

SQL databases

We can work it out

Columns

Different breeds

Data warehouses and data lakes

Tell the truth

Our warehouse (in the middle of our street)

Storing data

Data engineers make life easy for data scientists by preparing raw data for analysis using different processing techniques at different steps. These steps need to be combined to create pipelines, which is when automation comes into play. Finally, data engineers use parallel and cloud computing to keep pipelines flowing smoothly.

Memproses data

Options

Extract

Transform

Load

Hubungkan titik-titiknya

Menjadwalkan data

Opsi

Manual

Waktu

Kondisi

Jadwal

Batch

Stream

Salah satu di antaranya

Komputasi paralel

Kapan pun, kapan pun

Benar

Salah

Alam semesta paralel

Komputasi awan

Tertutup awan

Komputasi

Basis data

Somewhere I belong

Kitalah para juara

Moving and processing data

Lexicon

Course Glossary: Understanding Data Engineering

Pada tahun 2019, rata-rata gaji untuk data engineer melampaui data scientist. Bagaimana ini bisa terjadi? Perusahaan yang ingin menemukan emas dalam data mereka menyadari bahwa hal itu tidak mungkin dilakukan jika mereka belum membangun tambangnya. Data engineer meletakkan fondasi yang memungkinkan data science terlaksana.
<br /> <br />
Dalam kursus ini, Anda akan mempelajari tanggung jawab inti seorang data engineer, bagaimana mereka berbeda dari data scientist, dan bagaimana mereka memfasilitasi aliran data di seluruh organisasi. Melalui latihan langsung, Anda akan mengikuti Spotflix, sebuah perusahaan streaming musik fiktif, untuk memahami bagaimana data engineer mereka mengumpulkan, membersihkan, dan mengatalogkan data mereka. Pada akhir kursus, Anda akan memahami apa yang dilakukan oleh data engineer di perusahaan Anda, siap untuk berdiskusi dengan seorang data engineer, dan memiliki fondasi yang kuat untuk memulai perjalanan Anda sendiri sebagai data engineer.

Video dilengkapi transkrip langsung yang dapat diakses dengan mengklik "Show transcript" di kiri bawah video.

Glosarium kursus dapat ditemukan di sebelah kanan pada bagian sumber daya.

Untuk memperoleh kredit CPE, Anda perlu menyelesaikan kursus dan mencapai skor 70% pada penilaian yang memenuhi syarat. Anda dapat menuju penilaian dengan mengeklik keterangan kredit CPE di sebelah kanan.

<h2> Memahami Dasar-Dasar Teknik Data </h2>
<br>
Dalam kursus ini, Anda akan mempelajari tanggung jawab utama seorang insinyur data, perbedaan antara insinyur data dan ilmuwan data, serta cara memfasilitasi aliran data di dalam suatu organisasi. Melalui latihan praktis, Anda akan mengikuti Spotflix, sebuah perusahaan streaming musik fiktif, untuk memahami bagaimana insinyur data mereka mengumpulkan, membersihkan, dan mengklasifikasikan data mereka. 
<br><br>
<h2> Ajukan dalam Kasus Pribadi</h2>
<br>
Pada akhir kursus ini, Anda akan memahami apa yang dilakukan oleh insinyur data di perusahaan Anda, siap untuk berdiskusi dengan insinyur data, dan memiliki dasar yang kokoh untuk memulai perjalanan Anda sebagai insinyur data.

Temukan bagaimana insinyur data membangun dasar untuk ilmu data. Tanpa pemrograman!

Memahami Rekayasa Data

Temukan bagaimana data engineer meletakkan dasar yang memungkinkan data science terlaksana. Tidak perlu coding!

Associate Data Engineer dalam SQL

Analis Data di Databricks

Memahami Topik Data

Komputasi paralel bergantung pada unit pemrosesan.

Komputasi paralel digunakan untuk menyediakan daya pemrosesan tambahan.

Ide yang baik menggunakan komputasi paralel untuk mengodekan lagu yang diunggah artis ke format .ogg yang disukai Spotflix.

Komputasi paralel tidak dapat digunakan untuk mengoptimalkan penggunaan memori.

Komputasi paralel akan selalu membuat segala sesuatu lebih cepat.

Ide yang baik menggunakan komputasi paralel untuk memperbarui tabel karyawan setiap pagi.

Alam semesta paralel

Memahami Rekayasa Data

Latihan interaktif langsung