Di bab ini, Anda akan mempelajari apa itu data engineering dan mengapa permintaan terhadapnya semakin meningkat. Anda kemudian akan mengetahui posisi rekayasa data dalam siklus hidup data science, bagaimana perbedaan antara data engineer dan data scientist, serta mendapatkan pengenalan tentang pipeline data lengkap pertama Anda.

Rekayasa data dan big data

Alur kerja data science

Ikuti alurnya

Opsi

Tugas data engineering

Bukan tugas data engineering

Bukan tanggung jawabnya

Benar

Salah

Big time

Insinyur data vs. ilmuwan data

Katakan yang sebenarnya

Data engineer

Data scientist

Siapa yang mengerjakannya

Pipa data

Itu tidak benar

Pipeline

Apa itu rekayasa data?

Saatnya membahas penyimpanan data—salah satu tanggung jawab utama bagi seorang data engineer. Di bab ini, Anda akan mempelajari bagaimana data engineer mengelola berbagai struktur data, bekerja dengan SQL—bahasa pemrograman pilihan untuk melakukan query dan menyimpan data, serta menerapkan solusi penyimpanan data yang sesuai menggunakan data lake dan data warehouse.

Struktur data

Struktur

Apa bedanya

Basis data SQL

We can work it out

Kolom

Jenis yang berbeda

Gudang data dan danau data

Katakan yang benar

Gudang kami (di tengah jalan kami)

Menyimpan data

Data engineer memudahkan pekerjaan data scientist dengan menyiapkan data mentah untuk analisis menggunakan berbagai teknik pemrosesan pada setiap tahap. Langkah-langkah ini perlu digabungkan untuk membuat pipeline, di sinilah otomatisasi mulai berperan. Akhirnya, data engineer menggunakan komputasi paralel dan komputasi cloud untuk menjaga pipeline tetap berjalan lancar.

Memproses data

Hubungkan titik-titiknya

Menjadwalkan data

Jadwal

Salah satu di antaranya

Komputasi paralel

Kapan pun, kapan pun

Alam semesta paralel

Komputasi awan

Tertutup awan

Somewhere I belong

Kitalah para juara

Memindahkan dan memproses data

Lexicon

Course Glossary: Understanding Data Engineering

Pada tahun 2019, rata-rata gaji untuk data engineer melampaui data scientist. Bagaimana ini bisa terjadi? Perusahaan yang ingin menemukan emas dalam data mereka menyadari bahwa hal itu tidak mungkin dilakukan jika mereka belum membangun tambangnya. Data engineer meletakkan fondasi yang memungkinkan data science terlaksana.
<br /> <br />
Dalam kursus ini, Anda akan mempelajari tanggung jawab inti seorang data engineer, bagaimana mereka berbeda dari data scientist, dan bagaimana mereka memfasilitasi aliran data di seluruh organisasi. Melalui latihan langsung, Anda akan mengikuti Spotflix, sebuah perusahaan streaming musik fiktif, untuk memahami bagaimana data engineer mereka mengumpulkan, membersihkan, dan mengatalogkan data mereka. Pada akhir kursus, Anda akan memahami apa yang dilakukan oleh data engineer di perusahaan Anda, siap untuk berdiskusi dengan seorang data engineer, dan memiliki fondasi yang kuat untuk memulai perjalanan Anda sendiri sebagai data engineer.

Video dilengkapi transkrip langsung yang dapat diakses dengan mengklik "Show transcript" di kiri bawah video.

Glosarium kursus dapat ditemukan di sebelah kanan pada bagian sumber daya.

Untuk memperoleh kredit CPE, Anda perlu menyelesaikan kursus dan mencapai skor 70% pada penilaian yang memenuhi syarat. Anda dapat menuju penilaian dengan mengeklik keterangan kredit CPE di sebelah kanan.

<h2> Memahami Dasar-Dasar Teknik Data </h2>
<br>
Dalam kursus ini, Anda akan mempelajari tanggung jawab utama seorang insinyur data, perbedaan antara insinyur data dan ilmuwan data, serta cara memfasilitasi aliran data di dalam suatu organisasi. Melalui latihan praktis, Anda akan mengikuti Spotflix, sebuah perusahaan streaming musik fiktif, untuk memahami bagaimana insinyur data mereka mengumpulkan, membersihkan, dan mengklasifikasikan data mereka. 
<br><br>
<h2> Ajukan dalam Kasus Pribadi</h2>
<br>
Pada akhir kursus ini, Anda akan memahami apa yang dilakukan oleh insinyur data di perusahaan Anda, siap untuk berdiskusi dengan insinyur data, dan memiliki dasar yang kokoh untuk memulai perjalanan Anda sebagai insinyur data.

Temukan bagaimana insinyur data membangun dasar untuk ilmu data. Tanpa pemrograman!

Memahami Rekayasa Data

Temukan bagaimana data engineer meletakkan dasar yang memungkinkan data science terlaksana. Tidak perlu coding!

Associate Data Engineer dalam SQL

Analis Data di Databricks

Memahami Topik Data

Content Developer at DataCamp

Jika data adalah minyak baru...

Sumur minyak

Pipa sumur minyak

Distilasi

Residu

Minyak berat

Diesel

Minyak tanah

Nafta

Bensin

Bandara

Fasilitas penyimpanan bensin

SPBU

Nafta ditransformasikan

Pabrik menerima plastik

Kembali ke rekayasa data

Ponsel

Komputer

Situs web

Mengingest data artis

Mengingest data album

Danau data

Pipa pertama

Basis data artis

Basis data album

Basis data lagu

Basis data daftar putar

Basis data pelanggan

Basis data karyawan

Enam pipa lagi

Basis data sampul album

Satu pipa lagi

Tabel karyawan penjualan

Tabel karyawan teknik

Tabel karyawan dukungan

Tiga pipa lagi

Tabel karyawan penjualan AS

Tabel karyawan penjualan Belgia

Tabel karyawan penjualan UK

Memeriksa lagu yang rusak

Basis data lagu bersih

Satu pipa terakhir

Kamu dapat satu pipa!

Semua dapat pipa!

Pipa data memastikan aliran data yang efisien

ETL dan pipa data

Ringkasan

Ayo berlatih!

Apa itu rekayasa data? - Pipa data

Pipa data

Create Your Free Account