In this chapter, you’ll learn what data engineering is and why demand for them is increasing. You’ll then discover where data engineering sits in relation to the data science lifecycle, how data engineers differ from data scientists, and have an introduction to your first complete data pipeline.

Data engineering and big data

Go with the flow

Not responsible

Big time

Data engineers vs. data scientists

Tell me the truth

Who is it

The data pipeline

It's not true

Pipeline

What is data engineering?

It’s time to talk about data storage—one of the main responsibilities for a data engineer. In this chapter, you’ll learn how data engineers manage different data structures, work in SQL—the programming language of choice for querying and storing data, and implement appropriate data storage solutions with data lakes and data warehouses.

Data structures

Structures

What's the difference

SQL databases

We can work it out

Columns

Different breeds

Data warehouses and data lakes

Tell the truth

Our warehouse (in the middle of our street)

Storing data

Data engineers make life easy for data scientists by preparing raw data for analysis using different processing techniques at different steps. These steps need to be combined to create pipelines, which is when automation comes into play. Finally, data engineers use parallel and cloud computing to keep pipelines flowing smoothly.

Veri işleme

Seçenekler

Extract

Transform

Load

Noktaları birleştir

Veri zamanlama

Manuel

Zaman

Koşul

Zamanlamalar

Batch

Stream

Biri ya da diğeri

Paralel hesaplama

Ne zaman olursa

Doğru

Yanlış

Paralel evren

Bulut bilişim

Bulutların Ardında

Hesaplama

Veritabanları

Bir yere aitim

Biz şampiyonuz

Moving and processing data

Lexicon

Course Glossary: Understanding Data Engineering

2019'da veri mühendislerinin ortalama maaşı veri bilimcileri geçti. Bu nasıl oldu? Verilerindeki altını bulmak isteyen şirketler, daha madeni kurmadan bunun mümkün olmadığını fark etti. Veri mühendisleri, veri bilimi için gereken temeli atar.
<br /> <br />
Bu kursta bir veri mühendisinin temel sorumluluklarını, veri bilimcilerinden nasıl ayrıldıklarını ve bir organizasyonda verinin akışını nasıl kolaylaştırdıklarını öğreneceksin. Uygulamalı egzersizler boyunca, kurgusal bir müzik yayın şirketi olan Spotflix’i takip ederek veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını anlayacaksın. Kursun sonunda, şirketindeki veri mühendislerinin ne yaptığını anlayacak, bir veri mühendisiyle rahatça sohbet edebilecek ve kendi veri mühendisi yolculuğuna başlamak için sağlam bir temele sahip olacaksın.

Videolarda canlı altyazılar bulunur; videoların sol altındaki "Show transcript" bağlantısına tıklayarak erişebilirsin.

Kurs sözlüğünü sağdaki kaynaklar bölümünde bulabilirsin.

CPE kredileri almak için kursu tamamlaman ve nitelikli değerlendirmede %70 puana ulaşman gerekir. Sağdaki CPE kredileri duyurusuna tıklayarak değerlendirmeye gidebilirsin.

<h2> Veri Mühendisliğinin Temellerini Anlamak </h2>
<br>
Bu kursta, veri mühendislerinin temel sorumluluklarını, veri bilimcilerinden ne kadar farklı olduklarını ve bir kuruluş içinde veri akışını nasıl kolaylaştırdıklarını öğreneceksiniz. Uygulamalı alıştırmalar aracılığıyla, hayali bir müzik akışı şirketi olan Spotflix’i takip ederek, veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını öğreneceksiniz. 
<br><br>
<h2> Kişisel Durumlarda Uygulama</h2>
<br>
Kursun sonunda, şirketinizdeki veri mühendislerinin ne iş yaptığını anlayacak, bir veri mühendisiyle sohbet edebilecek duruma gelecek ve kendi veri mühendisliği yolculuğunuza başlamak için sağlam bir temele sahip olacaksınız.

Veri mühendislerinin veri bilimi için nasıl zemin hazırladığını keşfedin. Kodlama gerekmez!

Veri Mühendisliğini Anlamak

Veri mühendislerinin veri bilimini mümkün kılan temelleri nasıl attığını keşfedin. Kodlama gerektirmez!

Yardımcı Veri Mühendisi SQL içinde

Veri Analisti Databricks'te

Veri Konularını Anlama

Mühendislik ekibi kodlayıcıyı değiştirdiği ve hâlâ doğrulama kontrolünden geçtiklerinden emin olmak istediği için şarkı kodlama veri hattını çalıştırmak.

Bölüm 1'deki Spotflix Haftalık Çalma Listesini her Pazartesi saat 00:00'da oluşturmak.

Sanatçılar tarafından yüklenen müzik videolarını her saat işlemek.

Tanıtım kampanyasının gidişatını kontrol etmek için her sabah Google Analytics'ten veri toplamak.

Yeni videolar toplanıyorsa doğrulama kontrollerini çalıştırmak.

Bir kullanıcı abone olduktan sonra bir çalma listesi tablosundaki takipçi sayısını güncellemek.

Zamanlamalar

Veri Mühendisliğini Anlamak

Uygulamalı interaktif egzersiz