In this chapter, you’ll learn what data engineering is and why demand for them is increasing. You’ll then discover where data engineering sits in relation to the data science lifecycle, how data engineers differ from data scientists, and have an introduction to your first complete data pipeline.

Data engineering and big data

Go with the flow

Not responsible

Big time

Data engineers vs. data scientists

Tell me the truth

Who is it

The data pipeline

It's not true

Pipeline

What is data engineering?

It’s time to talk about data storage—one of the main responsibilities for a data engineer. In this chapter, you’ll learn how data engineers manage different data structures, work in SQL—the programming language of choice for querying and storing data, and implement appropriate data storage solutions with data lakes and data warehouses.

Veri yapıları

Yapılar

Seçenekler

Yapılandırılmış

Yarı yapılandırılmış

Yapılandırılmamış

Fark ne

SQL veritabanları

Birlikte çözelim

Sütunlar

Veri mühendisleri

Veri bilimcisi

Farklı türler

Veri ambarları ve veri gölleri

Doğruyu söyle

Bir veri gölü

Bir veri ambarı

Depomuz (sokağımızın ortasında)

Storing data

Data engineers make life easy for data scientists by preparing raw data for analysis using different processing techniques at different steps. These steps need to be combined to create pipelines, which is when automation comes into play. Finally, data engineers use parallel and cloud computing to keep pipelines flowing smoothly.

Processing data

Connect the dots

Scheduling data

Schedules

One or the other

Parallel computing

Whenever, whenever

Parallel universe

Cloud computing

Obscured by clouds

Somewhere I belong

We are the champions

Moving and processing data

Lexicon

Course Glossary: Understanding Data Engineering

2019'da veri mühendislerinin ortalama maaşı veri bilimcileri geçti. Bu nasıl oldu? Verilerindeki altını bulmak isteyen şirketler, daha madeni kurmadan bunun mümkün olmadığını fark etti. Veri mühendisleri, veri bilimi için gereken temeli atar.
<br /> <br />
Bu kursta bir veri mühendisinin temel sorumluluklarını, veri bilimcilerinden nasıl ayrıldıklarını ve bir organizasyonda verinin akışını nasıl kolaylaştırdıklarını öğreneceksin. Uygulamalı egzersizler boyunca, kurgusal bir müzik yayın şirketi olan Spotflix’i takip ederek veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını anlayacaksın. Kursun sonunda, şirketindeki veri mühendislerinin ne yaptığını anlayacak, bir veri mühendisiyle rahatça sohbet edebilecek ve kendi veri mühendisi yolculuğuna başlamak için sağlam bir temele sahip olacaksın.

Videolarda canlı altyazılar bulunur; videoların sol altındaki "Show transcript" bağlantısına tıklayarak erişebilirsin.

Kurs sözlüğünü sağdaki kaynaklar bölümünde bulabilirsin.

CPE kredileri almak için kursu tamamlaman ve nitelikli değerlendirmede %70 puana ulaşman gerekir. Sağdaki CPE kredileri duyurusuna tıklayarak değerlendirmeye gidebilirsin.

<h2> Veri Mühendisliğinin Temellerini Anlamak </h2>
<br>
Bu kursta, veri mühendislerinin temel sorumluluklarını, veri bilimcilerinden ne kadar farklı olduklarını ve bir kuruluş içinde veri akışını nasıl kolaylaştırdıklarını öğreneceksiniz. Uygulamalı alıştırmalar aracılığıyla, hayali bir müzik akışı şirketi olan Spotflix’i takip ederek, veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını öğreneceksiniz. 
<br><br>
<h2> Kişisel Durumlarda Uygulama</h2>
<br>
Kursun sonunda, şirketinizdeki veri mühendislerinin ne iş yaptığını anlayacak, bir veri mühendisiyle sohbet edebilecek duruma gelecek ve kendi veri mühendisliği yolculuğunuza başlamak için sağlam bir temele sahip olacaksınız.

Veri mühendislerinin veri bilimi için nasıl zemin hazırladığını keşfedin. Kodlama gerekmez!

Veri Mühendisliğini Anlamak

Veri mühendislerinin veri bilimini mümkün kılan temelleri nasıl attığını keşfedin. Kodlama gerektirmez!

Yardımcı Veri Mühendisi SQL içinde

Veri Analisti Databricks'te

Veri Konularını Anlama

Tablo biçimindeki veriye karşılık gelir.

Aramak ve düzenlemek orta derecede kolaydır.

Bir modele uyar ama yapılandırılmış veriye göre daha fazla esneklik sağlar.

Fark ne

Veri Mühendisliğini Anlamak

Uygulamalı interaktif egzersiz