In this chapter, you’ll learn what data engineering is and why demand for them is increasing. You’ll then discover where data engineering sits in relation to the data science lifecycle, how data engineers differ from data scientists, and have an introduction to your first complete data pipeline.

Veri mühendisliği ve büyük veri

Veri bilimi iş akışı

Akışa ayak uydur

Seçenekler

Veri mühendisliği görevleri

Veri mühendisliği olmayan görevler

Sorumlu değil

Doğru

Yanlış

Büyük zaman

Veri mühendisleri ve veri bilimciler

Bana gerçeği söyle

Veri mühendisi

Veri bilimci

Kim yapar?

Veri hattı

Doğru değil

Boru hattı

What is data engineering?

It’s time to talk about data storage—one of the main responsibilities for a data engineer. In this chapter, you’ll learn how data engineers manage different data structures, work in SQL—the programming language of choice for querying and storing data, and implement appropriate data storage solutions with data lakes and data warehouses.

Data structures

Structures

What's the difference

SQL databases

We can work it out

Columns

Different breeds

Data warehouses and data lakes

Tell the truth

Our warehouse (in the middle of our street)

Storing data

Data engineers make life easy for data scientists by preparing raw data for analysis using different processing techniques at different steps. These steps need to be combined to create pipelines, which is when automation comes into play. Finally, data engineers use parallel and cloud computing to keep pipelines flowing smoothly.

Processing data

Connect the dots

Scheduling data

Schedules

One or the other

Parallel computing

Whenever, whenever

Parallel universe

Cloud computing

Obscured by clouds

Somewhere I belong

We are the champions

Moving and processing data

Lexicon

Course Glossary: Understanding Data Engineering

2019'da veri mühendislerinin ortalama maaşı veri bilimcileri geçti. Bu nasıl oldu? Verilerindeki altını bulmak isteyen şirketler, daha madeni kurmadan bunun mümkün olmadığını fark etti. Veri mühendisleri, veri bilimi için gereken temeli atar.
<br /> <br />
Bu kursta bir veri mühendisinin temel sorumluluklarını, veri bilimcilerinden nasıl ayrıldıklarını ve bir organizasyonda verinin akışını nasıl kolaylaştırdıklarını öğreneceksin. Uygulamalı egzersizler boyunca, kurgusal bir müzik yayın şirketi olan Spotflix’i takip ederek veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını anlayacaksın. Kursun sonunda, şirketindeki veri mühendislerinin ne yaptığını anlayacak, bir veri mühendisiyle rahatça sohbet edebilecek ve kendi veri mühendisi yolculuğuna başlamak için sağlam bir temele sahip olacaksın.

Videolarda canlı altyazılar bulunur; videoların sol altındaki "Show transcript" bağlantısına tıklayarak erişebilirsin.

Kurs sözlüğünü sağdaki kaynaklar bölümünde bulabilirsin.

CPE kredileri almak için kursu tamamlaman ve nitelikli değerlendirmede %70 puana ulaşman gerekir. Sağdaki CPE kredileri duyurusuna tıklayarak değerlendirmeye gidebilirsin.

<h2> Veri Mühendisliğinin Temellerini Anlamak </h2>
<br>
Bu kursta, veri mühendislerinin temel sorumluluklarını, veri bilimcilerinden ne kadar farklı olduklarını ve bir kuruluş içinde veri akışını nasıl kolaylaştırdıklarını öğreneceksiniz. Uygulamalı alıştırmalar aracılığıyla, hayali bir müzik akışı şirketi olan Spotflix’i takip ederek, veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını öğreneceksiniz. 
<br><br>
<h2> Kişisel Durumlarda Uygulama</h2>
<br>
Kursun sonunda, şirketinizdeki veri mühendislerinin ne iş yaptığını anlayacak, bir veri mühendisiyle sohbet edebilecek duruma gelecek ve kendi veri mühendisliği yolculuğunuza başlamak için sağlam bir temele sahip olacaksınız.

Veri mühendislerinin veri bilimi için nasıl zemin hazırladığını keşfedin. Kodlama gerekmez!

Veri Mühendisliğini Anlamak

Veri mühendislerinin veri bilimini mümkün kılan temelleri nasıl attığını keşfedin. Kodlama gerektirmez!

Yardımcı Veri Mühendisi SQL içinde

Veri Analisti Databricks'te

Veri Konularını Anlama

Veritabanlarını kullanan kişilerin yanlışlıkla müzik videolarını silememesini sağla.

Dinleme oturumları verisini, minimum hazırlıkla analiz edilebilecek şekilde sağla.

Albüm kapaklarını toplayıp depolayan bir veri hattı (pipeline) kurmak için Java kullan.

Hangi müşterilerin Spotflix aboneliklerini sonlandırma olasılığının yüksek olduğunu belirle ki pazarlama onları hedefleyip yenilemeye teşvik edebilsin.

Belirli sanatçıların hangi ülkelerde popüler olduğunu bulup nerede turne yapacaklarına dair içgörü sağla.

Kullanıcıların Spotflix masaüstü uygulamasında arama çubuğunu sol üstte mi yoksa sağ üstte mi tercih ettiğini analiz etmek için Python kullan.

Kim yapar?

Veri Mühendisliğini Anlamak

Uygulamalı interaktif egzersiz