In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

What is data engineering?

Tasks of the data engineer

Data engineer or data scientist?

Data engineering problems

Tools of the data engineer

Kinds of databases

Processing tasks

Scheduling tools

Cloud providers

Why cloud computing?

Big players in cloud computing

Cloud services

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Veritabanları

Eşleştirmeler

NoSQL

SQL vs NoSQL

Veritabanı şeması

İlişkiler üzerinden join

Yıldız şeması diyagramı

Paralel hesaplama nedir

Neden paralel hesaplama?

Görevden alt görevlere

Bir DataFrame Kullanma

Paralel hesaplama çerçeveleri

Kartlar

Hadoop

PySpark

Hive

Spark, Hadoop ve Hive

Bir PySpark groupby işlemi

PySpark dosyalarını çalıştırma

İş akışı zamanlama çerçeveleri

Airflow, Luigi ve cron

Airflow DAG'leri

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Course ratings

Exploring the schema

Querying the table

Average rating per course

From ratings to recommendations

Filter out corrupt data

Using the recommender transformation

Scheduling daily jobs

The target table

Defining the DAG

Enable the DAG

Querying the recommendations

Congratulations

Case Study: DataCamp

datacamp_application.sql

İnsanların data engineer'lardan bahsettiğini duyup tam olarak ne yaptıklarını mı merak ediyorsun? Ne yaptıklarını biliyor ama sen nasıl data engineer olacağını bilmiyor musun? Bu kurs tam sana göre bir başlangıç. Veri işleme süreçlerini nasıl hızlandıracağına dair bilmen gereken her şeye dokunuyor. Bu giriş kursu, data engineering dünyasını keşfetmeye başlaman için sana yeterli bağlamı sunacak. Birden fazla veri kaynağıyla çalışan ama tüm bu kaynakları ölçeklenebilir bir şekilde nasıl kullanacağını netleştiremeyenler için ideal. Bu teknikleri şirketine ilk sen getir ve şirketin parlayan yıldız çalışanı ol.

<h2>Veri Mühendisliğine Başlayın</h2> 
Veri mühendisliği alanında kariyer yapmayı merak ediyor ama nereden başlayacağınızı bilmiyor musunuz? Ya da belki de bir sonraki adımları atmadan önce veri mühendislerinin ne yaptıkları hakkında daha fazla bilgi edinmek istersiniz? Bu dört saatlik kurs, veri mühendisliğine giriş niteliğinde olup, bu işi yapmak için anlamanız gereken temel kavramları, teknikleri ve araçları ele almaktadır.
<br><br> 
<h2>Veri Mühendisliği Kavramlarını ve Tekniklerini Öğrenin</h2> 
Öncelikle veri mühendisi ile veri bilimcisi arasındaki farkları (ve bunların nasıl birlikte çalıştıklarını) öğrenecek, ardından bu mesleğin araçları hakkında daha fazla bilgi edinecek, özellikle bulut bilişim ve paralel bilişim hakkında konuşacaksınız. İkinci bölümün sonunda, SQL ve NoSQL uygulamalarını, DataFrames kullanımını ve paralel hesaplamanın neden bu kadar önemli olduğunu anlayacaksınız.
<br><br> 
<h2>Uygulamalı Alıştırmalarda ETL Gerçekleştirme</h2> 
ETL süreci, veri mühendisinin iş akışının temelini oluşturur. Verilerin analiz ve içgörü elde etmek için nasıl çıkarıldığını, dönüştürüldüğünü ve yüklendiğini öğreneceksiniz. Kursun sonunda, tüm bu bilgileri gerçek dünya verilerini kullanarak bir ETL sürecini kendiniz gerçekleştirip planlayarak uygulamaya koyacaksınız.
<br><br> 
Alıştırmalarımız ve interaktif testlerimiz, yeni bilgilerinizi gözden geçirmenize ve pekiştirmenize olanak tanır, böylece Başarı Belgesi'nizi aldıktan sonra bu bilgileri güvenle tartışabilir ve uygulayabilirsiniz.
<br><br> 
Bu giriş dersi, veri mühendisliği konusunda bilgilerinizi geliştirmenize ve profesyonel bir veri mühendisi olmak için atmanız gereken adımları net bir şekilde öğrenmenize olanak tanıyan veri mühendisliği programının bir parçasıdır.

Intermediate Python

Intermediate SQL

Bugün veri mühendisi olmak için ilk adımı atın. Bu dört saatlik kursta veri mühendisliğini öğrenin.

Data Engineering'e Giriş

ETL ve bulut bilişim gibi araçları ve konuları kapsayan bu kısa kursta veri mühendisliği dünyası hakkında bilgi edinin. 

Yıldız şeması diyagramı

Data Engineering'e Giriş

Uygulamalı interaktif egzersiz