In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

Was ist Data Engineering?

Aufgaben des Dateningenieurs

Aufgaben

Dateningenieure

Data Scientist

Dateningenieur oder Data Scientist?

Probleme beim Data Engineering

Tools des Dateningenieurs

Arten von Datenbanken

Aufgaben verarbeiten

Planungstools

Cloud-Anbieter

Warum Cloud Computing?

Cloud-Dienstleister

Die Big Player im Cloud Computing

Service

Speicherung

Berechnung

Datenbank

Cloud-Dienste

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Databases

SQL vs NoSQL

The database schema

Joining on relations

Star schema diagram

What is parallel computing

Why parallel computing?

From task to subtasks

Using a DataFrame

Parallel computation frameworks

Spark, Hadoop and Hive

A PySpark groupby

Running PySpark files

Workflow scheduling frameworks

Airflow, Luigi and cron

Airflow DAGs

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Course ratings

Exploring the schema

Querying the table

Average rating per course

From ratings to recommendations

Filter out corrupt data

Using the recommender transformation

Scheduling daily jobs

The target table

Defining the DAG

Enable the DAG

Querying the recommendations

Congratulations

Case Study: DataCamp

datacamp_application.sql

Hast du schon mal Leute über Dateningenieure reden hören und dich gefragt, was ihre Arbeit eigentlich genau beinhaltet? Weißt du, was Dateningenieure machen, aber du bist dir nicht sicher, wie du selbst einer werden kannst? Dieser Kurs ist der perfekte Einstieg. Es geht um alles, was du wissen musst, um deine Datenverarbeitung zu optimieren. Dieser Einführungskurs gibt dir genug Hintergrundwissen, um in die Welt des Data Engineering einzutauchen. Es ist besonders geeignet für diejenigen, die in einem Unternehmen mit mehreren Datenquellen arbeiten und keine klare Vorstellung davon haben, wie sie all diese auf skalierbare Weise nutzen können. Werde Pionier in deinem Unternehmen bei der Einführung dieser Technologien.

<h2>Einstieg in die Datentechnik</h2> 
Bist du neugierig auf eine Karriere in der Datentechnik, weißt aber nicht, wo du anfangen sollst? Oder möchtest du vielleicht mehr darüber erfahren, was Datentechniker/innen tun, bevor du die nächsten Schritte unternimmst? Dieser vierstündige Kurs ist eine Einführung in das Data Engineering und die wichtigsten Konzepte, Techniken und Werkzeuge, die du für deine Arbeit brauchst.
<br><br> 
<h2>Konzepte und Techniken des Data Engineering lernen</h2> 
Zunächst lernst du die Unterschiede zwischen einem Data Engineer und einem Data Scientist kennen (und wie sie zusammenarbeiten), bevor du mehr über das Handwerkszeug erfährst, insbesondere über Cloud Computing und Parallel Computing. Am Ende des zweiten Kapitels verstehst du die Anwendungen von SQL und NoSQL, die Verwendung von DataFrames und warum Parallel Computing so wichtig ist.
<br><br> 
<h2>ETL in praktischen Übungen durchführen</h2> 
Der ETL-Prozess ist das Herzstück des Arbeitsablaufs eines Dateningenieurs. Du lernst, wie Daten extrahiert, umgewandelt und geladen werden, damit sie für die Analyse und die Gewinnung von Erkenntnissen bereit sind. Am Ende des Kurses wirst du all dieses Wissen in die Praxis umsetzen, indem du selbst einen ETL-Prozess mit realen Daten durchführst und planst.
<br><br> 
Unsere Übungen und interaktiven Tests ermöglichen es dir, dein neues Wissen zu überprüfen und zu festigen, damit du es nach Erhalt deines Leistungsnachweises sicher diskutieren und anwenden kannst.
<br><br> 
Dieser Einführungskurs ist Teil eines Lernpfads für Datentechnik, der dir Wege aufzeigt, wie du dein Verständnis von Datentechnik verbessern kannst, und dir die nächsten Schritte auf dem Weg zum professionellen Datentechniker aufzeigt.

Intermediate Python

Intermediate SQL

Beginne heute mit dem ersten Schritt zum Data Engineer. Lerne Datenengineering in diesem 4-Stunden-Kurs.

Einführung in das Data Engineering

In diesem Kurzkurs lernst du die Welt des Data Engineering kennen und erfährst alles über Tools und Themen wie ETL und Cloud Computing. 

Warum Cloud Computing?

Einführung in das Data Engineering

Interaktive Übung