In diesem Kapitel erfährst du, was Data Engineering ist und warum die Nachfrage danach steigt. Du lernst, Data Engineering in den Data-Science-Lifecycle einzuordnen und Data Engineers von Data Scientists zu unterscheiden. Außerdem bekommst du eine Einführung in deine erste vollständige Datenpipeline.

Data Engineering und Big Data

Data-Science-Workflow

Go with the flow

Optionen

Data-Engineering-Aufgaben

Keine Data-Engineering-Aufgaben

Wer ist zuständig?

Richtig

Falsch

Big time

Data Engineers vs. Data Scientists

Tell me the truth

Data Engineer

Data Scientist

Who is it

The data pipeline

It's not true

Pipeline

Was ist Data Engineering?

Nun geht es um das Thema Datenspeicherung – eine der Hauptaufgaben von Data Engineers. In diesem Kapitel erfährst du, wie Data Engineers verschiedene Datenstrukturen verwalten, wie sie mithilfe von SQL arbeiten (die bevorzugte Programmiersprache zum Abfragen und Speichern von Daten) und wie sie geeignete Datenspeicherlösungen mit Data Lakes und Data Warehouses implementieren.

(Data) Structures

Gut strukturiert

What's the difference

SQL-Datenbanken

We can work it out

Columns

Different breeds

Data Warehouses und Data Lakes

Tell the truth

Our warehouse (in the middle of our street)

Daten speichern

Data Engineers erleichtern Data Scientists die Arbeit, indem sie die Rohdaten in verschiedenen Schritten mit unterschiedlichen Verarbeitungstechniken für die Analyse vorbereiten. Diese Schritte müssen kombiniert werden, um Pipelines zu erstellen. Hier kommt die Automatisierung ins Spiel. Und schließlich nutzen Data Engineers die parallele Datenverarbeitung und Cloud-Computing, um den reibungslosen Datenfluss in den Pipelines zu gewährleisten.

Datenverarbeitung

Connect the dots

Datenplanung

Schedules

One or the other

Parallelverarbeitung

Whenever, wherever

Parallel universe

Cloud-Computing

Obscured by clouds

Somewhere I belong

We are the champions

Datenfluss und Datenverarbeitung

Lexicon

Course Glossary: Understanding Data Engineering

Im Jahr 2019 überholte das Durchschnittsgehalt von Data Engineers das von Data Scientists. Wie ist das passiert? Unternehmen erkannten, dass sie ohne eine sprichwörtliche Mine auch kein Gold in Daten finden würden. Data Engineers sind quasi die Bergleute, die mit ihrer Arbeit Data Science überhaupt erst ermöglichen.
<br /> <br />
In diesem Kurs lernst du, wie sich Data Engineers von Data Scientists unterscheiden, was ihre Hauptaufgaben sind und wie sie den Datenfluss im Unternehmen erleichtern. In praktischen Übungen folgst du Spotflix, einem fiktiven Musikstreaming-Unternehmen, und erfährst, wie dessen Data Engineers ihre Daten sammeln, bereinigen und katalogisieren. Am Ende des Kurses verstehst du, was Data Engineers im Unternehmen tun und wie du am besten mit ihnen kommunizierst. Außerdem verfügst du über eine solide Grundlage, um selbst eine Karriere als Data Engineer zu beginnen.

Die Videos enthalten Live-Transkripte, die du durch Klicken auf „Transkript anzeigen“ unten links in den Videos aufrufen kannst.

Das Kursglossar findest du rechts im Bereich Ressourcen.

Um CPE-Credits zu erhalten, musst du den Kurs abschließen und in der qualifizierten Bewertung mindestens 70 % erreichen. Du gelangst zum Test, indem du rechts auf den Hinweis zu den CPE-Credits klickst.

<h2> Verstehe die Grundlagen der Datentechnik </h2>
<br>
In diesem Kurs erfährst du, was die Hauptaufgaben eines Data Engineers sind, wie sie sich von Data Scientists unterscheiden und wie sie den Datenfluss in einem Unternehmen erleichtern. In praktischen Übungen folgst du Spotflix, einem fiktiven Musikstreaming-Unternehmen, und erfährst, wie die Data Engineers ihre Daten sammeln, bereinigen und katalogisieren. 
<br><br>
<h2> In persönlichen Fällen anwenden</h2>
<br>
Am Ende des Kurses wirst du verstehen, was die Data Engineers deines Unternehmens tun, du wirst bereit sein, ein Gespräch mit einem Data Engineer zu führen, und du hast eine solide Grundlage, um deine eigene Reise als Data Engineer zu beginnen.

Entdecken Sie, wie Dateningenieure die Grundlage für Data Science schaffen. Kein Programmieren nötig!

Grundlagen von Data Engineering

Hier lernst du, wie Data Engineers die Grundlagen für Data Science schaffen – ganz ohne Programmieren.

Associate Data Engineer in SQL

Datenanalyst in Databricks

Datenthemen verstehen

Sicherstellen, dass Nutzende der Datenbanken Musikvideos nicht versehentlich löschen können

Bereitstellen von Daten zum Musikkonsum, sodass sie mit minimaler Vorbereitung analysiert werden können

Einrichten einer Pipeline mit Java, die Albumcover erfasst und speichert

Herausfinden, welche Personen ihr Spotflix-Abo beenden könnten, damit das Marketing sie gezielt zur Verlängerung bewegen kann

Herausfinden, in welchen Ländern bestimmte Artists beliebt sind, damit sie dort Tourneen planen können

Mit Python analysieren, ob Nutzende die Suchleiste in der Spotflix-Desktop-App lieber oben links oder oben rechts haben

Who is it

Interaktive praktische Übung