In diesem Kapitel erfährst du, was Data Engineering ist und warum die Nachfrage danach steigt. Du lernst, Data Engineering in den Data-Science-Lifecycle einzuordnen und Data Engineers von Data Scientists zu unterscheiden. Außerdem bekommst du eine Einführung in deine erste vollständige Datenpipeline.

Data Engineering und Big Data

Alles im Fluss

Wer ist zuständig?

Big Data

Data Engineers vs. Data Scientists

Wahr oder falsch?

Um wen geht’s?

Die Datenpipeline

Stimmt das?

Pipeline

Was ist Data Engineering?

Nun geht es um das Thema Datenspeicherung – eine der Hauptaufgaben von Data Engineers. In diesem Kapitel erfährst du, wie Data Engineers verschiedene Datenstrukturen verwalten, wie sie mithilfe von SQL arbeiten (die bevorzugte Programmiersprache zum Abfragen und Speichern von Daten) und wie sie geeignete Datenspeicherlösungen mit Data Lakes und Data Warehouses implementieren.

Datenstrukturen

Gut strukturiert

Optionen

Strukturiert

Semistrukturiert

Unstrukturiert

Was ist der Unterschied?

SQL-Datenbanken

Sprachgewandt

Spalten

Data Engineers

Data Scientists

Profi ist nicht gleich Profi

Data Warehouses und Data Lakes

Der Wahrheit auf der Spur

Data Lake

Data Warehouse

Lake oder Warehouse?

Datenspeicherung

Data Engineers erleichtern Data Scientists die Arbeit, indem sie die Rohdaten in verschiedenen Schritten mit unterschiedlichen Verarbeitungstechniken für die Analyse vorbereiten. Diese Schritte müssen kombiniert werden, um Pipelines zu erstellen. Hier kommt die Automatisierung ins Spiel. Und schließlich nutzen Data Engineers die parallele Datenverarbeitung und Cloud-Computing, um den reibungslosen Datenfluss in den Pipelines zu gewährleisten.

Datenverarbeitung

Drei Arten von Datenoperationen

Datenterminierung

Zeitpläne

Batch oder Stream?

Parallele Datenverarbeitung

Allzeit bereit

Paralleluniversum

Cloud-Computing

In den Wolken

Wie gut ist der Service?

Glückwunsch!

Datenfluss und Datenverarbeitung

Lexicon

Im Jahr 2019 überholte das Durchschnittsgehalt von Data Engineers das von Data Scientists. Wie ist das passiert? Unternehmen erkannten, dass sie ohne eine sprichwörtliche Mine auch kein Gold in Daten finden würden. Data Engineers sind quasi die Bergleute, die mit ihrer Arbeit Data Science überhaupt erst ermöglichen.
<br /> <br />
In diesem Kurs lernst du, wie sich Data Engineers von Data Scientists unterscheiden, was ihre Hauptaufgaben sind und wie sie den Datenfluss im Unternehmen erleichtern. In praktischen Übungen folgst du Spotflix, einem fiktiven Musikstreaming-Unternehmen, und erfährst, wie dessen Data Engineers ihre Daten sammeln, bereinigen und katalogisieren. Am Ende des Kurses verstehst du, was Data Engineers im Unternehmen tun und wie du am besten mit ihnen kommunizierst. Außerdem verfügst du über eine solide Grundlage, um selbst eine Karriere als Data Engineer zu beginnen.


<h2> Verstehe die Grundlagen der Datentechnik </h2>
<br>
In diesem Kurs erfährst du, was die Hauptaufgaben eines Data Engineers sind, wie sie sich von Data Scientists unterscheiden und wie sie den Datenfluss in einem Unternehmen erleichtern. In praktischen Übungen folgst du Spotflix, einem fiktiven Musikstreaming-Unternehmen, und erfährst, wie die Data Engineers ihre Daten sammeln, bereinigen und katalogisieren. 
<br><br>
<h2> In persönlichen Fällen anwenden</h2>
<br>
Am Ende des Kurses wirst du verstehen, was die Data Engineers deines Unternehmens tun, du wirst bereit sein, ein Gespräch mit einem Data Engineer zu führen, und du hast eine solide Grundlage, um deine eigene Reise als Data Engineer zu beginnen.

Entdecken Sie, wie Dateningenieure die Grundlage für Data Science schaffen. Kein Programmieren nötig!

Data Engineering verstehen

Entdecken Sie, wie Dateningenieure die Grundlage für Data Science schaffen. Kein Programmieren erforderlich!

Associate Data Engineer in SQL

Daten verstehen Themen

Erstellen einer neuen Tabelle zum Speichern der Songs, die die Nutzer im letzten Jahr am meisten gehört haben

Aktualisieren der Tabelle eines Künstlers, nachdem er seine Biografie bearbeitet hat

Ändern der gesamten Tabelle mit Songs, um versehentlich eingegebene Leerzeichen vor dem Titel zu entfernen

Abfragen der Topsongs des letzten Jahres, um herauszufinden, welches Genre dominiert hat

Abfragen der Tabelle mit Songtexten, um alle Songs mit „Data“ im Titel zu finden

Abfragen der Tabelle mit Künstlern, um alle Bands aus Frankreich zu finden

Profi ist nicht gleich Profi

Data Engineering verstehen

Interaktive Übung zum Anfassen