In diesem ersten Kapitel lernst du die Welt des Data Engineering kennen! Erforsche die Unterschiede zwischen einem Data Engineer und einem Data Scientist, verschaffe dir einen Überblick über die verschiedenen Tools, die Data Engineers verwenden, und erweitere dein Verständnis dafür, welche Rolle die Cloud-Technologie beim Data Engineering spielt. 

Was ist Data Engineering?

Aufgaben des Dateningenieurs

Dateningenieur oder Datenwissenschaftler?

Datentechnische Probleme

Werkzeuge des Dateningenieurs

Arten von Datenbanken

Aufgaben bearbeiten

Planungstools

Cloud-Anbieter

Warum Cloud Computing?

Große Akteure im Cloud Computing

Cloud-Dienste

Einführung in die Datentechnik

Jetzt, wo du die wichtigsten Unterschiede zwischen einem Data Engineer und einem Data Scientist kennst, kannst du den Werkzeugkasten des Data Engineers erkunden! Erfahre im Detail, welche Arten von Datenbanken Dateningenieure nutzen, wie paralleles Rechnen ein Eckpfeiler des Werkzeugkastens von Dateningenieuren ist und wie man Datenverarbeitungsaufträge mit Hilfe von Scheduling Frameworks plant.

Datenbanken

SQL vs. NoSQL

Das Datenbankschema

Verbindung über Beziehungen

Sternschema-Diagramm

Was ist paralleles Rechnen?

Warum paralleles Rechnen?

Von der Aufgabe zu den Teilaufgaben

Einen DataFrame verwenden

Rahmenwerke für parallele Berechnungen

Spark, Hadoop und Hive

Ein PySpark-Groupby

PySpark-Dateien ausführen

Rahmenwerke für die Workflow-Planung

Airflow, Luigi und cron

Airflow DAGs

Werkzeugkasten für Datentechnik

Nachdem du den Werkzeugkasten der Dateningenieure kennengelernt hast, ist es nun an der Zeit, dich mit dem Brot und Butter des Arbeitsablaufs eines Dateningenieurs zu beschäftigen! Mit ETL lernst du, wie du Rohdaten aus verschiedenen Quellen extrahierst, diese Rohdaten in verwertbare Erkenntnisse umwandelst und sie in relevante Datenbanken lädst, damit sie verbraucht werden können! 

Extrahieren

Datenquellen

Abrufen von einer API

Aus einer Datenbank lesen

Transformieren

Aufteilung des Mietpreises

Vorbereitungen für Transformationen

Verbinden mit Bewertungen

Laden

OLAP oder OLTP

Schreiben in eine Datei

In Postgres laden

Alles zusammenfügen

Definieren einer DAG

Airflow einrichten

Interpretation der DAG

Extrahieren, Transformieren und Laden (ETL)

Schließe alles ab, was du in den drei vorangegangenen Kapiteln gelernt hast, indem du einen realen Data-Engineering-Anwendungsfall aus dem DataCamp bearbeitest! Du führst einen ETL-Prozess durch und planst ihn, der Rohdaten zur Kursbewertung in umsetzbare Kursempfehlungen für DataCamp-Schüler/innen umwandelt! 

Kursbewertungen

Erkundung des Schemas

Abfrage der Tabelle

Durchschnittliche Bewertung pro Kurs

Von Bewertungen zu Empfehlungen

Korrupte Daten herausfiltern

Verwendung der Empfehlungsumwandlung

Tägliche Aufgaben planen

Die Zieltabelle

Definieren der DAG

Aktiviere die DAG

Abfrage der Empfehlungen

Glückwunsch!

Fallstudie: DataCamp

datacamp_application.sql

Hast du schon einmal gehört, dass Leute über Dateningenieure sprechen und dich gefragt, was sie eigentlich tun? Du weißt, was Datentechniker/innen machen, aber du bist dir nicht sicher, wie du selbst einer werden kannst? Dieser Kurs ist der perfekte Einstieg. Es geht um alles, was du wissen musst, um deine Datenverarbeitung zu optimieren. Dieser Einführungskurs gibt dir genug Kontext, um die Welt des Data Engineering zu erkunden. Es ist perfekt für Leute, die in einem Unternehmen mit mehreren Datenquellen arbeiten und keine klare Vorstellung davon haben, wie sie all diese Datenquellen auf skalierbare Weise nutzen können. Sei der/die Erste, der/die diese Techniken in deinem Unternehmen einführt und werde der/die Star-Mitarbeiter/in des Unternehmens.

<h2>Einstieg in die Datentechnik</h2> 
Bist du neugierig auf eine Karriere in der Datentechnik, weißt aber nicht, wo du anfangen sollst? Oder möchtest du vielleicht mehr darüber erfahren, was Datentechniker/innen tun, bevor du die nächsten Schritte unternimmst? Dieser vierstündige Kurs ist eine Einführung in das Data Engineering und die wichtigsten Konzepte, Techniken und Werkzeuge, die du für deine Arbeit brauchst.
<br><br> 
<h2>Konzepte und Techniken des Data Engineering lernen</h2> 
Zunächst lernst du die Unterschiede zwischen einem Data Engineer und einem Data Scientist kennen (und wie sie zusammenarbeiten), bevor du mehr über das Handwerkszeug erfährst, insbesondere über Cloud Computing und Parallel Computing. Am Ende des zweiten Kapitels verstehst du die Anwendungen von SQL und NoSQL, die Verwendung von DataFrames und warum Parallel Computing so wichtig ist.
<br><br> 
<h2>ETL in praktischen Übungen durchführen</h2> 
Der ETL-Prozess ist das Herzstück des Arbeitsablaufs eines Dateningenieurs. Du lernst, wie Daten extrahiert, umgewandelt und geladen werden, damit sie für die Analyse und die Gewinnung von Erkenntnissen bereit sind. Am Ende des Kurses wirst du all dieses Wissen in die Praxis umsetzen, indem du selbst einen ETL-Prozess mit realen Daten durchführst und planst.
<br><br> 
Unsere Übungen und interaktiven Tests ermöglichen es dir, dein neues Wissen zu überprüfen und zu festigen, damit du es nach Erhalt deines Leistungsnachweises sicher diskutieren und anwenden kannst.
<br><br> 
Dieser Einführungskurs ist Teil eines Lernpfads für Datentechnik, der dir Wege aufzeigt, wie du dein Verständnis von Datentechnik verbessern kannst, und dir die nächsten Schritte auf dem Weg zum professionellen Datentechniker aufzeigt.

Intermediate Python

Intermediate SQL

Beginne heute mit dem ersten Schritt zum Data Engineer. Lerne Datenengineering in diesem 4-Stunden-Kurs.

In diesem Kurzkurs lernst du die Welt des Data Engineering kennen und erfährst alles über Tools und Themen wie ETL und Cloud Computing. 