In diesem ersten Kapitel tauchst du in die Welt des Data Engineering ein! Entdecke die Unterschiede zwischen einem Dateningenieur und einem Data Scientist, verschaff dir einen Überblick über die verschiedenen Tools, die Dateningenieure nutzen, und bekomme ein besseres Verständnis dafür, welche Rolle Cloud-Technologie beim Datenengineering spielt. 

Was ist Data Engineering?

Aufgaben des Dateningenieurs

Dateningenieur oder Data Scientist?

Probleme beim Data Engineering

Tools des Dateningenieurs

Arten von Datenbanken

Aufgaben verarbeiten

Planungstools

Cloud-Anbieter

Warum Cloud Computing?

Die Big Player im Cloud Computing

Cloud-Dienste

Einführung in das Data Engineering

Jetzt, wo du die wichtigsten Unterschiede zwischen einem Dateningenieur und einem Data Scientist kennst, ist es an der Zeit, den Werkzeugkasten des Dateningenieurs zu erkunden! Erfahre mehr über die verschiedenen Arten von Datenbanken, die Dateningenieure nutzen, warum die Parallelverarbeitung ein wichtiger Teil ihres Werkzeugkastens ist und wie man Datenverarbeitungsaufgaben mit Hilfe von Scheduling-Frameworks plant.

Datenbanken

SQL vs. NoSQL

Das Datenbankschema

Auf Grundlage von Beziehungen verbinden

Sternschema-Diagramm

Was ist Parallelverarbeitung?

Warum Parallelverarbeitung?

Von der Aufgabe zu den Teilaufgaben

Einen DataFrame verwenden

Frameworks der parallelen Verarbeitung

Spark, Hadoop und Hive

Eine PySpark-Gruppierung

PySpark-Dateien ausführen

Workflow-Planungs-Frameworks

Airflow, Luigi und cron

Airflow-DAGs

Der Werkzeugkasten des Data Engineering

Nachdem wir uns mit den Tools der Dateningenieure beschäftigt haben, ist es jetzt an der Zeit, uns die grundlegenden Workflows eines Dateningenieurs anzuschauen! Mit ETL lernst du, wie du Rohdaten aus verschiedenen Quellen extrahierst, diese Rohdaten in verwertbare Erkenntnisse umwandelst und sie in relevante Datenbanken lädst, wo sie dann genutzt werden können! 

Extrahieren

Datenquellen

Aus einer API extrahieren

Aus einer Datenbank lesen

Transformieren

Die Mietkosten aufteilen

Auf Transformationen vorbereiten

Mit Bewertungen verknüpfen

Laden

OLAP oder OLTP

In eine Datei schreiben

In Postgres laden

Nun kommt alles zusammen

Einen DAG definieren

Airflow einrichten

Den DAG interpretieren

Extrahieren, Transformieren und Laden (ETL)

Wiederhole die letzten drei Kapitel, indem du einen echten Data Engineering-Anwendungsfall von DataCamp untersuchst! Du wirst einen ETL-Prozess durchführen und planen, der rohe Kursbewertungsdaten in nützliche Kursempfehlungen für DataCamp-Lernende umwandelt! 

Kursbewertungen

Das Schema erkunden

Die Tabelle abfragen

Durchschnittliche Bewertung pro Kurs

Von Bewertungen bis zu Empfehlungen

Beschädigte Daten herausfiltern

Die Empfehlungstransformation nutzen

Tägliche Aufgaben planen

Die Zieltabelle

Den DAG definieren

Den DAG aktivieren

Empfehlungen abfragen

Glückwunsch!

Fallstudie: DataCamp

datacamp_application.sql

Hast du schon mal Leute über Dateningenieure reden hören und dich gefragt, was ihre Arbeit eigentlich genau beinhaltet? Weißt du, was Dateningenieure machen, aber du bist dir nicht sicher, wie du selbst einer werden kannst? Dieser Kurs ist der perfekte Einstieg. Es geht um alles, was du wissen musst, um deine Datenverarbeitung zu optimieren. Dieser Einführungskurs gibt dir genug Hintergrundwissen, um in die Welt des Data Engineering einzutauchen. Es ist besonders geeignet für diejenigen, die in einem Unternehmen mit mehreren Datenquellen arbeiten und keine klare Vorstellung davon haben, wie sie all diese auf skalierbare Weise nutzen können. Werde Pionier in deinem Unternehmen bei der Einführung dieser Technologien.

<h2>Einstieg in die Datentechnik</h2> 
Bist du neugierig auf eine Karriere in der Datentechnik, weißt aber nicht, wo du anfangen sollst? Oder möchtest du vielleicht mehr darüber erfahren, was Datentechniker/innen tun, bevor du die nächsten Schritte unternimmst? Dieser vierstündige Kurs ist eine Einführung in das Data Engineering und die wichtigsten Konzepte, Techniken und Werkzeuge, die du für deine Arbeit brauchst.
<br><br> 
<h2>Konzepte und Techniken des Data Engineering lernen</h2> 
Zunächst lernst du die Unterschiede zwischen einem Data Engineer und einem Data Scientist kennen (und wie sie zusammenarbeiten), bevor du mehr über das Handwerkszeug erfährst, insbesondere über Cloud Computing und Parallel Computing. Am Ende des zweiten Kapitels verstehst du die Anwendungen von SQL und NoSQL, die Verwendung von DataFrames und warum Parallel Computing so wichtig ist.
<br><br> 
<h2>ETL in praktischen Übungen durchführen</h2> 
Der ETL-Prozess ist das Herzstück des Arbeitsablaufs eines Dateningenieurs. Du lernst, wie Daten extrahiert, umgewandelt und geladen werden, damit sie für die Analyse und die Gewinnung von Erkenntnissen bereit sind. Am Ende des Kurses wirst du all dieses Wissen in die Praxis umsetzen, indem du selbst einen ETL-Prozess mit realen Daten durchführst und planst.
<br><br> 
Unsere Übungen und interaktiven Tests ermöglichen es dir, dein neues Wissen zu überprüfen und zu festigen, damit du es nach Erhalt deines Leistungsnachweises sicher diskutieren und anwenden kannst.
<br><br> 
Dieser Einführungskurs ist Teil eines Lernpfads für Datentechnik, der dir Wege aufzeigt, wie du dein Verständnis von Datentechnik verbessern kannst, und dir die nächsten Schritte auf dem Weg zum professionellen Datentechniker aufzeigt.

Intermediate Python

Intermediate SQL

Beginne heute mit dem ersten Schritt zum Data Engineer. Lerne Datenengineering in diesem 4-Stunden-Kurs.

Dieser kurze Kurs führt dich in Data Engineering ein und stellt wichtige Tools und Themen wie ETL und Cloud-Computing vor. 

Laden

Create Your Free Account