In diesem ersten Kapitel tauchst du in die Welt des Data Engineering ein! Schau dir mal die Unterschiede zwischen einem Dateningenieur und einem Datenwissenschaftler an, verschaff dir einen Überblick über die verschiedenen Tools, die Dateningenieure nutzen, und lerne besser, wie Cloud-Technologie beim Datenengineering eine Rolle spielt. 

Was ist Data Engineering?

Aufgaben des Dateningenieurs

Dateningenieur oder Datenwissenschaftler?

Probleme beim Datenengineering

Werkzeuge des Dateningenieurs

Arten von Datenbanken

Aufgaben bearbeiten

Planungstools

Cloud-Anbieter

Warum Cloud Computing?

Große Namen in Cloud Computing

Cloud-Dienste

Einführung in das Data Engineering

Jetzt, wo du die wichtigsten Unterschiede zwischen einem Dateningenieur und einem Datenwissenschaftler kennst, kannst du dich auf die Toolbox des Dateningenieurs freuen! Erfahre mehr über die verschiedenen Arten von Datenbanken, die Dateningenieure nutzen, warum Parallel Computing ein wichtiger Teil ihres Werkzeugkastens ist und wie man Datenverarbeitungsaufgaben mit Hilfe von Scheduling-Frameworks plant.

Datenbanken

SQL vs. nosql

Im Datenbankschema

Beziehungen knüpfen

Sternschema-Diagramm

Was ist Parallel Computing?

Warum Parallel Computing?

Von der Aufgabe zu den Teilaufgaben

Verwendung eines DataFrame

Parallele Rechenumgebungen

Spark, Hadoop und Hive

Eine PySpark-Gruppierung

PySpark-Dateien ausführen

Workflow-Planungs-Frameworks

Airflow, Luigi und Cron

Airflow-DAGs

Toolbox für Datenverarbeitung

Nachdem wir uns mit den Tools der Dateningenieure beschäftigt haben, ist es jetzt an der Zeit, uns mit den grundlegenden Arbeitsabläufen eines Dateningenieurs zu beschäftigen! Mit ETL lernst du, wie du Rohdaten aus verschiedenen Quellen extrahierst, diese Rohdaten in verwertbare Erkenntnisse umwandelst und sie in relevante Datenbanken lädst, wo sie dann genutzt werden können! 

Extrahieren

Datenquellen

Von einer API holen

Aus einer Datenbank lesen

Transformieren

Aufteilung der Miete

Mach dich bereit für Veränderungen

Mit Bewertungen verbinden

Laden

OLAP oder OLTP

In eine Datei schreiben

In Postgres laden

Kombination verschiedener Optionen

Definition eines DAG

Einrichten von Airflow

Die DAG verstehen

Extrahieren, Transformieren und Laden (ETL)

Schließ die letzten drei Kapitel ab, indem du einen echten Anwendungsfall für Data Engineering von DataCamp machst! Du wirst einen ETL-Prozess durchführen und planen, der rohe Kursbewertungsdaten in nützliche Kursempfehlungen für DataCamp-Studenten umwandelt! 

Kursbewertungen

Das Schema erkunden

Abfrage der Tabelle

Durchschnittliche Bewertung pro Kurs

Von Bewertungen bis zu Empfehlungen

Beschädigte Daten rausfiltern

Die Empfehlungstransformation nutzen

Tägliche Aufgaben planen

Die Zieltabelle

Definition der DAG

Aktiviere die DAG

Die Empfehlungen abfragen

Glückwunsch!

Fallstudie: DataCamp

datacamp_application.sql

Hast du schon mal Leute über Dateningenieure reden hören und dich gefragt, was die eigentlich machen? Weißt du, was Dateningenieure machen, aber du bist dir nicht sicher, wie du selbst einer werden kannst? Dieser Kurs ist der perfekte Einstieg. Es geht um alles, was du wissen musst, um deine Datenverarbeitung zu optimieren. Dieser Einführungskurs gibt dir genug Hintergrundwissen, um in die Welt des Data Engineering einzutauchen. Es ist super für Leute, die in einem Unternehmen mit mehreren Datenquellen arbeiten und keine klare Vorstellung davon haben, wie sie all diese Datenquellen auf skalierbare Weise nutzen können. Sei der Erste, der diese Techniken in deinem Unternehmen einführt, und werde zum Star-Mitarbeiter des Unternehmens.

<h2>Einstieg in die Datentechnik</h2> 
Bist du neugierig auf eine Karriere in der Datentechnik, weißt aber nicht, wo du anfangen sollst? Oder möchtest du vielleicht mehr darüber erfahren, was Datentechniker/innen tun, bevor du die nächsten Schritte unternimmst? Dieser vierstündige Kurs ist eine Einführung in das Data Engineering und die wichtigsten Konzepte, Techniken und Werkzeuge, die du für deine Arbeit brauchst.
<br><br> 
<h2>Konzepte und Techniken des Data Engineering lernen</h2> 
Zunächst lernst du die Unterschiede zwischen einem Data Engineer und einem Data Scientist kennen (und wie sie zusammenarbeiten), bevor du mehr über das Handwerkszeug erfährst, insbesondere über Cloud Computing und Parallel Computing. Am Ende des zweiten Kapitels verstehst du die Anwendungen von SQL und NoSQL, die Verwendung von DataFrames und warum Parallel Computing so wichtig ist.
<br><br> 
<h2>ETL in praktischen Übungen durchführen</h2> 
Der ETL-Prozess ist das Herzstück des Arbeitsablaufs eines Dateningenieurs. Du lernst, wie Daten extrahiert, umgewandelt und geladen werden, damit sie für die Analyse und die Gewinnung von Erkenntnissen bereit sind. Am Ende des Kurses wirst du all dieses Wissen in die Praxis umsetzen, indem du selbst einen ETL-Prozess mit realen Daten durchführst und planst.
<br><br> 
Unsere Übungen und interaktiven Tests ermöglichen es dir, dein neues Wissen zu überprüfen und zu festigen, damit du es nach Erhalt deines Leistungsnachweises sicher diskutieren und anwenden kannst.
<br><br> 
Dieser Einführungskurs ist Teil eines Lernpfads für Datentechnik, der dir Wege aufzeigt, wie du dein Verständnis von Datentechnik verbessern kannst, und dir die nächsten Schritte auf dem Weg zum professionellen Datentechniker aufzeigt.

Intermediate Python

Intermediate SQL

Beginne heute mit dem ersten Schritt zum Data Engineer. Lerne Datenengineering in diesem 4-Stunden-Kurs.

Dieser kurze Kurs führt dich in Data Engineering ein und stellt wichtige Tools und Themen wie ETL und Cloud-Computing vor. 

Laden

Create Your Free Account