Interpretation der DAG

Nachdem du die DAG-Datei an der richtigen Stelle platziert hast, ist es an der Zeit, die Airflow Web UI auszuprobieren.

Kannst du das geplante Intervall der sample DAG finden?

Diese Übung ist Teil des Kurses

Einführung in die Datentechnik

Kurs anzeigen

Interaktive Übung

Setze die Theorie in einer unserer interaktiven Übungen in die Praxis um

Übung starten

Diese Übung ist Teil des Kurses

Einführung in die Datentechnik

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

257 reviews

Kurs kostenlos starten

In diesem ersten Kapitel lernst du die Welt des Data Engineering kennen! Erforsche die Unterschiede zwischen einem Data Engineer und einem Data Scientist, verschaffe dir einen Überblick über die verschiedenen Tools, die Data Engineers verwenden, und erweitere dein Verständnis dafür, welche Rolle die Cloud-Technologie beim Data Engineering spielt.

Exercise 1: Was ist Data Engineering?Exercise 2: Aufgaben des Dateningenieurs Exercise 3: Dateningenieur oder Datenwissenschaftler?Exercise 4: Datentechnische Probleme Exercise 5: Werkzeuge des Dateningenieurs Exercise 6: Arten von Datenbanken Exercise 7: Aufgaben bearbeiten Exercise 8: Planungstools Exercise 9: Cloud-Anbieter Exercise 10: Warum Cloud Computing?Exercise 11: Große Akteure im Cloud Computing Exercise 12: Cloud-Dienste

Jetzt, wo du die wichtigsten Unterschiede zwischen einem Data Engineer und einem Data Scientist kennst, kannst du den Werkzeugkasten des Data Engineers erkunden! Erfahre im Detail, welche Arten von Datenbanken Dateningenieure nutzen, wie paralleles Rechnen ein Eckpfeiler des Werkzeugkastens von Dateningenieuren ist und wie man Datenverarbeitungsaufträge mit Hilfe von Scheduling Frameworks plant.

Exercise 1: Datenbanken Exercise 2: SQL vs. NoSQL Exercise 3: Das Datenbankschema Exercise 4: Verbindung über Beziehungen Exercise 5: Sternschema-Diagramm Exercise 6: Was ist paralleles Rechnen?Exercise 7: Warum paralleles Rechnen?Exercise 8: Von der Aufgabe zu den Teilaufgaben Exercise 9: Einen DataFrame verwenden Exercise 10: Rahmenwerke für parallele Berechnungen Exercise 11: Spark, Hadoop und Hive Exercise 12: Ein PySpark-Groupby Exercise 13: PySpark-Dateien ausführen Exercise 14: Rahmenwerke für die Workflow-Planung Exercise 15: Airflow, Luigi und cron Exercise 16: Airflow DAGs

Nachdem du den Werkzeugkasten der Dateningenieure kennengelernt hast, ist es nun an der Zeit, dich mit dem Brot und Butter des Arbeitsablaufs eines Dateningenieurs zu beschäftigen! Mit ETL lernst du, wie du Rohdaten aus verschiedenen Quellen extrahierst, diese Rohdaten in verwertbare Erkenntnisse umwandelst und sie in relevante Datenbanken lädst, damit sie verbraucht werden können!

Exercise 1: Extrahieren Exercise 2: Datenquellen Exercise 3: Abrufen von einer API Exercise 4: Aus einer Datenbank lesen Exercise 5: Transformieren Exercise 6: Aufteilung des Mietpreises Exercise 7: Vorbereitungen für Transformationen Exercise 8: Verbinden mit Bewertungen Exercise 9: Laden Exercise 10: OLAP oder OLTP Exercise 11: Schreiben in eine Datei Exercise 12: In Postgres laden Exercise 13: Alles zusammenfügen Exercise 14: Definieren einer DAG Exercise 15: Airflow einrichten Exercise 16: Interpretation der DAG

Aktuelle Übung

Schließe alles ab, was du in den drei vorangegangenen Kapiteln gelernt hast, indem du einen realen Data-Engineering-Anwendungsfall aus dem DataCamp bearbeitest! Du führst einen ETL-Prozess durch und planst ihn, der Rohdaten zur Kursbewertung in umsetzbare Kursempfehlungen für DataCamp-Schüler/innen umwandelt!

Exercise 1: Kursbewertungen Exercise 2: Erkundung des Schemas Exercise 3: Abfrage der Tabelle Exercise 4: Durchschnittliche Bewertung pro Kurs Exercise 5: Von Bewertungen zu Empfehlungen Exercise 6: Korrupte Daten herausfiltern Exercise 7: Verwendung der Empfehlungsumwandlung Exercise 8: Tägliche Aufgaben planen Exercise 9: Die Zieltabelle Exercise 10: Definieren der DAG Exercise 11: Aktiviere die DAG Exercise 12: Abfrage der Empfehlungen Exercise 13: Glückwunsch!