W tym rozdziale poznasz komponenty Apache Airflow i dowiesz się, jak oraz dlaczego warto z nich korzystać.

Wprowadzenie do Apache Airflow

Licznik DAG-ów

Uruchamianie pierwszego DAG-a

DAG-i w Airflow

Tworzenie prostego DAG-a

Praca z DAG-ami i powłoką Airflow

Analiza poleceń Airflow

Testowanie zadania w Airflow

Interfejs webowy Airflow

Nawigacja po interfejsie Airflow

Przeglądanie DAG-ów w interfejsie Airflow

Błędy Dag

Wprowadzenie do Airflow

Czas poznać podstawy implementacji DAG-ów w Airflow. Dzięki praktycznym ćwiczeniom nauczysz się konfigurować i wdrażać operatory, zadania i harmonogramy.

Operatory Airflow

Dekorowanie zadania

Definiowanie BashOperatora za pomocą @task.bash

Definiowanie kolejności zadań

Więcej dekoratorów @task

Planowanie DAG-ów

Harmonogramowanie DAG-a w Pythonie

Interwały harmonogramu

Rozszyfruj harmonogramy Airflow

Rozwiązywanie problemów z uruchomieniami DAG-a

Przekazywanie danych między zadaniami za pomocą XCom

Przekazywanie danych za pomocą XCom

Zmienne XCom

Sensory Airflow

Kolejność zadań w przepływie pracy

Określanie kolejności zadań

Tworzenie FileSensora

Deprywacja sensoryczna

Budowanie DAG-ów w Airflow

W tym rozdziale dowiesz się, jak oszczędzać czas dzięki komponentom Airflow, takim jak sensory i executory, a także jak monitorować przepływy pracy i rozwiązywać problemy.

Monitorowanie, alerty i wywołania zwrotne

Implementacja funkcji zwrotnej

Implementacja SmtpNotifier

Co kryją logi?

Szablony z Jinja

Szablony Jinja w praktyce

Zmiana szablonu

Zmienne Airflow

Odpowiedź to zmienna

Odczytywanie zmiennej w Pythonie

Nieprawidłowe zmienne

Debugowanie i rozwiązywanie problemów w Airflow

Rozwiązywanie problemów z DAG-iem

Zaginiony DAG

Utrzymanie i monitorowanie przepływów pracy w Airflow

Czas połączyć wszystko w całość. W tym ostatnim rozdziale zastosujesz zdobytą wiedzę, żeby zbudować produkcyjny przepływ pracy w Airflow.

Wyzwalacze i odporność na błędy

Implementacja reguły wyzwalania

Dodawanie ponownych prób

Wyzwalanie podrzędnego DAGa

Rozgałęzianie

Definiowanie @task.branch

Rozwiązywanie problemów z rozgałęzianiem

Operator HITL

Dodawanie ludzkiego zatwierdzenia

Zadanie ApprovalOperator

Tworzenie potoku produkcyjnego

Konfigurowanie potoku ETL dla działu sprzedaży

Dodawanie miesięcznego rozgałęzienia

Dodawanie bramki zatwierdzenia przez człowieka

Gratulacje!

Sterowanie logiką DAG-ów

Zaktualizowano do Apache Airflow 3.1.6 – dostarczanie danych według harmonogramu bywa żmudnym zadaniem. Piszesz skrypty, konfigurujesz skomplikowane zadania cron i próbujesz różnych sposobów, żeby sprostać ciągle zmieniającym się wymaganiom – a zarządzanie tym wszystkim w zespole to jeszcze większe wyzwanie. Apache Airflow eliminuje ten problem, dodając do twoich przepływów pracy harmonogramowanie, obsługę błędów i raportowanie. W tym kursie opanujesz podstawy Apache Airflow i nauczysz się budować złożone potoki inżynierii danych gotowe do wdrożenia produkcyjnego. Dowiesz się też, jak korzystać z grafów acyklicznych (DAG-ów), automatyzować przepływy pracy związane z inżynierią danych i realizować zadania w prosty, powtarzalny sposób – tak, żeby zachować porządek i kontrolę.

Intermediate Python

Introduction to Shell

Ucz się wdrażać i planować przepływy danych z Airflow, obsługą błędów i raportowaniem w Pythonie.

Wprowadzenie do Apache Airflow w Pythonie

Naucz się wdrażać i planować harmonogramy przepływów pracy inżynierii danych.

Airflow Fundamentals

Inżynier danych w Pythonie

Zmienne XCom

Wprowadzenie do Apache Airflow w Pythonie

Interaktywne ćwiczenie praktyczne