I det här kapitlet får du en grundlig introduktion till komponenterna i Apache Airflow och lär dig hur och varför du bör använda dem.

Introduktion till Apache Airflow

Räkna DAG:er

Kör din första DAG

Airflow-DAG:ar

Skapa en enkel DAG

Arbeta med DAG:ar och Airflow-skalet

Utforska Airflow-kommandon

Testa en uppgift i Airflow

Airflow webgränssnitt

Navigera i Airflow-gränssnittet

Utforska DAG:ar med Airflow-gränssnittet

Dag-fel

Introduktion till Airflow

Dags att lära sig grunderna i att implementera Airflow DAG:ar. Genom praktiska övningar lär du dig att sätta upp och använda operatorer, uppgifter och schemaläggning.

Airflow-operatorer

Dekorera en uppgift

Definiera en BashOperator med @task.bash

Definiera uppgifternas ordning

Fler @tasks

Schemaläggning av DAG:er

Schemalägg en DAG via Python

Schemaläggningsintervall

Tolka Airflow-scheman

Felsökning av DAG-körningar

Skicka data mellan uppgifter med XCom

Skicka data med XCom

XCom-variabler

Airflow-sensorer

Ordning för arbetsflödesuppgifter

Bestämma ordningen för uppgifter

Skapa en FileSensor

Sensorisk deprivation

Bygga DAG:ar i Airflow

I det här kapitlet lär du dig hur du sparar tid med Airflow-komponenter som sensorer och exekutorer, samt hur du övervakar och felsöker Airflow-arbetsflöden.

Övervakning, aviseringar och callbacks

Implementera en callback-funktion

Implementera en SmtpNotifier

Vad finns i loggarna?

Mallhantering med Jinja

Skriva med Jinja

Byt ut och anpassa

Airflow-variabler

Svaret är en variabel

Läsa en variabel i Python

Variabler som inte riktigt stämmer

Felsökning och problemlösning i Airflow

Felsökning av DAG

DAG saknas

Underhåll och övervakning av Airflow-arbetsflöden

Nu samlar vi ihop allt. I det här avslutande kapitlet tillämpar du allt du har lärt dig för att bygga ett produktionsklart arbetsflöde i Airflow.

Triggers och feltolerans

Implementera en triggerregel

Lägga till återförsök

Trigga en barn-DAG

Förgreningar

Definiera en @task.branch

Felsökning av förgrening

HITL-operatorn

Lägga till mänskligt godkännande

ApprovalOperator-uppgift

Skapa en produktionspipeline

Sätta upp ETL-pipeline för försäljning

Lägga till månadsbaserad förgrening

Lägga till en manuell godkännandeport

Grattis!

Styra DAG-logik

Nu uppdaterad till Apache Airflow 3.1.6 – Att leverera data enligt ett schema kan vara en manuell och omständlig process. Du skriver skript, lägger till komplexa cron-uppgifter och testar olika lösningar för att möta krav som ständigt förändras – och det blir ännu svårare att hålla ordning när du jobbar i ett team. Apache Airflow kan ta bort den bördan genom att tillföra schemaläggning, felhantering och rapportering till dina arbetsflöden. I den här kursen lär du dig grunderna i Apache Airflow och hur du implementerar komplexa dataingenjörspipelines i produktion. Du lär dig också använda Directed Acyclic Graphs (DAG:ar), automatisera dataingenjörsarbetsflöden och genomföra dataingenjörsuppgifter på ett enkelt och repeterbart sätt – så att du kan behålla kontrollen.

Intermediate Python

Introduction to Shell

Lär dig implementera och schemalägga dataflöden med Airflow och DAGs i Python.

Introduktion till Apache Airflow i Python

Lär dig att implementera och schemalägga data engineering-arbetsflöden.

Airflow Fundamentals

Dataingenjör i Python

XCom-variabler

Introduktion till Apache Airflow i Python

Interaktiv övning med praktiskt arbete