I det här kapitlet får du en grundlig introduktion till komponenterna i Apache Airflow och lär dig hur och varför du bör använda dem.

Introduktion till Apache Airflow

Räkna DAG:er

Kör din första DAG

Airflow-DAG:ar

Skapa en enkel DAG

Arbeta med DAG:ar och Airflow-skalet

Utforska Airflow-kommandon

Testa en uppgift i Airflow

Airflow webgränssnitt

Navigera i Airflow-gränssnittet

Utforska DAG:ar med Airflow-gränssnittet

Dag-fel

Introduktion till Airflow

Dags att lära sig grunderna i att implementera Airflow DAG:ar. Genom praktiska övningar lär du dig att sätta upp och använda operatorer, uppgifter och schemaläggning.

Airflow-operatorer

Dekorera en uppgift

Definiera en BashOperator med @task.bash

Definiera uppgifternas ordning

Fler @tasks

Schemaläggning av DAG:er

Schemalägg en DAG via Python

Tolka Airflow-scheman

Felsökning av DAG-körningar

Skicka data mellan uppgifter med XCom

Skicka data med XCom

XCom-variabler

Airflow-sensorer

Bestämma ordningen för uppgifter

Skapa en FileSensor

Sensorisk deprivation

Bygga DAG:ar i Airflow

I det här kapitlet lär du dig hur du sparar tid med Airflow-komponenter som sensorer och exekutorer, samt hur du övervakar och felsöker Airflow-arbetsflöden.

Övervakning, aviseringar och callbacks

Implementera en callback-funktion

Implementera en SmtpNotifier

Vad finns i loggarna?

Mallhantering med Jinja

Skriva med Jinja

Byt ut och anpassa

Airflow-variabler

Svaret är en variabel

Läsa en variabel i Python

Variabler som inte riktigt stämmer

Felsökning och problemlösning i Airflow

Felsökning av DAG

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

DAG saknas

Underhåll och övervakning av Airflow-arbetsflöden

Nu samlar vi ihop allt. I det här avslutande kapitlet tillämpar du allt du har lärt dig för att bygga ett produktionsklart arbetsflöde i Airflow.

Triggers och feltolerans

Implementera en triggerregel

Lägga till återförsök

Trigga en barn-DAG

Förgreningar

Definiera en @task.branch

Felsökning av förgrening

HITL-operatorn

Lägga till mänskligt godkännande

ApprovalOperator-uppgift

Skapa en produktionspipeline

Sätta upp ETL-pipeline för försäljning

Lägga till månadsbaserad förgrening

Lägga till en manuell godkännandeport

Grattis!

Styra DAG-logik

Nu uppdaterad till Apache Airflow 3.1.6 – Att leverera data enligt ett schema kan vara en manuell och omständlig process. Du skriver skript, lägger till komplexa cron-uppgifter och testar olika lösningar för att möta krav som ständigt förändras – och det blir ännu svårare att hålla ordning när du jobbar i ett team. Apache Airflow kan ta bort den bördan genom att tillföra schemaläggning, felhantering och rapportering till dina arbetsflöden. I den här kursen lär du dig grunderna i Apache Airflow och hur du implementerar komplexa dataingenjörspipelines i produktion. Du lär dig också använda Directed Acyclic Graphs (DAG:ar), automatisera dataingenjörsarbetsflöden och genomföra dataingenjörsuppgifter på ett enkelt och repeterbart sätt – så att du kan behålla kontrollen.

Intermediate Python

Introduction to Shell

Lär dig implementera och schemalägga dataflöden med Airflow och DAGs i Python.

Introduktion till Apache Airflow i Python

Lär dig att implementera och schemalägga data engineering-arbetsflöden.

Airflow Fundamentals

Dataingenjör i Python

Byt ut och anpassa

Introduktion till Apache Airflow i Python

Interaktiv övning med praktiskt arbete