In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introductie tot Apache Airflow

Een taak testen in Airflow

Airflow-commando's verkennen

Airflow-DAG's

Een eenvoudige DAG definiëren

Werken met DAGs en de Airflow-shell

from airflow import DAG

default_args = {
  'owner': 'jdoe',
  'start_date': '2023-01-01'
}
with DAG("etl_update",
         default_args=default_args
        ):
    pass

____

default_args = {
  'owner': 'jdoe',
  'email': 'jdoe@datacamp.com'
}
with DAG( 'refresh_data', 
          default_args=default_args 
        ):
    pass

from airflow import DAG

default_args = {
  'owner': 'jdoe',
  'email': 'jdoe@datacamp.com'
}
with DAG( 'refresh_data', 
          default_args=default_args 
        ):
    pass

Problemen oplossen bij het maken van een DAG

Airflow-webinterface

De Airflow-webserver starten

Navigeren door de Airflow-UI

DAG's onderzoeken met de Airflow-UI

Intro to Airflow

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

Implementing Airflow DAGs

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Branching

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

Building production pipelines in Airflow

Nu geüpdatet naar Apache Airflow 2.7 - Gegevens volgens een planning leveren kan een handmatig proces zijn. Je schrijft scripts, voegt complexe cron-taken toe en probeert op allerlei manieren te voldoen aan steeds veranderende eisen—en het wordt nóg lastiger om alles te beheren wanneer je met teamgenoten werkt. Apache Airflow haalt deze zorg weg door planning, foutafhandeling en rapportage aan je workflows toe te voegen. In deze cursus leer je de basis van Apache Airflow en hoe je complexe data-engineeringpijplijnen in productie implementeert. Je leert ook hoe je Directed Acyclic Graphs (DAG's) gebruikt, data-engineeringworkflows automatiseert en data-engineeringtaken op een eenvoudige en herhaalbare manier uitvoert—zodat je het overzicht behoudt.

Intermediate Python

Introduction to Shell

Leer workflows voor data-engineering te plannen met Airflow en Python voor planning en foutafhandeling.

Introductie tot Apache Airflow in Python

Leer hoe u data-engineeringworkflows implementeert en plant.

Data-engineer in Python

Navigeren door de Airflow-UI

Introductie tot Apache Airflow in Python

Praktische interactieve oefening