In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Dag errors

Intro to Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Operator di Airflow

Decorare un task

Definire un BashOperator con @task.bash

Definisci l'ordine dei task

Ancora @tasks

Pianificare i Dag

Pianifica un Dag tramite Python

Intervalli di pianificazione

Decifrare le schedulazioni di Airflow

Risoluzione dei problemi delle esecuzioni del Dag

Passare dati tra task con XCom

Passare dati con XCom

Variabili XCom

Sensori di Airflow

Ordinamento dei task del workflow

Determinare l'ordine dei task

Creare un FileSensor

Privazione sensoriale

Building Dags in Airflow

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Monitoring, Alerting, and Callbacks

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

Missing Dag

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Controlling Dag Logic

Ora aggiornato ad Apache Airflow 3.1.6 - Consegnare dati su base programmata può essere un processo manuale. Scrivi script, aggiungi complicati task cron e provi varie soluzioni per soddisfare requisiti in continua evoluzione — e gestire tutto è ancora più difficile quando lavori in team. Apache Airflow può eliminare questo problema aggiungendo pianificazione, gestione degli errori e reportistica ai tuoi workflow. In questo corso, imparerai le basi di Apache Airflow e come implementare in produzione pipeline di data engineering complesse. Imparerai anche a usare i Directed Acyclic Graphs (DAG), ad automatizzare i workflow di data engineering e a implementare task di data engineering in modo semplice e ripetibile — aiutandoti a mantenere la sanità mentale.

Intermediate Python

Introduction to Shell

Impara a gestire flussi di lavoro dati con Airflow e DAGs in Python, includendo pianificazione e report.

Introduzione ad Apache Airflow in Python

Scopri come mettere in pratica e pianificare i flussi di lavoro di ingegneria dei dati.

Ingegnere dei dati in Python

Variabili XCom

Introduzione ad Apache Airflow in Python

esercizio interattivo pratico