In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Dag errors

Intro to Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Operadores de Airflow

Decorar una tarea

Definir un BashOperator con @task.bash

Definir el orden de las tareas

Más @tasks

Programar Dags

Programa un Dag desde Python

Intervalos de planificación

Descifrando las planificaciones de Airflow

Solución de problemas en ejecuciones de Dags

Pasar datos entre tareas con XCom

Pasar datos con XCom

Variables de XCom

Sensores de Airflow

Orden de tareas del flujo de trabajo

Determinar el orden de las tareas

Crear un FileSensor

Privación sensorial

Building Dags in Airflow

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Monitoring, Alerting, and Callbacks

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

Missing Dag

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Controlling Dag Logic

Actualizado a Apache Airflow 3.1.6 - Entregar datos con una programación fija puede ser un proceso manual. Escribes scripts, añades tareas cron complejas y pruebas distintas formas de cumplir con requisitos que cambian constantemente—y gestionar todo esto es aún más complicado cuando trabajas en equipo. Apache Airflow puede ahorrarte este quebradero de cabeza al incorporar planificación, gestión de errores e informes a tus flujos de trabajo. En este curso, dominarás lo básico de Apache Airflow y aprenderás a implementar en producción canalizaciones de ingeniería de datos complejas. También aprenderás a usar grafos acíclicos dirigidos (DAGs), a automatizar flujos de trabajo de ingeniería de datos y a implementar tareas de ingeniería de datos de forma sencilla y repetible—ayudándote a mantener la calma.

Intermediate Python

Introduction to Shell

Aprende a implementar y programar flujos de trabajo de ingeniería de datos con Airflow y DAGs en Python.

Introducción a Apache Airflow en Python

Aprende a implantar y programar flujos de trabajo de ingeniería de datos.

Ingeniero de datos en Python

Solución de problemas en ejecuciones de Dags

Introducción a Apache Airflow en Python

Ejercicio interactivo práctico