En este capítulo, tendrás una introducción completa a los componentes de Apache Airflow y aprenderás cómo y por qué deberías usarlos.

Introducción a Apache Airflow

Contador de Dags

Ejecuta tu primer Dag

DAGs de Airflow

Crear un Dag sencillo

Trabajar con Dags y la consola de Airflow

Examina los comandos de Airflow

Probar una tarea en Airflow

Interfaz web de Airflow

Cómo moverte por la interfaz de Airflow

Examinar Dags con la interfaz de Airflow

Errores de Dag

Introducción a Airflow

¿Qué tal, DAG? Ahora toca aprender lo básico para implementar DAGs de Airflow. Con actividades prácticas, aprenderás a configurar y desplegar operadores, tareas y programación.

Operadores de Airflow

Decorar una tarea

Definir un BashOperator con @task.bash

Definir el orden de las tareas

Más @tasks

Programar Dags

Programa un Dag desde Python

Intervalos de planificación

Descifrando las planificaciones de Airflow

Solución de problemas en ejecuciones de Dags

Pasar datos entre tareas con XCom

Pasar datos con XCom

Variables de XCom

Sensores de Airflow

Orden de tareas del flujo de trabajo

Determinar el orden de las tareas

Crear un FileSensor

Privación sensorial

Creación de DAGs en Airflow

En este capítulo, aprenderás a ahorrarte tiempo usando componentes de Airflow como sensores y ejecutores, mientras monitorizas y resuelves problemas en flujos de trabajo de Airflow.

Supervisión, alertas y callbacks

Implementar una función de callback

Implementar un SmtpNotifier

¿Qué hay en los registros?

Plantillas con Jinja

Escritura con Jinja

Sustituyendo partes

Variables de Airflow

La respuesta es Variable

Leer una Variable en Python

Variables que no están del todo bien

Depuración y resolución de problemas en Airflow

Solución de problemas de Dags

Dag ausente

Mantenimiento y monitorización de flujos de trabajo en Airflow

Ponlo todo en práctica. En este último capítulo, aplicarás todo lo aprendido para crear un flujo de trabajo de calidad de producción en Airflow.

Triggers y tolerancia a fallos

Implementar una regla de activación (Trigger Rule)

Añadir reintentos

Lanzar un Dag hijo

Ramificación

Define un @task.branch

Solución de problemas de ramificación

El operador HITL

Añadir aprobación humana

Tarea ApprovalOperator

Crear una canalización de producción

Configuración del pipeline ETL de ventas

Añadir bifurcación mensual

Añadir una puerta de aprobación humana

¡Enhorabuena!

Control de la lógica de los DAGs

Actualizado a Apache Airflow 3.1.6 - Entregar datos con una programación fija puede ser un proceso manual. Escribes scripts, añades tareas cron complejas y pruebas distintas formas de cumplir con requisitos que cambian constantemente—y gestionar todo esto es aún más complicado cuando trabajas en equipo. Apache Airflow puede ahorrarte este quebradero de cabeza al incorporar planificación, gestión de errores e informes a tus flujos de trabajo. En este curso, dominarás lo básico de Apache Airflow y aprenderás a implementar en producción canalizaciones de ingeniería de datos complejas. También aprenderás a usar grafos acíclicos dirigidos (DAGs), a automatizar flujos de trabajo de ingeniería de datos y a implementar tareas de ingeniería de datos de forma sencilla y repetible—ayudándote a mantener la calma.

Intermediate Python

Introduction to Shell

Aprende a implementar y programar flujos de trabajo de ingeniería de datos con Airflow y DAGs en Python.

Introducción a Apache Airflow en Python

Aprende a implantar y programar flujos de trabajo de ingeniería de datos.

Ingeniero de datos en Python

Variables de XCom

Introducción a Apache Airflow en Python

ejercicio interactivo práctico