In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Dag errors

Intro to Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Operadores do Airflow

Decorando uma tarefa

Definindo um BashOperator com @task.bash

Definir a ordem das tarefas

Mais @tasks

Agendando Dags

Agende um Dag via Python

Intervalos de agendamento

Decifrando agendas no Airflow

Solucionando problemas em execuções de Dag

Passando dados entre tarefas com XCom

Passando dados com XCom

Variáveis XCom

Sensores do Airflow

Ordenação de tarefas do workflow

Determinando a ordem das tarefas

Criando um FileSensor

Privação Sensorial

Building Dags in Airflow

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Monitoring, Alerting, and Callbacks

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

Missing Dag

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Controlling Dag Logic

Agora atualizado para o Apache Airflow 3.1.6 — Entregar dados em uma programação pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias formas de atender a um conjunto de requisitos em constante mudança — e gerenciar tudo isso fica ainda mais difícil quando se trabalha em equipe. O Apache Airflow pode eliminar essa dor de cabeça ao adicionar agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você vai dominar o básico do Apache Airflow e aprender a implementar pipelines complexos de engenharia de dados em produção. Você também vai aprender a usar Grafos Acíclicos Direcionados (Dags), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma simples e repetível — ajudando você a manter a sanidade.

Intermediate Python

Introduction to Shell

Aprenda a implementar e agendar fluxos de engenharia de dados com Airflow e DAGs em Python.

Passando dados entre tarefas com XCom

Create Your Free Account