Neste capítulo, você vai ter uma introdução completa aos componentes do Apache Airflow e aprender como e por que deve usá-los.

Introdução ao Apache Airflow

Contador de Dag

Executando seu primeiro Dag

DAGs do Airflow

Criando uma Dag simples

Trabalhando com Dags e o shell do Airflow

Examinando comandos do Airflow

Testando uma tarefa no Airflow

Interface web do Airflow

Navegando na interface do Airflow

Examinando Dags com a UI do Airflow

Erros de Dag

Introdução ao Airflow

E aí, Dag? Agora é hora de aprender o básico de como implementar Dags no Airflow. Com atividades práticas, você vai aprender a configurar e implantar operadores, tarefas e agendamentos.

Operadores do Airflow

Decorando uma tarefa

Definindo um BashOperator com @task.bash

Definir a ordem das tarefas

Mais @tasks

Agendando Dags

Agende um Dag via Python

Intervalos de agendamento

Decifrando agendas no Airflow

Solucionando problemas em execuções de Dag

Passando dados entre tarefas com XCom

Passando dados com XCom

Variáveis XCom

Sensores do Airflow

Ordenação de tarefas do workflow

Determinando a ordem das tarefas

Criando um FileSensor

Privação Sensorial

Construindo Dags no Airflow

Neste capítulo, você vai aprender a ganhar tempo usando componentes do Airflow como sensores e executores, enquanto monitora e soluciona problemas em fluxos de trabalho do Airflow.

Monitoramento, alertas e callbacks

Implementando uma função de callback

Implementando um SmtpNotifier

O que está nos logs?

Criação de templates com Jinja

Escrevendo com Jinja

Trocando a base

Variáveis do Airflow

A resposta é Variable

Lendo uma variável em Python

Variáveis não estão bem certas

Depuração e solução de problemas no Airflow

Solução de problemas de Dag

Dag ausente

Mantendo e monitorando fluxos de trabalho no Airflow

Junte tudo. Neste capítulo final, você vai aplicar tudo o que aprendeu para criar um fluxo de trabalho de qualidade de produção no Airflow.

Triggers e tolerância a falhas

Implementando uma Trigger Rule

Adicionando tentativas (retries)

Acionando um Dag filho

Ramificação

Defina um @task.branch

Solucionando problemas de branch

O operador HITL

Adicionando aprovação humana

Tarefa ApprovalOperator

Criando um pipeline de produção

Configurando o pipeline de ETL de vendas

Adicionando ramificação mensal

Adicionando uma etapa de aprovação humana

Parabéns!

Controlando a lógica de Dags

Agora atualizado para o Apache Airflow 3.1.6 — Entregar dados em uma programação pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias formas de atender a um conjunto de requisitos em constante mudança — e gerenciar tudo isso fica ainda mais difícil quando se trabalha em equipe. O Apache Airflow pode eliminar essa dor de cabeça ao adicionar agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você vai dominar o básico do Apache Airflow e aprender a implementar pipelines complexos de engenharia de dados em produção. Você também vai aprender a usar Grafos Acíclicos Direcionados (Dags), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma simples e repetível — ajudando você a manter a sanidade.

Intermediate Python

Introduction to Shell

Aprenda a implementar e agendar fluxos de engenharia de dados com Airflow e DAGs em Python.

Introdução ao Apache Airflow em Python

Saiba como implementar e programar fluxos de trabalho de engenharia de dados.

Engenheiro de dados Em Python

Variáveis XCom

Introdução ao Apache Airflow em Python

exercicio interativo prático