Neste capítulo, você terá uma introdução completa aos componentes do Apache Airflow e aprenderá como e por que deve usá-los.

Introdução ao Apache Airflow

Teste de uma tarefa no Airflow

Examinando os comandos de fluxo de ar

Fluxo de ar DAGs

Definição de um simples DAG

Trabalhando com DAGs e o shell Airflow

Solução de problemas DAG creation

Interface web do Airflow

Iniciando o servidor da Web do Airflow

Navegando pelo fluxo de ar UI

Examinando DAGs com o fluxo de ar UI

Introdução ao fluxo de ar

O que você está fazendo em DAG? Agora é hora de você aprender os conceitos básicos da implementação do Airflow DAGs. Por meio de atividades práticas, você aprenderá a configurar e implantar operadores, tarefas e agendamento.

Operadores de fluxo de ar

Definição de uma tarefa BashOperator

Vários BashOperators

Tarefas de fluxo de ar

Definir a ordem dos BashOperators

Ordenação de tarefas de fluxo de trabalho

Determinação da ordem das tarefas

Solução de problemas das dependências do DAG

Operadores adicionais

Usando o PythonOperator

Mais PythonOperators

EmailOperator e dependências

Programação do fluxo de ar

Agende um DAG via Python

Intervalos de programação

Decifrando as programações de fluxo de ar

Solução de problemas DAG runs

Implementação do fluxo de ar DAGs

Neste capítulo, você aprenderá a economizar tempo usando componentes do Airflow, como sensores e executores, enquanto monitora e soluciona problemas de fluxos de trabalho do Airflow.

Sensores de fluxo de ar

Sensores versus operadores

Privação sensorial

Executores de fluxo de ar

Determinação do executor

Implicações do executor

Depuração e solução de problemas no Airflow

DAGs na bolsa

Faltando DAG

SLAs e relatórios no Airflow

Definição de um SLA

Definição de uma tarefa SLA

Gerar e enviar um relatório por e-mail

Adição de e-mails de status

Manutenção e monitoramento dos fluxos de trabalho do Airflow

Junte tudo isso. Neste capítulo final, você aplicará tudo o que aprendeu para criar um fluxo de trabalho com qualidade de produção no Airflow.

Trabalhando com modelos

Criando um BashOperator com modelo

Modelos com vários argumentos

Mais modelos

Uso de listas com modelos

Compreensão das opções de parâmetros

Envio de e-mails com modelos

Ramificação

Definir um BranchPythonOperator

Solução de problemas de filiais

Criação de um pipeline de produção

Criando um pipeline de produção nº 1

Criação de um pipeline de produção #2

Adicionando as alterações finais ao seu pipeline

Parabéns!

Criando pipelines de produção no Airflow

Agora atualizado para o Apache Airflow 2.7 - A entrega de dados em um cronograma pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias maneiras de atender a um conjunto de requisitos em constante mudança - e é ainda mais complicado gerenciar tudo quando se trabalha com colegas de equipe. O Apache Airflow pode eliminar essa dor de cabeça, adicionando agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você dominará os conceitos básicos do Apache Airflow e aprenderá a implementar pipelines complexos de engenharia de dados na produção. Você também aprenderá a usar gráficos acíclicos direcionados (DAGs), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma fácil e repetível, ajudando-o a manter a sanidade mental.

Intermediate Python

Introduction to Shell

Aprenda a implementar e agendar fluxos de engenharia de dados com Airflow e DAGs em Python.

Introdução ao Apache Airflow em Python

Saiba como implementar e programar fluxos de trabalho de engenharia de dados.

Engenheiro de dados Em Python

Data Engineer

Airflow tasks

Tasks

Task dependencies

Upstream vs Downstream

Simple task dependency

Task dependencies in the Airflow UI

Multiple dependencies

Let's practice!

https://s3.amazonaws.com/assets.datacamp.com/production/course_37090/subtitles/course_37090_ec7f30a45776ce48b01c499648bb1242.vtt

Implementação do fluxo de ar DAGs - Tarefas de fluxo de ar

Tarefas de fluxo de ar

Create Your Free Account