In questo capitolo avrai una panoramica completa dei componenti di Apache Airflow e imparerai come e perché dovresti usarli.

Introduzione ad Apache Airflow

Contatore di Dag

Esegui il tuo primo Dag

DAG di Airflow

Creare un Dag semplice

Lavorare con i Dag e la shell di Airflow

Esaminare i comandi di Airflow

Testare un task in Airflow

Interfaccia web di Airflow

Esplorare l'interfaccia di Airflow

Esaminare i Dag con la UI di Airflow

Errori del Dag

Introduzione ad Airflow

Tutto ok, DAG? È il momento di imparare le basi per implementare i DAG in Airflow. Con attività pratiche, imparerai a configurare e distribuire operatori, task e pianificazione.

Operator di Airflow

Decorare un task

Definire un BashOperator con @task.bash

Definisci l'ordine dei task

Ancora @tasks

Pianificare i Dag

Pianifica un Dag tramite Python

Intervalli di pianificazione

Decifrare le schedulazioni di Airflow

Risoluzione dei problemi delle esecuzioni del Dag

Passare dati tra task con XCom

Passare dati con XCom

Variabili XCom

Sensori di Airflow

Ordinamento dei task del workflow

Determinare l'ordine dei task

Creare un FileSensor

Privazione sensoriale

Creare DAG in Airflow

In questo capitolo vedrai come risparmiare tempo usando componenti di Airflow come sensori ed executor, mentre monitori e risolvi i problemi dei workflow Airflow.

Monitoraggio, avvisi e callback

Implementare una funzione di callback

Implementare un SmtpNotifier

Cosa c'è nei log?

Templating con Jinja

Scrivere con Jinja

Sostituzioni mirate

Variabili di Airflow

La risposta è Variable

Lettura di una variabile in Python

Variabili non del tutto corrette

Debug e risoluzione dei problemi in Airflow

Risoluzione dei problemi della Dag

Dag mancante

Manutenzione e monitoraggio dei workflow Airflow

Metti tutto insieme. In questo capitolo finale, applicherai tutto ciò che hai imparato per creare un workflow di qualità produttiva in Airflow.

Trigger e tolleranza agli errori

Implementare una Trigger Rule

Aggiungere i retry

Attivare un Dag figlio

Diramazione

Definisci un @task.branch

Risoluzione dei problemi di branching

L'operatore HITL

Aggiungere l'approvazione umana

Task ApprovalOperator

Creare una pipeline di produzione

Configurare la pipeline ETL delle vendite

Aggiungere un branching mensile

Aggiungere una fase di approvazione umana

Congratulazioni!

Controllare la logica dei DAG

Ora aggiornato ad Apache Airflow 3.1.6 - Consegnare dati su base programmata può essere un processo manuale. Scrivi script, aggiungi complicati task cron e provi varie soluzioni per soddisfare requisiti in continua evoluzione — e gestire tutto è ancora più difficile quando lavori in team. Apache Airflow può eliminare questo problema aggiungendo pianificazione, gestione degli errori e reportistica ai tuoi workflow. In questo corso, imparerai le basi di Apache Airflow e come implementare in produzione pipeline di data engineering complesse. Imparerai anche a usare i Directed Acyclic Graphs (DAG), ad automatizzare i workflow di data engineering e a implementare task di data engineering in modo semplice e ripetibile — aiutandoti a mantenere la sanità mentale.

Intermediate Python

Introduction to Shell

Impara a gestire flussi di lavoro dati con Airflow e DAGs in Python, includendo pianificazione e report.

Introduzione ad Apache Airflow in Python

Scopri come mettere in pratica e pianificare i flussi di lavoro di ingegneria dei dati.

Operator di Airflow

Create Your Free Account