În acest capitol, vei obține o introducere completă în componentele Apache Airflow și vei afla cum și de ce ar trebui să le folosești.

Introducere în Apache Airflow

Contor de DAG-uri

Rulează primul tău DAG

DAG-uri Airflow

Crearea unui DAG simplu

Lucrul cu DAG-uri și shell-ul Airflow

Explorarea comenzilor Airflow

Testarea unui task în Airflow

Interfața web Airflow

Navigarea în interfața Airflow

Explorarea DAG-urilor cu interfața web Airflow

Erori în Dag

Introducere în Airflow

Acum că știi ce sunt DAG-urile, este momentul să înveți elementele de bază ale implementării DAG-urilor în Airflow. Prin activități practice, vei învăța cum să configurezi și să implementezi operatori, sarcini și planificări.

Operatori Airflow

Decorarea unui task

Definirea unui BashOperator cu @task.bash

Definește ordinea taskurilor

Mai multe @tasks

Planificarea DAG-urilor

Planifică un Dag prin Python

Intervale de planificare

Descifrarea planificărilor Airflow

Depanarea rulărilor DAG

Transmiterea datelor între sarcini cu XCom

Transmiterea datelor cu XCom

Variabile XCom

Senzori Airflow

Ordinea task-urilor din workflow

Determinarea ordinii task-urilor

Crearea unui FileSensor

Privat de simțuri

Construirea DAG-urilor în Airflow

În acest capitol, vei învăța cum să economisești timp folosind componente Airflow precum senzori și executori, monitorizând și depanând în același timp fluxurile de lucru Airflow.

Monitorizare, alerte și callback-uri

Implementarea unei funcții de callback

Implementarea unui SmtpNotifier

Ce se află în jurnale?

Templating cu Jinja

Scriere cu Jinja

Înlocuirea căii

Variabile Airflow

Răspunsul este o variabilă

Citirea unei variabile în Python

Variabile care nu sunt tocmai corecte

Depanare și rezolvarea problemelor în Airflow

Depanarea DAG-urilor

DAG lipsă

Menținerea și monitorizarea fluxurilor de lucru Airflow

Pune totul cap la cap. În acest capitol final, vei aplica tot ce ai învățat pentru a construi un flux de lucru de calitate pentru producție în Airflow.

Declanșatoare și toleranță la erori

Implementarea unei reguli de declanșare

Adăugarea reîncercărilor

Declanșarea unui DAG copil

Ramificare

Definește un @task.branch

Depanarea ramificării

Operatorul HITL

Adăugarea aprobării umane

Task ApprovalOperator

Crearea unui pipeline de producție

Configurarea pipeline-ului ETL pentru vânzări

Adăugarea ramificării lunare

Adăugarea unei porți de aprobare umană

Felicitări!

Controlul logicii DAG-urilor

Acum actualizat la Apache Airflow 3.1.6 – Livrarea datelor după un program poate fi un proces manual. Scrii scripturi, adaugi sarcini cron complexe și încerci diverse metode pentru a satisface cerințe în continuă schimbare – iar gestionarea tuturor acestora în echipă devine și mai dificilă. Apache Airflow elimină această bătaie de cap prin adăugarea de planificare, gestionare a erorilor și raportare în fluxurile tale de lucru. În acest curs, vei stăpâni elementele de bază ale Apache Airflow și vei învăța cum să implementezi pipeline-uri complexe de inginerie a datelor în producție. Vei învăța, de asemenea, cum să folosești Grafuri Aciclice Direcționate (DAG-uri), să automatizezi fluxuri de lucru de inginerie a datelor și să implementezi sarcini de inginerie a datelor într-un mod simplu și repetabil – păstrându-ți astfel claritatea minții.

Intermediate Python

Introduction to Shell

Învață să implementezi și să programezi fluxuri de lucru de inginerie a datelor cu Airflow în Python.

Introducere în Apache Airflow în Python

Învață cum să implementezi și să programezi fluxuri de lucru de data engineering.

Airflow Fundamentals

Inginer de date în Python

Variabile XCom

Introducere în Apache Airflow în Python

Exercițiu interactiv practic