Aan de slagBegin gratis

Home
Cursussen
Data-pijplijnen bouwen met Airflow

Uitstelbare operators

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

SkillTag.level.advancedSkillTag.label

4.7+

Begin gratis met de cursus

Je maakt kennis met de Airflow-onderdelen, schrijft je eerste Dags met de TaskFlow API en wisselt data uit tussen taken met XCom.

Exercise 1: Kernconcepten van Airflow Exercise 2: Een minimale TaskFlow-Dag schrijven Exercise 3: Airflow-componenten koppelen aan hun rol Exercise 4: De TaskFlow-API Exercise 5: Een klassieke Dag omzetten naar TaskFlow Exercise 6: Een taak toevoegen en afhankelijkheden koppelen Exercise 7: Een pipeline verkennen in de Airflow-UI Exercise 8: Gegevens delen tussen taken Exercise 9: Data retourneren vanuit een TaskFlow-functie Exercise 10: Een klassieke operator koppelen aan een TaskFlow-taak Exercise 11: Beperkingen van XCom begrijpen

Vervolgens voer je taken parallel uit met dynamic task mapping, plan je Dags op basis van data met Assets en voeg je stappen voor menselijke goedkeuring toe.

Exercise 1: Dynamische taakmapping Exercise 2: Meerdere endpoints verwerken met expand Exercise 3: Een gedeelde parameter vastzetten met partial Exercise 4: Inputs koppelen met zip Exercise 5: Data-aware scheduling met Assets Exercise 6: Beschikbaarheid van data signaleren met een Asset-outlet Exercise 7: Een consumer-Dag plannen op een Asset Exercise 8: Asset-gebaseerde planning in actie zien Exercise 9: Templating, idempotentie en backfilling Exercise 10: Datumgevoelige templating toevoegen Exercise 11: Een pipeline idempotent maken Exercise 12: Een backfill starten Exercise 13: Workflows met een mens in de lus Exercise 14: Formulierinvoer verzamelen met HITLEntryOperator Exercise 15: Reageren op een vereiste actie in de UI Exercise 16: Branching met HITLBranchOperator

In dit hoofdstuk ga je om met fouten via retries en callbacks, bespaar je resources met deferrable sensors en test je je Dags op drie niveaus.

Exercise 1: Robuuste Dags met foutafhandeling en retries Exercise 2: Retries configureren met exponentiële backoff Exercise 3: Een falende Dag automatisch pauzeren Exercise 4: De juiste strategie voor foutafhandeling kiezen Exercise 5: Uitstelbare operators

Huidige oefening

Exercise 6: Een sensor configureren voor productie Exercise 7: Een sensor deferrable maken Exercise 8: Wanneer gebruik je poke, reschedule of deferrable Exercise 9: Airflow-code testen Exercise 10: Een integriteitstest voor een Dag schrijven Exercise 11: Unittests voor een taakfunctie Exercise 12: Integratietests met dag.test()Exercise 13: Complexe Dags organiseren met Task Groups Exercise 14: Verwante taken groeperen Exercise 15: Geneste task groups met weergavenamen Exercise 16: Taken ordenen per domein

In dit laatste hoofdstuk bouw je een SQL-ETL-pijplijn op DuckDB, voeg je partition-aware scheduling toe met Asset Partitions en embed je datakwaliteitscontroles.

Exercise 1: SQL-workloads uitvoeren Exercise 2: Verkoopgegevens aggregeren met SQL Exercise 3: SQL parametriseren en naar bestanden verplaatsen Exercise 4: De veilige aanpak kiezen voor gebruikersinvoer Exercise 5: Plannering op basis van partities met Asset Partitions Exercise 6: Een gepartitioneerde pipeline maken Exercise 7: Plannen op gepartitioneerde assets Exercise 8: Bekijken hoe gepartitioneerde assets een downstream Dag triggeren Exercise 9: Datakwaliteitscontroles Exercise 10: Kolomcontroles voor datakwaliteit toevoegen Exercise 11: Een kwaliteitscontrole op tabelniveau toevoegen Exercise 12: Dataproblemen opsporen met de juiste operator Exercise 13: Van ontwikkeling naar productie Exercise 14: Een pipeline triggeren via de CLI Exercise 15: Historische data backfillen Exercise 16: Productie-uitdagingen met Airflow Exercise 17: Gefeliciteerd!