Retries configureren met exponentiële backoff
Jouw team draait een pipeline die weergegevens ophaalt van een externe API. Die API loopt tijdens piekuren soms tegen time-outs aan, maar dat zijn tijdelijke fouten die meestal vanzelf verdwijnen.
Een eenvoudige retry met een vaste vertraging kan de API tijdens een storing overladen, dus de taak heeft een strategie nodig die het endpoint tussen pogingen steeds meer tijd geeft om te herstellen.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening