Přidání opakovaných pokusů
Všiml sis, že jeden konkrétní DAG pravidelně selhává u úlohy, která načítá data ze zadaného zdroje. Frustrující přitom je, že spuštění úlohy o pár minut později problém zpravidla vyřeší. Po tom, co ses seznámil s funkcí opakovaných pokusů v Airflow DAGách, se rozhodneš ji na tuto úlohu nasadit, aby sis ušetřil ruční restartování.
dag, task a timedelta jsou už naimportované.
Toto cvičení je součástí kurzu
Úvod do Apache Airflow v Pythonu
Pokyny k cvičení
- Nastav úlohu
extract_datatak, aby se před selháním opakovala 3krát. - Přidej mezi opakované pokusy u úlohy
extract_dataprodlevu 10 minut.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
@dag(schedule="@daily", start_date=datetime(2026, 5, 1))
def etl_pipeline():
# Set retries and retry delay on extract_data
@task(____=3, ____=____(minutes=10))
def extract_data():
print("Extracting data from source...")
@task()
def process_source_data():
print("Now processing data...")
extract_data() >> process_source_data()
etl_pipeline()