Omezení XCom
Kolega z týmu má pipeline, kde jeden task vytváří 5GB soubor ve formátu Parquet, který potřebuje zpracovat navazující task. Ptá se tě, jaký je nejlepší způsob, jak tato data mezi tasky předat pomocí XCom.
Jaký postup se doporučuje?
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení