1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Introduction to Data Engineering
Connected

cvičení

Definování DAG

V předchozích cvičeních jsi prošel/prošla třemi kroky ETL procesu:

  • Extract (extrakce): Načtení tabulky film z PostgreSQL do pandas.
  • Transform (transformace): Rozdělení sloupce rental_rate v DataFrame film.
  • Load (načtení): Uložení DataFrame film do datového skladu v PostgreSQL.

Funkce extract_film_to_pandas(), transform_rental_rate() a load_dataframe_to_film() jsou definované v tvém pracovním prostředí. V tomto cvičení přidáš ETL úlohu do existujícího DAG. DAG, který budeš rozšiřovat, a úloha, na kterou je třeba čekat, jsou v pracovním prostředí definovány jako dag a wait_for_table.

Pokyny

100 XP
  • Doplň funkci etl() s využitím funkcí popsaných v zadání cvičení.
  • Ujisti se, že etl_task používá callable etl.
  • Nastav správnou závislost – etl_task musí čekat na dokončení wait_for_table.
  • Ukázkový kód obsahuje testovací spuštění, takže ETL pipeline se spustí hned po spuštění kódu.