ComenzarEmpieza gratis

DAGs de Airflow

En Airflow, una canalización se representa como un grafo acíclico dirigido o DAG. Los nodos del gráfico representan tareas que se ejecutan. Las conexiones dirigidas entre nodos representan las dependencias entre las tareas.

Representar una canalización de datos como un DAG tiene mucho sentido, ya que algunas tareas tienen que terminar antes de que otras puedan empezar. Podrías compararlo con una cadena de montaje en una fábrica de coches. Las tareas se acumulan, y cada tarea puede depender de que se terminen las anteriores. Un DAG ficticio podría tener este aspecto:

Ejemplo DAG

Primero se monta el bastidor, luego la carrocería y los neumáticos y por último se pinta. Reproduzcamos el ejemplo anterior en código.

Este ejercicio forma parte del curso

Introducción a la ingeniería de datos

Ver curso

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Editar y ejecutar código