1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introducción a Apache Airflow en Python
  • 1

    Introducción al flujo de aire

    Gratuit

    En este capítulo, obtendrás una introducción completa a los componentes de Apache Airflow y aprenderás cómo y por qué debes utilizarlos.

  • 2

    Implementación del flujo de aire DAGs

    ¿Qué pasa DAG? Ahora es el momento de aprender los fundamentos de la aplicación de Airflow DAGs. Mediante actividades prácticas, aprenderás a configurar y desplegar operadores, tareas y programación.

  • 3

    Mantener y supervisar los flujos de trabajo de Airflow

    En este capítulo, aprenderás a ahorrarte tiempo utilizando componentes de Airflow, como sensores y ejecutores, mientras supervisas y solucionas problemas de los flujos de trabajo de Airflow.

  • 4

    Construir conductos de producción en Airflow

    Ponlo todo junto. En este capítulo final, aplicarás todo lo que has aprendido para crear un flujo de trabajo de calidad de producción en Airflow.

Initializing

Exercice

Definir una tarea BashOperator

La página BashOperator te permite especificar cualquier comando Shell o script y añadirlo a un flujo de trabajo Airflow. Puede ser un buen comienzo para implantar Airflow en tu entorno.

Por ello, has estado ejecutando algunos scripts manualmente para limpiar los datos (utilizando un script llamado cleanup.sh) antes de entregarlos a tus colegas del grupo de Análisis de Datos. A medida que tienes más tareas asignadas, te has dado cuenta de que cada vez es más difícil seguir el ritmo de ejecutarlo todo manualmente, y mucho menos lidiar con errores o reintentos. Te gustaría implementar un script sencillo como operador Airflow.

El flujo de aire DAG analytics_dag ya está definido para ti y tiene las configuraciones adecuadas.

Instructions

100 XP
  • Importa el objeto BashOperator.
  • Define un BashOperator llamado cleanup con el task_id de cleanup_task.
  • Utiliza el comando cleanup.sh.