1. Apprendre
  2. /
  3. Cours
  4. /
  5. Introduction à Apache Airflow en Python

Connected

Exercice

Définir un BashOperator avec @task.bash

Une tâche Bash vous permet d'indiquer n'importe quelle commande ou tout script de l'interpréteur de commandes et de l'ajouter à un flux de travaux Airflow. C'est une excellente façon de commencer à implanter Airflow dans votre environnement.

Ainsi, vous exécutez manuellement certains scripts pour nettoyer des données (au moyen d'un script nommé cleanup.sh) avant de les remettre à vos collègues de l'équipe d'analytique des données. Comme on vous confie de plus en plus de ces tâches, vous constatez qu'il devient difficile de tout exécuter manuellement, sans parler de la gestion des erreurs ou des nouvelles tentatives. Vous souhaitez implanter un script simple comme opérateur Airflow.

Les objets dag et task d'Airflow ont déjà été importés.

Instructions

100 XP
  • Utilisez le décorateur @task.bash pour définir la tâche.
  • Utilisez le nom de méthode cleanup_task.
  • Faites en sorte que la tâche retourne cleanup.sh.