Crear un BashOperator con plantilla
Has creado con éxito un BashOperator que limpia un archivo de datos dado ejecutando un script llamado cleandata.sh
. Esto funciona, pero desgraciadamente requiere que el script se ejecute sólo para el día actual. Algunas de tus fuentes de datos se retrasan ocasionalmente un par de días y deben ejecutarse manualmente.
Modifica con éxito el script cleandata.sh
para que tome un argumento: la fecha en formato YYYYMMDD. Tus pruebas funcionan en la línea de comandos, pero ahora tienes que implementarlas en tu Airflow DAG. De momento, utiliza el término {{ ds_nodash }}
en tu plantilla; más adelante verás qué significa exactamente.
Este ejercicio forma parte del curso
Introducción a Apache Airflow en Python
Instrucciones de ejercicio
- Crea un
templated_command
para ejecutar el scriptcleandata.sh
con la fecha de ejecución actual dada por Airflow. - Modifica el BashOperator para que utilice el comando templado.
- No es necesario el parámetro
params
para la tareaclean_task
.
Ejercicio interactivo práctico
Convierte la teoría en acción con uno de nuestros ejercicios interactivos
