Crear un BashOperator con plantilla
Has creado con éxito un BashOperator que limpia un archivo de datos dado ejecutando un script llamado cleandata.sh. Esto funciona, pero desgraciadamente requiere que el script se ejecute sólo para el día actual. Algunas de tus fuentes de datos se retrasan ocasionalmente un par de días y deben ejecutarse manualmente.
Modifica con éxito el script cleandata.sh para que tome un argumento: la fecha en formato YYYYMMDD. Tus pruebas funcionan en la línea de comandos, pero ahora tienes que implementarlas en tu Airflow DAG. De momento, utiliza el término {{ ds_nodash }} en tu plantilla; más adelante verás qué significa exactamente.
Este ejercicio forma parte del curso
Introducción a Apache Airflow en Python
Instrucciones del ejercicio
- Crea un
templated_commandpara ejecutar el scriptcleandata.shcon la fecha de ejecución actual dada por Airflow. - Modifica el BashOperator para que utilice el comando templado.
- No es necesario el parámetro
paramspara la tareaclean_task.
Ejercicio interactivo práctico
Pon en práctica la teoría con uno de nuestros ejercicios interactivos
Empezar ejercicio