Lebih banyak PythonOperator
Untuk melanjutkan penerapan alur kerja Anda, Anda perlu menambahkan satu langkah lagi untuk menguraikan dan menyimpan perubahan pada berkas yang diunduh. DAG process_sales_dag sudah didefinisikan dan memiliki task pull_file yang telah ditambahkan. Dalam kasus ini, fungsi Python sudah disediakan untuk Anda, parse_file(inputfile, outputfile).
Perhatikan bahwa saat menerapkan task Airflow, Anda sering kali tidak sepenuhnya memahami langkah-langkah individual yang diberikan. Selama Anda memahami cara membungkus langkah-langkah tersebut dalam struktur Airflow, Anda akan dapat menerapkan alur kerja yang diinginkan.
Latihan ini adalah bagian dari kursus
Pengantar Apache Airflow dengan Python
Petunjuk latihan
- Definisikan task Python ke variabel
parse_file_taskdengan idparse_file. - Tambahkan
parse_file(inputfile, outputfile)ke Operator. - Definisikan argumen yang akan diteruskan ke callable.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Add another Python task
____ = ____(
task_id=____,
# Set the function to call
____
# Add the arguments
____={'inputfile':'latestsales.json', 'outputfile':'parsedfile.json'},
)