CommencezCommencez gratuitement

Apparier les entrées avec zip

Votre équipe a un pipeline qui téléverse des fichiers vers des emplacements précis dans un espace de stockage infonuagique. Un collègue utilise zip() avec expand_kwargs() pour apparier chaque fichier à sa destination dans le nuage :

@task
def get_files():
    return ["users.csv", "orders.csv", "products.csv"]

@task
def get_destinations():
    return ["s3://bronze/users/", "s3://bronze/orders/", "s3://bronze/products/"]

@task
def upload(file_to_upload):
    # Simulate uploading a file to cloud storage
    print(f"Uploading {file_to_upload[0]} to {file_to_upload[1]}")

files = get_files()
destinations = get_destinations()
upload.expand(file_to_upload=files.zip(destinations))

Combien d'instances de upload Airflow créera-t-il?

Cette activité fait partie du cours

Créer des pipelines de données avec Airflow

Voir le cours

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice