Déployer un pipeline ETL sur Kubernetes

Vous allez déployer un pipeline ETL sur Kubernetes. Vos étapes Extract, Transform et Load seront réalisées par des Pods, qui lisent et écrivent dans des volumes persistants dédiés, créés via des Persistent Volume Claims.

Votre objectif est de trouver le nombre total de passagers ayant pris un taxi jaune de NYC en groupe de 2 personnes ou plus. Votre « Extract Pod » préparera les données initiales au format CSV et les transmettra au « Transform Pod ». Ce Pod affinera les données des taxis jaunes dans une base SQLite, sélectionnera toutes les données nécessaires au calcul final, et les transmettra au « Load Pod ». Ce dernier Pod additionnera toutes les données de passagers, les affichera et les enregistrera dans un fichier CSV.

Toutes ces étapes utilisent les objets Kubernetes standard que vous connaissez. Deux répertoires ont été préparés, « Docker/ » et « Manifests/ », qui contiennent les fichiers nécessaires pour créer les images Docker et les déployer avec Kubernetes.