Déployer un pipeline ETL sur Kubernetes

Vous allez déployer un pipeline ETL sur Kubernetes. Vos étapes d'extraction, de transformation et de chargement seront réalisées par des pods, qui lisent et écrivent dans les volumes persistants respectifs créés par les réclamations de volumes persistants.

Votre tâche consiste à trouver le nombre total de passagers qui ont pris un taxi jaune NYC en tant que groupe de 2 ou plus. Votre "Extract Pod" préparera les données initiales sous forme de fichier CSV et les transmettra au "Transform Pod". Ce Pod affinera les données sur les taxis jaunes en une base de données SQLite, en sélectionnant toutes les données nécessaires pour le calcul final, et le confier au "Load Pod". Ce dernier Pod récapitule toutes les données relatives aux passagers, les présente et les enregistre sous la forme d'un fichier CSV.

Toutes ces étapes seront réalisées à l'aide des objets Kubernetes standard que vous connaissez. Deux répertoires ont été préparés, "Docker/" et "Manifests/", qui contiennent les fichiers nécessaires pour créer les images Docker et les déployer à l'aide de Kubernetes.