Implementeer een ETL-pijplijn op Kubernetes

Je gaat een ETL-pijplijn op Kubernetes implementeren. Je Extract-, Transform- en Load-stappen worden uitgevoerd door Pods, die lezen en schrijven naar de bijbehorende Persistent Volumes die door Persistent Volume Claims worden aangemaakt.

Jouw taak is om het totale aantal passagiers te vinden dat een NYC yellow cab nam in een groep van 2 of meer. Je "Extract Pod" bereidt de initiële data voor als een CSV-bestand en geeft dit door aan de "Transform Pod". Deze Pod zet de yellow cab-data om naar een SQLite-database, selecteert alle data die nodig is voor de uiteindelijke berekening, en geeft die door aan de "Load Pod". Deze laatste Pod telt alle passagiersdata op, toont het resultaat en slaat het op als een CSV-bestand.

Al deze stappen worden uitgevoerd met de standaard Kubernetes-objecten die je kent. Er zijn twee mappen voorbereid, "Docker/" en "Manifests/", met de benodigde bestanden om de Docker-images te maken en ze via Kubernetes te deployen.