Bereitstellen einer ETL Pipeline auf Kubernetes

Du wirst eine ETL Pipeline auf Kubernetes bereitstellen. Deine Extraktions-, Transformations- und Ladeschritte werden von Pods ausgeführt, die in die jeweiligen Persistent Volumes lesen und schreiben, die Persistent Volume Claims erstellen.

Deine Aufgabe ist es, die Gesamtzahl der Fahrgäste zu ermitteln, die ein gelbes Taxi von NYC als Gruppe von 2 oder mehr Personen genommen haben. Dein "Extract Pod" bereitet die Ausgangsdaten als CSV Datei vor und übergibt sie an den "Transform Pod". Dieser Pod verfeinert die Daten der gelben Taxis in einer SQLite Datenbank und wählt alle Daten aus, die für die endgültige Berechnung notwendig sind, und übergib ihn an den "Load Pod". Dieser letzte Pod summiert alle Passagierdaten, präsentiert sie und speichert sie als CSV Datei.

Alle diese Schritte werden mit den dir bekannten Standard-Kubernetes-Objekten durchgeführt. Es wurden zwei Verzeichnisse vorbereitet, "Docker/" und "Manifests/", die die notwendigen Dateien enthalten, um die Docker-Images zu erstellen und sie mit Kubernetes zu verteilen.