Eine ETL-Pipeline auf Kubernetes bereitstellen

Du wirst eine ETL-Pipeline auf Kubernetes bereitstellen. Deine Extract-, Transform- und Load-Schritte werden von Pods ausgeführt, die mit den jeweiligen Persistent Volumes arbeiten, die durch Persistent Volume Claims bereitgestellt werden.

Deine Aufgabe ist es, die Gesamtzahl der Fahrgäste zu ermitteln, die ein NYC Yellow Cab in Gruppen von 2 oder mehr genommen haben. Dein „Extract Pod“ bereitet die Ausgangsdaten als CSV-Datei vor und übergibt sie an den „Transform Pod“. Dieser Pod verfeinert die Yellow-Cab-Daten in einer SQLite-Datenbank, wählt alle Daten aus, die für die finale Berechnung nötig sind, und übergibt sie an den „Load Pod“. Dieser letzte Pod summiert die Passagierdaten, zeigt sie an und speichert sie als CSV-Datei.

Alle diese Schritte werden mit den Standard-Kubernetes-Objekten ausgeführt, die du bereits kennst. Es wurden zwei Verzeichnisse vorbereitet, „Docker/“ und „Manifests/“, die die benötigten Dateien enthalten, um die Docker-Images zu erstellen und sie mit Kubernetes bereitzustellen.