Driftsätt en ETL-pipeline på Kubernetes

Du ska driftsätta en ETL-pipeline på Kubernetes. Stegen Extract, Transform och Load hanteras av Pods som läser och skriver till respektive Persistent Volumes, skapade via Persistent Volume Claims.

Ditt mål är att hitta det totala antalet passagerare som åkte NYC yellow cab i grupper om 2 eller fler. "Extract Pod" förbereder ursprungsdata som en CSV-fil och skickar den vidare till "Transform Pod". Den Pod:en bearbetar yellow cab-data till en SQLite-databas, väljer ut all data som behövs för den slutliga beräkningen och skickar den vidare till "Load Pod". Den sista Pod:en summerar all passagerardata, presenterar den och sparar den som en CSV-fil.

Alla dessa steg utförs med de vanliga Kubernetes-objekt som du känner till. Två kataloger har förberetts – "Docker/" och "Manifests/" – som innehåller de filer som behövs för att skapa Docker-images och driftsätta dem med Kubernetes.