Implantar um pipeline ETL no Kubernetes

Você implantará um pipeline ETL no Kubernetes. As etapas de extração, transformação e carregamento serão realizadas por pods, que leem e gravam nos respectivos volumes persistentes que as reivindicações de volume persistente criam.

Sua tarefa é descobrir o número total de passageiros que pegaram um táxi amarelo NYC como um grupo de 2 ou mais pessoas. Seu "Extract Pod" preparará os dados iniciais como um arquivo CSV e os entregará ao "Transform Pod". Esse Pod refinará os dados do táxi amarelo em um banco de dados SQLite, selecionará todos os dados necessários para o cálculo final, e entregue-o ao "Load Pod". Esse Pod final somará todos os dados dos passageiros, os apresentará e os salvará como um arquivo CSV.

Todas essas etapas serão executadas usando os objetos padrão do Kubernetes que você conhece. Foram preparados dois diretórios, "Docker/" e "Manifests/", que contêm os arquivos necessários para criar as imagens do Docker e implantá-las usando o Kubernetes.