Fazer o deploy de um pipeline ETL no Kubernetes

Você vai fazer o deploy de um pipeline ETL no Kubernetes. As etapas de Extract, Transform e Load serão realizadas por Pods, que leem e escrevem nos respectivos Persistent Volumes criados por Persistent Volume Claims.

Sua tarefa é encontrar o número total de passageiros que pegaram um táxi amarelo de NYC em grupos de 2 ou mais. Seu "Extract Pod" vai preparar os dados iniciais como um arquivo CSV e repassá-los ao "Transform Pod". Esse Pod vai refinar os dados do yellow cab em um banco SQLite, selecionar todos os dados necessários para o cálculo final, e repassá-los ao "Load Pod". Esse Pod final vai somar todos os dados de passageiros, apresentar o resultado e salvá-lo como um arquivo CSV.

Todas essas etapas serão executadas usando os objetos padrão do Kubernetes que você já conhece. Foram preparados dois diretórios, "Docker/" e "Manifests/", que contêm os arquivos necessários para criar as imagens Docker e fazer o deploy usando Kubernetes.