1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Úvod do Kubernetes
Connected

cvičení

Nasazení ETL pipeline na Kubernetes

Nasadíš ETL pipeline na Kubernetes. Kroky Extract, Transform a Load budou realizovány Pody, které čtou a zapisují do příslušných Persistent Volumes vytvořených pomocí Persistent Volume Claims.

Tvým úkolem je zjistit celkový počet cestujících, kteří jeli žlutým taxíkem v NYC ve skupině 2 nebo více osob. „Extract Pod" připraví vstupní data jako CSV soubor a předá je „Transform Podu". Ten zpracuje data žlutého taxíku do SQLite databáze, vybere všechna data potřebná pro finální výpočet a předá je „Load Podu". Tento poslední Pod sečte veškerá data o cestujících, zobrazí výsledek a uloží ho jako CSV soubor.

Všechny tyto kroky se provedou pomocí standardních Kubernetes objektů, které už znáš. Byly připraveny dva adresáře, "Docker/" a "Manifests/", které obsahují potřebné soubory pro vytvoření Docker images a jejich nasazení přes Kubernetes.

Pokyny 1/4

undefined XP
    1
    2
    3
    4
  • Prohlédni si soubory v adresáři Docker/, zejména Docker/Dockerfile.* a Docker/*.sql. K zobrazení obsahu jednotlivých souborů můžeš použít pager jako more nebo příkaz cat.
  • Spusť build skript 01_build_and_upload_images.sh pomocí příkazu bash. Ten sestaví tři Docker images (extract:v1, transform:v1, load:v1) a nahraje je do tvého Kubernetes clusteru.

Poznámka: Byly připraveny dva adresáře, "Docker/" a "Manifests/", které obsahují potřebné soubory pro vytvoření Docker images a jejich nasazení přes Kubernetes. Příkaz cat ukončíš pomocí 'CTRL+D'.