Airflow, Luigi și cron

În videoclip ai văzut mai multe instrumente care te pot ajuta cu planificarea joburilor Spark. Ai descoperit limitările cron și cum acestea au dus la apariția unor framework-uri precum Airflow și Luigi.

Există multe funcționalități utile în Airflow, dar poți să identifici din lista de mai jos funcționalitatea care este oferită și de cron?

Acest exercițiu face parte din cursul

Introducere în Data Engineering

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Introducere în Data Engineering

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

În acest prim capitol, vei pătrunde în lumea data engineering-ului! Explorează diferențele dintre un inginer de date și un om de știință al datelor, obține o privire de ansamblu asupra instrumentelor folosite de inginerii de date și aprofundează înțelegerea rolului pe care îl joacă tehnologia cloud în data engineering.

Exercise 1: Ce este ingineria datelor?Exercise 2: Sarcinile inginerului de date Exercise 3: Inginer de date sau om de știință în domeniul datelor?Exercise 4: Probleme de inginerie a datelor Exercise 5: Instrumentele inginerului de date Exercise 6: Tipuri de baze de date Exercise 7: Sarcini de procesare Exercise 8: Instrumente de planificare Exercise 9: Furnizori de servicii cloud Exercise 10: De ce cloud computing?Exercise 11: Marii jucători din cloud computing Exercise 12: Servicii cloud

Acum că știi care sunt principalele diferențe dintre un inginer de date și un om de știință al datelor, pregătește-te să explorezi setul de instrumente al inginerului de date! Află în detaliu despre diferitele tipuri de baze de date folosite de inginerii de date, de ce calculul paralel este esențial în acest domeniu și cum să planifici joburi de procesare a datelor cu ajutorul framework-urilor de planificare.

Exercise 1: Baze de date Exercise 2: SQL vs NoSQL Exercise 3: Schema bazei de date Exercise 4: Îmbinarea pe relații Exercise 5: Diagrama schemei stea Exercise 6: Ce este calculul paralel Exercise 7: De ce calcul paralel?Exercise 8: De la sarcină la subsarcini Exercise 9: Folosirea unui DataFrame Exercise 10: Frameworkuri de calcul paralel Exercise 11: Spark, Hadoop și Hive Exercise 12: GroupBy în PySpark Exercise 13: Rularea fișierelor PySpark Exercise 14: Frameworks de planificare a fluxurilor de lucru Exercise 15: Airflow, Luigi și cron

Exercițiul curent

Exercise 16: DAG-uri în Airflow

Acum că te-ai familiarizat cu instrumentele inginerilor de date, e momentul să intri în miezul fluxului lor de lucru! Prin ETL, vei învăța cum să extragi date brute din diverse surse, să le transformi în informații utile și să le încarci în bazele de date potrivite, gata pentru utilizare!

Exercise 1: Extragere Exercise 2: Surse de date Exercise 3: Extragere dintr-un API Exercise 4: Citire dintr-o bază de date Exercise 5: Transformare Exercise 6: Împărțirea ratei de închiriere Exercise 7: Pregătire pentru transformări Exercise 8: Join cu ratinguri Exercise 9: Încărcare Exercise 10: OLAP sau OLTP Exercise 11: Scrierea într-un fișier Exercise 12: Încărcare în Postgres Exercise 13: Să punem totul cap la cap Exercise 14: Definirea unui DAG Exercise 15: Configurarea Airflow Exercise 16: Interpretarea DAG-ului

Încheie tot ce ai învățat în cele trei capitole anterioare rezolvând un caz real de data engineering de la DataCamp! Vei realiza și planifica un proces ETL care transformă date brute despre evaluările cursurilor în recomandări utile pentru cursanții DataCamp!

Exercise 1: Evaluările cursurilor Exercise 2: Explorarea schemei Exercise 3: Interogarea tabelului Exercise 4: Rating mediu per curs Exercise 5: De la evaluări la recomandări Exercise 6: Filtrează datele corupte Exercise 7: Folosirea transformării pentru recomandări Exercise 8: Programarea sarcinilor zilnice Exercise 9: Tabelul destinație Exercise 10: Definirea DAG-ului Exercise 11: Activează DAG-ul Exercise 12: Interogarea recomandărilor Exercise 13: Felicitări