Zacznij terazZacznij za darmo

Strona główna
Kursy
Wprowadzenie do Apache Airflow w Pythonie

Wyzwalacze i odporność na błędy

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

To ćwiczenie jest częścią kursu

Wprowadzenie do Apache Airflow w Pythonie

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz komponenty Apache Airflow i dowiesz się, jak oraz dlaczego warto z nich korzystać.

Exercise 1: Wprowadzenie do Apache Airflow Exercise 2: Licznik DAG-ów Exercise 3: Uruchamianie pierwszego DAG-a Exercise 4: DAG-i w Airflow Exercise 5: Tworzenie prostego DAG-a Exercise 6: Praca z DAG-ami i powłoką Airflow Exercise 7: Analiza poleceń Airflow Exercise 8: Testowanie zadania w Airflow Exercise 9: Interfejs webowy Airflow Exercise 10: Nawigacja po interfejsie Airflow Exercise 11: Przeglądanie DAG-ów w interfejsie Airflow Exercise 12: Błędy Dag

Czas poznać podstawy implementacji DAG-ów w Airflow. Dzięki praktycznym ćwiczeniom nauczysz się konfigurować i wdrażać operatory, zadania i harmonogramy.

Exercise 1: Operatory Airflow Exercise 2: Dekorowanie zadania Exercise 3: Definiowanie BashOperatora za pomocą @task.bash Exercise 4: Definiowanie kolejności zadań Exercise 5: Więcej dekoratorów @task Exercise 6: Planowanie DAG-ów Exercise 7: Harmonogramowanie DAG-a w Pythonie Exercise 8: Rozszyfruj harmonogramy Airflow Exercise 9: Rozwiązywanie problemów z uruchomieniami DAG-a Exercise 10: Przekazywanie danych między zadaniami za pomocą XCom Exercise 11: Przekazywanie danych za pomocą XCom Exercise 12: Zmienne XCom Exercise 13: Sensory Airflow Exercise 14: Określanie kolejności zadań Exercise 15: Tworzenie FileSensora Exercise 16: Deprywacja sensoryczna

W tym rozdziale dowiesz się, jak oszczędzać czas dzięki komponentom Airflow, takim jak sensory i executory, a także jak monitorować przepływy pracy i rozwiązywać problemy.

Exercise 1: Monitorowanie, alerty i wywołania zwrotne Exercise 2: Implementacja funkcji zwrotnej Exercise 3: Implementacja SmtpNotifier Exercise 4: Co kryją logi?Exercise 5: Szablony z Jinja Exercise 6: Szablony Jinja w praktyce Exercise 7: Zmiana szablonu Exercise 8: Zmienne Airflow Exercise 9: Odpowiedź to zmienna Exercise 10: Odczytywanie zmiennej w Pythonie Exercise 11: Nieprawidłowe zmienne Exercise 12: Debugowanie i rozwiązywanie problemów w Airflow Exercise 13: Rozwiązywanie problemów z DAG-iem Exercise 14: Zaginiony DAG

Czas połączyć wszystko w całość. W tym ostatnim rozdziale zastosujesz zdobytą wiedzę, żeby zbudować produkcyjny przepływ pracy w Airflow.

Exercise 1: Wyzwalacze i odporność na błędy

Bieżące ćwiczenie

Exercise 2: Implementacja reguły wyzwalania Exercise 3: Dodawanie ponownych prób Exercise 4: Wyzwalanie podrzędnego DAGa Exercise 5: Rozgałęzianie Exercise 6: Definiowanie @task.branch Exercise 7: Rozwiązywanie problemów z rozgałęzianiem Exercise 8: Operator HITL Exercise 9: Dodawanie ludzkiego zatwierdzenia Exercise 10: Zadanie ApprovalOperator Exercise 11: Tworzenie potoku produkcyjnego Exercise 12: Konfigurowanie potoku ETL dla działu sprzedaży Exercise 13: Dodawanie miesięcznego rozgałęzienia Exercise 14: Dodawanie bramki zatwierdzenia przez człowieka Exercise 15: Gratulacje!