시작하기무료로 시작하기

홈
강의
Airflow로 데이터 파이프라인 구축하기

실패 처리와 재시도로 견고한 DAG 만들기

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

이 연습은 강의의 일부입니다

Airflow로 데이터 파이프라인 구축하기

SkillTag.level.advancedSkillTag.label

4.7+

무료로 강의 시작하기

Airflow의 주요 구성 요소를 살펴보고, TaskFlow API로 첫 번째 DAG를 작성한 뒤, XCom을 이용해 태스크 간에 데이터를 전달하는 방법을 배웁니다.

Exercise 1: Airflow 핵심 개념 Exercise 2: 최소한의 TaskFlow DAG 작성하기 Exercise 3: Airflow 컴포넌트와 역할 매칭하기 Exercise 4: TaskFlow API Exercise 5: 클래식 Dag를 TaskFlow로 변환하기 Exercise 6: 태스크 추가 및 의존성 연결 Exercise 7: Airflow UI에서 파이프라인 살펴보기 Exercise 8: 태스크 간 데이터 공유 Exercise 9: TaskFlow 함수에서 데이터 반환하기 Exercise 10: 클래식 오퍼레이터를 TaskFlow 태스크에 연결하기 Exercise 11: XCom의 한계 이해하기

동적 태스크 매핑으로 태스크를 병렬 실행하고, Asset을 활용해 데이터 기반으로 DAG를 스케줄링하며, 사람의 승인 단계를 추가하는 방법을 익힙니다.

Exercise 1: 동적 태스크 매핑 Exercise 2: expand()로 여러 엔드포인트 처리하기 Exercise 3: partial로 공통 파라미터 고정하기 Exercise 4: zip으로 입력값 짝짓기 Exercise 5: Asset을 활용한 데이터 인식 스케줄링 Exercise 6: Asset 아울렛으로 데이터 가용성 신호 보내기 Exercise 7: Asset를 기반으로 소비자 DAG 스케줄링하기 Exercise 8: Asset 기반 스케줄링 직접 확인하기 Exercise 9: 템플릿, 멱등성, 그리고 백필 Exercise 10: 날짜 인식 템플릿 추가하기 Exercise 11: 파이프라인을 멱등성 있게 만들기 Exercise 12: 백필 트리거하기 Exercise 13: 사람이 개입하는 워크플로우 Exercise 14: HITLEntryOperator로 양식 입력 수집하기 Exercise 15: UI에서 Required Action에 응답하기 Exercise 16: HITLBranchOperator로 브랜칭하기

재시도와 콜백으로 오류를 처리하고, 지연 가능한 센서로 리소스를 절약하며, 세 가지 수준에서 DAG를 테스트하는 방법을 학습합니다.

Exercise 1: 실패 처리와 재시도로 견고한 DAG 만들기

현재 연습

Exercise 2: 지수 백오프(Exponential Backoff)로 재시도 설정하기 Exercise 3: 실패 시 DAG 자동 일시정지 Exercise 4: 적절한 실패 처리 전략 선택하기 Exercise 5: 지연 가능한 오퍼레이터 Exercise 6: 프로덕션 환경을 위한 센서 설정 Exercise 7: 센서를 지연 가능(Deferrable) 모드로 설정하기 Exercise 8: poke, reschedule, deferrable 모드는 언제 사용할까요 Exercise 9: Airflow 코드 테스트 Exercise 10: DAG 무결성 테스트 작성 Exercise 11: 태스크 함수 단위 테스트 Exercise 12: dag.test()를 활용한 통합 테스트 Exercise 13: Task Group으로 복잡한 DAG 구성하기 Exercise 14: 관련 태스크 그룹화 Exercise 15: 태스크 그룹 중첩과 표시 이름 설정 Exercise 16: 도메인별 태스크 구성

마지막 챕터에서는 DuckDB 위에서 SQL ETL 파이프라인을 구축하고, Asset Partition을 활용한 파티션 인식 스케줄링을 추가하며, 데이터 품질 검사를 파이프라인에 직접 삽입하는 방법을 배웁니다.

Exercise 1: SQL 워크로드 실행 Exercise 2: SQL로 판매 데이터 집계하기 Exercise 3: SQL 매개변수화 및 파일 분리 Exercise 4: 사용자 입력에 안전한 방법 선택하기 Exercise 5: Asset Partition을 활용한 파티션 인식 스케줄링 Exercise 6: 파티션 파이프라인 만들기 Exercise 7: 파티션된 에셋 스케줄링 Exercise 8: 파티션 에셋이 다운스트림 Dag를 트리거하는 과정 살펴보기 Exercise 9: 데이터 품질 검사 Exercise 10: 컬럼 수준 품질 검사 추가하기 Exercise 11: 테이블 수준 품질 검사 추가하기 Exercise 12: 올바른 연산자로 데이터 문제 잡아내기 Exercise 13: 개발에서 프로덕션으로 Exercise 14: CLI에서 파이프라인 트리거하기 Exercise 15: 과거 데이터 백필하기 Exercise 16: Airflow의 프로덕션 과제 Exercise 17: 축하합니다!