시작하기무료로 시작하기

홈
강의
Python으로 ETL과 ELT

ETL 및 ELT 파이프라인 소개

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

이 연습은 강의의 일부입니다

Python으로 ETL과 ELT

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

데이터가 어떻게 수집되고, 처리되며, 데이터 파이프라인을 통해 이동하는지 알아볼 준비를 하세요. 뛰어난 데이터 파이프라인의 특성을 살펴보고, 직접 설계하고 구축할 준비를 갖춥니다.

Exercise 1: ETL 및 ELT 파이프라인 소개

현재 연습

Exercise 2: ETL 파이프라인 실행하기 Exercise 3: 실전 ELT Exercise 4: ETL과 ELT 파이프라인 Exercise 5: ETL 및 ELT 파이프라인 구축 Exercise 6: ETL 파이프라인 구축 Exercise 7: ELT에서의 "T"Exercise 8: 학생 점수 데이터 추출, 변환, 적재하기

pandas를 활용해 데이터를 추출하고, 변환하고, 적재하면서 첫 번째 데이터 파이프라인을 만들어 봅니다. 재사용 가능한 ETL 로직을 작성하고, 파이프라인에 로깅과 예외 처리를 적용하는 방법을 배웁니다.

Exercise 1: 구조화된 소스에서 데이터 추출하기 Exercise 2: parquet 파일에서 데이터 추출하기 Exercise 3: SQL 데이터베이스에서 데이터 가져오기 Exercise 4: 데이터 추출을 위한 함수 만들기 Exercise 5: pandas로 데이터 변환하기 Exercise 6: pandas DataFrame 필터링 Exercise 7: pandas로 판매 데이터 변환하기 Exercise 8: 데이터 변환 검증하기 Exercise 9: pandas로 데이터 저장하기 Exercise 10: 판매 데이터를 CSV 파일로 로드하기 Exercise 11: CSV 파일 사용자 지정 Exercise 12: 데이터를 파일로 저장하기 Exercise 13: 데이터 파이프라인 모니터링 Exercise 14: 데이터 파이프라인에서 로깅하기 Exercise 15: 데이터 로딩 시 예외 처리 Exercise 16: 데이터 파이프라인의 모니터링과 알림

비정형 데이터 처리, DataFrame을 SQL 데이터베이스에 저장하기 등 고급 데이터 파이프라이닝 기법으로 워크플로를 한층 강화하세요. pandas로 고급 변환을 수행하는 도구를 익히고, 복잡한 데이터 작업에 대한 모범 사례를 알아봅니다.

Exercise 1: 비정형 데이터 추출하기 Exercise 2: pandas로 JSON 데이터 적재하기 Exercise 3: JSON 데이터를 메모리로 읽어들이기 Exercise 4: 비정형 데이터 변환하기 Exercise 5: 딕셔너리 반복(iterating)하기 Exercise 6: 딕셔너리에서 데이터 파싱하기 Exercise 7: JSON 데이터 변환하기 Exercise 8: DataFrame 변환 및 정리 Exercise 9: pandas로 진행하는 고급 데이터 변환 Exercise 10: pandas로 결측값 채우기 Exercise 11: pandas로 데이터 그룹화하기 Exercise 12: DataFrame에 고급 변환 적용하기 Exercise 13: pandas로 SQL 데이터베이스에 데이터 적재하기 Exercise 14: Postgres 데이터베이스로 데이터 적재하기 Exercise 15: Postgres 데이터베이스에 로드된 데이터 검증하기

마지막 장에서는 프로덕션 배포 전 데이터 파이프라인을 검증하고 테스트하는 프레임워크를 만듭니다. 파이프라인을 테스트한 뒤에는, 성능 가시성을 확보하면서 파이프라인을 처음부터 끝까지 실행하는 방법을 살펴봅니다.

Exercise 1: 데이터 파이프라인 수동 테스트 Exercise 2: 데이터 파이프라인 테스트 Exercise 3: "체크포인트"에서 데이터 파이프라인 검증하기 Exercise 4: 데이터 파이프라인의 엔드 투 엔드 테스트 Exercise 5: 데이터 파이프라인 단위 테스트 Exercise 6: assert로 데이터 파이프라인 검증하기 Exercise 7: pytest로 단위 테스트 작성하기 Exercise 8: pytest로 픽스처 만들기 Exercise 9: fixture로 데이터 파이프라인 단위 테스트하기 Exercise 10: 프로덕션에서 데이터 파이프라인 실행하기 Exercise 11: 오케스트레이션과 ETL 도구 Exercise 12: 데이터 파이프라인 아키텍처 패턴 Exercise 13: 데이터 파이프라인을 처음부터 끝까지 실행하기 Exercise 14: 축하합니다!