Great Expectations(GX)가 왜 데이터 품질 모니터링에 강력한 도구인지 이해해 보세요. Data Context로 세션을 시작하는 방법과 Data Source, Data Asset, Batch Definition을 사용해 pandas dataframe을 로드하는 기본기를 익힙니다.

Data Context 만들기

나만의 Data Context 만들기

GX 미리 살펴보기

핵심 용어 정의

데이터에 연결하기

개념 복습

Data Source와 Data Asset 만들기

배치로 데이터 읽기

Batch Definition과 Batch 만들기

Batch 확인하기

데이터 연결하기

기본적인 형태(shape) 및 스키마 Expectations를 생성하고 평가해 보세요. 개별 Expectations로 검증하거나, Batch Definition과 함께 Expectation Suite의 일부로 검증하거나, Validation Definition을 사용해 검증할 수 있습니다.

Expectations 만들기

열 개수 Expectation 설정하기

검증 결과 평가하기

스키마 Expectations

열 이름 Expectation 설정하기

열 개수 범위 Expectation 설정하기

Expectation Suite 만들기

Expectation Suite 검증하기

Validation Definition 생성 및 실행

Validation Definition vs. Batch Definition

Expectations 설정하기

현실 세계의 역동적인 Expectations에 능숙해지기 위한 실무 기술을 배웁니다. Checkpoint를 사용해 Validation Definition을 배포하고, Expectation Suite를 업데이트하며, 핵심 GX 구성요소를 추가·조회·나열·삭제하는 방법을 익히세요.

Validation Definition 배포

개념 점검

Checkpoint 만들기

Expectation Suite 업데이트

Expectation 복사하기

Expectation 삭제하기

Expectation 업데이트하기

구성 요소 관리

컴포넌트 추가 및 목록 확인

Checkpoint 관리하기

실무에서의 GX

Expectations의 세계를 본격적으로 탐구합니다. 기본 열 Expectations, 행 및 집계 수준의 숫자형 Expectations, 문자열 및 문자열 파싱 가능성 Expectations 등을 연습해 보세요. 또한 dataframe의 일부 행에만 Expectations를 적용하는 방법을 배웁니다.

기본 컬럼 Expectations

행 단위 Expectations 설정하기

집계 수준 Expectations 설정하기

유형별 Expectation

숫자형 Expectation 설정하기

문자열 Expectations 설정하기

조건부 Expectations

조건부 Expectation 작성하기

조건부 Expectation 뒤집어 보기

마무리

Expectations 완전 정복

life_expectancy.csv

weather_new.csv

renewable_new.csv

shein_footwear_clean.csv

movie_dataset.csv

Great Expectations는 데이터 과학 및 엔지니어링 워크플로에서 데이터 품질을 모니터링하는 강력한 Python 라이브러리입니다. 실제 데이터셋을 연결하고, Expectations를 적용·수정·삭제하며, 운영 환경에서 신규 데이터셋을 검증하는 파이프라인을 구축하는 방법을 배워요. 숫자형과 문자열 열에 대한 Expectations를 살펴보고, 열 간 검증도 작성해 봅니다. 학습을 마치면 데이터가 품질 기준을 충족하는지 자신 있게 보장할 수 있어요.

Great Expectations는 데이터 과학 및 데이터 엔지니어링 워크플로우에서 데이터 품질을 모니터링하는 강력한 도구입니다. 이 플랫폼은 Python에 쉽게 통합될 수 있어, Python 사용자가 숙련되게 활용할 수 있는 유용한 라이브러리입니다.

Great Expectations의 핵심에는 데이터에 대해 확인하고자 하는 Expectation, 즉 단언문이 있습니다. 이 강의는 실제 데이터셋에 연결하고 Expectations를 적용하는 방법을 배우는 것으로 시작합니다. 그런 다음, Expectations를 검색, 편집, 삭제하는 방법과 프로덕션 배포에서 새로운 데이터셋에 Expectations를 적용하는 파이프라인을 구축하는 방법을 배우게 됩니다.

마지막으로, 숫자 및 문자열 열과 같은 특정 유형의 Expectation에 대해 배우고, 다른 열의 값에 따라 한 열에 대한 Expectation을 작성하는 방법을 익히게 됩니다.

이 강의가 끝나면, Great Expectations Python 라이브러리에 대한 탄탄한 기초를 갖추게 됩니다. 플랫폼의 핵심 기능을 사용하여 데이터의 품질을 모니터링할 수 있으며, 데이터 품질 기준을 충족한다는 확신을 가지고 데이터를 사용할 수 있습니다.

Data Manipulation with pandas

Python의 Great Expectations 라이브러리로 데이터 과학 및 엔지니어링 워크플로에서 데이터 품질 보장.

Great Expectations로 배우는 데이터 품질 입문

Python의 Great Expectations 라이브러리로 데이터 사이언스·데이터 엔지니어링 워크플로에서 높은 데이터 품질을 보장하세요.

기본 컬럼 Expectations

Create Your Free Account