GX 미리 살펴보기
Data Context를 잘 만들었어요! 이제 Great Expectations 세계로 들어가는 강력한 첫걸음을 떼셨습니다. 이번 코스가 끝날 때쯤 어떤 멋진 일들을 해볼 수 있는지 살짝 미리 볼까요?
오른쪽의 코드는 Data Context를 사용해 pandas Data Source와 Data Asset을 만들고, 이를 통해 데이터의 형식을 정의합니다. 그다음 Batch Definition을 만들어 데이터를 읽어옵니다. 마지막으로 Expectation이 담긴 Expectation Suite와, 해당 Expectation Suite를 데이터 Batch에 실행하는 Validation Definition을 만듭니다. 지금은 이러한 용어들이 익숙하지 않아도 괜찮아요. 코스를 마칠 때쯤이면 모두 명확해질 거예요!
Great Expectations는 이미 gx로 임포트되어 있습니다.
이 연습은 강의의 일부입니다
Great Expectations로 배우는 데이터 품질 입문
연습 안내
코드 실행을 눌러 코드 결과를 확인하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)