ชมตัวอย่าง GX ก่อนเริ่มเรียน
สร้าง Data Context สำเร็จแล้ว นี่คือก้าวแรกที่สำคัญสู่โลกของ Great Expectations ลองมาดูตัวอย่างสิ่งที่จะทำได้เมื่อเรียนจบคอร์สนี้กัน
โค้ดทางขวาใช้ Data Context เพื่อสร้าง pandas Data Source และ Data Asset ซึ่งกำหนดรูปแบบของข้อมูล จากนั้นสร้าง Batch Definition เพื่อโหลดข้อมูลเข้ามา แล้วจึงสร้าง Expectation Suite ที่ประกอบด้วย Expectation และ Validation Definition ซึ่งใช้รัน Expectation Suite กับข้อมูลใน Batch ไม่ต้องกังวลหากยังไม่เข้าใจคำศัพท์เหล่านี้ในตอนนี้ ทุกอย่างจะชัดเจนขึ้นเมื่อเรียนจบคอร์ส!
นำเข้า Great Expectations ไว้ให้แล้วในชื่อ gx
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การตรวจสอบคุณภาพข้อมูลด้วย Great Expectations เบื้องต้น
คำแนะนำการฝึกหัด
- กด
รันโค้ดเพื่อดูผลลัพธ์ของโค้ด
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)