Parquet 스냅샷 저장하기
다운스트림 대시보드에서 디지털 전자책 활동 데이터를 더 가볍게 담은 Parquet 스냅샷이 필요합니다. 결과를 지연 방식으로 빌드한 뒤, 압축 및 행 그룹 설정을 명시적으로 지정해 빠른 읽기에 최적화된 파일로 저장해 보세요.
LazyFrame requests를 사용할 수 있으며, 내보내기 경로는 PARQUET_EXPORT_PATH에 저장되어 있습니다.
이 연습은 강의의 일부입니다
Polars로 데이터 파이프라인 확장 및 최적화하기
연습 안내
- 스냅샷에 포함할 디지털 행을 처음 500개만 유지하세요.
- Parquet 파일을 저장할 때
compression_level을5로 설정하세요. row_group_size를250행으로 설정하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
result = (
requests
.filter(pl.col("use") == "Digital")
.select("date", "format", "checkouts", "title")
# Keep only the first 500 rows
.____(500)
.collect()
)
result.write_parquet(
PARQUET_EXPORT_PATH,
# Set compression level to 5
compression_level=____,
# Set 250 rows per row group
row_group_size=____,
)
print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))