시작하기무료로 시작하기

홈
강의
Polars로 데이터 파이프라인 확장 및 최적화하기

대용량 쿼리 결과를 디스크에 저장하기

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

이 연습은 강의의 일부입니다

Polars로 데이터 파이프라인 확장 및 최적화하기

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

최적화 효과를 극대화하기 위해 쿼리를 지연 실행 상태로 유지하는 방법, 쿼리 플랜을 읽고 해석하는 방법, 그리고 프로파일링과 정렬된 데이터를 활용해 빠른 실행 경로를 확보하는 방법을 학습합니다.

Exercise 1: 효과적인 쿼리 실행 Exercise 2: 데이터를 lazy 방식으로 미리 보기 Exercise 3: 디지털 대출 현황 요약 Exercise 4: 두 리포트를 함께 수집하기 Exercise 5: 최적화와 쿼리 플랜 Exercise 6: 나이브 플랜 읽기 Exercise 7: 최적화된 플랜 읽기 Exercise 8: 쿼리 최적화가 실제로 하는 일 Exercise 9: 최적화를 최대한 활용하기 Exercise 10: 지연 피벗으로 넓은 형식 변환 Exercise 11: 지연 쿼리 프로파일링하기 Exercise 12: 정렬된 데이터에서 빠른 경로 필터 적용

Parquet 파일을 읽고 쓰는 방법, 복잡한 CSV를 파싱하는 방법, 멀티파일 및 하이브 파티셔닝된 데이터셋을 스캔하는 방법, 그리고 Polars에서 데이터베이스를 쿼리하는 방법을 학습합니다.

Exercise 1: Parquet 파일 다루기 Exercise 2: Parquet 스키마 살펴보기 Exercise 3: Parquet 데이터 요약하기 Exercise 4: Parquet 스냅샷 저장하기 Exercise 5: CSV 파싱 Exercise 6: 복잡한 CSV 파싱하기 Exercise 7: 추론된 스키마 재정의하기 Exercise 8: 파싱 오류 무시하기 Exercise 9: 멀티파일 데이터셋 다루기 Exercise 10: 여러 파일 스캔하기 Exercise 11: 누락된 열 삽입하기 Exercise 12: Hive 파티션 데이터셋 스캔하기 Exercise 13: 데이터베이스 활용 Exercise 14: URI를 사용하여 SQLite에서 데이터 읽기 Exercise 15: SQLite 히스토리 테이블에 데이터 추가하기 Exercise 16: DuckDB 쿼리 결과를 Polars로 변환하기

List 및 Struct 컬럼 다루기, 반복되는 문자열을 Categorical 및 Enum 데이터 타입으로 인코딩하기, 수치형 다운캐스팅을 통한 메모리 사용량 줄이기를 다룹니다.

Exercise 1: 배열 데이터 처리하기 Exercise 2: 주요 장르 추출하기 Exercise 3: 영화별 장르 수 계산하기 Exercise 4: 장르 인기도 집계 Exercise 5: 중첩 열 다루기 Exercise 6: production_country Unnest하기 Exercise 7: 국가 필드 이름 변경하기 Exercise 8: Object dtype 만들기 Exercise 9: Categorical 및 Enum dtype 활용하기 Exercise 10: Categorical 열 만들기 Exercise 11: 카테고리형 표현식 활용하기 Exercise 12: Enum 열 만들기 Exercise 13: 메모리 부담 줄이기 Exercise 14: 숫자 범위 확인하기 Exercise 15: 수치형 열 다운캐스팅 Exercise 16: DataFrame 크기 추정하기

스트리밍 엔진과 GPU 엔진을 사용하는 방법, 대용량 쿼리 결과를 파티셔닝과 함께 디스크에 직접 저장하는 방법, 그리고 Polars의 내장 어설션으로 파이프라인을 테스트하는 방법을 학습합니다.

Exercise 1: 스트리밍 엔진과 GPU 엔진 활용하기 Exercise 2: 스트리밍 엔진 사용하기 Exercise 3: 쿼리 결과를 배치로 처리하기 Exercise 4: 대용량 쿼리 결과를 디스크에 저장하기

현재 연습

Exercise 5: 정제된 추출 데이터를 Parquet으로 저장하기 Exercise 6: Parquet sink 다중화 Exercise 7: 커스텀 배치 싱크 사용하기 Exercise 8: Polars 파이프라인 테스트 Exercise 9: equals로 DataFrame 비교하기 Exercise 10: 스키마 테스트하기 Exercise 11: 전체 DataFrame 테스트하기 Exercise 12: 수고하셨습니다!