新しくチームに加わった後輩が、あなたのレイジーパイプラインをレビューしています。クエリ最適化が高速化の鍵だと聞いた彼らは、実際に何をするのか説明してほしいと頼んできました。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
最大限の最適化を実現するためにクエリをレイジーに保つ方法、クエリプランの読み方と解釈、プロファイリングとソート済みデータを活用した高速処理の方法を学びます。
現在の演習
Parquet ファイルの読み書き、複雑な CSV の解析、マルチファイルおよびハイブパーティション形式のデータセットのスキャン、Polars からのデータベースへのクエリ実行について学びます。
List 列と Struct 列の操作、繰り返し文字列の Categorical・Enum データ型へのエンコード、数値のダウンキャストによるメモリ使用量の削減について学びます。
ストリーミングエンジンと GPU エンジンの使用方法、パーティション分割を伴う大規模なクエリ結果のディスクへの直接書き出し、Polars の組み込みアサーションを使ったパイプラインのテストについて学びます。
