この章では、Databricks ノートブックの操作方法、CSV データを Spark DataFrame に読み込む方法、PySpark と SQL を使ったデータ整形の方法を学びます。

Databricks ノートブックの操作

Databricks ノートブックを理解する

はじめてのデータセットの読み込み

ドライバーログを確認する

PySpark と SQL によるデータの加工

PySpark を使ったデータの整形

SQL を使ったデータ分析

一時ビューについて理解する

データの読み込みと整形

明示的なスキーマの定義、データクリーニングパイプラインの構築、ブロードキャストジョインによるクエリパフォーマンスの最適化について学びます。

データクリーニングと品質チェック

明示的なスキーマが重要な理由

オンライン小売データセットのクリーニング

適切な品質指標の選択

データの集計と効率的な結合

小売データの結合と集計

シャッフルのボトルネックを理解する

ブロードキャスト結合を使うべき場面

データクリーニングと最適化

ウィンドウ関数を使った累計値とランキングの計算、ストリーミングパイプラインの構築、そして本番ワークフローのデプロイ方法を学びます。

ウィンドウ関数とストリーミングクエリ

ウィンドウ関数を使った顧客のランキング

小売データを Delta Lake にストリーミングする

再起動後の処理再開

ワークフローを活用した本番パイプライン

Delta テーブルへの書き込みと読み込み

マルチタスクのジョブパイプラインを構築する

Lakeflowに切り替える理由

まとめ

分析と本番パイプライン

transactions

country_lookup

online_retail

大規模なデータを実務で扱う準備はできていますか？このコースでは、Databricks 上で Spark SQL と PySpark を使って大規模データセットを変換する方法を学びます。データの整形とクリーニング、最適化されたジョインを用いた集計、高度な分析のためのウィンドウ関数の適用などを習得します。また、フォールトトレラントなチェックポイントを備えたファイルベースのストリーミングの設定や、Delta テーブルへの結果の永続化も取り上げます。コースの終わりには、Databricks Workflows と Lakeflow Declarative Pipelines を使って、複数ステップの本番パイプラインを構築・管理できるようになります。


Introduction to Databricks SQL

Introduction to PySpark

データパイプラインを構築：クリーンアップ、集約、ストリーミング、オーケストレーションまで。

Databricks における Spark SQL を使ったデータ変換

データパイプラインを一気通貫で構築 - クレンジング、集計からストリーミング、オーケストレーションまで。


アソシエイトデータエンジニア Databricks内で

Lead Data Engineer

データの集計と結合を効率化する

3つの問い、1つのデータセット

`groupBy()` と `agg()` の仕組み

カテゴリ別売上 - コード

カテゴリ別売上 - 出力

ディメンションテーブルで情報を補完する

標準の左結合

隠れたコスト - シャッフル

Spark UI

`.explain()` でクエリプランを読む

ブロードキャスト結合 - 解決策

変更前後 - プランの確認

練習しましょう！

データクリーニングと最適化 - データの集計と効率的な結合

データの集計と効率的な結合

Create Your Free Account