既存のデータパイプラインをDatabricksへ移行するにあたり、データエンジニアリングチームは開発に選んだ言語が本当に適切かを気にしています。すべてを作り直したくはありませんが、長期的に最適な言語かどうか、そしてDatabricksがその言語をサポートしているかを確認したいと考えています。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
クラウドデータ戦略における新しいレイクハウスのパラダイムと、Databricks Lakehouse プラットフォームがどのようにデータアーキテクチャをモダナイズするかを学びます。Databricks プラットフォームの基盤となるコンポーネントと、それらがどのように連携するかを理解します。
Databricks の機能を使って、データの処理・変換・クレンジングを行う方法を学びます。Delta ストレージ形式、Delta Live Tables、Workflows といった機能を組み合わせ、エンドツーエンドのデータパイプラインを構築する練習をします。
現在の演習
Business Intelligence（BI）のユースケース向けに、Databricks Lakehouse プラットフォームをデータウェアハウジングの解決策として活用します。Databricks に組み込まれた SQL 最適化機能を使い、データに対するクエリやダッシュボードを作成します。
Databricks を使って、managed MLFlow により Machine Learning のパイプラインを管理します。Feature Store、Model Registry、Model Serving Endpoints を用いて、モデル開発ライフサイクルをエンドツーエンドで辿り、レイクハウス上に堅牢な MLOps 基盤を構築します。
