Lakehouse が従来のアーキテクチャと何が違うのか、メダリオンパターンがどのようにデータを整理するのか、そして Databricks プラットフォーム内でデータがどこに格納されるのかを学びましょう。

なぜレイクハウスなのか？

レイクハウスの信頼性機能を確認する

レイクハウスとウェアハウスのトレードオフ

メダリオンアーキテクチャ

メダリオンレイヤーを探索する

ワークロードをメダリオンレイヤーに対応付ける

プラットフォームのアーキテクチャ

コントロールプレーンとデータプレーン

監査ログはどこに保存されますか？

Lakehouse のパラダイム

用途に合ったクラスターを起動し、コストとパフォーマンスを考慮した設定を行い、ノートブック環境を使いこなし、Git と連携する方法を学びましょう。これらすべてを Databricks ワークスペース内で完結させます。

クラスタータイプとランタイム

クラスターの作成と設定

汎用クラスターとジョブクラスター、どちらを使う？

クラスターの管理と設定

クラスター管理のシナリオ

ノートブックの基礎

多言語ノートブックを作成する

適切なマジックコマンドの選択

コラボレーションとバージョン管理

ノートブックのバージョン履歴を確認する

Repos とノートブックのバージョン管理

コンピューティングとノートブック

Unity Catalog でデータを保護し、Delta Sharing で安全に共有し、外部ソースへのクエリをフェデレーションする方法を学びましょう。データをコピーすることなく、すべての操作が可能です。

Unity Catalog とデータリネージ

Unity Catalog の階層構造

Unity Catalog でテーブルのメタデータを確認する

Delta Sharing の基礎

Delta Share の作成

Delta Share へのテーブルの追加

Delta Sharing：種類とトレードオフ

ネイティブ共有とオープンプロトコル共有

クラウド間共有のコスト

Lakehouse Federation

Lakehouse Federation の使い分け

フェデレーション接続のセットアップ

ガバナンスと共有

Databricks Asset Bundle を使って作業をパッケージ化し、本番環境にデプロイする方法を学びます。最後に、総合的なシナリオですべての学習内容をまとめましょう。

手動デプロイから自動デプロイへ

DAB プロジェクトの構造を確認する

DAB と従来のデプロイ方式の比較

Asset Bundle の中身

Asset Bundle の確認と修正

設定からコードへジョブをたどる

総まとめ

エンドツーエンドのレイクハウスワークフロー

セキュリティ、コスト、ガバナンスのバランスを取る

おめでとうございます！

デプロイと次のステップ

データレイクとデータウェアハウスの利点を兼ね備えた最新のデータプラットフォームを使ってみましょう。このコースでは、Databricks Lakehouse の基礎から応用まで幅広く学びます。メダリオンアーキテクチャによるデータ整理の仕組みを理解し、クラスターの起動と設定、Git に接続したマルチ言語ノートブックの構築を習得します。さらに、Unity Catalog によるガバナンス、Delta Sharing を使った安全なデータ共有、Asset Bundle を使った本番環境へのデプロイまで学習します。コース修了後は、Databricks プラットフォームを自信を持って操作し、各コンポーネントがどのように連携しているかを理解できるようになります。

データレイクは柔軟性を提供しますが、信頼性に欠けます。 データウェアハウスは高いパフォーマンスを発揮しますが、非構造化データには対応できません。 Lakehouseはその両方を組み合わせたものであり、Databricksはそれらがすべて一つにまとまる場所です。 このコースでは、Databricks Lakehouseを基礎から学び、プラットフォームの中核コンポーネントを実践的に体験できます。
<br><br>
<h2>Lakehouseアーキテクチャを理解する</h2>
まず、レイクハウスが従来のアプローチと何が違うのかを理解することから始めましょう。 メダリオンアーキテクチャ、つまりブロンズ、シルバー、ゴールドの各レイヤーを学び、未加工で雑然としたデータを、クリーンでビジネスにすぐ活かせるインサイトへと変える方法を探ります。 その後、Databricksワークスペース内で全体像を把握し、カタログ、スキーマ、ボリュームがすべてをどのように整理しているかを理解します。
<br><br>
<h2>コンピュートとノートブックをマスターする</h2>
適切なジョブに最適なクラスターを選び、コストを抑えるためにオートスケーリングと自動終了を設定し、Python、SQL、Markdownを組み合わせたノートブックを作成する方法を学びます。 Databricks Repos を通じて Git にも接続し、バージョン管理とチームでの共同作業を行います。
<br><br>
<h2>データを安全に管理・共有する</h2>
Unity Catalog を活用して、組織全体のアクセス制御を管理し、データのリネージを追跡しましょう。 その後、Delta Sharing を使ってデータをパートナーに配信し、Databricks 上でもその他のあらゆるプラットフォーム上でも利用できるようにします。さらに、Lakehouse Federation を使って外部ソースをクエリし、1バイトたりともコピーすることなく実現できます。
<br><br>
<h2>Asset Bundles を使用して本番環境にデプロイする</h2>
ノートブック、パイプライン、ジョブをDatabricks Asset Bundlesにまとめて、再現可能で自動化されたデプロイを実現しましょう。 キャップストーンのシナリオでこれまでの内容を総合し、仕事ですぐにこれらのスキルを活用できる状態で修了できます。

Introduction to Databricks

Databricks Lakehouseを実践で学ぶ: メダリオンアーキテクチャ、クラスター、Unity Catalog、Delta Sharing。

Databricks Lakehouse 入門

Databricks Lakehouseを探求する - メダリオンアーキテクチャやクラスターから、ガバナンス、共有、デプロイまで。

Databricks Lakehouse を探求する - メダリオンアーキテクチャやクラスターから、ガバナンス、共有、デプロイまで。

Asset Bundle の中身

Create Your Free Account