動画では、Spark ジョブのスケジューリングに役立つツールをいくつか紹介しました。cron の限界と、それが Airflow、Prefect、Dagster といったフレームワークの開発につながった経緯についても学びました。
Airflow には便利な機能が数多くありますが、以下のリストの中で cron でも提供されている機能はどれでしょうか。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この第1章では、データエンジニアリングの世界を体験します。データエンジニアとデータサイエンティストの違いを学び、データエンジニアが使う各種ツールの概要をつかみ、クラウド技術がデータエンジニアリングでどのような役割を果たすかを理解します。
データエンジニアとデータサイエンティストの主な違いが分かったところで、次はデータエンジニアのツールボックスを詳しく見ていきます。データエンジニアが使うさまざまな種類のデータベース、並列計算がツールキットの中核である理由、そしてスケジューリングフレームワークでデータ処理ジョブをどのように予約実行するかを学びます。
現在の演習
データエンジニアのツールボックスを学んだら、次はいよいよワークフローの中心であるETLに取り組みます。ETLでは、さまざまなソースから生データを抽出し、それを有用なインサイトへと変換し、活用可能な形で適切なデータベースにロードする方法を学びます。
前の3章で学んだ内容の総仕上げとして、DataCampの実データを用いたデータエンジニアリングのユースケースに取り組みます。コース評価の生データを変換し、DataCampの受講生に向けた実用的なコースレコメンデーションを生成するETLプロセスを実行し、スケジュール設定します。
