データパイプラインを検証することは、データエンジニアが本番環境へのデプロイ後にパイプラインが期待通りに動作することを保証するために取れる、最も重要な対策の1つです。
開発中および開発後にパイプラインを検証することで得られるメリットをすべて選んでください。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
データパイプラインを使ってデータがどのように収集、処理、移動されるのかを見ていきましょう。優れたデータパイプラインの特徴を学び、自分自身のパイプラインを設計・構築する準備を整えます。
pandas を活用してデータを抽出、変換、ロードしながら、初めてのデータパイプラインを構築しましょう。ETL ロジックを再利用可能にする方法を学び、パイプラインにログ記録と例外処理を組み込みます。
非表形式データの扱いや、DataFrame を SQL データベースに永続化するなど、高度なデータパイプライン構築テクニックでワークフローを強化しましょう。pandas を使った高度な変換に対応するツールを学び、複雑なデータを扱う際の最善の方法を見つけていきます。
最終章では、データパイプラインを本番環境にリリースする前に検証・テストするためのフレームワークを作成します。パイプラインをテストした後は、パフォーマンスを可視化しながらパイプラインをエンドツーエンドで実行するテクニックを学びます。
現在の演習