あるパイプラインが外部の決済APIを呼び出していますが、ピーク時間帯にHTTP 503エラーが返ることがあります。APIチームによると、2回目または3回目の試行でほぼ必ず成功するものの、APIの回復には数分かかるため、リトライの間隔が重要だとのことです。
このシナリオに最も適したリトライ設定はどれですか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
まず Airflow のコンポーネントを理解し、TaskFlow API を使って最初の DAG を作成します。さらに、XCom を使ったタスク間のデータ受け渡し方法を学びます。
次に、動的タスクマッピングによる並列タスク実行、アセットを活用したデータ駆動型の DAG スケジューリング、そして人による承認ステップの追加方法を学びます。
このチャプターでは、リトライとコールバックによる障害対応、リソースを節約するための遅延可能センサー、そして DAG を 3 つのレベルでテストする方法を学びます。
現在の演習
最終チャプターでは、DuckDB 上に SQL ETL パイプラインを構築し、アセットパーティションを使ったパーティション対応スケジューリングを追加して、データ品質チェックを組み込みます。
