データエンジニアとして、状況に応じて最適なツールを選ぶ必要があります。Serverless とサーバー利用の違いを理解しておくことが大切です。
それぞれに適したユースケースを分類して練習しましょう。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この最初の章では、バッチ処理とストリーム処理の違いを学び、最初のストリームを作成し、権限を管理し、ストリームへの書き込みと読み取りを行います。
ストリーミングデータの次のステップとして、変換用の Lambda 関数を使ってサーバーレス化する方法を学びます。ハンズオン演習を通じて、Lambda レイヤーを追加し、特定の条件で Lambda 関数をトリガーします。
現在の演習
ここまでで、ストリーミングデータのエンコードとデコード、そしてストリーム上での直接分析を行う準備が整いました。複数のストリームを使って、日ごとの車両の最高速度も算出します。
最後の章では、ログ、メトリクス、アラーム、ダッシュボードを使ってストリームのパフォーマンスを監視する方法を学びます。Elasticsearch を利用し、独自の Kibana ダッシュボードを構築します。
