データエンジニアが何をしているのか、なぜ必要なのか、そしてどのような影響を与えているのかを理解するには、データが組織内をどのように流れているかを知る必要があります。
データサイエンスワークフローの4つのステップを、時系列順に並べることができますか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、データエンジニアリングとは何か、そしてデータエンジニアの需要がなぜ高まっているのかを学びます。 続いて、データサイエンスのプロセス全体の中で、データエンジニアリングがどの部分を担うのかを見ていきます。また、データエンジニアとデータサイエンティストの違いを学び、データパイプラインの全体像にも触れます。
現在の演習
ここからは、データエンジニアの主な仕事の一つである、データの保存について見ていきましょう。 この章では、データエンジニアがさまざまな構造のデータを管理する方法や、データのクエリや保存に広く使われているプログラミング言語、SQLの扱い方を学びます。さらに、データレイクやデータウェアハウスを活用して、用途に適したデータ保存の仕組みを構築する方法についても見ていきます。
データエンジニアは、各段階でさまざまな処理手法を使って生データを分析しやすい形に整え、データサイエンティストの仕事を支えます。 こうしたステップを組み合わせてパイプラインを構築するうえで、自動化が重要になります。 最後に、データエンジニアは、パイプラインを安定して稼働させるために、並列コンピューティングやクラウドコンピューティングを活用します。
