ここまで、データレイク、データウェアハウス、データベースについて学び、ちょうどこの3つの違いを見てきました。
次のうち、正しい記述はどれですか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、データエンジニアリングとは何か、そしてその需要がなぜ高まっているのかを学びます。 次に、データエンジニアリングがデータサイエンスのライフサイクルの中でどの位置にあるのか、データエンジニアがデータサイエンティストとどのように異なるのかを学び、最初の完全なデータパイプラインについて紹介します。
データエンジニアの主な責任の一つであるデータストレージについて話しましょう。 この章では、データエンジニアがさまざまなデータ構造をどのように管理し、データのクエリや保存に選ばれるプログラミング言語であるSQLで作業し、データレイクやデータウェアハウスを用いた適切なデータストレージソリューションを実装する方法について学びます。
現在の演習
データエンジニアは、さまざまな処理手法を用いて生データを分析用に準備することで、データサイエンティストの作業を容易にします。 これらのステップを組み合わせてパイプラインを作成する必要があり、その際に自動化が活用されます。 最後に、データエンジニアはパイプラインを円滑に流し続けるために、並列コンピューティングやクラウドコンピューティングを活用します。
