Дата-инженеры и специалисты по данным

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

Введение в дата-инжиниринг

SkillTag.level.beginnerSkillTag.label

4.9+

В этой главе вы узнаете, что такое дата-инжиниринг и почему спрос на специалистов в этой области растёт. Вы разберётесь, какое место дата-инжиниринг занимает в жизненном цикле науки о данных, чем дата-инженеры отличаются от специалистов по данным, и познакомитесь с вашим первым полноценным конвейером данных.

Exercise 1: Инжиниринг данных и большие данные Exercise 2: По течению Exercise 3: Не в их компетенции Exercise 4: Большие данные Exercise 5: Дата-инженеры и специалисты по данным

Текущее упражнение

Exercise 6: Проверьте себя Exercise 7: Кто это делает Exercise 8: Конвейер данных Exercise 9: Найдите ошибку Exercise 10: Pipeline

Пришло время поговорить о хранении данных — одной из ключевых обязанностей дата-инженера. В этой главе вы узнаете, как дата-инженеры работают с различными структурами данных, используют SQL — основной язык для запросов и хранения данных — и выбирают подходящие решения для хранения: озёра данных и хранилища данных.

Exercise 1: Структуры данных Exercise 2: Структуры данных Exercise 3: В чём разница Exercise 4: Базы данных SQL Exercise 5: Разберёмся вместе Exercise 6: Столбцы Exercise 7: Разные специальности Exercise 8: Хранилища данных и озёра данных Exercise 9: Найдите верное утверждение Exercise 10: Наше хранилище (в самом центре нашей системы)

Дата-инженеры упрощают работу специалистов по данным, подготавливая сырые данные к анализу с помощью различных методов обработки на каждом этапе. Эти этапы объединяются в конвейеры, где ключевую роль играет автоматизация. Кроме того, дата-инженеры применяют параллельные и облачные вычисления, чтобы конвейеры работали без сбоев.

Exercise 1: Обработка данных Exercise 2: Соединяем точки Exercise 3: Планирование обработки данных Exercise 4: Расписания Exercise 5: Одно или другое Exercise 6: Параллельные вычисления Exercise 7: Всегда и везде?Exercise 8: Параллельная вселенная Exercise 9: Облачные вычисления Exercise 10: В облаках Exercise 11: Найти своё место Exercise 12: Мы — чемпионы