SQL и NoSQL

В видео о базах данных вы познакомились с различиями между SQL и NoSQL. Вы узнали, что SQL использует схемы баз данных для определения связей, а NoSQL позволяет работать с менее структурированными данными.

Вы также, возможно, запомнили примеры открытых SQL- и NoSQL-баз данных и их типичные сценарии использования.

Это упражнение является частью курса

Введение в дата-инжиниринг

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Введение в дата-инжиниринг

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В первой главе вы познакомитесь с миром дата-инжиниринга! Узнайте, чем отличается дата-инженер от дата-сайентиста, получите обзор инструментов, которые используют дата-инженеры, и разберитесь в том, какую роль облачные технологии играют в дата-инжиниринге.

Exercise 1: Что такое дата-инжиниринг?Exercise 2: Задачи инженера данных Exercise 3: Инженер по данным или специалист по данным?Exercise 4: Задачи инженера данных Exercise 5: Инструменты дата-инженера Exercise 6: Виды баз данных Exercise 7: Задачи обработки данных Exercise 8: Инструменты планирования Exercise 9: Облачные провайдеры Exercise 10: Зачем использовать облачные вычисления?Exercise 11: Крупнейшие игроки облачных вычислений Exercise 12: Облачные сервисы

Теперь, когда вы знаете основные различия между дата-инженером и дата-сайентистом, пора изучить инструментарий дата-инженера! Подробно разберите типы баз данных, с которыми работают дата-инженеры, узнайте, почему параллельные вычисления — это основа их работы, и научитесь планировать задания по обработке данных с помощью планировщиков задач.

Exercise 1: Базы данных Exercise 2: SQL и NoSQL

Текущее упражнение

Exercise 3: Схема базы данных Exercise 4: Объединение по связям Exercise 5: Диаграмма схемы звезды Exercise 6: Что такое параллельные вычисления Exercise 7: Зачем нужны параллельные вычисления?Exercise 8: От задачи к подзадачам Exercise 9: Использование DataFrame Exercise 10: Фреймворки для параллельных вычислений Exercise 11: Spark, Hadoop и Hive Exercise 12: Группировка в PySpark Exercise 13: Запуск файлов PySpark Exercise 14: Фреймворки для планирования рабочих процессов Exercise 15: Airflow, Luigi и cron Exercise 16: DAG в Airflow

Вы уже знакомы с инструментарием дата-инженера — теперь время перейти к основе его работы! В процессе изучения ETL вы научитесь извлекать сырые данные из различных источников, преобразовывать их в полезную информацию и загружать в нужные базы данных, готовые к использованию.

Exercise 1: Извлечение данных Exercise 2: Источники данных Exercise 3: Запрос к API Exercise 4: Чтение из базы данных Exercise 5: Преобразование Exercise 6: Разделение ставки аренды Exercise 7: Подготовка к трансформациям Exercise 8: Объединение с рейтингами Exercise 9: Загрузка данных Exercise 10: OLAP или OLTP Exercise 11: Запись в файл Exercise 12: Загрузка в Postgres Exercise 13: Собираем всё воедино Exercise 14: Определение DAG Exercise 15: Настройка Airflow Exercise 16: Анализ DAG

Завершите курс, применив всё, что вы изучили в предыдущих трёх главах, в реальном кейсе по дата-инжинирингу от DataCamp! Вы реализуете и запланируете ETL-процесс, который преобразует сырые данные об оценках курсов в персональные рекомендации для студентов DataCamp.

Exercise 1: Рейтинги курсов Exercise 2: Изучение схемы Exercise 3: Запрос к таблице Exercise 4: Средний рейтинг курса Exercise 5: От оценок к рекомендациям Exercise 6: Фильтрация некорректных данных Exercise 7: Применение преобразования для рекомендаций Exercise 8: Планирование ежедневных задач Exercise 9: Целевая таблица Exercise 10: Определение DAG Exercise 11: Активация DAG Exercise 12: Запрос рекомендаций Exercise 13: Поздравляем!