Управление данными в Delta Lake

Продолжая работу с данными пациентов, вы теперь отвечаете за обработку данных о рецептах для компании HealthInc.

В этом упражнении вы создадите таблицу Delta Lake из файла prescriptions.csv, удалите устаревшую запись и убедитесь, что все изменения соответствуют свойствам ACID для обеспечения согласованности данных.

Это упражнение является частью курса

Управление данными в Databricks

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Управление данными в Databricks

SkillTag.level.beginnerSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматривается управление таблицами в Databricks: различия между управляемыми и неуправляемыми таблицами, а также особенности их хранения и жизненного цикла. Вы научитесь создавать и обновлять постоянные представления, а также познакомитесь с возможностями Delta Lake — ACID-транзакциями, контролем схемы и перемещением во времени — для надёжного управления данными. Кроме того, вы получите более глубокое понимание механизмов организации данных и доступа к ним в Databricks.

Exercise 1: Введение в Delta Lake Exercise 2: Надёжность данных в Delta Lake Exercise 3: Обеспечение свойств ACID Exercise 4: Управление данными в Delta Lake

Текущее упражнение

Exercise 5: Оптимизация таблиц Exercise 6: Постоянство и область видимости таблиц Exercise 7: Управляемые и неуправляемые таблицы Exercise 8: Сравнение таблиц Exercise 9: Удаление таблиц Exercise 10: Создание неуправляемых таблиц

В этой главе рассматривается создание представлений и временных представлений в Databricks и управление ими. Вы узнаете, как постоянные представления сохраняют логику запросов для повторного использования между сессиями, а временные представления подходят для быстрых, сессионно-ориентированных задач. Также разбираются практические сценарии, в которых каждый тип представлений помогает повысить эффективность и упростить обработку данных.

Exercise 1: Создание таблиц и управление ими Exercise 2: Настраиваемое хранилище: правильный подход Exercise 3: Хранение таблиц Exercise 4: Перемещение таблиц Exercise 5: Управление или перемещение?Exercise 6: Очистка данных с помощью Vacuum Exercise 7: Представления и временные представления Exercise 8: Постоянные или временные?Exercise 9: Работа с представлениями Exercise 10: Создание постоянных представлений Exercise 11: Краткосрочные представления Exercise 12: Постоянные представления в действии

В заключительной главе вы изучите, как использовать Data Explorer для просмотра, анализа и защиты наборов данных. Рассматриваются вопросы владения таблицами, связанные с этим обязанности и лучшие практики управления данными. Отдельное внимание уделяется управлению правами доступа и безопасной работе с персональными данными (PII) с использованием стратегий, ориентированных на соответствие требованиям, и практических упражнений.

Exercise 1: Исследование данных с помощью Data Explorer Exercise 2: Работа с Data Explorer Exercise 3: Изучение наборов данных Exercise 4: Журналы и безопасность Exercise 5: Управление доступом и работа с персональными данными Exercise 6: Защита персональных данных (PII)Exercise 7: Защита имён пациентов Exercise 8: Управление разрешениями Exercise 9: Поздравляем!