НачатьНачать бесплатно

Создание таблицы SQL из датафрейма

На основе датафрейма можно создать временную таблицу. Временная таблица существует только в рамках текущей сессии и удаляется после её завершения. В документации Spark такой объект также называется временным представлением SQL (SQL temporary view). Там же этот процесс описывается как регистрация датафрейма в качестве временного представления SQL. Команда вызывается непосредственно на датафрейме: если таблица ещё не существует, она будет создана; если же таблица уже есть, её данные будут заменены текущим содержимым датафрейма.

Это упражнение является частью курса

Введение в Spark SQL на Python

Посмотреть курс

Инструкции к упражнению

  • Загрузите данные в формате CSV из файла trainsched.txt в датафрейм и сохраните его в переменную df.
  • Создайте временную таблицу на основе df. Назовите таблицу "table1".

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)

# Create temporary table called table1
df.____(____)
Редактировать и запускать код