Завантаження даних про рейси

У цій вправі ви завантажите дані авіарейсів із CSV-файла. Щоб вправа виконувалась швидко, ці дані було скорочено до 50 000 записів. Більший набір даних у тому самому форматі можна отримати тут.

Нотатки щодо формату CSV:

поля розділено комою (це роздільник за замовчуванням) і
пропущені дані позначено рядком 'NA'.

Словник даних:

mon — місяць (ціле число від 1 до 12)
dom — день місяця (ціле число від 1 до 31)
dow — день тижня (ціле число; 1 = понеділок, 7 = неділя)
carrier — авіаперевізник (код IATA)
flight — номер рейсу
org — аеропорт відправлення (код IATA)
mile — відстань (милі)
depart — час вильоту (десяткова година)
duration — очікувана тривалість (хвилини)
delay — затримка (хвилини)

pyspark уже імпортовано для вас, сесію ініціалізовано.

Примітка: дані було сильно даунсемпловано.

Ця вправа є частиною курсу

Machine Learning з PySpark

Переглянути курс

Інструкції до вправи

Прочитайте дані з CSV-файла flights.csv. Автоматично призначте типи стовпців. Обробіть пропущені значення.
Скільки записів у даних?
Перегляньте перші п'ять записів.
Які типи даних призначено стовпцям? Чи виглядають вони коректно?

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Read data from CSV file
flights = spark.____.____(____,
                         sep=____,
                         header=____,
                         inferSchema=____,
                         nullValue=____)

# Get number of records
print("The data contain %d records." % flights.____())

# View the first five records
flights.____(5)

# Check column data types
print(flights.____)

Редагувати та запускати код