ПочатиПочніть безкоштовно

Завантаження даних про SMS‑спам

Ви бачили, що типи даних можна виводити безпосередньо з даних. Іноді зручніше мати повний контроль над типами стовпців. Для цього визначають явну схему.

Файл sms.csv містить добірку SMS‑повідомлень, які класифіковано як «spam» або «ham». Дані адаптовано з UCI Machine Learning Repository. Загалом є 5 574 SMS, із них 747 позначені як спам.

Примітки щодо формату CSV:

  • немає рядка заголовка та
  • поля розділено крапкою з комою (це не стандартний роздільник).

Словник даних:

  • id — ідентифікатор запису
  • text — вміст SMS‑повідомлення
  • label — spam або ham (ціле число; 0 = ham, 1 = spam)

Ця вправа є частиною курсу

Machine Learning з PySpark

Переглянути курс

Інструкції до вправи

  • Задайте схему даних із назвами стовпців ("id", "text" і "label") та їхніми типами.
  • Прочитайте дані з розділеного файла "sms.csv".
  • Виведіть схему отриманого датафрейма.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

# Specify column names and types
schema = StructType([
    StructField("____", IntegerType()),
    ____("____", ____()),
    ____("____", ____())
])

# Load data from a delimited file
sms = spark.read.csv(____, sep=____, header=____, ____=____)

# Print schema of DataFrame
sms.____()
Редагувати та запускати код