Логістична регресія — це популярний метод для прогнозування категоріальної відповіді. Один із найпоширеніших її застосунків — класифікація повідомлень або електронних листів на спам і не-спам. У цій вправі з трьох частин ви створите класифікатор спаму електронної пошти за допомогою логістичної регресії в Spark MLlib. Ось короткі кроки для створення такого класифікатора.

Створити RDD рядків, що представляють електронні листи.
Запустити алгоритми видобування ознак з MLlib, щоб перетворити текст на RDD векторів.
Викликати алгоритм класифікації на RDD векторів, щоб отримати об'єкт моделі для класифікації нових точок.
Оцінити модель на тестовому наборі даних, використовуючи одну з функцій оцінювання MLlib.

У першій частині вправи ви завантажите файли «spam» і «ham» (не-спам) у RDD, розіб'єте листи на окремі слова та переглянете перший елемент у кожному з цих RDD.

Пам'ятайте, що у вашому середовищі доступний SparkContext sc. Також змінна file_path_spam (шлях до файла «spam») і file_path_non_spam (шлях до файла «non-spam») уже доступні у вашому середовищі.

Бібліотеки PySpark ML

Основи Big Data з PySpark

Практична інтерактивна вправа