A regressão logística é um método popular para prever uma resposta categórica. Provavelmente, uma das aplicações mais comuns da regressão logística é a classificação de spam de mensagens ou e-mails. Neste exercício de três partes, você criará um classificador de spam de e-mail com regressão logística usando o Spark MLlib. Aqui estão as etapas resumidas para você criar um classificador de spam.

Crie um RDD de strings que representam o e-mail.
Execute os algoritmos de extração de recursos do MLlib para converter o texto em um RDD de vetores.
Chame um algoritmo de classificação no RDD de vetores para retornar um objeto de modelo para classificar novos pontos.
Avalie o modelo em um conjunto de dados de teste usando uma das funções de avaliação do MLlib.

Na primeira parte do exercício, você carregará os arquivos "spam" e "ham" (non-spam) em RDDs, dividirá os e-mails em palavras individuais e examinará o primeiro elemento em cada um dos RDD.

Lembre-se de que você tem um SparkContext sc disponível em seu espaço de trabalho. Além disso, as variáveis file_path_spam (que é o caminho para o arquivo "spam") e file_path_non_spam (que é o caminho para o arquivo "non-spam") já estão disponíveis em seu espaço de trabalho.

Bibliotecas de ML do PySpark

Fundamentos de Big Data com PySpark

exercicio interativo prático