Spark is a framework for working with Big Data. In this chapter you'll cover some background about Spark and Machine Learning. You'll then find out how to connect to Spark using Python and load CSV data.

Machine Learning e Spark

Caratteristiche di Spark

Componenti in un cluster Spark

Connessione a Spark

Posizione dello Spark master

Creare una SparkSession

Caricare i dati

Caricare i dati dei voli

Caricare i dati SMS spam

Introduction

Now that you are familiar with getting data into Spark, you'll move onto building two types of classification model: Decision Trees and Logistic Regression. You'll also find out about a few approaches to data preparation.

Data Preparation

Removing columns and rows

Column manipulation

Categorical columns

Assembling columns

Decision Tree

Train/test split

Build a Decision Tree

Evaluate the Decision Tree

Logistic Regression

Build a Logistic Regression model

Evaluate the Logistic Regression model

Turning Text into Tables

Punctuation, numbers and tokens

Stopwords and hashing

Training a spam classifier

Classification

Next you'll learn to create Linear Regression models. You'll also find out how to augment your data by engineering new predictors as well as a robust approach to selecting only the most relevant predictors.

One-Hot Encoding

Encoding flight origin

Encoding shirt sizes

Regression

Flight duration model: Just distance

Interpreting the coefficients

Flight duration model: Adding origin airport

Interpreting coefficients

Bucketing & Engineering

Bucketing departure time

Flight duration model: Adding departure time

Regularization

Flight duration model: More features!

Flight duration model: Regularization!

Finally you'll learn how to make your models more efficient. You'll find out how to use pipelines to make your code clearer and easier to maintain. Then you'll use cross-validation to better test your models and select good model parameters. Finally you'll dabble in two types of ensemble model.

Pipeline

Flight duration model: Pipeline stages

Flight duration model: Pipeline model

SMS spam pipeline

Cross-Validation

Cross validating simple flight duration model

Cross validating flight duration model pipeline

Grid Search

Optimizing flights linear regression

Dissecting the best flight duration model

SMS spam optimised

How many models for grid search?

Ensemble

Delayed flights with Gradient-Boosted Trees

Delayed flights with a Random Forest

Evaluating Random Forest

Closing thoughts

Ensembles & Pipelines

Flights

Spark è uno strumento potente e generico per lavorare con i Big Data. Spark gestisce in modo trasparente la distribuzione dei compiti di calcolo su un cluster. Questo rende le operazioni veloci e ti permette anche di concentrarti sull’analisi invece che sui dettagli tecnici. In questo corso imparerai a caricare i dati in Spark e poi approfondirai tre algoritmi fondamentali di Machine Learning in Spark: Regressione lineare, Regressione logistica/Classificatori e la creazione di pipeline. Lungo il percorso analizzerai un ampio insieme di dati sui ritardi dei voli e messaggi di testo di spam. Con queste basi sarai pronto a sfruttare la potenza di Spark e applicarla ai tuoi progetti di Machine Learning!

<h2>Impara a usare Apache Spark per il machine learning</h2> 
Spark è uno strumento potente e versatile per lavorare con i Big Data. Spark gestisce in modo trasparente la distribuzione dei compiti di calcolo all'interno di un cluster. Questo vuol dire che le operazioni sono veloci, ma ti permette anche di concentrarti sull'analisi invece di preoccuparti dei dettagli tecnici. In questo corso imparerai come inserire i dati in Spark e poi approfondirai i tre algoritmi fondamentali di Spark Machine Learning: Regressione lineare, regressione logistica/classificatori e creazione di pipeline.
<br><br> 
<h2>Costruire e testare alberi decisionali</h2> 
Creare i tuoi alberi decisionali è un ottimo modo per iniziare a esplorare i modelli di apprendimento automatico. Userai un algoritmo chiamato "partizionamento ricorsivo" per dividere i dati in due classi e trovare un predittore all'interno dei tuoi dati che porti alla divisione più informativa delle due classi, e ripeterai questa operazione con altri nodi. Puoi quindi usare il tuo albero decisionale per fare previsioni con nuovi dati.
<br><br> 
<h2>Padroneggia la logistica e la regressione lineare in PySpark</h2> 
La regressione logistica e lineare sono tecniche di machine learning super importanti supportate da PySpark. Imparerai a costruire e valutare modelli di regressione logistica, prima di passare alla creazione di modelli di regressione lineare che ti aiuteranno a perfezionare i tuoi predittori selezionando solo le opzioni più rilevanti.
<br><br> 
Alla fine del corso, ti sentirai sicuro nell'applicare le tue nuove conoscenze sul machine learning, grazie alle attività pratiche e ai set di dati di esercitazione che troverai durante il corso.

Supervised Learning with scikit-learn

Introduction to PySpark

Impara a fare previsioni dai dati con Apache Spark usando alberi decisionali, regressioni e pipeline.

Machine Learning con PySpark

Impara a fare previsioni dai dati con Apache Spark, usando alberi decisionali, regressione logistica, regressione lineare, insiemi e pipeline.

Big Data con PySpark

Scienziato specializzato in apprendimento automatico in Python

Components in a Spark Cluster

Components in a Spark Cluster

Machine Learning con PySpark

esercizio interattivo pratico