Spark is a framework for working with Big Data. In this chapter you'll cover some background about Spark and Machine Learning. You'll then find out how to connect to Spark using Python and load CSV data.

Apprentissage automatique et Spark

Caractéristiques de Spark

Composants d'un cluster Spark

Se connecter à Spark

Emplacement du Spark master

Créer une session SparkSession

Chargement des données

Chargement des données des vols

Chargement des données de spam SMS

Introduction

Now that you are familiar with getting data into Spark, you'll move onto building two types of classification model: Decision Trees and Logistic Regression. You'll also find out about a few approaches to data preparation.

Data Preparation

Removing columns and rows

Column manipulation

Categorical columns

Assembling columns

Decision Tree

Train/test split

Build a Decision Tree

Evaluate the Decision Tree

Logistic Regression

Build a Logistic Regression model

Evaluate the Logistic Regression model

Turning Text into Tables

Punctuation, numbers and tokens

Stopwords and hashing

Training a spam classifier

Classification

Next you'll learn to create Linear Regression models. You'll also find out how to augment your data by engineering new predictors as well as a robust approach to selecting only the most relevant predictors.

One-Hot Encoding

Encoding flight origin

Encoding shirt sizes

Regression

Flight duration model: Just distance

Interpreting the coefficients

Flight duration model: Adding origin airport

Interpreting coefficients

Bucketing & Engineering

Bucketing departure time

Flight duration model: Adding departure time

Regularization

Flight duration model: More features!

Flight duration model: Regularization!

Finally you'll learn how to make your models more efficient. You'll find out how to use pipelines to make your code clearer and easier to maintain. Then you'll use cross-validation to better test your models and select good model parameters. Finally you'll dabble in two types of ensemble model.

Pipeline

Flight duration model: Pipeline stages

Flight duration model: Pipeline model

SMS spam pipeline

Cross-Validation

Cross validating simple flight duration model

Cross validating flight duration model pipeline

Grid Search

Optimizing flights linear regression

Dissecting the best flight duration model

SMS spam optimised

How many models for grid search?

Ensemble

Delayed flights with Gradient-Boosted Trees

Delayed flights with a Random Forest

Evaluating Random Forest

Closing thoughts

Ensembles & Pipelines

Flights

Spark est un outil puissant et généraliste pour travailler avec les Big Data. Spark gère de manière transparente la répartition des tâches de calcul sur un cluster. Cela signifie que les opérations sont rapides, mais cela vous permet également de vous concentrer sur l'analyse plutôt que de vous préoccuper des détails techniques. Dans ce cours, vous apprendrez à intégrer des données dans Spark, puis à vous plonger dans les trois algorithmes fondamentaux de Spark Machine Learning : Régression linéaire, régression logistique/classificateurs et création de pipelines. En cours de route, vous analyserez un vaste ensemble de données sur les retards de vols et les messages de spam. Avec ce bagage, vous serez prêt à exploiter la puissance de Spark et à l'appliquer sur vos propres projets d'apprentissage automatique !

<h2>Apprenez à utiliser Apache Spark pour l'apprentissage automatique (Machine Learning)</h2> 
Spark est un outil puissant et généraliste pour travailler avec les Big Data. Spark gère de manière transparente la répartition des tâches de calcul sur un cluster. Cela signifie que les opérations sont rapides, mais cela vous permet également de vous concentrer sur l'analyse plutôt que de vous préoccuper des détails techniques. Dans ce cours, vous apprendrez à intégrer des données dans Spark, puis à vous plonger dans les trois algorithmes fondamentaux de Spark Machine Learning : Régression linéaire, régression logistique/classificateurs et création de pipelines.
<br><br> 
<h2>Construire et tester des arbres de décision</h2> 
La construction de vos propres arbres de décision est un excellent moyen de commencer à explorer les modèles d'apprentissage automatique. Vous utiliserez un algorithme appelé "partitionnement récursif" pour diviser les données en deux classes et trouver un prédicteur dans vos données qui aboutit à la division la plus informative des deux classes, et répéter cette action avec d'autres nœuds. Vous pouvez ensuite utiliser votre arbre de décision pour faire des prévisions avec de nouvelles données.
<br><br> 
<h2>Maîtriser la régression logistique et linéaire dans PySpark</h2> 
La régression logistique et la régression linéaire sont des techniques d'apprentissage automatique essentielles prises en charge par PySpark. Vous apprendrez à construire et à évaluer des modèles de régression logistique, avant de passer à la création de modèles de régression linéaire pour vous aider à affiner vos prédicteurs en ne retenant que les options les plus pertinentes.
<br><br> 
À la fin du cours, vous serez confiant dans l'application de vos nouvelles connaissances en matière d'apprentissage automatique, grâce aux tâches pratiques et aux ensembles de données d'entraînement que vous trouverez tout au long du cours.

Supervised Learning with scikit-learn

Introduction to PySpark

Apprenez à prédire avec Apache Spark : arbres de décision, régressions, ensembles et pipelines.

Apprentissage automatique avec PySpark

Apprenez à prédire à partir de données avec Apache Spark grâce aux arbres de décision, régressions logistique et linéaire, ensembles et pipelines.

Big Data avec PySpark

Chercheur en apprentissage automatique en Python

Emplacement du Spark master

Exercice interactif pratique