Une introduction générale à PySpark et à l'informatique distribuée. Cette section présente PySpark, les DataFrames PySpark et les RDD.

Introduction à PySpark

Créer une SparkSession

Charger des données de recensement

Introduction aux DataFrames PySpark

Passage à l'échelle et performance

Lecture d'un CSV et calculs d'agrégats

Filtrer par entreprise

En savoir plus sur les DataFrames Spark

Déduire et filtrer

Définir le schéma

Introduction à Apache Spark et à PySpark

Suite sur les DataFrames et les types de données complexes. Cette section développe ce que les DataFrames offrent dans PySpark et introduit certains concepts de Spark SQL.

Manipulation de données avec les DataFrames

Gérer les données manquantes avec fill et drop

Opérations sur les colonnes : créer et renommer des colonnes

Opérations avancées sur les DataFrames

Combinaisons de DataFrames

Joindre les vols avec leurs aéroports de destination

Vous la définissez? Vous l'utilisez!

UDF définie

Les entiers dans les UDF PySpark

UDF pandas

PySpark en Python

Découvrez comment tirer parti de Spark SQL et de PySpark pour un traitement des données à grande échelle, en alliant la simplicité de SQL à la puissance du calcul distribué de PySpark pour gérer efficacement de grands ensembles de données.

Jeux de données distribués résilients (RDD) dans PySpark

Créer des RDD

Récupérer des RDD

Introduction à Spark SQL

Interroger une vue temporaire

Exécuter du SQL sur des DataFrames

Analytique avec SQL sur des DataFrames

Agrégations avec PySpark

Agrégations dans PySpark

Agrégation dans les RDD

Agrégations complexes

PySpark à l'échelle

Diffusion (broadcast)

Mettre le tout ensemble I

Mettons tout ensemble II

Qu'avons-nous appris?

Introduction à PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Ce cours s'adresse aux ingénieurs et ingénieures de données, aux scientifiques des données et aux praticiennes et praticiens du Machine Learning qui souhaitent travailler avec de grands ensembles de données à l'aide de PySpark. Vous découvrirez la rapidité et l'évolutivité d'Apache Spark, apprendrez à créer des sessions Spark, à travailler avec des RDD et à manipuler des DataFrames au moyen d'exercices pratiques. Le cours couvre aussi PySpark SQL : vous apprendrez à interroger des données avec SQL, à gérer les schémas et les types de données complexes, et à optimiser la performance dans des environnements distribués. À la fin, vous aurez les notions de base pour traiter et analyser des données massives, en vue d'applications avancées comme le Machine Learning et l'analytique des grandes données.

Les vidéos comprennent des transcriptions que vous pouvez afficher en cliquant sur « Show transcript » dans le coin inférieur gauche des vidéos.
Le glossaire du cours se trouve à droite, dans la section des ressources.
Pour obtenir des crédits CPE, vous devez terminer le cours et atteindre un résultat de 70 % à l'évaluation admissible. Vous pouvez accéder à l'évaluation en cliquant sur l'encadré des crédits CPE à droite.

Ce cours est parfait pour les ingénieurs de données, les scientifiques des données et les praticiens en apprentissage automatique qui souhaitent travailler efficacement avec de grands ensembles de données. Que vous passiez d’outils comme Pandas ou que vous découvriez les technologies de mégadonnées pour la première fois, ce cours offre une solide introduction à PySpark et au traitement distribué des données.<br><br>
<h2>Pourquoi Spark? Pourquoi maintenant?</h2>
Découvrez la vitesse et l’évolutivité d’Apache Spark, le puissant cadre conçu pour traiter les mégadonnées. Grâce à des leçons interactives et à des exercices pratiques, vous verrez comment le traitement en mémoire de Spark lui donne un avantage sur des cadres traditionnels comme Hadoop. Vous commencerez par configurer des sessions Spark et plongerez dans des composants essentiels comme les ensembles de données distribués résilients (RDD) et les DataFrames. Apprenez à filtrer, regrouper et joindre des ensembles de données avec aisance tout en travaillant sur des exemples concrets.<br><br>
<h2>Améliorez vos compétences en Python et en SQL pour le Big Data</h2>
Apprenez à exploiter PySpark SQL pour interroger et gérer des données à l’aide d’une syntaxe SQL familière. Maîtrisez les schémas, les types de données complexes et les fonctions définies par l’utilisateur (UDF), tout en développant vos compétences en mise en cache et en optimisation des performances pour les systèmes distribués.<br><br>
<h2>Bâtissez vos bases en mégadonnées</h2>
À la fin de ce cours, vous aurez la confiance nécessaire pour manipuler, interroger et traiter de grandes quantités de données avec PySpark. Avec ces compétences fondamentales, vous serez prêt à explorer des sujets avancés comme l’apprentissage automatique et l’analyse des mégadonnées.

Introduction to SQL

Data Manipulation with pandas

Maîtrisez PySpark pour gérer facilement les mégadonnées : traitez, interrogez et optimisez les ensembles!

Maîtrisez PySpark pour gérer facilement les mégadonnées—apprenez à traiter, interroger et optimiser d’immenses jeux de données pour des analyses puissantes !

Ingénieur de données associé dans Databricks

Big Data avec PySpark

Scientifique en apprentissage automatique en Python

Ingénieur de données professionnel en Python

Variable	Description
age	Âge de la personne
education_num	Scolarité (par diplôme)
marital_status	État matrimonial
occupation	Profession
income	Revenu (variable catégorielle)

Charger des données de recensement

Introduction à PySpark

Instructions de l’exercice

Exercice interactif pratique