Révision des bases des DataFrames et de l’importance du nettoyage des données.

Introduction au nettoyage des données avec Apache Spark

Révision du nettoyage des données

Définir un schéma

Immutabilité et traitement paresseux

Rappel sur l’immutabilité

Utiliser l'exécution paresseuse

Comprendre Parquet

Enregistrer un DataFrame au format Parquet

SQL et Parquet

Détails sur les DataFrames

Panorama de différentes techniques pour modifier le contenu des DataFrames dans Spark.

Opérations sur les colonnes de DataFrame

Filtrer le contenu d’une colonne avec Python

Question sur le filtrage n°1

Filtrage : question n° 2

Modifier des colonnes de DataFrame

Opérations conditionnelles sur des colonnes de DataFrame

Exemple de when()

When / Otherwise

Fonctions définies par l’utilisateur

Comprendre les fonctions définies par l’utilisateur

Utiliser des fonctions définies par l’utilisateur dans Spark

Partitionnement et exécution paresseuse

Ajouter un champ d’ID

IDs avec différentes partitions

Encore plus d’astuces sur les identifiants

Manipuler des DataFrames en conditions réelles

Améliorez les tâches de nettoyage de données en augmentant les performances ou en réduisant les ressources nécessaires.

Mise en cache

Mettre en cache un DataFrame

Retirer un DataFrame du cache

Améliorer les performances d’importation

Optimisation de la taille des fichiers

Performances d’import de fichiers

Configurations de cluster

Lire les configurations de Spark

Écrire des configurations Spark

Améliorations des performances

Jointures normales

Utiliser le broadcasting dans les jointures Spark

Comparer les jointures broadcast et classiques

Améliorer les performances

Apprenez à traiter des données réelles complexes avec Spark et les bases des pipelines.

Introduction aux pipelines de données

Pipeline rapide

Problème de données dans la pipeline

Techniques de gestion des données

Supprimer les lignes commentées

Supprimer les lignes invalides

Découper en colonnes

Aller plus loin dans l’analyse

Validation des données

Valider les lignes via une jointure

Examiner les lignes invalides

Analyse finale et livraison

Analyse des chiens

Nombre par image

Pourcentage de pixels « dog »

Félicitations et prochaines étapes

Traitements complexes et pipelines de données

Dallas Council Votes

Dallas Council Voters

Flights - 2014

Flights - 2015

Flights - 2016

Flights - 2017

Travailler avec des données est complexe — et avec des millions, voire des milliards de lignes, c’est encore plus difficile.
Avez-vous reçu du code de traitement de données écrit sur un ordinateur portable avec des données assez propres ?
Vous êtes sans doute chargé de faire passer un processus de données basique du prototype à la production.
Vous avez peut-être travaillé avec des jeux de données réels, comportant des champs manquants, des formats étranges et des volumes de données beaucoup plus importants. Même si tout cela est nouveau pour vous, ce cours vous apprend ce qu’il faut pour préparer des processus de données en Python avec Apache Spark.
Vous apprendrez la terminologie, des méthodes et de bonnes pratiques pour créer une plateforme de traitement de données performante, maintenable et compréhensible.

Intermediate Python

Introduction to PySpark

Apprenez à utiliser PySpark pour nettoyer vos données en Python. Découvrez l'importance des données propres.

Nettoyer des données avec PySpark

Apprenez à nettoyer des données avec Apache Spark en Python.

Big Data avec PySpark

ID	Name	Age	State
140	George L	47	Iowa
3260	Mary R	34	Vermont
18502	null	68	Ohio
999	Rick W	23	California

Question sur le filtrage n°1

Nettoyer des données avec PySpark

Exercice interactif pratique