Revue des notions de base sur les DataFrames et de l'importance du nettoyage des données.

Introduction au nettoyage des données avec Apache Spark

Révision du nettoyage des données

Définir un schéma

Immutabilité et traitement paresseux

Rappel sur l'immutabilité

Utiliser le traitement paresseux

Comprendre Parquet

Enregistrer un DataFrame en format Parquet

SQL et Parquet

Détails sur les DataFrames

Aperçu de diverses techniques pour modifier le contenu des DataFrames dans Spark.

Opérations sur les colonnes d'un DataFrame

Filtrer le contenu d'une colonne avec Python

Question sur le filtrage no 1

Question de filtrage no 2

Modifier des colonnes de DataFrame

Opérations conditionnelles sur des colonnes de DataFrame

Exemple de when()

When / Otherwise

Fonctions définies par l'utilisateur

Comprendre les fonctions définies par l'utilisateur

Utiliser des fonctions définies par l'utilisateur dans Spark

Partitionnement et traitement paresseux

Ajouter un champ d'ID

ID avec des partitions différentes

D'autres astuces pour les ID

Manipuler des DataFrames dans des cas réels

Améliorez les tâches de nettoyage des données en augmentant la performance ou en réduisant les ressources requises.

Mise en cache

Mettre en cache un DataFrame

Retirer un DataFrame de la mémoire cache

Améliorer la performance d'importation

Optimisation de la taille des fichiers

Performance d'importation de fichiers

Configurations de grappe

Lecture des configurations de Spark

Écrire des configurations Spark

Améliorations de performance

Jointures normales

Utiliser la diffusion (broadcast) dans les jointures Spark

Comparer les jointures diffusées et normales

Améliorer la performance

Apprenez à traiter des données réelles complexes avec Spark et les notions de base des chaînes de traitement.

Introduction aux pipelines de données

Petit pipeline rapide

Problème de données dans le pipeline

Techniques de traitement des données

Suppression des lignes commentées

Retirer les lignes invalides

Fractionner en colonnes

Analyse plus poussée

Validation des données

Valider les lignes par jointure

Examiner les lignes non valides

Analyse finale et remise

Analyse des chiens

Nombre par image

Pourcentage de pixels « dog »

Félicitations et prochaines étapes

Traitements complexes et chaînes de traitement

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Travailler avec des données, c'est délicat — avec des millions, voire des milliards de lignes, c'est encore pire.
Avez-vous reçu du code de traitement de données conçu sur un portable avec des données plutôt propres?
Il y a de fortes chances que vous soyez chargé de faire passer un processus de données de base du prototype à la production.
Vous avez peut-être déjà travaillé avec des jeux de données réels, remplis de champs manquants, de formats étranges et d'un volume de données décuplé. Même si tout cela est nouveau pour vous, ce cours vous aide à apprendre ce qu'il faut pour préparer des processus de données en Python avec Apache Spark.
Vous verrez la terminologie, les méthodes et quelques pratiques exemplaires pour créer une plateforme de traitement de données performante, maintenable et facile à comprendre.

Intermediate Python

Introduction to PySpark

Apprenez à utiliser PySpark pour nettoyer vos données en Python avec DataFrames et pipelines.

Nettoyer des données avec PySpark

Apprenez à nettoyer des données avec Apache Spark en Python.

Big Data avec PySpark

ID	Name	Age	State
140	George L	47	Iowa
3260	Mary R	34	Vermont
18502	Audrey V	68	Ohio
999	Rick W	23	California

Question de filtrage no 2

Nettoyer des données avec PySpark

Exercice interactif pratique