Dans ce chapitre, vous apprendrez à utiliser les blocs-notes Databricks, à charger des données CSV dans des DataFrames Spark et à mettre les données en forme avec PySpark et SQL.

Travailler avec les blocs-notes Databricks

Comprendre les notebooks Databricks

Charger votre premier jeu de données

Explorer les journaux du pilote

Façonner les données avec PySpark et SQL

Façonner les données avec PySpark

Analyser des données avec SQL

Comprendre les vues temporaires

Chargement et mise en forme des données

Apprenez à définir des schémas explicites, à bâtir un pipeline de nettoyage des données et à optimiser les performances des requêtes avec des jointures en diffusion.

Nettoyage des données et contrôles de qualité

Pourquoi les schémas explicites sont importants

Nettoyer l'ensemble de données de vente au détail en ligne

Choisir la bonne métrique de qualité

Agréger et joindre des données efficacement

Joindre et agréger des données de vente au détail

Comprendre l’engorgement causé par le shuffle

Quand utiliser une jointure broadcast

Nettoyage des données et optimisation

Apprenez à calculer des totaux cumulatifs et des classements avec des fonctions de fenêtrage, à créer des pipelines en continu et à déployer des flux de production.

Fonctions de fenêtrage et requêtes en continu

Classer les clients avec des fonctions fenêtrées

Diffuser des données de vente au détail vers Delta Lake

Reprendre après un redémarrage

Pipelines de production avec des flux de travaux

Écrire et lire une table Delta

Créer un pipeline de travail à tâches multiples

Pourquoi passer à Lakeflow?

Pour conclure

Analytique et pipelines de production

transactions

country_lookup

online_retail

Prêt à gérer des données réelles à grande échelle? Ce cours vous apprend à transformer de vastes ensembles de données avec Spark SQL et PySpark dans Databricks. Apprenez à façonner et à nettoyer les données, à exécuter des agrégations avec des jointures optimisées et à appliquer des fonctions de fenêtrage pour des analyses avancées. Vous mettrez aussi en place un traitement en continu basé sur des fichiers avec des points de contrôle tolérants aux pannes et vous conserverez les résultats sous forme de tables Delta. À la fin, vous orchestrerez des pipelines de production en plusieurs étapes avec Databricks Workflows et Lakeflow Declarative Pipelines.


Introduction to Databricks SQL

Introduction to PySpark

Construisez des pipelines de données complets : nettoyage, agrégation, diffusion et orchestration.

Transformation des données avec Spark SQL dans Databricks

Créez des pipelines de données de bout en bout — du nettoyage et de l’agrégation au streaming et à l’orchestration.


Ingénieur de données associé dans Databricks

Nettoyer l'ensemble de données de vente au détail en ligne

Transformation des données avec Spark SQL dans Databricks

Exercice interactif pratique