Ce chapitre traite de la gestion des tables dans Databricks, en mettant l'accent sur les tables gérées et non gérées et sur leur façon de gérer le stockage et le cycle de vie. Vous apprendrez à créer et à actualiser des vues persistantes et vous explorerez des fonctions de Delta Lake comme les transactions ACID, l'application du schéma et le voyage dans le temps pour une gestion fiable des données. Vous approfondirez aussi le fonctionnement de l'organisation et de l'accès aux données dans Databricks.

Comprendre Delta Lake

Fiabilité des données dans Delta Lake

Assurer les propriétés ACID

Gérer les données dans Delta Lake

Optimiser les tables

Persistance et portée des tables

Tables gérées vs non gérées

Affrontement de tables

Suppression de tables

Créer des tables non gérées

Introduction à Delta Lake

Ce chapitre explique comment créer et gérer des vues et des vues temporaires dans Databricks. Vous verrez comment les vues persistantes permettent d'enregistrer la logique des requêtes pour la réutiliser entre les sessions, tandis que les vues temporaires conviennent aux tâches rapides propres à une session. On y présente aussi des scénarios pratiques où chaque type peut améliorer l'efficacité et simplifier le traitement des données.

Création et gestion des tables

Bien utiliser l'entreposage personnalisé

Stockage des tables

Déplacer des tables

Options

Data Management

Data Movement

Gestion ou déplacement?

Pratiques exemplaires pour la gestion de grandes tables

Nettoyage des données avec VACUUM

Vues et vues temporaires

View

Temp View

Persistante ou temporaire?

Parcourir les vues

La persistance comme un pro

Vues de courte durée

La magie des vues persistantes

Travailler avec des tables dans Databricks

Dans le dernier chapitre, vous apprendrez à utiliser Data Explorer pour prévisualiser, analyser et sécuriser des jeux de données. Le contenu couvre la propriété des tables, les responsabilités et les pratiques exemplaires de gouvernance. On y aborde aussi la gestion des droits d'accès et la protection sécuritaire des renseignements personnels identifiables (PII) avec des stratégies axées sur la conformité et des exercices pratiques.

Exploration des données avec Data Explorer

Le parcours dans Data Explorer

Explorer des jeux de données

Journaux et sécurité

Gérer l'accès et comprendre les Renseignements personnels (PII)

Protéger les PII

Protéger les noms des patient·e·s

Gérer les autorisations

Félicitations !

Exploration et sécurité des données

Prêt à perfectionner vos compétences sur Databricks? Dans ce cours, vous maîtriserez la gestion des données dans Databricks en tirant parti de Delta Lake, notamment les transactions ACID, l'application du schéma et le voyage dans le temps pour une gestion des données ultra fiable. Plongez dans la création et la gestion de tables et de vues temporaires pour simplifier vos flux de travail. Ensuite, explorez le Data Explorer de Databricks pour prévisualiser des jeux de données, attribuer la propriété des tables et protéger les données sensibles grâce à des pratiques de sécurité de premier plan. Que vous rédigiez des requêtes réutilisables ou que vous gériez des renseignements personnels identifiables (PII), ce cours vous propose des exercices pratiques et des stratégies concrètes pour garder vos données sécurisées, accessibles et optimisées pour tous les scénarios.

<h2>Bâtissez des bases solides avec Delta Lake</h2>
Ce cours vous donne les compétences nécessaires pour gérer efficacement les données dans Databricks, en tirant parti d’outils comme Delta Lake et l’Explorateur de données de Databricks. Vous explorerez des concepts fondamentaux comme les tables gérées et non gérées, ainsi que la façon dont elles gèrent le stockage et le cycle de vie, tout en découvrant des fonctionnalités avancées de Delta Lake comme les transactions ACID, l’application du schéma et le voyage dans le temps. Ces techniques assurent la cohérence et la fiabilité des données, jetant les bases de flux de travail de données robustes.
<h2>Optimisez les flux de travail avec les vues et les vues temporaires</h2>
Vous apprendrez également à créer et à gérer des vues et des vues temporaires pour optimiser les processus de données. Les vues persistantes vous permettent d’enregistrer la logique de requête pour une utilisation répétée entre les sessions, ce qui simplifie les flux de travail et améliore l’efficacité. Les vues temporaires, quant à elles, offrent une solution légère pour des tâches rapides propres à une session. Des exemples pratiques démontrent comment chacun peut être appliqué pour améliorer l’accessibilité et l’organisation des données, ce qui en fait des outils précieux pour concevoir des solutions efficaces et flexibles.
<h2>Sécurisez et gouvernez vos données en toute confiance</h2>
Enfin, vous exploiterez l’Explorateur de données de Databricks pour prévisualiser, analyser et sécuriser des jeux de données. De l’attribution de la propriété des tables à la gestion des droits d’accès, vous obtiendrez une compréhension complète des meilleures pratiques en matière de gouvernance. Une attention particulière est portée à la gestion sécurisée des renseignements personnels identifiables (PII) à l’aide de stratégies axées sur la conformité. Grâce à des exercices pratiques, vous développerez l’expertise nécessaire pour maintenir des jeux de données sécurisés et optimisés, en veillant à ce que vos données demeurent accessibles, bien gérées et protégées dans toutes les situations.

Introduction to Databricks

Gestion des données maîtres dans Databricks avec Delta Lake : transactions ACID, schéma et sécurité.

Gestion des données dans Databricks

Apprenez la gestion des données dans Databricks avec Delta Lake, y compris les transactions ACID, l’application du schéma et la sécurité.

Ingénieur de données associé dans Databricks

Analyste de données dans Databricks

Optimisez la table avec la commande `OPTIMIZE` pour compacter les données et améliorer la performance des requêtes.

Nettoyez les anciennes versions avec la commande `VACUUM` pour libérer de l'espace de stockage.

Sauvegardez les données avec la commande `COPY INTO` pour les transférer vers un emplacement de stockage sécurisé.

Nettoyage des données avec VACUUM

Gestion des données dans Databricks

Exercice interactif pratique