Ce chapitre traite de la gestion des tables dans Databricks, en mettant l’accent sur les tables gérées et non gérées, ainsi que sur leur stockage et leur cycle de vie. Vous apprendrez à créer et à actualiser des vues persistantes et découvrirez les fonctionnalités de Delta Lake comme les transactions ACID, le contrôle de schéma et le time travel pour une gestion fiable des données. Vous approfondirez également le fonctionnement de l’organisation et de l’accès aux données dans Databricks.

Comprendre Delta Lake

Fiabilité des données dans Delta Lake

Garantir les propriétés ACID

Gérer les données dans Delta Lake

Optimiser des tables

Persistance et portée des tables

Tables managées vs. non managées

Duel de tables

Supprimer des tables

Créer des tables non gérées

Introduction à Delta Lake

Ce chapitre s’intéresse à la création et à la gestion des vues et des vues temporaires dans Databricks. Vous verrez comment les vues persistantes permettent de conserver la logique de requête pour la réutiliser entre les sessions, tandis que les vues temporaires conviennent aux tâches rapides propres à une session. Nous mettrons aussi en avant des cas d’usage concrets où chaque type de vue améliore l’efficacité et simplifie la manipulation des données.

Créer et gérer des tables

Bien configurer un stockage personnalisé

Stockage des tables

Déplacer des tables

Options

Data Management

Data Movement

Gestion ou mouvement ?

Bonnes pratiques pour gérer de grandes tables

Nettoyer les données avec VACUUM

Vues et vues temporaires

View

Temp View

Persistante ou temporaire ?

Exécuter des vues

La persistance comme un pro

Vues de courte durée

La magie des vues persistantes

Travailler avec des tables dans Databricks

Dans le dernier chapitre, vous verrez comment utiliser Data Explorer pour prévisualiser, analyser et sécuriser des jeux de données. Le contenu couvre la propriété des tables, les responsabilités et les bonnes pratiques de gouvernance. Il aborde également la gestion des droits d’accès et le traitement sécurisé des données personnelles identifiables (PII) au moyen de stratégies conformes et d’exercices pratiques.

Exploration des données avec Data Explorer

Le parcours dans Data Explorer

Explorer des jeux de données

Journaux et sécurité

Gérer les accès et comprendre les PII

Protéger les PII

Protéger les noms des patients

Gérer les autorisations

Félicitations !

Exploration des données et sécurité

Prêt à faire monter en puissance vos compétences sur Databricks ? Dans ce cours, vous allez maîtriser la gestion des données dans Databricks en tirant parti de Delta Lake : transactions ACID, contrôle de schéma et "time travel" pour une gestion des données ultra-fiable. Vous apprendrez à créer et gérer des tables et des vues temporaires pour fluidifier vos workflows. Vous explorerez ensuite le Data Explorer de Databricks pour prévisualiser des jeux de données, attribuer la propriété des tables et protéger les données sensibles grâce à des pratiques de sécurité de premier plan. Que vous rédigiez des requêtes réutilisables ou que vous gériez des données personnelles identifiables (PII), ce cours vous guide pas à pas avec des exercices pratiques et des stratégies concrètes pour garder vos données sécurisées, accessibles et optimisées en toute situation.

<h2>Établissez des bases solides avec Delta Lake</h2>
Ce cours vous permet d'acquérir les compétences nécessaires pour gérer efficacement les données dans Databricks, en utilisant des outils tels que Delta Lake et Databricks Data Explorer. Vous explorerez des concepts fondamentaux tels que les tables gérées et non gérées, ainsi que leur gestion du stockage et du cycle de vie, tout en vous familiarisant avec les fonctionnalités avancées de Delta Lake telles que les transactions ACID, l'application des schémas et le voyage dans le temps. Ces techniques garantissent la cohérence et la fiabilité des données, jetant ainsi les bases de flux de données robustes.
<h2>Optimisez les flux de travail grâce aux vues et aux vues temporaires</h2>
Vous apprendrez également à créer et à gérer des vues et des vues temporaires afin d'optimiser les processus de données. Les vues persistantes vous permettent d'enregistrer la logique de requête pour une utilisation répétée d'une session à l'autre, ce qui rationalise les flux de travail et améliore l'efficacité. Les vues temporaires, quant à elles, offrent une solution légère pour les tâches rapides et spécifiques à une session. Des exemples concrets illustrent comment chacun d'entre eux peut être appliqué pour améliorer l'accessibilité et l'organisation des données, ce qui en fait des outils précieux pour élaborer des solutions efficaces et flexibles.
<h2>Sécurisez et gérez vos données en toute confiance</h2>
Enfin, vous utiliserez Data Explorer de Databricks pour prévisualiser, analyser et sécuriser les ensembles de données. De l'attribution de la propriété des tables à la gestion des droits d'accès, vous acquerrez une compréhension approfondie des meilleures pratiques en matière de gouvernance. Une attention particulière est accordée au traitement sécurisé des informations personnelles identifiables (PII) grâce à des stratégies axées sur la conformité. Grâce à des exercices pratiques, vous développerez l'expertise nécessaire pour maintenir des ensembles de données sécurisés et optimisés, garantissant ainsi que vos données restent accessibles, bien gérées et protégées dans tous les scénarios.

Introduction to Databricks

Gestion des données maîtres dans Databricks avec Delta Lake : transactions ACID, schéma et sécurité.

Gestion des données dans Databricks

Apprenez la gestion des données dans Databricks avec Delta Lake, y compris les transactions ACID, l'application des schémas et la sécurité.

Associate Data Engineer in Databricks

Analyste de données dans Databricks

Stockée dans la base de données et persiste d’une session à l’autre

Idéale pour des requêtes réutilisables et fréquemment nécessaires

Nécessite une action explicite pour être supprimée

Supprimée automatiquement à la fin de la session

Parfaite pour une analyse rapide et ad hoc au cours d’une seule session

Utilisée pour mettre en attente des données intermédiaires dans un pipeline

Persistante ou temporaire ?

Exercice interactif pratique