Explorer les types de données de Spark
Vous avez déjà vu (au chapitre 1) src_tbls() pour lister les DataFrames sur Spark visibles par sparklyr. Vous avez aussi utilisé glimpse() pour explorer les colonnes d'un tibble du côté R.
sparklyr propose une fonction appelée sdf_schema() pour explorer les colonnes d'un tibble du côté R. Elle est simple à appeler, mais la valeur de retour est un peu moins conviviale à manipuler.
sdf_schema(a_tibble)
La valeur de retour est une liste, et chaque élément est une liste à deux éléments contenant le nom et le type de données de chaque colonne. L'exercice présente une transformation permettant d'afficher plus facilement les types de données.
Voici une comparaison de la correspondance entre les types de données R et ceux de Spark. Les autres types de données ne sont pas pris en charge pour le moment par sparklyr.
| Type R | Type Spark |
|---|---|
| logical | BooleanType |
| numeric | DoubleType |
| integer | IntegerType |
| character | StringType |
| list | ArrayType |
Cette activité fait partie du cours
Introduction à Spark avec sparklyr en R
Instructions de l’exercice
Une connexion Spark a été créée pour vous sous le nom spark_conn. Un tibble lié aux métadonnées des pistes stockées dans Spark a été défini à l'avance comme track_metadata_tbl.
- Appelez
sdf_schema()pour obtenir le schéma des métadonnées des pistes. - Exécutez le code de transformation sur
schemapour l'afficher dans un tibble plus lisible.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# track_metadata_tbl has been pre-defined
track_metadata_tbl
# Get the schema
(schema <- ___(___))
# Transform the schema
schema %>%
lapply(function(x) do.call(data_frame, x)) %>%
bind_rows()