1. Nauka
    2. /
  2. Kursy
    3. /
  3. Introduction à Spark avec sparklyr en R
Connected

Ćwiczenie

Explorer les types de données de Spark

Vous avez déjà vu (au chapitre 1) src_tbls() pour lister les DataFrames sur Spark visibles par sparklyr. Vous avez aussi utilisé glimpse() pour explorer les colonnes d'un tibble du côté R.

sparklyr propose une fonction appelée sdf_schema() pour explorer les colonnes d'un tibble du côté R. Elle est simple à appeler, mais la valeur de retour est un peu moins conviviale à manipuler.

sdf_schema(a_tibble)

La valeur de retour est une liste, et chaque élément est une liste à deux éléments contenant le nom et le type de données de chaque colonne. L'exercice présente une transformation permettant d'afficher plus facilement les types de données.

Voici une comparaison de la correspondance entre les types de données R et ceux de Spark. Les autres types de données ne sont pas pris en charge pour le moment par sparklyr.

Type R Type Spark
logical BooleanType
numeric DoubleType
integer IntegerType
character StringType
list ArrayType

Instrukcje

100 XP

Une connexion Spark a été créée pour vous sous le nom spark_conn. Un tibble lié aux métadonnées des pistes stockées dans Spark a été défini à l'avance comme track_metadata_tbl.

  • Appelez sdf_schema() pour obtenir le schéma des métadonnées des pistes.
  • Exécutez le code de transformation sur schema pour l'afficher dans un tibble plus lisible.