Sélection de colonnes

La façon la plus simple de manipuler des trames de données stockées dans Spark est d'utiliser la syntaxe de dplyr. La manipulation de trames de données avec la syntaxe de dplyr est expliquée en détail dans les cours Data Manipulation with dplyr et Joining Data with dplyr, mais vous passerez le prochain chapitre et demi à couvrir tous les points importants.

dplyr propose cinq actions principales à effectuer sur une trame de données. Vous pouvez sélectionner des colonnes, filtrer des lignes, organiser l'ordre des lignes, modifier des colonnes ou en ajouter de nouvelles, et calculer des statistiques sommaires.

Commençons par la sélection de colonnes. On le fait en appelant select() avec un tibble, suivi des noms non cités des colonnes à conserver. Les fonctions de dplyr s'utilisent généralement avec l'opérateur pipe de magrittr, %>%. Pour sélectionner les colonnes x, y et z, vous écririez ce qui suit.

a_tibble %>%
  select(x, y, z)

Notez que l'indexation avec crochets n'est pas prise en charge pour l'instant dans sparklyr. Vous ne pouvez donc pas faire

a_tibble[, c("x", "y", "z")]

Cette activité fait partie du cours

Introduction à Spark avec sparklyr en R

Voir le cours

Instructions de l’exercice

Une connexion Spark a été créée pour vous sous le nom spark_conn. Un tibble lié aux métadonnées des pistes stockées dans Spark a été prédéfini sous le nom track_metadata_tbl.

Sélectionnez artist_name, release, title et year à l'aide de select().
Essayez de faire la même chose avec l'indexation par crochets. Alerte divulgâcheur ! Ce code génère une erreur, il est donc encapsulé dans un appel à tryCatch().

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# track_metadata_tbl has been pre-defined
track_metadata_tbl

# Manipulate the track metadata
track_metadata_tbl %>%
  # Select columns
  ___

# Try to select columns using [ ]
tryCatch({
    # Selection code here
    ___
  },
  error = print
)

Modifier et exécuter le code