1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introduction à Spark avec sparklyr en R
Connected

Exercice

Explorer la structure des tibbles

Lorsque vous tentez d'imprimer un tibble qui décrit des données stockées dans Spark, un peu de magie doit opérer, car le tibble ne conserve pas de copie des données. La « magie », c'est que la méthode d'affichage utilise votre connexion Spark, copie une partie du contenu vers R, puis présente ces valeurs comme si les données étaient locales. Comme vous l'avez vu plus tôt dans le chapitre, copier des données est une opération lente ; par défaut, seules 10 lignes et autant de colonnes que peut en contenir l'écran sont affichées.

Vous pouvez modifier le nombre de lignes imprimées avec l'argument n de print(). Vous pouvez aussi ajuster la largeur du contenu à afficher avec l'argument width, qui correspond au nombre de caractères (et non au nombre de colonnes). Un bon truc consiste à utiliser width = Inf pour afficher toutes les colonnes.

La fonction str() sert généralement à présenter la structure d'une variable. Pour les data.frame, elle donne un bon résumé avec le type et les premières valeurs de chaque colonne. Toutefois, pour les tibbles reliés à une source de données distante, str() ne sait pas comment récupérer les données. Ainsi, si vous appelez str() sur un tibble qui référence des données stockées dans Spark, vous verrez une liste contenant un objet de connexion Spark et quelques autres éléments.

Si vous souhaitez voir un aperçu du contenu de chaque colonne de l'ensemble de données auquel le tibble fait référence, utilisez plutôt glimpse(). Notez que pour les données distantes, comme celles stockées dans un cluster Spark, le nombre de lignes est trompeur ! Dans ce cas, glimpse() n'arrive pas à indiquer correctement le nombre de lignes.

Instructions

100 XP

Une connexion Spark a été créée pour vous sous le nom spark_conn. Un tibble lié aux métadonnées des pistes stockées dans Spark a été prédefini sous le nom track_metadata_tbl.

  • Affichez les 5 premières lignes et toutes les colonnes des métadonnées des pistes.
  • Examinez la structure du tibble avec str().
  • Examinez la structure des métadonnées des pistes avec glimpse().