Big data, tiny tibble

Dans le dernier exercice, lorsque vous avez copié les données vers Spark, copy_to() a renvoyé une valeur. Cette valeur de retour est un type particulier de tibble() qui ne contient pas ses propres données. Pour l’expliquer, il faut connaître un peu la manière dont les packages du tidyverse stockent les données. Les tibbles sont généralement une variante des data.frame avec une méthode d’affichage plus agréable. Toutefois, dplyr leur permet aussi de représenter des données provenant d’une source distante, comme des bases de données et — comme ici — Spark. Pour les jeux de données distants, l’objet tibble stocke simplement une connexion vers les données distantes. Nous y reviendrons plus en détail plus tard, mais l’essentiel pour l’instant est que, même si le jeu de données est volumineux, la taille de l’objet tibble reste faible.

Côté Spark, les données sont stockées dans une variable appelée DataFrame. C’est plus ou moins l’équivalent direct du type de variable data.frame de R (même si les types des colonnes portent des noms légèrement différents — par exemple, les colonnes numeric sont appelées DoubleType). Tout au long du cours, le terme « data frame » sera utilisé, sauf si une clarification est nécessaire entre data.frame et DataFrame. Comme ces types sont également analogues aux tables d’une base de données, le terme « table » sera parfois utilisé pour décrire ce type de données rectangulaires.

Appeler tbl() avec une connexion Spark et une chaîne qui nomme le data frame Spark renverra le même objet tibble que celui renvoyé par copy_to().

Un outil utile que vous verrez dans cet exercice est la fonction object_size() du package pryr. Elle indique la quantité de mémoire occupée par un objet.