Copier des données dans Spark

Avant de pouvoir vraiment travailler avec Spark, vous devez y charger vos données. sparklyr propose des fonctions comme spark_read_csv() pour lire un fichier CSV dans Spark. Plus généralement, il est utile de pouvoir copier des données de R vers Spark. Cela se fait avec la fonction copy_to() de dplyr. Attention : copier des données est fondamentalement lent. En fait, une grande partie de l’optimisation des performances avec de gros jeux de données consiste à éviter autant que possible de déplacer les données d’un emplacement à un autre.

copy_to() prend deux arguments : une connexion Spark (dest) et un data frame (df) à copier vers Spark.

Une fois vos données copiées dans Spark, vous voudrez sans doute vérifier que tout s’est bien passé. Vous pouvez lister tous les data frames stockés dans Spark avec src_tbls(), qui prend simplement une connexion Spark (x).

Tout au long du cours, vous explorerez les métadonnées de pistes du Million Song Dataset. Même si Spark gère sans problème bien plus d’un million de lignes, pour rester simple et réactif, vous utiliserez un sous-ensemble de mille pistes. Précisons la terminologie : une piste correspond à une ligne du jeu de données. Pour votre jeu de mille pistes, cela revient à une chanson (même si le jeu complet d’un million de lignes contenait quelques doublons).