1. Learn
    2. /
  2. 课程
    3. /
  3. R 中使用 sparklyr 的 Spark 入门
Connected

道练习

将数据复制到 Spark

在使用 Spark 开始真正的工作之前，您需要先把数据放进去。sparklyr 提供了一些函数，例如 spark_read_csv()，可将 CSV 文件读入 Spark。更普遍地，能够把数据从 R 复制到 Spark 也很有用。这可以通过 dplyr 的 copy_to() 函数完成。需要提醒的是：复制数据本质上很慢。事实上，在处理大型数据集时，优化性能的许多策略都在于尽量避免在不同位置之间复制数据。

copy_to() 需要两个参数：Spark 连接（dest）和要复制到 Spark 的数据框（df）。

把数据复制进 Spark 之后，您可能希望确认它确实成功了。您可以使用 src_tbls() 查看存储在 Spark 中的所有数据框列表。它只需要一个 Spark 连接参数（x）。

在整门课程中，您将探索来自 Million Song Dataset 的曲目信息元数据。尽管 Spark 能轻松扩展到远超 1,000,000 行的数据，但为了保持简单和响应迅速，您将使用一个包含 1,000 条曲目的子集。澄清一下术语："track" 指的是数据集中的一行。对于本课的 1,000 条 track 数据集，它等同于一首"song"（不过在完整的百万行数据集中存在部分歌曲重复）。

说明

100 XP

track_metadata 已在您的工作区中预定义，包含 1,000 条曲目的歌曲名称、艺人名称及其他元数据。

  • 使用 str() 探索 track_metadata 数据集。
  • 连接到本地 Spark 集群，并将连接保存到 spark_conn。
  • 使用 copy_to() 将 track_metadata 复制到 Spark 集群。
  • 使用 src_tbls() 查看 Spark 中可用的数据框。
  • 断开与 Spark 的连接。