1. Learn
  2. /
  3. คอร์ส
  4. /
  5. R 中使用 sparklyr 的 Spark 入门

Connected

แบบฝึกหัด

探索 tibble 的结构

当您尝试打印描述存储在 Spark 中数据的 tibble 时,需要做一些"魔法",因为 tibble 本身并不保留数据的副本。这个"魔法"是:print 方法会通过您的 Spark 连接,将部分内容拷回 R,并像数据本地存储一样显示这些值。正如您在本章前面所见,拷贝数据是一个"慢"操作,因此默认只打印 10 行,以及能在屏幕宽度内显示的尽可能多的列。

您可以使用 print() 的 n 参数来更改打印的行数。您也可以用 width 参数更改显示内容的宽度,该参数以字符数计(不是列数)。一个实用的小技巧是使用 width = Inf 来打印所有列。

str() 函数通常用于显示变量的结构。对于 data.frame,它会给出每列的类型及前几条值的简洁摘要。然而对于具有远程数据源的 tibbles,str() 不知道如何获取数据。这意味着如果对包含存储在 Spark 中数据的 tibble 调用 str(),您会看到的是一个列表,其中包含 Spark 连接对象以及其他一些零碎信息。

如果您想查看该 tibble 所指向数据集中每一列的内容摘要,应当改用 glimpse()。请注意,对于存储在 Spark 集群中的这类远程数据,行数并不可信!在这种情况下,glimpse() 不能正确报告行数。

คำแนะนำ

100 XP

已为您创建 Spark 连接 spark_conn。已预定义一个指向存储在 Spark 中的曲目信息的 tibble,名为 track_metadata_tbl。

  • 打印曲目信息的前 5 行以及所有列。
  • 使用 str() 查看该 tibble 的结构。
  • 使用 glimpse() 查看曲目信息的结构。