开始使用免费开始使用

理解 shuffle 瓶颈

您在 Global Retail Analytics 的经理让您用 country_lookup(44 行)中的地区数据来丰富 online_retail 数据集(超过 100,000 行)。您写了一个常规的左连接,但查询需要几分钟。资深工程师查看您的 .explain() 输出,发现了 ShuffleExchange 节点,并对您说:"The shuffle is your bottleneck."

高级工程师所说的 "the shuffle" 是什么意思?

本练习是课程的一部分

在 Databricks 中使用 Spark SQL 进行数据转换

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习