Shuffle dar boğazını anlamak
Global Retail Analytics'teki yöneticin, online_retail veri kümesini (100.000'den fazla satır) country_lookup (44 satır) tablosundaki bölge verileriyle zenginleştirmeni istiyor. Standart bir left join yazıyorsun ama sorgu birkaç dakika sürüyor. Kıdemli bir mühendis .explain() çıktına bakıyor, ShuffleExchange düğümlerini görüyor ve şunu söylüyor: "Dar boğazın shuffle."
Kıdemli mühendis "shuffle" ile neyi kastediyor?
Bu egzersiz, kursun bir parçasıdır
Databricks'te Spark SQL ile Veri Dönüştürme
Uygulamalı etkileşimli egzersiz
Teoriyi etkileşime dönüştürün, interaktif egzersizlerimizden biriyle
Egzersize başla