Capire il collo di bottiglia dello shuffle
La tua manager in Global Retail Analytics ti chiede di arricchire il dataset online_retail (oltre 100.000 righe) con i dati di regione da country_lookup (44 righe). Scrivi un normale left join, ma la query impiega diversi minuti. Un ingegnere senior controlla l'output di .explain(), individua dei nodi ShuffleExchange e ti dice: "Lo shuffle è il tuo collo di bottiglia."
Cosa intende l'ingegnere senior con "lo shuffle"?
Questo esercizio fa parte del corso
Trasformazione dei dati con Spark SQL in Databricks
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio