Inizia subitoInizia gratis

Capire il collo di bottiglia dello shuffle

La tua manager in Global Retail Analytics ti chiede di arricchire il dataset online_retail (oltre 100.000 righe) con i dati di regione da country_lookup (44 righe). Scrivi un normale left join, ma la query impiega diversi minuti. Un ingegnere senior controlla l'output di .explain(), individua dei nodi ShuffleExchange e ti dice: "Lo shuffle è il tuo collo di bottiglia."

Cosa intende l'ingegnere senior con "lo shuffle"?

Questo esercizio fa parte del corso

Trasformazione dei dati con Spark SQL in Databricks

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio