Un ripasso dei fondamenti dei DataFrame e dell'importanza della pulizia dei dati.

Introduzione alla pulizia dei dati con Apache Spark

Ripasso del data cleaning

Definizione di uno schema

Immutabilità ed elaborazione lazy

Ripasso sull’immutabilità

Uso dell'elaborazione lazy

Capire Parquet

Salvare un DataFrame in formato Parquet

SQL e Parquet

Dettagli sui DataFrame

Una panoramica di varie tecniche per modificare il contenuto dei DataFrame in Spark.

Operazioni sulle colonne dei DataFrame

Filtrare il contenuto di una colonna con Python

Domanda sui filtri n. 1

Domanda sui filtri n. 2

Modificare le colonne di un DataFrame

Operazioni condizionali sulle colonne di DataFrame

Esempio di when()

When / Otherwise

Funzioni definite dall'utente

Capire le funzioni definite dall’utente

Uso delle funzioni definite dall'utente in Spark

Partizionamento ed esecuzione lazy

Aggiungere un campo ID

ID con partizioni diverse

Altri trucchi sugli ID

Manipolare i DataFrame nel mondo reale

Migliora le attività di pulizia dei dati aumentando le prestazioni o riducendo le risorse necessarie.

Caching

Mettere in cache un DataFrame

Rimuovere un DataFrame dalla cache

Migliora le prestazioni di importazione

Ottimizzazione della dimensione dei file

Prestazioni di importazione dei file

Configurazioni del cluster

Lettura delle configurazioni di Spark

Scrivere configurazioni di Spark

Migliorare le prestazioni

Join normali

Usare il broadcasting nei join di Spark

Confrontare join broadcast vs join normali

Scopri come elaborare dati complessi del mondo reale usando Spark e le basi delle pipeline.

Introduzione alle pipeline di dati

Pipeline rapida

Problema nei dati della pipeline

Tecniche di gestione dei dati

Rimozione delle righe commentate

Rimozione delle righe non valide

Suddividere in colonne

Parsing aggiuntivo

Validazione dei dati

Convalida le righe tramite join

Esaminare le righe non valide

Analisi finale e consegna

Parsing dei cani

Conteggio per immagine

Percentuale di pixel del cane

Congratulazioni e prossimi passi

Elaborazione complessa e pipeline di dati

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Lavorare con i dati è complicato; farlo con milioni o addirittura miliardi di righe lo è ancora di più.
Ti è mai capitato di ricevere del codice di elaborazione dati scritto su un laptop con dati quasi impeccabili?
È probabile che ti abbiano affidato il compito di portare un semplice processo sui dati dal prototipo alla produzione.
Potresti aver lavorato con insiemi di dati reali, con campi mancanti, formati bizzarri e ordini di grandezza in più di dati. Anche se tutto questo è nuovo per te, in questo corso imparerai ciò che serve per preparare processi sui dati usando Python con Apache Spark.
Imparerai terminologia, metodi e alcune buone pratiche per creare una piattaforma di elaborazione dati performante, manutenibile e comprensibile.

Intermediate Python

Introduction to PySpark

Impara a usare PySpark per pulire i dati in Python con DataFrame e pipeline. Dati puliti sono cruciali.

Pulizia dei dati con PySpark

Scopri come pulire i dati con Apache Spark in Python.

Big Data con PySpark

Capire le funzioni definite dall’utente

Pulizia dei dati con PySpark

esercizio interattivo pratico