Prima di iniziare, conosci un po' il tuo problema! Poi impara a ispezionare statisticamente e visivamente il tuo insieme di dati!

Da dove cominciare

Da dove iniziare?

Verifica versione

Carica i dati

Definire un problema

Cosa stiamo prevedendo?

Verifica del caricamento dei dati

Verifica dei DataType

Ispezione visiva dei dati / EDA

Uso di Corr()

Usare le visualizzazioni: distplot

Usare le visualizzazioni: lmplot

Analisi Esplorativa dei Dati

I dati reali raramente sono puliti e pronti per l'analisi. In questo capitolo imparerai a rimuovere informazioni non necessarie, gestire i valori mancanti e aggiungere dati supplementari alla tua analisi.

Eliminare dati

Eliminare un elenco di colonne

Usare filtri di testo per rimuovere i record

Filtrare campi numerici in modo condizionale

Riadattare i dati

Scalatura personalizzata in percentuale

Dare la giusta scala agli scaler

Correggere dati con asimmetria a destra

Gestire i dati mancanti

Visualizzare i dati mancanti

Imputazione dei valori mancanti

Calcolare le percentuali di valori mancanti

Ottenere più dati

Un join pericoloso

Join in Spark SQL

Verificare Join errati

Wrangling con le funzioni di Spark

In questo capitolo imparerai a creare nuove feature da cui il tuo modello di Machine Learning possa apprendere. Vedremo come generarle combinando campi, estraendo valori da colonne disordinate o codificandole per ottenere risultati migliori.

Generazione di feature

Differenze

Rapporti

Caratteristiche più profonde

Caratteristiche temporali

Componenti temporali

Join sui componenti temporali

Operazioni con le date

Estrazione delle feature

Estrarre testo in nuove feature

Suddividere ed esplodere

Pivot e Join

Binarizzazione, raggruppamento in bucket e codifica

Binarizzazione del giorno della settimana

Raggruppamento in bucket

One-Hot Encoding

Feature Engineering

In questo capitolo impareremo a scegliere il tipo di modello che vogliamo. Poi vedremo come applicare i nostri dati al modello e valutarlo. Infine, impareremo a interpretare i risultati e a salvare il modello per usarlo in seguito!

Scegliere l'algoritmo

Quale modulo di MLlib?

Creare suddivisioni temporali

Regolare le feature temporali

Ipotesi di feature engineering per RFR

Feature engineering per le Random Forest

Eliminare colonne con poche osservazioni

Gestire in modo ingenuo valori mancanti e categorici

Creare un modello

Creare un modello di regressione

Valutare e confrontare gli algoritmi

Capire le metriche

Interpretare, salvare e caricare

Interpretare i risultati

Salvataggio e caricamento dei modelli

Considerazioni finali

Costruzione di un Modello

2017 St Paul MN Real Estate Dataset

Il mondo reale è disordinato e il tuo compito è dargli un senso. Insiemi di dati giocattolo come MTCars e Iris sono frutto di un'accurata selezione e pulizia; anche così, i dati devono essere trasformati perché gli algoritmi di Machine Learning più potenti possano estrarne significato, fare previsioni, classificare o creare cluster. Questo corso affronterà i dettagli concreti su cui i data scientist passano il 70-80% del tempo: data wrangling e feature engineering. Con insiemi di dati sempre più grandi, usiamo PySpark per ridurre questo problema di Big Data alla giusta scala!

Supervised Learning with scikit-learn

Introduction to PySpark

Impara a usare PySpark per risolvere problemi di Big Data con data wrangling e feature engineering.

Feature Engineering con PySpark

Scopri i dettagli pratici su cui i Data Scientist spendono il 70-80% del tempo: data wrangling e feature engineering.

Big Data con PySpark

Quale modulo di MLlib?

Feature Engineering con PySpark

esercizio interattivo pratico