Leer je probleem eerst een beetje kennen voordat je erin duikt! Ontdek vervolgens hoe je je gegevensset statistisch en visueel kunt onderzoeken!

Waar begin je?

Versie controleren

Laad de data in

Een probleem definiëren

Wat voorspellen we?

Controleren of de data is geladen

Gegevenstypen verifiëren

Gegevens visueel inspecteren / EDA

Corr() gebruiken

Visualisaties gebruiken: distplot

Visualisaties gebruiken: lmplot

Exploratory Data Analysis

Echte data is zelden schoon en klaar voor analyse. In dit hoofdstuk leer je onnodige informatie verwijderen, met ontbrekende waarden omgaan en extra data aan je analyse toevoegen.

Gegevens verwijderen

Een lijst met kolommen verwijderen

Records verwijderen met tekstfilters

Getalsvelden voorwaardelijk filteren

Gegevens aanpassen

Aangepaste percentageschaal

Je scalers schalen

Rechts-scheve data corrigeren

Werken met missende data

Ontbrekende data visualiseren

Ontbrekende data imputeren

Percentage missende waarden berekenen

Meer data ophalen

Een riskante join

Spark SQL-join

Controleren op verkeerde joins

Wrangling met Spark-functies

In dit hoofdstuk leer je hoe je nieuwe features maakt waar je machine learning-model van kan leren. We bekijken hoe je ze kunt genereren door velden te combineren, waarden uit rommelige kolommen te halen of ze te encoderen voor betere resultaten.

Features genereren

Verschillen

Verhoudingen

Diepere features

Tijdkenmerken

Tijdcomponenten

Joinen op tijdcomponenten

Rekenen met datums

Features extraheren

Tekst extraheren naar nieuwe features

Splitsen & exploderen

Pivots & joinen

Binariseren, bucketing en encoderen

Dag van de week binariseren

Indelen in buckets

One-hot encoderen

Feature engineering

In dit hoofdstuk leren we welk type model we willen kiezen. Daarna passen we onze data toe op het model en evalueren we het. Tot slot leren we de resultaten te interpreteren en het model op te slaan voor later!

Het algoritme kiezen

Welke MLlib-module?

Tijdsplitsingen maken

Tijdfeatures aanpassen

Aannames voor feature engineering bij RFR

Feature engineering voor random forests

Kolommen met weinig observaties verwijderen

Naïef omgaan met missende en categorische waarden

Een model bouwen

Een regressiemodel bouwen

Algoritmen evalueren en vergelijken

Kerncijfers begrijpen

Interpreteren, opslaan en laden

Resultaten interpreteren

Modellen opslaan en laden

Tot slot

2017 St Paul MN Real Estate Dataset

De echte wereld is rommelig en het is jouw taak om er wijs uit te worden. Speelgoedgegevenssets zoals MTCars en Iris zijn zorgvuldig samengesteld en opgeschoond, maar zelfs dan moeten de data worden getransformeerd voordat krachtige machine learning-algoritmen er betekenis uit kunnen halen, kunnen voorspellen, classificeren of clusteren. Deze cursus behandelt de weerbarstige details waaraan data scientists 70–80% van hun tijd besteden: data wrangling en feature engineering. Nu gegevenssets steeds groter worden, gebruiken we PySpark om dit Big Data-probleem hanteerbaar te maken!

Supervised Learning with scikit-learn

Introduction to PySpark

Leer PySpark gebruiken voor Big Data door data wrangling en feature engineering voor analyse en voorspelling.

Feature Engineering met PySpark

Leer de fijne kneepjes die data scientists 70-80% van hun tijd besteden aan: data wrangling en feature engineering.

Big Data met PySpark

Waar begin je?

Feature Engineering met PySpark

Interactieve oefening met praktijkervaring