Lär känna ditt problem innan du dyker in! Sedan lär du dig att inspektera din datamängd både statistiskt och visuellt.

Var ska man börja?

Var börjar man?

Kontrollera versionen

Läs in data

Definiera ett problem

Vad försöker vi förutsäga?

Verifiera inläst data

Verifiera datatyper

Visuell inspektion av data / EDA

Använda Corr()

Visualiseringar: distplot

Visualiseringar: lmplot

Explorativ dataanalys

Verklig data är sällan ren och redo för analys. I det här kapitlet lär du dig att ta bort onödig information, hantera saknade värden och lägga till ytterligare data i din analys.

Ta bort data

Ta bort en lista med kolumner

Använda textfilter för att ta bort poster

Villkorsstyrd filtrering av numeriska fält

Justera data

Anpassad procentuell skalning

Skala dina skalare

Korrigera högersnedfördelad data

Arbeta med saknade värden

Visualisera saknade värden

Imputera saknade värden

Beräkna andelen saknade värden

Hämta mer data

En riskfylld join

Join med Spark SQL

Kontrollera felaktiga join-operationer

Datarensning med Spark-funktioner

I det här kapitlet lär du dig att skapa nya features som din maskininlärningsmodell kan lära sig av. Vi tittar på hur man genererar dem genom att kombinera fält, extrahera värden från röriga kolumner eller koda om dem för bättre resultat.

Särdragsgenerering

Skillnader

Kvoter

Djupare särdrag

Tidssärdrag

Tidskomponenter

Joina på tidskomponenter

Datumberäkning

Extrahera särdrag

Extrahera text till nya särdrag

Dela upp och expandera

Pivotera och sammanfoga

Binarisering, gruppering och kodning

Binarisering av veckodag

Gruppindelning (Bucketing)

One Hot Encoding

Feature Engineering

I det här kapitlet lär du dig att välja rätt typ av modell. Sedan lär du dig att applicera dina data på modellen och utvärdera den. Avslutningsvis går vi igenom hur du tolkar resultaten och sparar modellen för senare användning!

Välja algoritm

Vilket MLlib-modul?

Skapa tidsuppdelningar

Justera tidssärdrag

Antaganden för särdragskonstruktion med RFR

Särdragsteknik för Random Forests

Ta bort kolumner med få observationer

Enkel hantering av saknade och kategoriska värden

Bygga en modell

Bygga en regressionsmodell

Utvärdera och jämföra algoritmer

Förstå mätvärden

Tolka, spara och läsa in

Tolka resultaten

Spara och läsa in modeller

Avslutande tankar

2017 St Paul MN Real Estate Dataset

Verkligheten är rörig och din uppgift är att skapa ordning ur kaoset. Leksaksdatamängder som MTCars och Iris är resultatet av noggrann urvals- och rensningsprocess, men även de behöver omvandlas för att kraftfulla maskininlärningsalgoritmer ska kunna utvinna mening, göra prognoser, klassificera eller klustra. Den här kursen täcker de konkreta detaljerna som datavetare lägger 70–80 % av sin tid på: datarensning och feature engineering. Eftersom datamängderna nu blir allt större använder vi PySpark för att hantera dessa Big Data-problem på ett effektivt sätt!

Supervised Learning with scikit-learn

Introduction to PySpark

Lär dig använda PySpark för att hantera Big Data genom datahantering och feature engineering.

Feature Engineering med PySpark

Behärska data wrangling och feature engineering – de moment data scientists lägger 70–80 % av sin tid på.

Big Data med PySpark

Särdragsteknik för Random Forests

Feature Engineering med PySpark

Interaktiv övning med praktiskt arbete