Get to know a bit about your problem before you dive in! Then learn how to statistically and visually inspect your dataset!

Where to Begin

Where to begin?

Check Version

Load in the data

Defining A Problem

What are we predicting?

Verifying Data Load

Verifying DataTypes

Visually Inspecting Data / EDA

Using Corr()

Using Visualizations: distplot

Using Visualizations: lmplot

Exploratory Data Analysis

Real data is rarely clean and ready for analysis. In this chapter learn to remove unneeded information, handle missing values and add additional data to your analysis.

Dropping data

Dropping a list of columns

Using text filters to remove records

Filtering numeric fields conditionally

Adjusting Data

Custom Percentage Scaling

Scaling your scalers

Correcting Right Skew Data

Working with Missing Data

Visualizing Missing Data

Imputing Missing Data

Calculate Missing Percents

Getting More Data

A Dangerous Join

Spark SQL Join

Checking for Bad Joins

Wrangling with Spark Functions

In this chapter learn how to create new features for your machine learning model to learn from. We'll look at generating them by combining fields, extracting values from messy columns or encoding them for better results.

Feature Generation

Differences

Ratios

Deeper Features

Time Features

Time Components

Joining On Time Components

Date Math

Extracting Features

Extracting Text to New Features

Splitting & Exploding

Pivot & Join

Binarizing, Bucketing & Encoding

Binarizing Day of Week

Bucketing

One Hot Encoding

Feature Engineering

In this chapter we'll learn how  to choose which type of model we want. Then we will learn how to apply our data to the model and evaluate it. Lastly,  we'll learn how to interpret the results and save the model for later!

Memilih Algoritme

Module MLlib yang Mana?

Membuat Pemisahan Berbasis Waktu

Menyesuaikan Fitur Waktu

Asumsi Feature Engineering untuk RFR

Rekayasa Fitur untuk Random Forest

Menghapus Kolom dengan Jumlah Observasi Rendah

Menangani Nilai Hilang dan Kategorikal secara Naif

Membangun Model

Membangun Model Regresi

Mengevaluasi & Membandingkan Algoritme

Memahami Metrik

Menafsirkan, Menyimpan & Memuat

Menafsirkan Hasil

Menyimpan & Memuat Model

Pemikiran Terakhir

Building a Model

2017 St Paul MN Real Estate Dataset

Dunia nyata itu berantakan dan tugas Anda adalah membuatnya masuk akal. Himpunan data mainan seperti MTCars dan Iris adalah hasil kurasi dan pembersihan yang cermat; sekalipun demikian, data tetap perlu ditransformasi agar algoritme machine learning yang andal dapat mengekstrak makna, melakukan peramalan, klasifikasi, atau pengelompokan. Kursus ini membahas detail riil yang menghabiskan 70–80% waktu data scientist: penataan data dan rekayasa fitur. Karena ukuran himpunan data kini semakin besar, mari gunakan PySpark untuk memangkas masalah Big Data menjadi lebih terkendali!

Supervised Learning with scikit-learn

Introduction to PySpark

Pelajari PySpark untuk mengatasi masalah Big Data dengan data wrangling dan rekayasa fitur.

Rekayasa Fitur dengan PySpark

Pelajari detail-detail teknis yang memakan 70-80% waktu para ilmuwan data; pengolahan data dan rekayasa fitur.

Big Data dengan PySpark

Rekayasa Fitur untuk Random Forest

Rekayasa Fitur dengan PySpark

Latihan interaktif praktis