Pahami terlebih dahulu permasalahan Anda sebelum mulai! Lalu pelajari cara memeriksa himpunan data Anda secara statistik dan visual!

Mulai dari Mana

Mulai dari mana?

Periksa Versi

Muat data

Mendefinisikan Masalah

Apa yang sedang kita prediksi?

Memverifikasi Pemuatan Data

Memverifikasi Tipe Data

Inspeksi Data Secara Visual / EDA

Menggunakan Corr()

Menggunakan Visualisasi: distplot

Menggunakan Visualisasi: lmplot

Analisis Data Eksploratori

Data nyata jarang bersih dan siap dianalisis. Di bab ini, pelajari cara menghapus informasi yang tidak diperlukan, menangani nilai yang hilang, dan menambahkan data tambahan ke analisis Anda.

Menghapus data

Menghapus daftar kolom

Menggunakan penyaring teks untuk menghapus rekaman

Menyaring bidang numerik secara kondisional

Menyesuaikan Data

Skala Persentase Kustom

Menskalakan skaler Anda

Mengoreksi Data Miring ke Kanan

Bekerja dengan Data Hilang

Memvisualisasikan Data Hilang

Mengimputasi Data Hilang

Hitung Persentase Nilai Hilang

Mendapatkan Lebih Banyak Data

Join yang Berisiko

Join di Spark SQL

Memeriksa Join yang Buruk

Penataan dengan Fungsi Spark

Di bab ini, pelajari cara membuat fitur baru agar model machine learning Anda dapat belajar darinya. Kita akan melihat cara menghasilkannya dengan mengombinasikan kolom, mengekstraksi nilai dari kolom yang berantakan, atau melakukan pengodean untuk hasil yang lebih baik.

Pembuatan Fitur

Perbedaan

Rasio

Fitur yang Lebih Mendalam

Fitur Waktu

Komponen Waktu

Melakukan Join pada Komponen Waktu

Aritmetika Tanggal

Mengekstraksi Fitur

Mengekstrak Teks Menjadi Fitur Baru

Memisah & Meledakkan

Pivot & Join

Binarisasi, Pembungkusan & Pengodean

Binerisasi Hari dalam Minggu

Pembungkusan (Bucketing)

One Hot Encoding

Rekayasa Fitur

Di bab ini, kita akan mempelajari cara memilih jenis model yang kita inginkan. Kemudian kita akan mempelajari cara menerapkan data kita ke model dan mengevaluasinya. Terakhir, kita akan mempelajari cara menafsirkan hasilnya dan menyimpan model untuk digunakan nanti!

Memilih Algoritme

Module MLlib yang Mana?

Membuat Pemisahan Berbasis Waktu

Menyesuaikan Fitur Waktu

Asumsi Feature Engineering untuk RFR

Rekayasa Fitur untuk Random Forest

Menghapus Kolom dengan Jumlah Observasi Rendah

Menangani Nilai Hilang dan Kategorikal secara Naif

Membangun Model

Membangun Model Regresi

Mengevaluasi & Membandingkan Algoritme

Memahami Metrik

Menafsirkan, Menyimpan & Memuat

Menafsirkan Hasil

Menyimpan & Memuat Model

Pemikiran Terakhir

2017 St Paul MN Real Estate Dataset

Dunia nyata itu berantakan dan tugas Anda adalah membuatnya masuk akal. Himpunan data mainan seperti MTCars dan Iris adalah hasil kurasi dan pembersihan yang cermat; sekalipun demikian, data tetap perlu ditransformasi agar algoritme machine learning yang andal dapat mengekstrak makna, melakukan peramalan, klasifikasi, atau pengelompokan. Kursus ini membahas detail riil yang menghabiskan 70–80% waktu data scientist: penataan data dan rekayasa fitur. Karena ukuran himpunan data kini semakin besar, mari gunakan PySpark untuk memangkas masalah Big Data menjadi lebih terkendali!

Supervised Learning with scikit-learn

Introduction to PySpark

Pelajari PySpark untuk mengatasi masalah Big Data dengan data wrangling dan rekayasa fitur.

Rekayasa Fitur dengan PySpark

Pelajari detail-detail teknis yang memakan 70-80% waktu para ilmuwan data; pengolahan data dan rekayasa fitur.

Big Data dengan PySpark

Memahami Metrik

Rekayasa Fitur dengan PySpark

Latihan interaktif langsung