Zanim zaczniesz, warto dobrze poznać problem, z którym pracujesz. Naucz się statystycznie i wizualnie badać swój zbiór danych!

Od czego zacząć

Od czego zacząć?

Sprawdź wersję

Wczytaj dane

Definiowanie problemu

Co chcemy przewidywać?

Weryfikacja załadowania danych

Weryfikacja typów danych

Wizualna inspekcja danych / EDA

Użycie Corr()

Wizualizacje: distplot

Wizualizacje w praktyce: lmplot

Eksploracyjna analiza danych

Prawdziwe dane rzadko są czyste i gotowe do analizy. W tym rozdziale nauczysz się usuwać zbędne informacje, obsługiwać brakujące wartości oraz wzbogacać dane o dodatkowe informacje.

Usuwanie danych

Usuwanie listy kolumn

Filtrowanie tekstowe – usuwanie rekordów

Warunkowe filtrowanie pól liczbowych

Dostosowywanie danych

Skalowanie do wartości procentowych

Skalowanie na dużą skalę

Korekcja danych z prawostronną skośnością

Praca z brakującymi danymi

Wizualizacja brakujących danych

Uzupełnianie brakujących danych

Obliczanie procentu brakujących wartości

Pobieranie dodatkowych danych

Ryzykowne złączenie

Łączenie tabel w Spark SQL

Wykrywanie błędnych złączeń

Przetwarzanie danych z funkcjami Spark

W tym rozdziale nauczysz się tworzyć nowe cechy, na podstawie których model uczenia maszynowego będzie się uczyć. Przyjrzymy się ich generowaniu przez łączenie pól, wyodrębnianie wartości z nieuporządkowanych kolumn oraz kodowanie ich w celu uzyskania lepszych wyników.

Generowanie cech

Różnice

Wskaźniki

Głębsze cechy

Cechy czasowe

Składniki czasu

Łączenie na podstawie składowych daty

Działania na datach

Wyodrębnianie cech

Wyodrębnianie tekstu do nowych cech

Dzielenie i rozwijanie danych

Pivot i złączenie

Binaryzacja, grupowanie i kodowanie

Binaryzacja dnia tygodnia

Podział na przedziały

Kodowanie One-Hot

Inżynieria cech

W tym rozdziale nauczysz się wybierać odpowiedni typ modelu. Następnie zobaczysz, jak zastosować dane do modelu i ocenić jego działanie. Na koniec dowiesz się, jak interpretować wyniki i zapisywać model do późniejszego użycia!

Wybór algorytmu

Który moduł MLlib?

Tworzenie podziałów czasowych

Dostosowywanie cech czasowych

Założenia inżynierii cech dla RFR

Inżynieria cech dla lasów losowych

Usuwanie kolumn z małą liczbą obserwacji

Proste podejście do brakujących i kategorycznych wartości

Budowanie modelu

Budowanie modelu regresji

Ocena i porównywanie algorytmów

Rozumienie metryk

Interpretacja, zapisywanie i wczytywanie

Interpretowanie wyników

Zapisywanie i wczytywanie modeli

Podsumowanie

2017 St Paul MN Real Estate Dataset

Prawdziwe dane są nieuporządkowane – twoim zadaniem jest nadanie im sensu. Zestawy danych takie jak MTCars czy Iris to efekt starannej selekcji i czyszczenia, a nawet one wymagają przekształcenia, zanim algorytmy uczenia maszynowego będą mogły wyciągać z nich wnioski, prognozować, klasyfikować lub grupować. Ten kurs skupia się na tym, na co badacze danych poświęcają 70–80% swojego czasu: przetwarzaniu danych i inżynierii cech. Ponieważ zbiory danych stają się coraz większe, użyjemy PySpark, żeby okiełznać problem Big Data!

Supervised Learning with scikit-learn

Introduction to PySpark

Naucz się używać PySpark do rozwiązywania problemów Big Data przez przetwarzanie danych i inżynierię cech.

Inżynieria cech z PySpark

Poznaj szczegóły, na które data scientists poświęcają 70–80% czasu: data wrangling i feature engineering.

Binaryzacja, grupowanie i kodowanie

Create Your Free Account