Spark to framework do pracy z Big Data. W tym rozdziale poznasz podstawy Sparka i uczenia maszynowego. Dowiesz się też, jak połączyć się ze Sparkiem za pomocą Pythona i wczytać dane w formacie CSV.

Uczenie maszynowe i Spark

Cechy Sparka

Komponenty klastra Spark

Łączenie ze Sparkiem

Lokalizacja mastera Spark

Tworzenie sesji SparkSession

Wczytywanie danych

Wczytywanie danych o lotach

Wczytywanie danych SMS ze spamem

Wprowadzenie

Znając już sposoby wczytywania danych do Sparka, przejdziesz do budowania dwóch typów modeli klasyfikacyjnych: drzew decyzyjnych i regresji logistycznej. Poznasz również kilka podejść do przygotowania danych.

Przygotowanie danych

Usuwanie kolumn i wierszy

Manipulowanie kolumnami

Kolumny kategoryczne

Łączenie kolumn

Drzewo decyzyjne

Podział na zbiór treningowy i testowy

Budowanie drzewa decyzyjnego

Oceń drzewo decyzyjne

Regresja logistyczna

Budowanie modelu regresji logistycznej

Oceń model regresji logistycznej

Zamiana tekstu na tabele

Interpunkcja, liczby i tokeny

Stopwords i haszowanie

Trenowanie klasyfikatora spamu

Klasyfikacja

Następnie nauczysz się tworzyć modele regresji liniowej. Dowiesz się, jak wzbogacić swoje dane przez inżynierię nowych predyktorów oraz jak w sposób niezawodny wybrać tylko te najbardziej istotne.

Kodowanie One-Hot

Kodowanie lotniska wylotu

Kodowanie rozmiarów koszulek

Regresja

Model czasu trwania lotu: sama odległość

Interpretacja współczynników

Model czasu lotu: dodawanie lotniska wylotu

Bucketing & Engineering

Grupowanie godzin odlotu

Model czasu lotu: dodawanie godziny odlotu

Regularyzacja

Model czasu lotu: więcej cech!

Model czasu lotu: regularyzacja!

Na koniec nauczysz się, jak zwiększyć efektywność swoich modeli. Dowiesz się, jak używać potoków, by kod był czytelniejszy i łatwiejszy w utrzymaniu. Następnie zastosujesz kroswalidację do dokładniejszego testowania modeli i doboru ich parametrów. Na zakończenie zapoznasz się z dwoma typami modeli zespołowych.

Pipeline

Model czasu lotu: etapy potoku

Model czasu lotu: model potokowy

Pipeline do wykrywania spamu SMS

Walidacja krzyżowa

Kroswalidacja prostego modelu czasu trwania lotu

Kroswalidacja potoku modelu czasu trwania lotu

Przeszukiwanie siatki

Optymalizacja regresji liniowej dla lotów

Analiza najlepszego modelu czasu trwania lotu

Optymalizacja klasyfikatora spamu SMS

Ile modeli dla przeszukiwania siatki?

Ensemble

Opóźnione loty z użyciem Gradient-Boosted Trees

Opóźnione loty z losowym lasem

Ocena lasu losowego

Podsumowanie

Zespoły modeli i potoki

Flights

Spark to potężne, wszechstronne narzędzie do pracy z Big Data. Spark automatycznie rozdziela zadania obliczeniowe między węzły klastra, dzięki czemu operacje są szybkie, a ty możesz skupić się na analizie, nie martwiąc się o szczegóły techniczne. W tym kursie nauczysz się, jak wczytywać dane do Sparka, a następnie poznasz trzy podstawowe algorytmy uczenia maszynowego: regresję liniową, regresję logistyczną/klasyfikatory oraz tworzenie potoków. Po drodze przeanalizujesz duże zbiory danych dotyczące opóźnień lotów i wiadomości spam. Dzięki tej wiedzy będziesz gotowy, by w pełni wykorzystać możliwości Sparka we własnych projektach z zakresu uczenia maszynowego!

<h2>Naucz się korzystać z Apache Spark do uczenia maszynowego</h2> 
Spark to potężne, uniwersalne narzędzie do pracy z Big Data. Spark transparentnie obsługuje rozkład zadań obliczeniowych w klastrze. Oznacza to, że operacje są szybkie, ale pozwala Ci to również skupić się na analizie, zamiast martwić się o szczegóły techniczne. W tym kursie nauczysz się, jak wprowadzać dane do Sparka, a następnie zagłębisz się w trzy podstawowe algorytmy uczenia maszynowego w Sparku: Regresja liniowa, regresja logistyczna/klasyfikatory oraz tworzenie potoków.
<br><br> 
<h2>Buduj i testuj drzewa decyzyjne</h2> 
Budowanie własnych drzew decyzyjnych to świetny sposób na rozpoczęcie poznawania modeli uczenia maszynowego. Użyjesz algorytmu zwanego „Recursive Partitioning”, aby podzielić dane na dwie klasy i znaleźć w swoich danych predyktor, który zapewnia najbardziej informacyjny podział tych dwóch klas, a następnie powtórzyć tę czynność dla kolejnych węzłów. Następnie możesz użyć swojego drzewa decyzyjnego do tworzenia prognoz na podstawie nowych danych.
<br><br> 
<h2>Opanuj regresję logistyczną i liniową w PySpark</h2> 
Regresja logistyczna i liniowa to podstawowe techniki uczenia maszynowego obsługiwane przez PySpark. Nauczysz się budować i oceniać modele regresji logistycznej, a następnie tworzyć modele regresji liniowej, aby dopracować swoje predyktory tak, by obejmowały tylko najbardziej istotne opcje.
<br><br> 
Pod koniec kursu będziesz pewnie wykorzystywać nowo zdobytą wiedzę z zakresu machine learning, dzięki praktycznym zadaniom i zestawom danych do ćwiczeń, które znajdziesz w całym kursie.

Supervised Learning with scikit-learn

Introduction to PySpark

Poznaj prognozowanie z danymi w Apache Spark: drzewa decyzyjne, regresja logistyczna i liniowa.

Uczenie maszynowe z PySpark

Naucz się tworzyć prognozy z danych w Apache Spark, używając drzew decyzyjnych, regresji logistycznej, regresji liniowej, zespołów i potoków.

Big Data z PySpark

Naukowiec ds. uczenia maszynowego w Pythonie

Lokalizacja mastera Spark

Uczenie maszynowe z PySpark

Interaktywne ćwiczenie praktyczne