Spark is a framework for working with Big Data. In this chapter you'll cover some background about Spark and Machine Learning. You'll then find out how to connect to Spark using Python and load CSV data.

Machine Learning ve Spark

Spark'ın Özellikleri

Bir Spark Kümesindeki Bileşenler

Spark'a Bağlanma

Spark master konumu

Bir SparkSession Oluşturma

Veri Yükleme

Uçuş verilerini yükleme

SMS spam verisini yükleme

Introduction

Now that you are familiar with getting data into Spark, you'll move onto building two types of classification model: Decision Trees and Logistic Regression. You'll also find out about a few approaches to data preparation.

Data Preparation

Removing columns and rows

Column manipulation

Categorical columns

Assembling columns

Decision Tree

Train/test split

Build a Decision Tree

Evaluate the Decision Tree

Logistic Regression

Build a Logistic Regression model

Evaluate the Logistic Regression model

Turning Text into Tables

Punctuation, numbers and tokens

Stopwords and hashing

Training a spam classifier

Classification

Next you'll learn to create Linear Regression models. You'll also find out how to augment your data by engineering new predictors as well as a robust approach to selecting only the most relevant predictors.

One-Hot Encoding

Encoding flight origin

Encoding shirt sizes

Regression

Flight duration model: Just distance

Interpreting the coefficients

Flight duration model: Adding origin airport

Interpreting coefficients

Bucketing & Engineering

Bucketing departure time

Flight duration model: Adding departure time

Regularization

Flight duration model: More features!

Flight duration model: Regularization!

Finally you'll learn how to make your models more efficient. You'll find out how to use pipelines to make your code clearer and easier to maintain. Then you'll use cross-validation to better test your models and select good model parameters. Finally you'll dabble in two types of ensemble model.

Pipeline

Flight duration model: Pipeline stages

Flight duration model: Pipeline model

SMS spam pipeline

Cross-Validation

Cross validating simple flight duration model

Cross validating flight duration model pipeline

Grid Search

Optimizing flights linear regression

Dissecting the best flight duration model

SMS spam optimised

How many models for grid search?

Ensemble

Delayed flights with Gradient-Boosted Trees

Delayed flights with a Random Forest

Evaluating Random Forest

Closing thoughts

Ensembles & Pipelines

Flights

Spark, Büyük Verilerle çalışmak için güçlü ve genel amaçlı bir araçtır. Spark, hesaplama görevlerinin dağıtımını bir küme üzerinde şeffaf bir şekilde yönetir. Bu sayede işlemler hızlıdır ve teknik ayrıntılarla uğraşmak yerine analize odaklanmana olanak tanır. Bu kursta veriyi Spark'a nasıl alacağını öğrenecek ve ardından üç temel Spark Machine Learning algoritmasına dalacaksın: Doğrusal Regresyon, Lojistik Regresyon/Sınıflandırıcılar ve ardışık düzenler (pipelines) oluşturma. Bu süreçte uçuş gecikmeleri ve istenmeyen (spam) kısa mesajlardan oluşan büyük bir veri kümesini analiz edeceksin. Bu altyapıyla Spark'ın gücünden yararlanmaya ve onu kendi Machine Learning projelerinde uygulamaya hazır olacaksın!

<h2>Makine Öğrenimi için Apache Spark Kullanmayı Öğrenin</h2> 
Spark, Büyük Veri ile çalışmak için güçlü, genel amaçlı bir araçtır. Spark, bir küme içinde hesaplama görevlerinin dağıtımını şeffaf bir şekilde yönetir. Bu, işlemlerin hızlı olduğu anlamına gelir, ancak aynı zamanda teknik ayrıntılar hakkında endişelenmek yerine analize odaklanmanıza da olanak tanır. Bu kursta, Spark'a veri aktarmanın yollarını öğrenecek ve ardından üç temel Spark Makine Öğrenimi algoritmasını inceleyeceksiniz: Doğrusal regresyon, lojistik regresyon/sınıflandırıcılar ve boru hatları oluşturma.
<br><br> 
<h2>Karar Ağaçları Oluşturma ve Test Etme</h2> 
Kendi karar ağaçlarınızı oluşturmak, makine öğrenimi modellerini keşfetmeye başlamak için harika bir yoldur. Verileri iki sınıfa ayırmak için "Yinelemeli Bölme" adlı bir algoritma kullanacak ve verilerinizde iki sınıfın en bilgilendirici şekilde bölünmesini sağlayan bir tahminci bulacak ve bu işlemi diğer düğümlerle tekrarlayacaksınız. Ardından karar ağacınızı kullanarak yeni verilerle tahminlerde bulunabilirsiniz.
<br><br> 
<h2>PySpark'ta Master Logistic ve Doğrusal Regresyon</h2> 
Lojistik ve doğrusal regresyon, PySpark tarafından desteklenen temel makine öğrenimi teknikleridir. Lojistik regresyon modelleri oluşturmayı ve değerlendirmeyi öğrenecek, ardından doğrusal regresyon modelleri oluşturarak tahmincilerinizi yalnızca en alakalı seçeneklerle sınırlandırmayı öğreneceksiniz.
<br><br> 
Kursun sonunda, kurs boyunca yer alan uygulamalı görevler ve alıştırma veri setleri sayesinde, yeni edindiğiniz makine öğrenimi bilgilerini güvenle uygulayabileceksiniz.

Supervised Learning with scikit-learn

Introduction to PySpark

Apache Spark ile karar ağaçları, lojistik regresyon, lineer regresyon, topluluklar ve boru hatları kullanarak veri tahmini yapmayı öğrenin.

PySpark ile Machine Learning

Apache Spark ile karar ağaçları, lojistik regresyon, doğrusal regresyon, kümeler ve ardışık düzenler kullanarak verilerden tahminler yapmayı öğrenin.

PySpark ile Büyük Veri

Makine Öğrenimi Bilimcisi Python'da

Spark master konumu

PySpark ile Machine Learning

Uygulamalı etkileşimli egzersiz