In this chapter, you'll learn how Spark manages data and how can you read and write tables from Python.

What is Spark, anyway?

Using Spark in Python

Examining The SparkContext

Using DataFrames

Creating a SparkSession

Viewing tables

Are you query-ious?

Pandafy a Spark DataFrame

Put some Spark in your data

Dropping the middle man

Getting to know PySpark

In this chapter, you'll learn about the pyspark.sql module, which provides optimized data queries to your Spark session.

Creating columns

SQL in a nutshell

SQL in a nutshell (2)

Filtering Data

Selecting

Selecting II

Aggregating

Aggregating II

Grouping and Aggregating I

Grouping and Aggregating II

Joining

Joining II

Manipulating data

PySpark has built-in, cutting-edge machine learning routines, along with utilities to create full machine learning pipelines. You'll learn about them in this chapter.

Canalizaciones de machine learning

Unir los DataFrames

Tipos de datos

De cadena a entero

Crear una nueva columna

Creación de un valor booleano

Cadenas y factores

Operador

Destino

Ensamblar un vector

Crear la canalización

Probar frente a Tren

Transformar los datos

Dividir los datos

Getting started with machine learning pipelines

In this last chapter, you'll apply what you've learned to create a model that predicts which flights will be delayed.

What is logistic regression?

Create the modeler

Cross validation

Create the evaluator

Make a grid

Make the validator

Fit the model(s)

Evaluating binary classifiers

Evaluate the model

Model tuning and selection

Airports

Flights

Planes

En este curso, aprenderás a utilizar Spark desde Python. Spark es una herramienta para realizar computación paralela con grandes conjuntos de datos y se integra bien con Python. PySpark es el paquete de Python que hace que se produzca la magia. Utilizarás este paquete para trabajar con datos sobre vuelos que viajan desde Portland y Seattle. Aprenderás a organizar estos datos y a construir todo un pipeline de machine learning para prever si dichos vuelos van a retrasarse o no. Prepárate para poner un poco de Spark en tu código Python y sumergirte en el mundo del machine learning de alto rendimiento.

Introduction to Python

Aprende a manejar datos y crear un pipeline de aprendizaje automático con PySpark. Practica con datos reales.

Fundamentos de PySpark

Aprende a implementar la gestión de datos distribuidos y el machine learning en Spark utilizando el paquete PySpark.

Dividir los datos

Fundamentos de PySpark

Instrucciones del ejercicio

Ejercicio interactivo práctico