Spark es un marco para trabajar con Big Data. En este capítulo cubrirás algunos antecedentes sobre Spark y Machine learning. A continuación, descubrirás cómo conectarte a Spark utilizando Python y cargar datos CSV.

Machine learning y Spark

Características de la chispa

Componentes de un clúster Spark

Conectarse a Spark

Ubicación del maestro Spark

Crear una SparkSession

Carga de datos

Cargar datos de vuelos

Carga de datos de spam SMS

Introducción

Ahora que ya estás familiarizado con la introducción de datos en Spark, pasarás a construir dos tipos de modelos de clasificación: Árboles de decisión y regresión logística. También conocerás algunos enfoques para la preparación de datos.

Preparación de datos

Eliminar columnas y filas

Manipulación de columnas

Columnas categóricas

Montaje de columnas

Árbol de decisión

División entrenamiento/prueba

Construye un árbol de decisiones

Evaluar el árbol de decisión

Regresión logística

Construye un modelo de Regresión Logística

Evalúa el modelo de Regresión Logística

Convertir texto en tablas

Puntuación, números y fichas

Detener palabras y hashing

Entrenar un clasificador de spam

Clasificación

A continuación aprenderás a crear modelos de Regresión Lineal. También descubrirás cómo aumentar tus datos mediante la ingeniería de nuevos predictores, así como un enfoque sólido para seleccionar sólo los predictores más relevantes.

Codificación en caliente

Codificación del origen del vuelo

Codificación de tallas de camisa

Regresión

Modelo de duración del vuelo: Sólo distancia

Interpretar los coeficientes

Modelo de duración del vuelo: Añadir aeropuerto de origen

Baldeo e ingeniería

Hora de salida del cubo

Modelo de duración del vuelo: Añadir hora de salida

Regularización

Modelo de duración del vuelo: ¡Más funciones!

Modelo de duración del vuelo: ¡Regularización!

Por último, aprenderás a hacer que tus modelos sean más eficaces. Descubrirás cómo utilizar canalizaciones para que tu código sea más claro y fácil de mantener. Luego utilizarás la validación cruzada para probar mejor tus modelos y seleccionar buenos parámetros de modelo. Por último, te adentrarás en dos tipos de modelo de conjunto.

Tuberías

Modelo de duración del vuelo: Etapas del oleoducto

Modelo de duración del vuelo: Modelo de tubería

Canalización de spam SMS

Validación cruzada

Validación cruzada del modelo simple de duración de vuelo

Validación cruzada del modelo de duración de vuelo

Búsqueda en la cuadrícula

Optimización de vuelos de regresión lineal

Diseccionando el mejor modelo de duración de vuelo

SMS spam optimizado

¿Cuántos modelos para la búsqueda en cuadrícula?

Conjunto

Vuelos retrasados con árboles de gradiente reforzado

Vuelos retrasados con un Bosque Aleatorio

Evaluación de Random Forest

Reflexiones finales

Conjuntos y tuberías

Flights

Spark es una potente herramienta de propósito general para trabajar con Big Data. Spark gestiona de forma transparente la distribución de tareas de cálculo en un clúster. Esto significa que las operaciones son rápidas, pero también te permite centrarte en el análisis en lugar de preocuparte por los detalles técnicos. En este curso aprenderás a introducir datos en Spark y, a continuación, profundizarás en los tres algoritmos fundamentales de Spark Machine learning: Regresión lineal, regresión logística/clasificadores y creación de pipelines. Por el camino, analizarás un gran conjunto de datos de retrasos de vuelos y mensajes de texto basura. Con estos conocimientos estarás preparado para aprovechar la potencia de Spark y aplicarla a tus propios proyectos de machine learning.

<h2>Aprende a utilizar Apache Spark para el machine learning</h2> 
Spark es una potente herramienta de propósito general para trabajar con Big Data. Spark gestiona de forma transparente la distribución de tareas de cálculo en un clúster. Esto significa que las operaciones son rápidas, pero también te permite centrarte en el análisis en lugar de preocuparte por los detalles técnicos. En este curso aprenderás a introducir datos en Spark y, a continuación, profundizarás en los tres algoritmos fundamentales de Spark Machine learning: Regresión lineal, regresión logística/clasificadores y creación de pipelines.
<br><br> 
<h2>Construir y probar árboles de decisión</h2> 
Construir tus propios árboles de decisión es una forma estupenda de empezar a explorar los modelos de machine learning. Utilizarás un algoritmo llamado "Partición Recursiva" para dividir los datos en dos clases y encontrar un predictor dentro de tus datos que dé como resultado la división más informativa de las dos clases, y repetirás esta acción con más nodos. Luego puedes utilizar tu árbol de decisión para hacer predicciones con nuevos datos.
<br><br> 
<h2>Domina la Regresión Logística y Lineal en PySpark</h2> 
La regresión logística y lineal son técnicas esenciales de machine learning compatibles con PySpark. Aprenderás a construir y evaluar modelos de regresión logística, antes de pasar a crear modelos de regresión lineal para ayudarte a refinar tus predictores a sólo las opciones más relevantes.
<br><br> 
Al final del curso, te sentirás seguro al aplicar tus nuevos conocimientos sobre machine learning, gracias a las tareas prácticas y a los conjuntos de datos de práctica que encontrarás a lo largo del curso.

Supervised Learning with scikit-learn

Introduction to PySpark

Aprende a hacer predicciones con Apache Spark usando árboles de decisión, regresión logística y más.

Machine learning con PySpark

Big Data con PySpark

Científico de Aprendizaje Automático en Python

Data Scientist, Fathom Data

Cross-Validation

CV - complete data

CV - train/test split

CV - multiple folds

Fold upon fold - first fold

Fold upon fold - second fold

Fold upon fold - other folds

Cars revisited

Estimator and evaluator

Grid and cross-validator

Cross-validators need training too

Cross-validators act like models

Cross-validate all the models!

https://s3.amazonaws.com/assets.datacamp.com/production/course_36873/subtitles/course_36873_6a24f7f6fde9273e0f965db810f463fb.vtt

Conjuntos y tuberías - Validación cruzada