A General introduction to PySpark and distributed computing. This section introduces PySpark, PySpark DataFrames, and RDDs.

Introduction to PySpark

Creating a SparkSession

Loading census data

Introduction to PySpark DataFrames

Scalability and performance

Reading a CSV and performing aggregations

Filtering by company

More on Spark DataFrames

Infer and filter

Schema writeout

Introduction to Apache Spark and PySpark

A continuation of DataFrames and complex datatypes. This section expands on what DataFrames offer in PySpark and introduces some Spark SQL concepts.

Gegevens bewerken met DataFrames

Ontbrekende data afhandelen met fill en drop

Kolombewerkingen - kolommen maken en hernoemen

Geavanceerde DataFrame-bewerkingen

DataFrame-combinaties

Vluchten koppelen aan hun bestemmingsluchthavens

Definieer je ’m? Dan gebruik je ’m!

UDF gedefinieerd

Integers in PySpark-UDF's

Pandas UDF's

PySpark in Python

Delve into leveraging Spark SQL and PySpark for scalable data processing, combining SQL's simplicity with PySpark's distributed computing power to handle large datasets efficiently.

Resilient distributed datasets in PySpark

Creating RDDs

Collecting RDDs

Intro to Spark SQL

Querying on a temp view

Running SQL on DataFrames

Analytics with SQL on DataFrames

PySpark aggregations

Aggregating in PySpark

Aggregating in RDDs

Complex Aggregations

PySpark at scale

Broadcasting

Bringing it all together I

Bringing it all together II

What have we learned?

Introduction to PySpark SQL

Transportation

Salaries

Adults

Course Glossary

Deze cursus is bedoeld voor data engineers, data scientists en Machine Learning-practitioners die met grote gegevenssets willen werken met PySpark. Je verkent de snelheid en schaalbaarheid van Apache Spark, leert Spark-sessies maken, werken met RDD's en DataFrames bewerken via praktijkoefeningen. De cursus behandelt ook PySpark SQL, waarin je leert hoe je met SQL gegevens opvraagt, schemas en complexe datatypen afhandelt en prestaties optimaliseert in gedistribueerde omgevingen. Aan het einde beschik je over de basisvaardigheden om big data te verwerken en analyseren, als opstap naar geavanceerde toepassingen zoals Machine Learning en big data-analytics.

De video's bevatten live transcripties die je kunt tonen door linksonder in de video's op "Show transcript" te klikken.
De cursuswoordenlijst vind je rechts in de sectie met bronnen.
Om CPE-credits te behalen, moet je de cursus voltooien en minimaal 70% scoren op de gekwalificeerde beoordeling. Je kunt naar de beoordeling navigeren door te klikken op de CPE-credits-callout aan de rechterkant.

Deze cursus is ideaal voor data-engineers, datawetenschappers en machine learning-specialisten die efficiënt met grote datasets willen werken. Of je nu overstapt van tools zoals Pandas of voor het eerst met big data-technologieën aan de slag gaat, deze cursus biedt een goede introductie tot PySpark en gedistribueerde gegevensverwerking.<br><br>
<h2>Waarom Spark? Waarom nu?</h2>
Ontdek de snelheid en schaalbaarheid van Apache Spark, het krachtige framework dat is ontworpen voor het verwerken van big data. Door interactieve lessen en praktische oefeningen zie je hoe Spark met zijn in-memory-verwerking een voorsprong heeft op traditionele frameworks zoals Hadoop. Je begint met het opzetten van Spark-sessies en duikt in de belangrijkste onderdelen, zoals Resilient Distributed Datasets (RDD's) en DataFrames. Leer hoe je datasets makkelijk kunt filteren, groeperen en samenvoegen terwijl je met echte voorbeelden werkt.<br><br>
<h2>Verbeter je Python- en SQL-vaardigheden voor big data</h2>
Leer hoe je PySpark SQL kunt gebruiken voor het opvragen en beheren van gegevens met behulp van de bekende SQL-syntaxis. Werk met schema's, ingewikkelde gegevenstypen en door gebruikers gedefinieerde functies (UDF's), terwijl je vaardigheden opbouwt in caching en het optimaliseren van prestaties voor gedistribueerde systemen.<br><br>
<h2>Bouw je basis voor big data</h2>
Aan het einde van deze cursus heb je het zelfvertrouwen om big data te verwerken, te doorzoeken en te bewerken met PySpark. Met deze basisvaardigheden ben je klaar om geavanceerde onderwerpen zoals machine learning en big data-analyse te ontdekken.

Introduction to SQL

Data Manipulation with pandas

Beheers PySpark voor eenvoudige big data-verwerking—leer datasets verwerken, bevragen en optimaliseren!

Introductie tot PySpark

Word expert in PySpark en leer grote datasets verwerken, analyseren en optimaliseren voor krachtige big-data-analyses.

Big Data met PySpark

Wetenschapper op het gebied van machine learning in Python

Professionele data-engineer in Python

Ontbrekende data afhandelen met fill en drop

Introductie tot PySpark

Oefeninstructies

Praktische interactieve oefening