O introducere generală în PySpark și în calculul distribuit. Această secțiune prezintă PySpark, DataFrame-urile PySpark și RDD-urile.

Introducere în PySpark

Crearea unei SparkSession

Încărcarea datelor de recensământ

Introducere în PySpark DataFrames

Scalabilitate și performanță

Citirea unui fișier CSV și realizarea de agregări

Filtrare după companie

Mai multe despre Spark DataFrames

Inferență și filtrare

Definirea schemei

Introducere în Apache Spark și PySpark

O continuare a temei DataFrame-urilor și a tipurilor de date complexe. Această secțiune aprofundează ceea ce oferă DataFrame-urile în PySpark și introduce câteva concepte de Spark SQL.

Manipularea datelor cu DataFrames

Gestionarea valorilor lipsă cu fill și drop

Operații pe coloane – creare și redenumire

Operații avansate cu DataFrame

Combinarea DataFrame-urilor

Unirea zborurilor cu aeroporturile de destinație

Tu o definești? Tu o folosești!

UDF definit

Numere întregi în UDF-uri PySpark

Pandas UDF-uri

PySpark în Python

Explorează utilizarea Spark SQL și PySpark pentru procesarea scalabilă a datelor, combinând simplitatea SQL cu puterea de calcul distribuit a PySpark pentru a gestiona eficient seturi mari de date.

Seturi de date distribuite reziliente în PySpark

Crearea RDD-urilor

Colectarea RDD-urilor

Introducere în Spark SQL

Interogări pe un view temporar

Rularea SQL pe DataFrame-uri

Analiză cu SQL pe DataFrame-uri

Agregări în PySpark

Agregarea în RDD-uri

Agregări complexe

PySpark la scară largă

Broadcasting

Să reunim totul I

Totul împreună II

Ce am învățat?

Introducere în PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Acest curs este conceput pentru ingineri de date, oameni de știință a datelor și practicieni în domeniul învățării automate care doresc să lucreze cu seturi mari de date folosind PySpark. Vei explora viteza și scalabilitatea Apache Spark, vei învăța să creezi sesiuni Spark, să lucrezi cu RDD-uri și să manipulezi DataFrame-uri prin exerciții practice. Cursul acoperă și PySpark SQL, învățându-te cum să interoghezi date cu SQL, să gestionezi scheme și tipuri de date complexe și să optimizezi performanța în medii distribuite. La final, vei avea competențele de bază necesare pentru a procesa și analiza date de mari dimensiuni, pregătindu-te pentru aplicații avansate precum învățarea automată și analiza big data.

Videourile conțin transcrieri live pe care le poți afișa dând clic pe „Show transcript" în colțul din stânga jos al videourilor.
Glosarul cursului se găsește în dreapta, în secțiunea de resurse.
Pentru a obține credite CPE, trebuie să finalizezi cursul și să obții un scor de 70% la evaluarea calificată. Poți naviga la evaluare dând clic pe notificarea CPE credits din dreapta.

Acest curs este perfect pentru ingineri de date, oameni de știință ai datelor și practicieni în machine learning care vor să lucreze eficient cu seturi mari de date. Fie că faci tranziția de la instrumente precum Pandas sau descoperi pentru prima dată tehnologiile de big data, acest curs oferă o introducere solidă în PySpark și procesarea distribuită a datelor.<br><br>
<h2>De ce Spark? De ce acum?</h2>
Descoperă viteza și scalabilitatea Apache Spark, cadrul puternic conceput pentru gestionarea big data. Prin lecții interactive și exerciții practice, vei vedea cum procesarea în memorie a Spark îi oferă un avantaj față de framework-uri tradiționale precum Hadoop. Vei începe prin configurarea sesiunilor Spark și vei aprofunda componentele de bază, precum Resilient Distributed Datasets (RDD-uri) și DataFrames. Învață să filtrezi, să grupezi și să îmbini seturi de date cu ușurință, lucrând pe exemple din lumea reală.<br><br>
<h2>Îmbunătățește-ți abilitățile de Python și SQL pentru Big Data</h2>
Învață cum să folosești PySpark SQL pentru a interoga și gestiona date folosind sintaxa SQL familiară. Abordează schemele, tipurile de date complexe și funcțiile definite de utilizator (UDF-uri), în timp ce îți dezvolți abilitățile în caching și optimizarea performanței pentru sistemele distribuite.<br><br>
<h2>Construiește-ți bazele în Big Data</h2>
Până la finalul acestui curs, vei avea încrederea necesară pentru a gestiona, interoga și procesa big data folosind PySpark. Cu aceste abilități fundamentale, vei fi pregătit să explorezi subiecte avansate precum machine learning și analiza big data.

Introduction to SQL

Data Manipulation with pandas

Stăpânește PySpark pentru a gestiona date mari cu ușurință—procesează și optimizează seturi mari de date!

Stăpânește PySpark pentru a gestiona big data cu ușurință—învață să procesezi, interoghezi și optimizezi seturi de date uriașe pentru analize puternice!

Inginer de date asociat în Databricks

Big Data cu PySpark

Cercetător în învățarea automată în Python

Inginer de date profesionist în Python

Numere întregi în UDF-uri PySpark

Introducere în PySpark

Instrucțiuni pentru exercițiu

Exercițiu interactiv practic