O trecere în revistă a elementelor fundamentale ale DataFrame și a importanței curățării datelor.

Introducere în curățarea datelor cu Apache Spark

Recapitularea curățării datelor

Definirea unui schema

Imuabilitate și procesare leneșă

Recapitulare: imutabilitate

Procesarea leneșă în practică

Înțelegerea formatului Parquet

Salvarea unui DataFrame în format Parquet

SQL și Parquet

Detalii despre DataFrame

O privire asupra diferitelor tehnici de modificare a conținutului DataFrame în Spark.

Operațiuni pe coloanele unui DataFrame

Filtrarea conținutului coloanelor cu Python

Întrebare despre filtrare #1

Întrebare despre filtrare #2

Modificarea coloanelor unui DataFrame

Operații condiționale pe coloanele unui DataFrame

Exemplu cu when()

When / Otherwise

Funcții definite de utilizator

Înțelegerea funcțiilor definite de utilizator

Utilizarea funcțiilor definite de utilizator în Spark

Partiționare și procesare leneșă

Adăugarea unui câmp ID

ID-uri cu partiții diferite

Mai multe trucuri cu ID-uri

Manipularea DataFrames în lumea reală

Îmbunătățește sarcinile de curățare a datelor prin creșterea performanței sau reducerea resurselor necesare.

Caching

Stocarea unui DataFrame în cache

Eliminarea unui DataFrame din cache

Îmbunătățește performanța importului

Optimizarea dimensiunii fișierelor

Performanța importului de fișiere

Configurații de cluster

Citirea configurațiilor Spark

Configurarea Spark

Îmbunătățiri de performanță

Join-uri obișnuite

Utilizarea broadcasting în join-urile Spark

Compararea join-urilor broadcast față de cele normale

Îmbunătățirea performanței

Învață cum să procesezi date complexe din lumea reală folosind Spark și noțiunile de bază ale pipeline-urilor.

Introducere în pipeline-uri de date

Pipeline rapid

Problemă de date în pipeline

Tehnici de gestionare a datelor

Eliminarea rândurilor comentate

Eliminarea rândurilor invalide

Împărțirea în coloane

Parsare suplimentară

Validarea datelor

Validează rândurile printr-un join

Examinarea rândurilor invalide

Analiza finală și livrarea rezultatelor

Parsarea datelor despre câini

Număr de câini per imagine

Procentul de pixeli câine

Felicitări și pașii următori

Procesare complexă și pipeline-uri de date

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Lucrul cu date este complicat – iar când vorbim de milioane sau chiar miliarde de rânduri, lucrurile devin și mai dificile.
Ai primit vreodată cod de procesare a datelor scris pe un laptop, cu date aproape perfecte?
Probabil că ai fost pus în situația de a transforma un proces simplu de date din prototip în soluție de producție.
Poate ai lucrat cu seturi de date reale, cu câmpuri lipsă, formate ciudate și volume mult mai mari decât te așteptai. Indiferent dacă ești la început sau ai deja experiență, acest curs te ajută să înveți ce este necesar pentru a pregăti procese de date folosind Python cu Apache Spark.
Vei învăța terminologie, metode și bune practici pentru a crea o platformă de procesare a datelor performantă, ușor de întreținut și de înțeles.

Intermediate Python

Introduction to PySpark

Învață să folosești PySpark pentru a curăța datele în Python cu DataFrames și pipeline-uri de date.

Curățarea datelor cu PySpark

Învață cum să cureți datele cu Apache Spark în Python.

Big Data cu PySpark

Data Engineering Consultant

Ce este un pipeline de date?

Cum arată un pipeline de date?

Detalii despre pipeline

Să exersăm!

Procesare complexă și pipeline-uri de date - Introducere în pipeline-uri de date

Introducere în pipeline-uri de date

Create Your Free Account