A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

DataFrame details

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame sütun işlemleri

Python ile sütun içeriğini filtreleme

Filtreleme Sorusu #1

Filtreleme Soru #2

DataFrame sütunlarını değiştirme

Koşullu DataFrame sütun işlemleri

when() örneği

When / Otherwise

Kullanıcı tanımlı fonksiyonlar

Kullanıcı tanımlı fonksiyonları anlama

Spark'ta kullanıcı tanımlı fonksiyonları kullanma

Bölümlendirme ve tembel işleme

Bir ID Alanı Ekleme

Farklı bölümlere (partition) sahip ID'ler

Daha fazla ID hilesi

Manipulating DataFrames in the real world

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Improving Performance

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Complex processing and data pipelines

Dallas Council Votes

Dallas Council Voters

Flights - 2014

Flights - 2015

Flights - 2016

Flights - 2017

Veriyle çalışmak zordur — milyonlarca hatta milyarlarca satırla çalışmak daha da zordur.
Oldukça temiz bir veriyle, bir dizüstünde yazılmış veri işleme kodu mu eline geçti?
Büyük olasılıkla basit bir veri sürecini prototipten üretime taşımak sana verildi.
Eksik alanlar, tuhaf biçimlendirmeler ve katbekat daha fazla veri içeren gerçek dünya veri kümeleriyle çalışmış olabilirsin. Bunların hepsi yeni bile olsa, bu kurs Python ve Apache Spark kullanarak veri süreçlerini hazırlamak için gerekenleri öğrenmene yardımcı olur.
Terimleri, yöntemleri ve en iyi uygulamaların bir kısmını öğrenerek yüksek performanslı, sürdürülebilir ve anlaşılır bir veri işleme platformu oluşturmayı öğreneceksin.

Intermediate Python

Introduction to PySpark

PySpark ile Python'da DataFrame ve veri hatları kullanarak verilerinizi temizlemeyi öğrenin.

Bölümlendirme ve tembel işleme

Create Your Free Account