En genomgång av grunderna i DataFrame och vikten av datarensning.

Introduktion till datarensning med Apache Spark

Repetition: datarensning

Definiera ett schema

Immutabilitet och lat bearbetning

Genomgång av oföränderlighet

Lat bearbetning i praktiken

Förstå Parquet

Spara en DataFrame i Parquet-format

SQL och Parquet

DataFrame i detalj

En titt på olika tekniker för att ändra innehållet i DataFrames i Spark.

Kolumnoperationer i DataFrame

Filtrera kolumninnehåll med Python

Filtreringsfråga #1

Filtreringsfråga #2

Ändra kolumner i en DataFrame

Villkorliga kolumnoperationer i DataFrames

Exempel på when()

When / Otherwise

Användardefinierade funktioner

Förstå användardefinierade funktioner

Använda användardefinierade funktioner i Spark

Partitionering och lat bearbetning

Lägga till ett ID-fält

ID:n med olika partitioner

Fler ID-knep

Manipulera DataFrames i praktiken

Förbättra datarensningsuppgifter genom att öka prestandan eller minska resursåtgången.

Caching

Cacha en DataFrame

Ta bort en DataFrame från cachen

Förbättra importprestanda

Optimering av filstorlek

Prestanda vid filimport

Klusterkonfigurationer

Läsa Spark-konfigurationer

Skriva Spark-konfigurationer

Prestandaförbättringar

Vanliga joins

Använda broadcasting vid Spark-joins

Jämföra broadcast- och normala joins

Förbättra prestandan

Lär dig att bearbeta komplex verklig data med Spark och grunderna i pipelines.

Introduktion till datapipelines

Snabb pipeline

Dataproblem i pipeline

Tekniker för datahantering

Ta bort kommenterade rader

Ta bort ogiltiga rader

Dela upp i kolumner

Ytterligare parsning

Datavalidering

Validera rader via join

Undersöka ogiltiga rader

Slutanalys och leverans

Parsning av hundar

Antal hundar per bild

Procentandel hundpixlar

Grattis och nästa steg

Komplex bearbetning och datapipelines

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Att arbeta med data är utmanande – att arbeta med miljoner eller till och med miljarder rader är ännu svårare.
Har du fått databearbetningskod skriven på en bärbar dator med relativt välstrukturerad data?
Chansen är stor att du har fått ansvaret för att flytta en grundläggande dataprocess från prototyp till produktion.
Du kanske har arbetat med verkliga datamängder med saknade fält, konstiga format och data i helt andra storleksordningar. Oavsett om det här är nytt för dig hjälper den här kursen dig att lära dig vad som krävs för att förbereda dataprocesser med Python och Apache Spark.
Du lär dig terminologi, metoder och några bra metoder för att skapa en effektiv, underhållbar och begriplig databearbetningsplattform.

Intermediate Python

Introduction to PySpark

Lär dig använda PySpark för att rengöra data i Python med DataFrames och pipelines. Ren data är viktig.

Datarensning med PySpark

Lär dig hur du rengör data med Apache Spark i Python.

Big Data med PySpark

Genomgång av oföränderlighet

Datarensning med PySpark

Interaktiv övning med praktiskt arbete