Przegląd podstaw DataFrame oraz znaczenia czyszczenia danych.

Wprowadzenie do czyszczenia danych w Apache Spark

Powtórka: czyszczenie danych

Definiowanie schematu

Niemutowalność i leniwe przetwarzanie

Powtórzenie: niezmienność

Leniwe przetwarzanie w praktyce

Czym jest Parquet

Zapisywanie ramki danych w formacie Parquet

SQL i Parquet

Szczegóły DataFrame

Omówienie różnych technik modyfikowania zawartości DataFrame w Sparku.

Operacje na kolumnach DataFrame

Filtrowanie zawartości kolumn w Pythonie

Pytanie o filtrowanie nr 1

Filtrowanie – pytanie nr 2

Modyfikowanie kolumn DataFrame

Warunkowe operacje na kolumnach DataFrame

Przykład użycia when()

When / Otherwise

Funkcje definiowane przez użytkownika

Funkcje definiowane przez użytkownika – podstawy

Używanie funkcji definiowanych przez użytkownika w Spark

Partycjonowanie i przetwarzanie leniwe

Dodawanie pola ID

Identyfikatory a różne partycje

Więcej sztuczek z ID

Modyfikowanie DataFrame w praktyce

Usprawnij zadania związane z czyszczeniem danych, zwiększając wydajność lub ograniczając zużycie zasobów.

Caching

Zapisywanie DataFrame w pamięci podręcznej

Usuwanie DataFrame z pamięci podręcznej

Zwiększanie wydajności importu

Optymalizacja rozmiaru plików

Wydajność importu plików

Konfiguracje klastrów

Odczytywanie konfiguracji Sparka

Konfigurowanie ustawień Sparka

Poprawa wydajności

Zwykłe złączenia

Używanie broadcastingu w złączeniach Sparka

Porównanie złączeń broadcast i zwykłych

Naucz się przetwarzać złożone dane rzeczywiste przy użyciu Sparka oraz poznaj podstawy potoków danych.

Wprowadzenie do potoków danych

Szybki potok danych

Problem z danymi w potoku

Techniki przetwarzania danych

Usuwanie wierszy z komentarzami

Usuwanie nieprawidłowych wierszy

Podział na kolumny

Dalsze przetwarzanie

Walidacja danych

Weryfikacja wierszy za pomocą złączenia

Analiza nieprawidłowych wierszy

Ostateczna analiza i prezentacja wyników

Parsowanie danych o psach

Liczba obiektów na obraz

Procentowy udział pikseli psa

Gratulacje i następne kroki

Zaawansowane przetwarzanie i potoki danych

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Praca z danymi bywa wymagająca – a praca z milionami czy nawet miliardami wierszy to już prawdziwe wyzwanie.
Czy zdarzyło ci się otrzymać kod do przetwarzania danych napisany na laptopie z niemal idealnymi danymi?
Pewnie nie raz trafiło ci się przejąć podstawowy proces przetwarzania danych i przenieść go z prototypu na produkcję.
Możliwe, że masz już doświadczenie z rzeczywistymi zbiorami danych – z brakującymi polami, dziwnym formatowaniem i wolumenem danych większym o rzędy wielkości. Nawet jeśli to wszystko jest dla ciebie nowe, ten kurs pomoże ci opanować to, czego potrzebujesz, by przygotować procesy przetwarzania danych w Pythonie z Apache Spark.
Poznasz terminologię, metody oraz sprawdzone praktyki tworzenia wydajnej, łatwej w utrzymaniu i czytelnej platformy do przetwarzania danych.

Intermediate Python

Introduction to PySpark

Naucz się używać PySpark do czyszczenia danych w Pythonie. Dowiedz się, dlaczego czyste dane są ważne.

Caching

Create Your Free Account