Ogólne wprowadzenie do PySpark i przetwarzania rozproszonego. Ta sekcja przedstawia PySpark, obiekty DataFrame w PySpark oraz RDD.

Wprowadzenie do PySpark

Tworzenie SparkSession

Wczytywanie danych spisowych

Wprowadzenie do PySpark DataFrames

Skalowalność i wydajność

Wczytywanie pliku CSV i wykonywanie agregacji

Filtrowanie według lokalizacji firmy

Więcej o Spark DataFrames

Wnioskowanie schematu i filtrowanie

Definiowanie schematu

Wprowadzenie do Apache Spark i PySpark

Kontynuacja tematu obiektów DataFrame i złożonych typów danych. Ta sekcja rozszerza wiedzę o możliwościach obiektów DataFrame w PySpark i wprowadza wybrane koncepcje Spark SQL.

Manipulacja danymi w DataFrames

Obsługa brakujących danych – wypełnianie i usuwanie

Operacje na kolumnach – tworzenie i zmiana nazw

Zaawansowane operacje na DataFrames

Łączenie DataFrame'ów

Łączenie lotów z lotniskami docelowymi

Sam definiujesz, sam używasz!

UDF zdefiniowany

Liczby całkowite w UDF PySpark

Pandas UDF

PySpark w Pythonie

Poznaj możliwości Spark SQL i PySpark w zakresie skalowalnego przetwarzania danych – połącz prostotę SQL z mocą przetwarzania rozproszonego PySpark, aby sprawnie obsługiwać duże zbiory danych.

Odporne rozproszone zbiory danych w PySpark

Tworzenie RDD

Pobieranie danych z RDD

Wprowadzenie do Spark SQL

Zapytania na widoku tymczasowym

Uruchamianie zapytań SQL na DataFrames

Analityka z SQL na DataFrame'ach

Agregacje w PySpark

Agregacja w RDD

Złożone agregacje

PySpark w dużej skali

Broadcasting

Łączymy wszystko w całość – część I

Łączymy wszystko razem II

Czego się nauczyliśmy?

Wprowadzenie do PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Ten kurs jest przeznaczony dla inżynierów danych, analityków danych oraz praktyków uczenia maszynowego, którzy chcą pracować z dużymi zbiorami danych przy użyciu PySpark. Poznasz możliwości Apache Spark pod kątem szybkości i skalowalności, nauczysz się tworzyć sesje Spark, pracować z RDD oraz manipulować obiektami DataFrame w ramach ćwiczeń praktycznych. Kurs obejmuje również PySpark SQL – dowiesz się, jak odpytywać dane za pomocą SQL, obsługiwać schematy i złożone typy danych oraz optymalizować wydajność w środowiskach rozproszonych. Po ukończeniu kursu będziesz mieć solidne podstawy do przetwarzania i analizowania dużych zbiorów danych, co otworzy drogę do zaawansowanych zastosowań, takich jak uczenie maszynowe i analityka big data.

Filmy zawierają transkrypcje na żywo, które możesz wyświetlić, klikając „Pokaż transkrypcję" w lewym dolnym rogu odtwarzacza.
Glosariusz kursu znajdziesz po prawej stronie, w sekcji zasobów.
Aby uzyskać punkty CPE, musisz ukończyć kurs i uzyskać co najmniej 70% punktów w kwalifikowanym teście. Do testu możesz przejść, klikając powiadomienie o punktach CPE po prawej stronie.

Ten kurs jest idealny dla inżynierów danych, data scientistów i praktyków machine learning, którzy chcą efektywnie pracować z dużymi zbiorami danych. Niezależnie od tego, czy przechodzisz z narzędzi takich jak Pandas, czy po raz pierwszy zagłębiasz się w technologie big data, ten kurs oferuje solidne wprowadzenie do PySpark i rozproszonego przetwarzania danych.<br><br>
<h2>Dlaczego Spark? Dlaczego teraz?</h2>
Odkryj szybkość i skalowalność Apache Spark — potężnej platformy stworzonej do pracy z big data. Dzięki interaktywnym lekcjom i praktycznym ćwiczeniom zobaczysz, jak przetwarzanie w pamięci Spark daje mu przewagę nad tradycyjnymi frameworkami, takimi jak Hadoop. Zaczniesz od konfiguracji sesji Spark i zagłębisz się w kluczowe komponenty, takie jak Resilient Distributed Datasets (RDD) i DataFrames. Naucz się z łatwością filtrować, grupować i łączyć zbiory danych, pracując na przykładach z życia wziętych.<br><br>
<h2>Rozwiń swoje umiejętności w Pythonie i SQL dla Big Data</h2>
Dowiedz się, jak wykorzystać PySpark SQL do zapytań i zarządzania danymi, używając znanej składni SQL. Zajmij się schematami, złożonymi typami danych i funkcjami definiowanymi przez użytkownika (UDF), jednocześnie rozwijając umiejętności w zakresie cache’owania i optymalizacji wydajności systemów rozproszonych.<br><br>
<h2>Zbuduj fundamenty Big Data</h2>
Po ukończeniu tego kursu będziesz mieć pewność, że potrafisz obsługiwać, wykonywać zapytania i przetwarzać big data za pomocą PySpark. Dzięki tym podstawowym umiejętnościom będziesz gotowy(-a) zgłębiać zaawansowane zagadnienia, takie jak uczenie maszynowe i analiza big data.

Introduction to SQL

Data Manipulation with pandas

Opanuj PySpark, aby łatwo obsługiwać duże dane—przetwarzaj, optymalizuj i analizuj ogromne zbiory danych!

Opanuj PySpark, by z łatwością obsługiwać big data — ucz się przetwarzać, zapytywać i optymalizować ogromne zbiory danych do zaawansowanej analityki!

Młodszy Inżynier Danych w Databricks

Big Data z PySpark

Naukowiec ds. uczenia maszynowego w Pythonie

Profesjonalny inżynier danych w Pythonie

UDF zdefiniowany

Wprowadzenie do PySpark

Interaktywne ćwiczenie praktyczne