Загальний вступ до PySpark і розподілених обчислень. У цьому розділі представлено PySpark, DataFrame у PySpark та RDD.

Вступ до PySpark

Створення SparkSession

Завантаження даних перепису

Вступ до датафреймів PySpark

Масштабованість і продуктивність

Зчитування CSV і виконання агрегацій

Фільтрування за компанією

Більше про датафрейми Spark

Визначення та фільтрація

Запис схеми

Вступ до Apache Spark і PySpark

Продовження роботи з DataFrame і складними типами даних. Розділ розширює можливості DataFrame у PySpark і знайомить із деякими концепціями Spark SQL.

Маніпулювання даними в датафреймах

Обробка пропущених даних за допомогою fill та drop

Операції зі стовпцями — створення та перейменування

Просунуті операції з DataFrame

Комбінації DataFrame

Обʼєднання рейсів із їхніми аеропортами призначення

Визначили? Тоді використовуйте!

Визначення UDF

Цілі числа в UDF у PySpark

Pandas UDF

PySpark у Python

Занурення у використання Spark SQL і PySpark для масштабованої обробки даних: поєднання простоти SQL із розподіленою обчислювальною потужністю PySpark для ефективної роботи з великими наборами даних.

Надійні розподілені набори даних у PySpark

Створення RDD

Збирання RDD

Вступ до Spark SQL

Запити до тимчасового подання

Запуск SQL для DataFrame

Аналітика з SQL на датафреймах

Агрегації в PySpark

Агрегування в PySpark

Агрегування в RDD

Складні агрегації

PySpark у масштабі

Широкомовлення (Broadcasting)

Підсумуємо все разом I

Об'єднуємо все разом II

Що ми вивчили?

Вступ до PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Цей курс створено для дата-інженерів, дата-сайєнтистів і фахівців з машинного навчання, які працюють із великими наборами даних у PySpark. Ви дослідите швидкість і масштабованість Apache Spark, навчитеся створювати сеанси Spark, працювати з RDD і виконувати операції з DataFrame у практичних вправах. Курс також охоплює PySpark SQL: ви навчитеся виконувати запити до даних за допомогою SQL, працювати зі схемами та складними типами даних, а також оптимізувати продуктивність у розподілених середовищах. Наприкінці ви опanuєте базові навички обробки та аналізу великих даних, що стане підґрунтям для просунутих застосувань, зокрема машинного навчання та аналітики Big Data.

У відео є живі транскрипти, які можна відкрити, натиснувши "Show transcript" у лівому нижньому куті відео.
Глосарій курсу розміщено праворуч у розділі ресурсів.
Щоб отримати кредити CPE, потрібно завершити курс і набрати 70% на кваліфікаційній перевірці. Перейти до перевірки можна, натиснувши на позначку про кредити CPE праворуч.

Цей курс ідеально підходить для інженерів даних, дата-сайєнтистів і фахівців із машинного навчання, які хочуть ефективно працювати з великими наборами даних. Чи переходите ви з інструментів на кшталт Pandas або вперше занурюєтеся у технології великих даних, цей курс пропонує ґрунтовне ознайомлення з PySpark і розподіленою обробкою даних.<br><br>
<h2>Чому Spark? Чому саме зараз?</h2>
Відкрийте для себе швидкість і масштабованість Apache Spark — потужного фреймворку, створеного для обробки великих даних. Через інтерактивні уроки та практичні вправи ви побачите, як обробка в пам’яті Spark дає йому перевагу над традиційними фреймворками, такими як Hadoop. Ви почнете з налаштування сеансів Spark і зануритеся в основні компоненти, такі як стійкі розподілені набори даних (RDD) і DataFrames. Навчіться легко фільтрувати, групувати та об’єднувати набори даних, працюючи на реальних прикладах.<br><br>
<h2>Покращте свої навички Python і SQL для Big Data</h2>
Дізнайтеся, як використовувати PySpark SQL для запитів і керування даними за допомогою знайомого синтаксису SQL. Опановуйте схеми, складні типи даних і користувацькі функції (UDF), одночасно розвиваючи навички кешування та оптимізації продуктивності для розподілених систем.<br><br>
<h2>Створіть свою базу великих даних</h2>
Наприкінці цього курсу ви матимете впевненість у роботі з великими даними, виконанні запитів і їх обробці за допомогою PySpark. Маючи ці базові навички, ви будете готові досліджувати такі просунуті теми, як машинне навчання та аналітика великих даних.

Introduction to SQL

Data Manipulation with pandas

Опануйте PySpark для роботи з великими даними: обробка, запити та оптимізація для аналітики!

Опануйте PySpark, щоб легко працювати з великими даними — навчіться обробляти, запитувати й оптимізувати величезні набори даних для потужної аналітики!

Молодший інженер даних в Databricks

Big Data з PySpark

Науковець із машинного навчання в Python

Професійний інженер даних в Python

Широкомовлення (Broadcasting)

Вступ до PySpark

Практична інтерактивна вправа