Общее введение в PySpark и распределённые вычисления. В этом разделе рассматриваются PySpark, DataFrame в PySpark и RDD.

Введение в PySpark

Создание SparkSession

Загрузка данных переписи населения

Введение в DataFrame PySpark

Масштабируемость и производительность

Чтение CSV-файла и выполнение агрегаций

Фильтрация по местонахождению компании

Подробнее о Spark DataFrames

Вывод схемы и фильтрация

Определение схемы вручную

Введение в Apache Spark и PySpark

Продолжение темы DataFrame и сложных типов данных. Раздел углубляет знания о возможностях DataFrame в PySpark и знакомит с основными концепциями Spark SQL.

Работа с данными в DataFrames

Обработка пропущенных данных: заполнение и удаление

Операции со столбцами — создание и переименование

Продвинутые операции с DataFrame

Комбинирование DataFrame

Объединение рейсов с аэропортами назначения

Вы определили? Используйте!

UDF определён

Целые числа в UDF PySpark

Pandas UDF

PySpark на Python

Изучите применение Spark SQL и PySpark для масштабируемой обработки данных: сочетание простоты SQL с возможностями распределённых вычислений PySpark для эффективной работы с большими наборами данных.

Устойчивые распределённые наборы данных в PySpark

Создание RDD

Сбор данных из RDD

Введение в Spark SQL

Запросы к временному представлению

Выполнение SQL-запросов к DataFrame

Аналитика с помощью SQL на DataFrame

Агрегации в PySpark

Агрегирование в PySpark

Агрегация в RDD

Сложные агрегации

PySpark в масштабе

Широковещательная рассылка (broadcasting)

Собираем всё воедино. Часть I

Всё вместе: часть II

Что мы узнали?

Введение в PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Этот курс предназначен для дата-инженеров, специалистов по данным и практиков в области машинного обучения, которые хотят работать с большими объёмами данных с помощью PySpark. Вы познакомитесь со скоростью и масштабируемостью Apache Spark, научитесь создавать Spark-сессии, работать с RDD и управлять DataFrame через практические упражнения. Курс также охватывает PySpark SQL: вы узнаете, как запрашивать данные с помощью SQL, работать со схемами и сложными типами данных, а также оптимизировать производительность в распределённых средах. По окончании курса вы получите базовые навыки обработки и анализа больших данных, которые станут фундаментом для более сложных задач — машинного обучения и аналитики больших данных.

Видеоуроки содержат живые субтитры, которые можно открыть, нажав «Show transcript» в нижнем левом углу проигрывателя.
Глоссарий курса доступен справа в разделе ресурсов.
Чтобы получить кредиты CPE, необходимо пройти курс и набрать не менее 70% в итоговой аттестации. Перейти к аттестации можно, нажав на блок CPE credits справа.

Этот курс идеально подходит для инженеров данных, специалистов по данным и практиков машинного обучения, которые хотят эффективно работать с большими наборами данных. Независимо от того, переходите ли вы с таких инструментов, как Pandas, или впервые погружаетесь в технологии больших данных, этот курс предлагает прочное введение в PySpark и распределённую обработку данных.<br><br>
<h2>Почему Spark? Почему сейчас?</h2>
Откройте для себя скорость и масштабируемость Apache Spark — мощного фреймворка, созданного для работы с большими данными. Благодаря интерактивным урокам и практическим заданиям вы увидите, как обработка данных в памяти в Spark дает ему преимущество перед традиционными фреймворками, такими как Hadoop. Вы начнёте с настройки сеансов Spark и погрузитесь в основные компоненты, такие как устойчивые распределённые наборы данных (RDD) и DataFrame. Научитесь легко фильтровать, группировать и объединять наборы данных, работая на реальных примерах.<br><br>
<h2>Повысьте свои навыки Python и SQL для работы с большими данными</h2>
Узнайте, как использовать PySpark SQL для запросов к данным и их управления с помощью знакомого синтаксиса SQL. Освойте схемы, сложные типы данных и пользовательские функции (UDF), одновременно развивая навыки кэширования и оптимизации производительности распределённых систем.<br><br>
<h2>Создайте прочную основу в области больших данных</h2>
К концу этого курса вы будете уверенно обрабатывать, запрашивать и обрабатывать большие данные с помощью PySpark. Обладая этими базовыми навыками, вы будете готовы изучать такие продвинутые темы, как машинное обучение и аналитика больших данных.

Introduction to SQL

Data Manipulation with pandas

Освойте PySpark для работы с большими данными: обработка, запросы и оптимизация массивов данных!

Освойте PySpark для работы с большими данными: обрабатывайте, запрашивайте и оптимизируйте огромные наборы данных для мощной аналитики!

Младший инженер данных в Databricks

Большие данные с PySpark

Специалист по машинному обучению на Python

Профессиональный инженер данных на Python

Широковещательная рассылка (broadcasting)

Введение в PySpark

Практическое интерактивное упражнение