Вивчайте Spark SQL

Якщо ви знайомі з SQL і чули багато хорошого про Apache Spark, цей курс саме для вас. Apache Spark — це обчислювальний фреймворк для обробки великих даних, а Spark SQL — це компонент Apache Spark. Цей чотиригодинний курс покаже вам, як вивести Spark на новий рівень корисності, використовуючи розширені можливості SQL, такі як віконні функції.

Протягом чотирьох розділів ви використовуватимете Spark SQL для аналізу даних часових рядів, витягуватимете найуживаніші слова з текстового документа, створюватимете набори ознак із тексту природною мовою та використовуватимете їх для прогнозування останнього слова в реченні за допомогою логістичної регресії.

Дізнайтеся про можливості Spark SQL

Ви почнете зі створення та виконання запитів до таблиці SQL у Spark, а також навчитеся використовувати віконні функції SQL для обчислення накопичувальних сум, різниць між значеннями та інших операцій.

Далі ви дізнаєтеся, як використовувати віконну функцію в Spark SQL для обробки природної мови, зокрема застосовуючи аналіз ковзного вікна для виявлення поширених послідовностей слів.

У розділі 3 ви дізнаєтеся, як використовувати SQL Spark UI, щоб правильно кешувати DataFrame і таблиці SQL перед вивченням найкращих практик ведення журналів у Spark.

Нарешті ви використовуєте всі навички, яких навчилися до цього моменту, щоб завантажувати й токенізувати необроблений текст перед виділенням послідовностей слів. Потім ви використаєте логістичну регресію для класифікації тексту, використовуючи необроблені дані природної мови для навчання текстового класифікатора.

Отримайте ґрунтовне ознайомлення зі Spark SQL

Наприкінці курсу ви матимете ґрунтовне розуміння Spark SQL і зрозумієте, як Spark поєднує потужність розподілених обчислень із простотою використання Python і SQL.

Створення та запити до таблиці SQL у Spark

Create Your Free Account