Tworzenie tabeli SQL w Spark i wykonywanie na niej zapytań

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

To ćwiczenie jest częścią kursu

Wprowadzenie do Spark SQL w Pythonie

SkillTag.level.advancedSkillTag.label

4.7+

Rozpocznij kurs za darmo

W tym rozdziale nauczysz się tworzyć i odpytywać tabele SQL w Sparku. Spark SQL wprowadza do Sparka pełną ekspresywność języka SQL. Poznasz też funkcje okna SQL w Sparku. Funkcje okna wykonują obliczenia na wierszach powiązanych z bieżącym wierszem, dzięki czemu znacznie upraszczają uzyskiwanie wyników, które trudno wyrazić za pomocą samych złączeń i tradycyjnych agregacji. Użyjemy funkcji okna do obliczania sum bieżących, różnic bieżących i innych operacji, które w podstawowym SQL są trudne do wykonania.

Exercise 1: Tworzenie tabeli SQL w Spark i wykonywanie na niej zapytań

Bieżące ćwiczenie

Exercise 2: Tworzenie tabeli SQL z ramki danych Exercise 3: Określanie nazw kolumn tabeli Exercise 4: Funkcje okna w SQL Exercise 5: Sumy bieżące z użyciem funkcji okna w SQL Exercise 6: Napraw błędne zapytanie Exercise 7: Notacja kropkowa i SQL Exercise 8: Agregacja krok po kroku Exercise 9: Dwukrotna agregacja tej samej kolumny Exercise 10: Agregacja: notacja z kropką a SQL Exercise 11: Przekształć funkcję okna z notacji z kropką na SQL

W tym rozdziale wczytasz tekst w języku naturalnym, a następnie zastosujesz analizę ruchomego okna, aby znaleźć częste sekwencje słów.

Exercise 1: Wczytywanie tekstu w języku naturalnym Exercise 2: Wczytywanie ramki danych z pliku parquet Exercise 3: Podział i rozwinięcie kolumny tekstowej Exercise 4: Używanie monotonically_increasing_id()Exercise 5: Analiza ruchomego okna Exercise 6: Tworzenie danych cech okna kontekstowego Exercise 7: Repartycjonowanie danych Exercise 8: Częste sekwencje słów Exercise 9: Jaki to typ danych Exercise 10: Wyszukiwanie popularnych sekwencji słów Exercise 11: Unikalne 5-krotki w posortowanej kolejności Exercise 12: Najczęstsze 3-krotki dla każdego rozdziału

W poprzednich rozdziałach poznałeś ekspresywność funkcji okna SQL. Teraz ważne jest, abyś zrozumiał, jak poprawnie buforować ramki danych i tabele SQL. Równie istotna jest umiejętność oceny działania aplikacji – do tego celu służy Spark UI. Poznasz też sprawdzone praktyki logowania w Sparku. Spark SQL oferuje jeszcze jedno przydatne narzędzie do optymalizacji zapytań: plan wykonania zapytania. Nauczysz się go używać do analizy pochodzenia ramki danych.

Exercise 1: Buforowanie Exercise 2: Ćwiczenie z buforowaniem: część 1 Exercise 3: Ćwiczenie z cachowaniem: SQL Exercise 4: Ćwiczenie buforowania: wszystko razem Exercise 5: Zapisywanie i usuwanie tabel z pamięci podręcznej Exercise 6: Interfejs Spark UI Exercise 7: Zakładka Storage w Spark UI Exercise 8: Sprawdzanie bufora w Spark UI Exercise 9: Logowanie Exercise 10: Ćwiczenie logowania Exercise 11: Ćwiczenie z logowania 2 Exercise 12: Plany zapytań Exercise 13: Ćwiczenie z planami zapytań Exercise 14: Ćwiczenie z odczytywania planów zapytań 2

Poprzednie rozdziały wyposażyły cię w narzędzia do wczytywania surowego tekstu, jego tokenizacji i wyodrębniania sekwencji słów. To samo w sobie jest bardzo przydatne do analizy, ale sprawdza się też w uczeniu maszynowym. Teraz połączysz zdobytą wiedzę, stosując regresję logistyczną do klasyfikacji tekstu. Po ukończeniu tego rozdziału wczytasz surowe dane tekstowe w języku naturalnym i użyjesz ich do wytrenowania klasyfikatora tekstu.

Exercise 1: Wyodrębnianie, transformacja i selekcja Exercise 2: Tworzenie UDF w praktyce Exercise 3: Praca z kolumnami tablicowymi Exercise 4: Tworzenie danych cech do klasyfikacji Exercise 5: Tworzenie UDF dla danych wektorowych Exercise 6: Zastosowanie UDF do danych wektorowych Exercise 7: Przekształcanie tekstu do formatu wektorowego Exercise 8: Klasyfikacja tekstu Exercise 9: Nadaj etykiety danym Exercise 10: Podziel dane Exercise 11: Trenowanie klasyfikatora Exercise 12: Przewidywanie i ewaluacja Exercise 13: Oceń klasyfikator Exercise 14: Przewidywanie na danych testowych Exercise 15: Podsumowanie