Použití monotonically_increasing_id()

monotonically_increasing_id efektivně generuje sloupec celých čísel, která jsou vždy rostoucí. Hodí se pro vytváření jedinečného identifikátoru pro každý řádek. Která z následujících posloupností by operací monotonically_increasing_id nevznikla?

Toto cvičení je součástí kurzu

Úvod do Spark SQL v Pythonu

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Úvod do Spark SQL v Pythonu

SkillTag.level.advancedSkillTag.label

4.7+

Začněte kurz zdarma

V této kapitole se naučíš vytvářet a dotazovat SQL tabulky ve Sparku. Spark SQL přináší do Sparku plnou expresivitu SQL. Také se seznámíš s okenními funkcemi SQL ve Sparku. Okenní funkce provádějí výpočty přes řádky, které jsou v určitém vztahu k aktuálnímu řádku, a výrazně zjednodušují operace, které by pomocí samotných spojení a tradičních agregací byly obtížně vyjádřitelné. Okenní funkce využijeme k výpočtu průběžných součtů, průběžných rozdílů a dalších operací, které jsou v základním SQL náročné na implementaci.

Exercise 1: Vytváření a dotazování SQL tabulky ve Sparku Exercise 2: Vytvoření SQL tabulky z dataframu Exercise 3: Zjisti názvy sloupců tabulky Exercise 4: Okenní funkce v SQL Exercise 5: Průběžné součty pomocí okenní funkce v SQL Exercise 6: Oprav chybný dotaz Exercise 7: Tečková notace a SQL Exercise 8: Agregace krok za krokem Exercise 9: Agregace stejného sloupce dvakrát Exercise 10: Agregace: dot notace vs. SQL Exercise 11: Převod okenní funkce z tečkové notace do SQL

V této kapitole načteš text v přirozeném jazyce a aplikuješ analýzu pohyblivého okna k vyhledávání častých slovních sekvencí.

Exercise 1: Načítání textu v přirozeném jazyce Exercise 2: Načtení dataframu z parquet souboru Exercise 3: Rozdělení a rozbalení textového sloupce Exercise 4: Použití monotonically_increasing_id()

Aktuální cvičení

Exercise 5: Analýza klouzavého okna Exercise 6: Vytváření dat kontextového okna Exercise 7: Přerozdělení dat do oddílů Exercise 8: Časté slovní sekvence Exercise 9: O jaký typ dat se jedná Exercise 10: Hledání nejčastějších slovních sekvencí Exercise 11: Jedinečné 5-tice v seřazeném pořadí Exercise 12: Nejčastější 3-tice podle kapitoly

V předchozích kapitolách sis osvojil/a expresivitu okenních funkcí SQL. Tato expresivita ale zároveň zdůrazňuje, jak důležité je správně pracovat s mezipamětí DataFrames a SQL tabulek. Stejně důležité je umět vyhodnocovat výkon své aplikace – k tomu slouží Spark UI. Naučíš se také osvědčené postupy pro logování ve Sparku. Spark SQL navíc nabízí užitečný nástroj pro ladění výkonu dotazů: plán provádění dotazu. Ukážeme si, jak ho využít k analýze původu DataFramu.

Exercise 1: Caching Exercise 2: Procvičování ukládání do mezipaměti: část 1 Exercise 3: Procvičení cachování: SQL Exercise 4: Procvičování cache: vše dohromady Exercise 5: Ukládání tabulek do mezipaměti a jejich odebrání Exercise 6: Spark UI Exercise 7: Záložka Storage ve Spark UI Exercise 8: Prohlížení cache ve Spark UI Exercise 9: Logování Exercise 10: Procvičování logování Exercise 11: Procvičování logování 2 Exercise 12: Query plány Exercise 13: Procvičení query plánů Exercise 14: Čtení query plánů 2 – procvičování

Předchozí kapitoly ti daly nástroje pro načítání surového textu, jeho tokenizaci a extrakci slovních sekvencí. To je samo o sobě velmi užitečné pro analýzu, ale hodí se i pro strojové učení. Vše, co ses naučil/a, teď spojíš dohromady při klasifikaci textu pomocí logistické regrese. Na konci této kapitoly budeš mít za sebou načtení surových dat v přirozeném jazyce a jejich využití k natrénování textového klasifikátoru.

Exercise 1: Extrakce, transformace a výběr dat Exercise 2: Procvičování tvorby UDF Exercise 3: Práce se sloupcovými poli Exercise 4: Příprava příznaků pro klasifikaci Exercise 5: Vytvoření UDF pro vektorová data Exercise 6: Použití UDF na vektorová data Exercise 7: Převod textu do vektorového formátu Exercise 8: Klasifikace textu Exercise 9: Označení dat Exercise 10: Rozdělení dat Exercise 11: Trénování klasifikátoru Exercise 12: Predikce a vyhodnocení Exercise 13: Vyhodnocení klasifikátoru Exercise 14: Predikce na testovacích datech Exercise 15: Shrnutí