Tečková notace a SQL

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Toto cvičení je součástí kurzu

Úvod do Spark SQL v Pythonu

SkillTag.level.advancedSkillTag.label

4.7+

168 reviews

Začněte kurz zdarma

V této kapitole se naučíš vytvářet a dotazovat SQL tabulky ve Sparku. Spark SQL přináší do Sparku plnou expresivitu SQL. Také se seznámíš s okenními funkcemi SQL ve Sparku. Okenní funkce provádějí výpočty přes řádky, které jsou v určitém vztahu k aktuálnímu řádku, a výrazně zjednodušují operace, které by pomocí samotných spojení a tradičních agregací byly obtížně vyjádřitelné. Okenní funkce využijeme k výpočtu průběžných součtů, průběžných rozdílů a dalších operací, které jsou v základním SQL náročné na implementaci.

Exercise 1: Vytváření a dotazování SQL tabulky ve Sparku Exercise 2: Vytvoření SQL tabulky z dataframu Exercise 3: Zjisti názvy sloupců tabulky Exercise 4: Okenní funkce v SQL Exercise 5: Průběžné součty pomocí okenní funkce v SQL Exercise 6: Oprav chybný dotaz Exercise 7: Tečková notace a SQL

Aktuální cvičení

Exercise 8: Agregace krok za krokem Exercise 9: Agregace stejného sloupce dvakrát Exercise 10: Agregace: dot notace vs. SQL Exercise 11: Převod okenní funkce z tečkové notace do SQL

V této kapitole načteš text v přirozeném jazyce a aplikuješ analýzu pohyblivého okna k vyhledávání častých slovních sekvencí.

Exercise 1: Načítání textu v přirozeném jazyce Exercise 2: Načtení dataframu z parquet souboru Exercise 3: Rozdělení a rozbalení textového sloupce Exercise 4: Použití monotonically_increasing_id()Exercise 5: Analýza klouzavého okna Exercise 6: Vytváření dat kontextového okna Exercise 7: Přerozdělení dat do oddílů Exercise 8: Časté slovní sekvence Exercise 9: O jaký typ dat se jedná Exercise 10: Hledání nejčastějších slovních sekvencí Exercise 11: Jedinečné 5-tice v seřazeném pořadí Exercise 12: Nejčastější 3-tice podle kapitoly

V předchozích kapitolách sis osvojil/a expresivitu okenních funkcí SQL. Tato expresivita ale zároveň zdůrazňuje, jak důležité je správně pracovat s mezipamětí DataFrames a SQL tabulek. Stejně důležité je umět vyhodnocovat výkon své aplikace – k tomu slouží Spark UI. Naučíš se také osvědčené postupy pro logování ve Sparku. Spark SQL navíc nabízí užitečný nástroj pro ladění výkonu dotazů: plán provádění dotazu. Ukážeme si, jak ho využít k analýze původu DataFramu.

Exercise 1: Caching Exercise 2: Procvičování ukládání do mezipaměti: část 1 Exercise 3: Procvičení cachování: SQL Exercise 4: Procvičování cache: vše dohromady Exercise 5: Ukládání tabulek do mezipaměti a jejich odebrání Exercise 6: Spark UI Exercise 7: Záložka Storage ve Spark UI Exercise 8: Prohlížení cache ve Spark UI Exercise 9: Logování Exercise 10: Procvičování logování Exercise 11: Procvičování logování 2 Exercise 12: Query plány Exercise 13: Procvičení query plánů Exercise 14: Čtení query plánů 2 – procvičování

Předchozí kapitoly ti daly nástroje pro načítání surového textu, jeho tokenizaci a extrakci slovních sekvencí. To je samo o sobě velmi užitečné pro analýzu, ale hodí se i pro strojové učení. Vše, co ses naučil/a, teď spojíš dohromady při klasifikaci textu pomocí logistické regrese. Na konci této kapitoly budeš mít za sebou načtení surových dat v přirozeném jazyce a jejich využití k natrénování textového klasifikátoru.

Exercise 1: Extrakce, transformace a výběr dat Exercise 2: Procvičování tvorby UDF Exercise 3: Práce se sloupcovými poli Exercise 4: Příprava příznaků pro klasifikaci Exercise 5: Vytvoření UDF pro vektorová data Exercise 6: Použití UDF na vektorová data Exercise 7: Převod textu do vektorového formátu Exercise 8: Klasifikace textu Exercise 9: Označení dat Exercise 10: Rozdělení dat Exercise 11: Trénování klasifikátoru Exercise 12: Predikce a vyhodnocení Exercise 13: Vyhodnocení klasifikátoru Exercise 14: Predikce na testovacích datech Exercise 15: Shrnutí