Förutsägelse och utvärdering

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Den här övningen är en del av kursen

Introduktion till Spark SQL i Python

SkillTag.level.advancedSkillTag.label

4.7+

I det här kapitlet lär du dig att skapa och köra frågor mot en SQL-tabell i Spark. Spark SQL tillför SQL:s uttrycksfullhet till Spark. Du lär dig också hur du använder SQL-fönsterfunktioner i Spark. Fönsterfunktioner utför beräkningar över rader som är relaterade till den aktuella raden. De förenklar avsevärt resultat som är svåra att uppnå med enbart join-operationer och traditionella aggregeringar. Vi använder fönsterfunktioner för att beräkna löpande summor, löpande differenser och andra operationer som är svåra att utföra i grundläggande SQL.

Exercise 1: Skapa och fråga en SQL-tabell i Spark Exercise 2: Skapa en SQL-tabell från en dataframe Exercise 3: Ta reda på kolumnnamnen i en tabell Exercise 4: Fönsterfunktioner i SQL Exercise 5: Löpande summor med fönsterfunktioner i SQL Exercise 6: Åtgärda den trasiga frågan Exercise 7: Punktnotation och SQL Exercise 8: Aggregering, steg för steg Exercise 9: Aggregera samma kolumn två gånger Exercise 10: Aggregering med dot notation och SQL Exercise 11: Konvertera en fönsterfunktion från dot notation till SQL

I det här kapitlet läser du in text på naturligt språk och tillämpar sedan en rörlig fönsteranalys för att hitta vanliga ordsekvenser.

Exercise 1: Läsa in naturlig språktext Exercise 2: Läsa in en dataram från en parquet-fil Exercise 3: Dela upp och expandera en textkolumn Exercise 4: Använda monotonically_increasing_id()Exercise 5: Analys med rörligt fönster Exercise 6: Skapa kontextfönster-särdragsdata Exercise 7: Partitionera om data Exercise 8: Vanliga ordsekvenser Exercise 9: Vilken typ av data är detta Exercise 10: Hitta vanliga ordsekvenser Exercise 11: Unika 5-tupler i sorterad ordning Exercise 12: Vanligaste 3-tuplarna per kapitel

I de tidigare kapitlen lärde du dig att utnyttja fönsterfunktionernas uttrycksfullhet i SQL. Den uttrycksfullheten gör det nu viktigt att du förstår hur du cachar DataFrames och SQL-tabeller på rätt sätt. Det är också viktigt att kunna utvärdera din applikation. Du lär dig att göra det med hjälp av Spark-gränssnittet. Du lär dig dessutom bästa praxis för loggning i Spark. Spark SQL tillhandahåller ytterligare ett användbart verktyg för att hantera frågeprestanda – frågekörningsplanen. Du lär dig att använda körningsplanen för att spåra ursprunget för en DataFrame.

Exercise 1: Caching Exercise 2: Öva på caching: del 1 Exercise 3: Öva på caching: SQL Exercise 4: Öva på cachelagring: sätt ihop allt Exercise 5: Cacha och ta bort cachning av tabeller Exercise 6: Spark UI Exercise 7: Spark UI:s lagringsfliken Exercise 8: Granska cache i Spark UI Exercise 9: Loggning Exercise 10: Öva på loggning Exercise 11: Öva på loggning 2 Exercise 12: Frågeplaner Exercise 13: Öva på frågeplaner Exercise 14: Öva på att läsa frågeplaner 2

Tidigare kapitel gav dig verktygen för att läsa in rå text, tokenisera den och extrahera ordsekvenser. Det är redan mycket användbart för analys, men även värdefullt för maskininlärning. Det du har lärt dig knyts nu samman genom att du använder logistisk regression för att klassificera text. I slutet av det här kapitlet har du läst in råa språkdata och använt dem för att träna en textklassificerare.

Exercise 1: Extrahera, transformera, välja Exercise 2: Öva på att skapa en UDF Exercise 3: Öva på arraykolumner Exercise 4: Skapa särdragsdata för klassificering Exercise 5: Skapa en UDF för vektordata Exercise 6: Tillämpa en UDF på vektordata Exercise 7: Omvandla text till vektorformat Exercise 8: Textklassificering Exercise 9: Märk upp data Exercise 10: Dela upp data Exercise 11: Träna klassificeraren Exercise 12: Förutsägelse och utvärdering

Aktuell övning

Exercise 13: Utvärdera klassificeraren Exercise 14: Förutsäg testdata Exercise 15: Sammanfattning