Här lär du dig hur Spark och R kompletterar varandra, hur du flyttar data till och från Spark, samt hur du manipulerar Spark-dataramar med dplyr-syntax.

Kom igång

Skapade för varandra

Här finns drakar

Mönstret anslut–arbeta–koppla från

Kopiera data till Spark

Stora data, liten tibble

Utforska strukturen hos tibbles

Välja kolumner

Filtrera rader

Sortera rader

Mutera kolumner

Sammanfatta kolumner

Kom igång: Använda Spark med dplyr-syntax

Här fördjupar du dig i <code>dplyr</code>-gränssnittet mot Spark, inklusive avancerad fältmarkering, beräkning av gruppvisa statistikmått och sammanslagning av dataramar.

Nästa nivå

Smarta hjälpmedel (1)

Hjälpfunktioner för kolumnval (2)

Välja unika rader

Vanliga förekomster

Hämta data tillbaka från Spark

Lagra mellanliggande resultat

Grupper: bra för musik, bra för data

Grupper av mutationer

Avancerat urval II: SQL

Vänsterjoiningar

Anti joins

Semi-joins

Verktyg att ha koll på: Avancerad användning av dplyr

Här lär du dig om Sparks funktioner för datatransformation inom maskininlärning samt verktyg för att hantera inbyggda DataFrames.

Två nya gränssnitt

Dubbel popcornföreställning

Omvandla kontinuerliga variabler till logiska

Omvandla kontinuerliga variabler till kategoriska (1)

Omvandla kontinuerliga variabler till kategoriska (2)

Mer än ord: tokenisering (1)

Mer än ord: tokenisering (2)

Mer än ord: tokenisering (3)

Sortering med sdf_sort och arrange

Utforska Sparks datatyper

Minska datamängden genom sampling

Tränings- och testpartitioner

Inbyggt gränssnitt: Hantera Spark DataFrames direkt

En fallstudie där du lär dig använda <code>sparklyr</code>:s maskininlärningsrutiner för att förutsäga vilket år en låt gavs ut.

Maskininlärning i Spark

Maskininlärningsfunktioner

(Hej du) Vad är det där för ljud?

Arbeta med parquet-filer

Sammanfogning

Partitionering av data med gruppeffekt

Gradientboostade träd: modellering

Gradientförstärkta träd: prediktion

Gradientboostade träd: visualisering

Random Forest: modellering

Random Forest: prediktion

Slumpmässig skog: visualisering

Jämföra modellernas prestanda

Fallstudie: Maskininlärning i praktiken – köra maskininlärningsmodeller i Spark

Title text parquet

Track data to predict parquet

Track data to model parquet

Timbre parquet

Gbt-model-responses

Left-join

Inner-join

Residual density

Track data parquet

Semi-join

Timbre

Anti-join

Predicted vs actual

Track metadata

Both-model-responses

R är i grunden optimerat för att hjälpa dig skriva dataanalyskod snabbt och läsbart. Apache Spark är utformat för att analysera enorma datamängder med hög hastighet. Paketet sparklyr låter dig skriva dplyr-kod i R som körs på ett Spark-kluster – vilket ger dig det bästa av två världar. I den här kursen lär du dig att hantera Spark DataFrames med både dplyr-gränssnittet och Sparks inbyggda gränssnitt, samt att tillämpa maskininlärningstekniker. Under kursens gång utforskar du Million Song Dataset.

<h2>Upptäck fördelarna med R, Spark och sparklyr </h2>
R är främst optimerat för att hjälpa dig skriva dataanalyskod snabbt och lättläst. Apache Spark är utformat för att snabbt analysera enorma datamängder. Paketet sparklyr låter dig skriva dplyr R-kod som körs på ett Spark-kluster, så att du får det bästa av två världar. Den här 4-timmarskursen lär dig hur du hanterar Spark DataFrames med både dplyr-gränssnittet och det inbyggda gränssnittet till Spark, samt testar maskininlärningstekniker. 
<br><br>
<h2>Ladda data till Spark och arbeta med Spark DataFrames</h2>
Du börjar den här Spark-kursen med att utforska hur Spark och R fungerar bra tillsammans och övar på att ladda data, redo för rengöring, transformation och analys. Du kommer att använda Spark frames och dplyr-syntax för att manipulera dina data genom att filtrera och sortera rader samt ändra och sammanfatta kolumner. 
<br><br>
<h2>Utforska Big Data-analys med Spark MLib </h2>
Den här kursen hjälper dig att bygga upp dina färdigheter och ditt självförtroende i att analysera enorma datamängder. De sista kapitlen guidar dig genom Sparks funktioner för datatransformation inom maskininlärning och ger dig möjlighet att öva på sparklyrs maskininlärningsrutiner genom att använda dem för att göra prediktioner med gradient boosted trees och random forests.

Supervised Learning in R: Regression

Lär dig använda Apache Spark och sparklyr i R för stordataanalys med maskininlärning.

Introduktion till Spark med sparklyr i R

Kör big data-analys med Spark och sparklyr i R, och utforska Spark MLIb – allt på bara 4 timmar. 

Nästa nivå

Create Your Free Account