Začněte nyníZačněte zdarma

Vše dohromady I

Máš za sebou solidní základy PySparku, seznámil/a ses s jeho klíčovými komponentami a procvičil/a práci se Spark SQL, DataFramy i pokročilými operacemi. Teď je čas dát to všechno dohromady. V následujících dvou cvičeních vytvoříš SparkSession a DataFrame, DataFrame uložíš do mezipaměti, provedeš analýzu dat a vysvětlíš výsledek!

Toto cvičení je součástí kurzu

Introduction to PySpark

Zobrazit kurz

Pokyny k cvičení

  • Importuj SparkSession z pyspark.sql.
  • Vytvoř novou SparkSession s názvem final_spark pomocí SparkSession.builder.getOrCreate().
  • Vypiš my_spark do konzole a ověř, že se jedná o SparkSession.
  • Vytvoř nový DataFrame z předem načteného schématu a definice sloupců.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Import SparkSession from pyspark.sql
from ____ import ____

# Create my_spark
my_spark = SparkSession.builder.appName(____).____

# Print my_spark
____

# Load dataset into a DataFrame
df = ____(data, schema=columns)

df.show()
Upravit a spustit kód