1. Learn
    2. /
  2. Курси
    3. /
  3. Вступ до PySpark
Connected

вправа

Підсумуємо все разом I

Ви вже заклали міцний фундамент у PySpark, розібрали його основні компоненти та попрацювали з практичними сценаріями зі Spark SQL, датафреймами й розширеними операціями. Тепер час об'єднати все це. У двох наступних вправах ви створите SparkSession і датафрейм, закешуєте цей датафрейм, виконаєте аналітику та поясните результат!

Інструкції

100 XP
  • Імпортуйте SparkSession з pyspark.sql.
  • Створіть новий SparkSession з назвою final_spark, використавши SparkSession.builder.getOrCreate().
  • Надрукуйте my_spark у консолі, щоб переконатися, що це SparkSession.
  • Створіть новий датафрейм із попередньо завантаженої схеми та визначення стовпців.