Hepsini bir araya getirme I
PySpark’ta sağlam bir temel oluşturdun, çekirdek bileşenlerini keşfettin ve Spark SQL, DataFrame’ler ve ileri düzey işlemleri içeren pratik senaryolar üzerinde çalıştın. Şimdi hepsini bir araya getirme zamanı. Önündeki iki egzersizde bir SparkSession oluşturacak, bir DataFrame yaratacak, bu DataFrame’i önbelleğe alacak, analiz yapacak ve sonucu açıklayacaksın!
Bu egzersiz, kursun bir parçasıdır
PySpark'e Giriş
Egzersiz talimatları
SparkSession'ıpyspark.sqliçinden içe aktar.SparkSession.builder.getOrCreate()kullanarakfinal_sparkadlı yeni birSparkSessionoluştur.my_spark'ı konsola yazdırarak birSparkSessionolduğunu doğrula.- Önceden yüklenmiş bir şema ve sütun tanımından yeni bir DataFrame oluştur.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = SparkSession.builder.appName(____).____
# Print my_spark
____
# Load dataset into a DataFrame
df = ____(data, schema=columns)
df.show()