Hepsini bir araya getirme I
PySpark’ta sağlam bir temel oluşturdun, çekirdek bileşenlerini keşfettin ve Spark SQL, DataFrame’ler ve ileri düzey işlemleri içeren pratik senaryolar üzerinde çalıştın. Şimdi hepsini bir araya getirme zamanı. Önündeki iki egzersizde bir SparkSession oluşturacak, bir DataFrame yaratacak, bu DataFrame’i önbelleğe alacak, analiz yapacak ve sonucu açıklayacaksın!
Bu egzersiz
PySpark'e Giriş
kursunun bir parçasıdırEgzersiz talimatları
SparkSession'ıpyspark.sqliçinden içe aktar.SparkSession.builder.getOrCreate()kullanarakfinal_sparkadlı yeni birSparkSessionoluştur.my_spark'ı konsola yazdırarak birSparkSessionolduğunu doğrula.- Önceden yüklenmiş bir şema ve sütun tanımından yeni bir DataFrame oluştur.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = SparkSession.builder.appName(____).____
# Print my_spark
____
# Load dataset into a DataFrame
df = ____(data, schema=columns)
df.show()