PySpark'ı Etkileşimli Kullanma
Spark, PySpark'ın zaten kurulu olduğu etkileşimli bir Python kabuğuyla birlikte gelir. PySpark kabuğu temel test ve hata ayıklama için kullanışlıdır ve oldukça güçlüdür. PySpark kabuğunun gücünü göstermek için en kolay yol bir egzersizdir. Bu egzersizde, PySpark kabuğunda 1'den 100'e kadar sayılar içeren basit bir liste yükleyeceksin.
Burada anlaman gereken en önemli nokta, herhangi bir SparkContext nesnesi oluşturmuyor olmamız; çünkü PySpark, PySpark kabuğunda sc adlı SparkContext nesnesini otomatik olarak oluşturur.
Bu egzersiz
PySpark ile Big Data Temelleri
kursunun bir parçasıdırEgzersiz talimatları
- 1'den 100'e kadar sayıları içeren
numbadlı bir Python listesi oluştur. - Listeyi Spark Context'in
parallelizeyöntemiyle Spark'a yükle vespark_dataadlı bir değişkene ata.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)