PySpark'ı Etkileşimli Kullanma
Spark, PySpark'ın zaten kurulu olduğu etkileşimli bir Python kabuğuyla birlikte gelir. PySpark kabuğu temel test ve hata ayıklama için kullanışlıdır ve oldukça güçlüdür. PySpark kabuğunun gücünü göstermek için en kolay yol bir egzersizdir. Bu egzersizde, PySpark kabuğunda 1'den 100'e kadar sayılar içeren basit bir liste yükleyeceksin.
Burada anlaman gereken en önemli nokta, herhangi bir SparkContext nesnesi oluşturmuyor olmamız; çünkü PySpark, PySpark kabuğunda sc adlı SparkContext nesnesini otomatik olarak oluşturur.
Bu egzersiz, kursun bir parçasıdır
PySpark ile Big Data Temelleri
Egzersiz talimatları
- 1'den 100'e kadar sayıları içeren
numbadlı bir Python listesi oluştur. - Listeyi Spark Context'in
parallelizeyöntemiyle Spark'a yükle vespark_dataadlı bir değişkene ata.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)