SparkContext'i İncelemek
Bu egzersizde SparkContext ile tanışacaksın.
Kodun beklediğinden daha uzun sürdüğünü fark edebilirsin. Bunun nedeni Spark'ın oldukça kapsamlı bir yazılım olması. Alıştığından daha uzun bir başlatma süresi var. Ayrıca daha basit hesaplamaların da beklenenden uzun sürdüğünü görebilirsin. Çünkü Spark'ın kaputunun altındaki tüm optimizasyonlar, büyük veri kümeleriyle yapılan karmaşık işlemler için tasarlanmıştır. Bu da basit ya da küçük problemler için Spark'ın aslında bazı diğer çözümlerden daha yavaş olabileceği anlamına gelir!
Bu egzersiz
PySpark Temelleri
kursunun bir parçasıdırEgzersiz talimatları
SparkContext ile tanış.
- Ortamında bir
SparkContextolduğunu doğrulamak içinscüzerindeprint()çağır. - Kübende hangi Spark sürümünün çalıştığını görmek için
sc.version'ıprint()et.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Verify SparkContext
print(____)
# Print Spark version
print(____)