SparkContext'i İncelemek
Bu egzersizde SparkContext ile tanışacaksın.
Kodun beklediğinden daha uzun sürdüğünü fark edebilirsin. Bunun nedeni Spark'ın oldukça kapsamlı bir yazılım olması. Alıştığından daha uzun bir başlatma süresi var. Ayrıca daha basit hesaplamaların da beklenenden uzun sürdüğünü görebilirsin. Çünkü Spark'ın kaputunun altındaki tüm optimizasyonlar, büyük veri kümeleriyle yapılan karmaşık işlemler için tasarlanmıştır. Bu da basit ya da küçük problemler için Spark'ın aslında bazı diğer çözümlerden daha yavaş olabileceği anlamına gelir!
Bu egzersiz, kursun bir parçasıdır
PySpark Temelleri
Egzersiz talimatları
SparkContext ile tanış.
- Ortamında bir
SparkContextolduğunu doğrulamak içinscüzerindeprint()çağır. - Kübende hangi Spark sürümünün çalıştığını görmek için
sc.version'ıprint()et.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Verify SparkContext
print(____)
# Print Spark version
print(____)