SparkContext を確認する
この演習では、SparkContext に慣れていきます。
コードの実行に思ったより時間がかかると感じるかもしれません。これは Spark が本格的なソフトウェアで、起動に時間がかかるためです。また、単純な計算でも予想以上に時間がかかる場合があります。Spark の最適化はビッグデータの複雑な処理向けに設計されているため、シンプルで小さな問題では、ほかの解決策より遅くなることもあるのです。
この演習はコースの一部です
PySpark入門
演習の手順
SparkContext を確認しましょう。
- 環境に
SparkContextがあることを確かめるため、scに対してprint()を呼び出してください。 - クラスターで動作している Spark のバージョンを確認するために、
sc.versionをprint()してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Verify SparkContext
print(____)
# Print Spark version
print(____)