1. 学ぶ
    2. /
  2. コース
    3. /
  3. PySpark入門
Connected

演習

SparkContext を確認する

この演習では、SparkContext に慣れていきます。

コードの実行に思ったより時間がかかると感じるかもしれません。これは Spark が本格的なソフトウェアで、起動に時間がかかるためです。また、単純な計算でも予想以上に時間がかかる場合があります。Spark の最適化はビッグデータの複雑な処理向けに設計されているため、シンプルで小さな問題では、ほかの解決策より遅くなることもあるのです。

指示

100 XP

SparkContext を確認しましょう。

  • 環境に SparkContext があることを確かめるため、sc に対して print() を呼び出してください。
  • クラスターで動作している Spark のバージョンを確認するために、sc.version を print() してください。