バージョンを確認する
インストールされている Spark と Python のバージョンを確認することはとても重要です。これらは頻繁かつ大きく更新されるためです。誤ったドキュメントを読んでしまうと、多くの時間を無駄にし、不要なフラストレーションにつながります!
このコースでは、忘れているかもしれない多くの概念に触れます。さっと復習したいときは、PySpark Cheat Sheet をダウンロードして手元に置いておくと便利です!
この演習はコースの一部です
PySparkで学ぶ特徴量エンジニアリング
演習の手順
- Spark の
versionを出力します。 - Python の
version_infoを出力します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Return spark version
print(spark.____)
# Return python version
import sys
print(sys.____)