ここから先は未知の領域

少し先に進む前に、注意点をお伝えします。現時点では、R から Spark を使う場合、できないことがいくつかあります。Spark の Scala および Python インターフェースの方が、より成熟しています。

そのため、このコースはある意味、未開拓の領域に踏み込む旅です。道のりが少々険しい場面もあるかもしれませんが、ときには快適ゾーンを超えることも覚悟しておきましょう。

もう一点、補足しておきます。このコースでは、DataCamp クラウド上の個人用 Spark ミニクラスターでコードを実行します。Spark の使い方を学ぶうえでは最適な環境ですが、高性能サーバー上のリモートクラスターを使う場合と同じパフォーマンス向上は得られません。そのため、ここでの例は R のみを使った場合と比べて速くなるわけではありませんが、習得したスキルを実際の大規模データセットの分析に活用することができます。

ローカル環境に Spark をインストールしたい場合は、sparklyr パッケージをインストールし、spark_install() を呼び出すだけです。

それでも続けますか？