テーブルを確認する
SparkSession を作成したら、クラスター内にどんなデータがあるかを確認できます。
SparkSession には catalog という属性があり、クラスター内のすべてのデータを一覧できます。この属性には、さまざまな情報を取り出すためのメソッドがいくつかあります。
中でも便利なのが .listTables() メソッドで、クラスター内のすべてのテーブル名をリストとして返します。
この演習はコースの一部です
PySpark入門
演習の手順
spark.catalog.listTables()を呼び出し、その結果を出力して、クラスター内のテーブルを確認しましょう!
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Print the tables in the catalog
print(spark.____.____())