ロギングの練習
起動時に次のコードが実行されます:
import logging
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG,
format='%(levelname)s - %(message)s')
ここでは、これらのロギング操作を練習します。
この演習はコースの一部です
Pythonで学ぶ Spark SQL 入門
演習の手順
text_dfのカラムをデバッグメッセージとしてログに出力します。table1がキャッシュされているかどうかを情報メッセージとしてログに出力します。text_dfの最初の行を警告メッセージとしてログに出力します。text_dfの選択したカラムをエラーメッセージとしてログに出力します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Log columns of text_df as debug message
____("text_df columns: %s", text_df.columns)
# Log whether table1 is cached as info message
____("table1 is cached: %s", spark.catalog.isCached(tableName="table1"))
# Log first row of text_df as warning message
____("The first row of text_df:\n %s", text_df.first())
# Log selected columns of text_df as error message
____("Selected columns: %s", text_df.select("id", "word"))