Kom igångKom igång gratis

Öva på loggning 2

Följande kod körs vid uppstart:

import logging
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG,
                    format='%(levelname)s - %(message)s')

I lektionen lärde vi oss att Spark-operationer som utlöser en action måste loggas med omsorg för att undvika dold resursförbrukning. Nu ska du öva på att identifiera loggningssatser som utlöser en action på en dataram eller tabell.

En dataram text_df finns tillgänglig. Denna dataram är registrerad som en tabell med namnet table1.

Den här övningen är en del av kursen

Introduktion till Spark SQL i Python

Visa kurs

Övningsinstruktioner

  • Flera loggningssatser finns tillgängliga. Alla är från början utkommenterade. Avkommentera de fem satser som inte utlöser en action på text_df.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Uncomment the 5 statements that do NOT trigger text_df
# logging.debug("text_df columns: %s", text_df.columns)
# logging.info("table1 is cached: %s", spark.catalog.isCached(tableName="table1"))
# logging.warning("The first row of text_df: %s", text_df.first())
# logging.error("Selected columns: %s", text_df.select("id", "word"))
# logging.info("Tables: %s", spark.sql("show tables").collect())
# logging.debug("First row: %s", spark.sql("SELECT * FROM table1 limit 1"))
# logging.debug("Count: %s", spark.sql("SELECT COUNT(*) AS count FROM table1").collect())
Redigera och kör kod