Exibição de tabelas
Depois de criar uma SparkSession, você pode começar a pesquisar para ver quais dados estão em seu cluster!
Sua SparkSession tem um atributo chamado catalog que lista todos os dados do cluster. Esse atributo tem alguns métodos para extrair diferentes informações.
Um dos mais úteis é o método .listTables(), que retorna o nome de todas as tabelas de seu cluster como uma lista.
Este exercício faz parte do curso
Introdução ao PySpark
Instruções de exercício
- Veja quais tabelas estão em seu cluster chamando
spark.catalog.listTables()e imprimindo o resultado!
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Print the tables in the catalog
print(spark.____.____())