Exibição de tabelas
Depois de criar uma SparkSession, você pode começar a pesquisar para ver quais dados estão em seu cluster!
Sua SparkSession tem um atributo chamado catalog que lista todos os dados do cluster. Esse atributo tem alguns métodos para extrair diferentes informações.
Um dos mais úteis é o método .listTables(), que retorna o nome de todas as tabelas de seu cluster como uma lista.
Este exercicio faz parte do curso
Fundamentos do PySpark
Instruções do exercicio
- Veja quais tabelas estão em seu cluster chamando
spark.catalog.listTables()e imprimindo o resultado!
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Print the tables in the catalog
print(spark.____.____())