Filtragem de dados com PySpark

Neste exercício, vamos enviar um arquivo para um lakehouse e usar PySpark para filtrar dados. O arquivo contém uma lista de videogames e seus publishers. Queremos reduzir o conjunto de dados para trabalhar apenas com jogos do publisher Atari.

Observação: Se você receber um erro sobre limite de taxa da API, isso geralmente ocorre porque uma tarefa anterior do Fabric ainda não foi concluída. Você pode ver as tarefas ativas do Fabric na página Monitor (localizada no menu vertical à esquerda). Cancelar tarefas antigas do Fabric na página Monitor geralmente resolve o erro de limite de taxa.