Filtragem de dados

Agora que você já entende um pouco de SQL, é mais fácil falar das operações análogas usando DataFrames do Spark.

Vamos dar uma olhada no método .filter(). Como você deve suspeitar, essa é a contraparte do Spark da cláusula WHERE do SQL. O método .filter() recebe uma expressão que seguiria a cláusula WHERE de uma expressão SQL como uma string ou uma coluna do Spark de valores booleanos (True/False).

Como exemplo, as duas expressões a seguir geram o mesmo resultado:

flights.filter("air_time > 120").show()
flights.filter(flights.air_time > 120).show()

Observe que, no primeiro caso, passamos uma string para .filter(). Em SQL, escreveríamos essa tarefa de filtragem como SELECT * FROM flights WHERE air_time > 120. O .filter() do Spark aceita qualquer expressão que possa ser incluída na cláusula WHERE de uma consulta SQL (neste caso, "air_time > 120"), desde que seja passada como uma string. Observe que, nesse caso, não fazemos referência ao nome da tabela na string, como não faríamos na solicitação SQL.

No segundo caso, na verdade passamos uma coluna de valores booleanos para .filter(). Lembre-se de que flights.air_time > 120 retorna uma coluna de valores booleanos que tem True no lugar dos registros de flights.air_time que estão acima de 120, e False caso contrário.

Lembre-se de que uma SparkSession chamada spark já está em seu espaço de trabalho, junto com o DataFrame flights do Spark.