Är du nyfiken på frågor?
En av fördelarna med DataFrame-gränssnittet är att du kan köra SQL-frågor mot tabellerna i ditt Spark-kluster. Om du inte har någon erfarenhet av SQL är det lugnt – vi tillhandahåller frågorna! (Vill du lära dig mer SQL kan du börja med kursen Introduction to SQL.)
Som du såg i förra övningen finns tabellen flights i ditt kluster. Den innehåller en rad för varje flyg som avgick från Portland International Airport (PDX) eller Seattle-Tacoma International Airport (SEA) under 2014 och 2015.
Att köra en fråga mot den här tabellen är enkelt – du använder metoden .sql() på din SparkSession. Metoden tar en sträng med frågan och returnerar en DataFrame med resultaten!
Tittar du noga märker du att tabellen flights bara nämns i frågan, inte som ett argument till någon metod. Det beror på att det inte finns något lokalt objekt i din miljö som håller den datan, så det vore inte meningsfullt att skicka tabellen som ett argument.
Kom ihåg att vi redan har skapat en SparkSession med namnet spark i din arbetsyta. (Den heter inte längre my_spark eftersom vi skapade den åt dig!)
Den här övningen är en del av kursen
Grunderna i PySpark
Övningsinstruktioner
- Använd metoden
.sql()för att hämta de första 10 raderna i tabellenflightsoch spara resultatet iflights10. Variabelnqueryinnehåller rätt SQL-fråga. - Använd DataFrame-metoden
.show()för att skriva utflights10.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Don't change this query
query = "FROM flights SELECT * LIMIT 10"
# Get the first 10 rows of flights
flights10 = ____
# Show the results
flights10.____