Utforska strukturen hos tibbles
Om du försöker skriva ut en tibble som beskriver data lagrad i Spark måste något hända bakom kulisserna, eftersom tibble:n inte håller en egen kopia av datan. Det som sker är att utskriftsmetoden använder din Spark-anslutning, kopierar en del av innehållet tillbaka till R och visar dessa värden som om datan hade lagrats lokalt. Som du sett tidigare i kapitlet är kopiering en långsam åtgärd, så som standard skrivs bara 10 rader ut – samt så många kolumner som får plats på skärmen.
Du kan ändra antalet rader som skrivs ut med argumentet n i print(). Du kan också styra hur brett innehållet visas med argumentet width, som anges som antal tecken (inte antal kolumner). Ett praktiskt knep är att använda width = Inf för att skriva ut alla kolumner.
Funktionen str() används normalt för att visa strukturen hos en variabel. För data.frames ger den en användbar sammanfattning med typ och de första värdena för varje kolumn. För tibbles med en fjärransluten datakälla vet dock str() inte hur den ska hämta datan. Det innebär att om du anropar str() på en tibble med data lagrad i Spark, ser du en lista med ett Spark-anslutningsobjekt och några andra delar.
Om du vill se en sammanfattning av vad varje kolumn innehåller i den datamängd som tibble:n refererar till, behöver du anropa glimpse() i stället. Observera att för fjärrdata – till exempel data lagrad i ett Spark-kluster – stämmer inte radantalet! I det här fallet rapporterar glimpse() antalet rader felaktigt.
Den här övningen är en del av kursen
Introduktion till Spark med sparklyr i R
Övningsinstruktioner
En Spark-anslutning har skapats åt dig som spark_conn. En tibble kopplad till spårmetadata lagrad i Spark är fördefinierad som track_metadata_tbl.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Print 5 rows, all columns
___
# Examine structure of tibble
___
# Examine structure of data
___