De structuur van tibbles verkennen

Als je probeert een tibble af te drukken die gegevens in Spark beschrijft, moet er wat magie gebeuren, omdat de tibble zelf geen kopie van de data bijhoudt. De magie is dat de printmethode je Spark-verbinding gebruikt, een deel van de inhoud terug naar R kopieert en die waarden weergeeft alsof de data lokaal was opgeslagen. Zoals je eerder in het hoofdstuk zag, is data kopiëren een trage bewerking, dus standaard worden alleen 10 rijen en zoveel kolommen als er op het scherm passen afgedrukt.

Je kunt het aantal af te drukken rijen aanpassen met het argument n van print(). Je kunt ook de weergavebreedte aanpassen met het argument width, dat wordt opgegeven als het aantal tekens (niet het aantal kolommen). Een handig trucje is width = Inf gebruiken om alle kolommen te printen.

De functie str() wordt meestal gebruikt om de structuur van een variabele weer te geven. Voor data.frames krijg je een handige samenvatting met het type en de eerste waarden van elke kolom. Voor tibbles met een externe gegevensbron weet str() echter niet hoe het de data moet ophalen. Dat betekent dat als je str() aanroept op een tibble met data die in Spark is opgeslagen, je een lijst ziet met een Spark-verbinding en nog wat andere losse onderdelen.

Wil je een samenvatting zien van wat elke kolom bevat in de gegevensset waar de tibble naar verwijst, roep dan in plaats daarvan glimpse() aan. Let op: voor externe data, zoals gegevenssets die in een Spark-cluster zijn opgeslagen, klopt het aantal rijen niet! In dit geval geeft glimpse() het aantal rijen niet correct weer.

Deze oefening maakt deel uit van de cursus

Introductie tot Spark met sparklyr in R

Bekijk cursus

Oefeninstructies

Er is een Spark-verbinding voor je aangemaakt als spark_conn. Een tibble die gekoppeld is aan de trackmetadata die in Spark is opgeslagen, is vooraf gedefinieerd als track_metadata_tbl.

Print de eerste 5 rijen en alle kolommen van de trackmetadata.
Bekijk de structuur van de tibble met str().
Bekijk de structuur van de trackmetadata met glimpse().

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Print 5 rows, all columns
___

# Examine structure of tibble
___

# Examine structure of data
___

Code bewerken en uitvoeren